基于最小联合互信息亏损的最优特征选择算法研究

基于最小联合互信息亏损的最优特征选择算法研究

论文摘要

随着社会经济与计算机技术的快速发展,研究一种能够有效地提高分类学习算法性能和效率的Filter型特征选择算法有着重要的理论价值与广泛的应用前景。提出了一种基于最小联合互信息亏损的最优特征选择算法。该算法将以联合互信息作为评价准则的特征选择问题分解为两个子问题,采用最大条件互信息原则进行搜索直到获得一个无差异特征子集,并采用一种最小联合互信息亏损原则对所得无差异特征子集进行冗余特征的判断与删减。从条件互信息估计可靠性的角度上来看,最小联合互信息亏损原则减小了因样本不足而引起的条件互信息估计的偏差。从而能够获得一个较好地表达原始数据集且规模较小的特征子集。为解决特征子集规模较大时条件互信息估计所面临的维数瓶颈问题,提出了一种快速条件互信息估计方法,并将其用于所提算法的实现。首先引入局部互信息的概念,并揭示了局部互信息与条件互信息之间的关系,进而通过对局部互信息的逐一求解来实现对条件互信息的估计。选择了10种常用的基准数据集与挑战性数据集对所提算法和快速条件互信息估计方法进行了详细的性能实验。所选数据集训练样本跨度为2000~72626,特征维数跨度为22~139351,有利于全面检验算法的性能。实验结果表明了所提算法的优越性。同时,实验结果还表明了所提快速条件互信息估计方法的有效性,特别是对于含有139351个特征的Thrombin数据集而言,所提快速估计方法无论是在运行时间还是在存储空间上都有显著的优势。

论文目录

  • 摘要
  • Abstract
  • 1 绪论
  • 1.1 研究背景、目的及意义
  • 1.2 国内外研究概况
  • 1.3 主要研究内容
  • 2 Filter型特征选择算法研究综述
  • 2.1 Filter型特征排序法
  • 2.2 基于特征子集搜索的Filter型最优特征选择算法
  • 2.3 基于Markov blanket的最优特征子集搜索算法
  • 2.4 本章小结
  • 3 基于最小联合互信息亏损的最优特征选择算法
  • 3.1 信息论度量
  • 3.2 基于联合互信息的最优特征选择问题
  • 3.3 基于最小联合互信息亏损的最优特征子集搜索策略
  • 3.4 算法实现
  • 3.5 复杂性分析
  • 3.6 本章小结
  • 4 实验及结果分析
  • 4.1 实验设计
  • 4.2 所选特征规模及运行时间比较
  • 4.3 分类实验结果及分析
  • 4.4 条件互信息估计效率比较及分析
  • 4.5 本章小结
  • 5 结论与展望
  • 5.1 全文总结
  • 5.2 研究展望
  • 致谢
  • 参考文献
  • 附录1 攻读学位期间发表论文目录
  • 相关论文文献

    • [1].结合稀疏表示和邻域互信息的类属属性学习[J]. 电子技术与软件工程 2020(01)
    • [2].结合互信息最大化的文本到图像生成方法[J]. 西安电子科技大学学报 2019(05)
    • [3].基于平均互信息与知识图谱的产品预测[J]. 电子技术 2017(01)
    • [4].中国科学家建立量化网络中直接关联性的“部分互信息”新方法[J]. 科学 2016(03)
    • [5].浅析平均互信息量求解方法[J]. 新校园(上旬) 2015(05)
    • [6].基于云平台的互信息最大化特征提取方法研究[J]. 电信科学 2013(10)
    • [7].标记倾向性的粗糙互信息k特征核选择[J]. 南京大学学报(自然科学) 2020(01)
    • [8].基于互信息和关联规则的文本特征提取方法[J]. 淮阴工学院学报 2018(03)
    • [9].基于联合互信息的水文预报因子集选取研究[J]. 水力发电学报 2017(08)
    • [10].基于条件互信息的空域隐写检测特征选择算法[J]. 天津大学学报(自然科学与工程技术版) 2017(09)
    • [11].基于互信息的游戏用户特征选取方法研究[J]. 北京信息科技大学学报(自然科学版) 2017(05)
    • [12].基于互信息的医学图像配准新方法[J]. 河南科技 2013(14)
    • [13].基于新型文档频的平均互信息改进研究[J]. 软件导刊 2012(05)
    • [14].基于R语言的互信息网络模型在乳腺癌易感基因检测分析中的应用[J]. 计算机系统应用 2018(01)
    • [15].基于互信息的烘丝过程工艺参数影响分析[J]. 自动化技术与应用 2013(03)
    • [16].基于互信息量的分类模型[J]. 计算机应用 2011(06)
    • [17].基于最小联合互信息亏损的最优特征选择算法[J]. 计算机科学 2011(12)
    • [18].基于互信息梯度优化计算的信息判别特征提取[J]. 电子与信息学报 2009(12)
    • [19].基于改进互信息的特征提取的文本分类系统[J]. 四川理工学院学报(自然科学版) 2008(03)
    • [20].基于联合互信息的动液面预测模型[J]. 科技与创新 2016(18)
    • [21].基于互信息原理的高职充分就业指导研究[J]. 南通职业大学学报 2014(03)
    • [22].基于最大区域互信息量的生物细胞图像分割[J]. 西北师范大学学报(自然科学版) 2010(03)
    • [23].最大模糊互信息用于图像分割[J]. 计算机工程与应用 2009(20)
    • [24].一种可最优化计算特征规模的互信息特征提取[J]. 控制与决策 2009(12)
    • [25].基于熵互信息理论的基因调控网络的研究[J]. 华北科技学院学报 2008(01)
    • [26].一种基于互信息量的关键帧提取方法[J]. 孝感学院学报 2008(03)
    • [27].基于平均互信息的最优社区发现方法[J]. 中国科学:信息科学 2019(05)
    • [28].基于互信息和邻接熵的新词发现算法[J]. 计算机应用研究 2019(05)
    • [29].一种基于改进互信息的文本分类方法[J]. 合肥师范学院学报 2017(06)
    • [30].基于互信息的动态网络链路预测算法研究[J]. 中国科学技术大学学报 2018(06)

    标签:;  ;  ;  ;  ;  

    基于最小联合互信息亏损的最优特征选择算法研究
    下载Doc文档

    猜你喜欢