基于最大相关最小冗余的特征选择算法研究

论文摘要

特征选择,即从原始特征集中选出最优特征子集是模式识别领域的关键问题。如在生物信息学研究领域,面向基因表达或蛋白质质谱这种小样本高维数据,高效的特征选择算法更显得尤其重要。特征选择也是设计一个性能优良的分类器的前提与必要。如支持向量机分类器的计算复杂度以及训练时间是随着训练样本的数目和输入空间维数呈现非线性变化的。因此,对训练集信息进行合理的预处理是提高支持向量机性能的一个重要途径。合理而有效地选择特征,适当减少特征维数,一方面可以消除冗余,加快运算速度,提高分类效率,另一方面,可以降低分类器的复杂性,降低分类错误率。本论文针对特征选择过程中,算法复杂度高以及最佳特征量个数难以确定的问题,提出一种改进的最大相关最小冗余的特征选择算法,基于特征子集评价准则实现最佳特征量的选择。在基于最大相关最小冗余特征选择算法理论研究基础上,结合特征相关性与冗余性,提出了改进的最大相关最小冗余的wrapper型特征选择算法。该算法充分考虑了特征量的相关程度与冗余程度在特征选择中的不同作用,加入了平衡特征相关性和冗余性的权重因子。通过UCI数据集进行实验验证,表明该算法可以有效去除无关冗余特征,且对特征空间潜在的冗余程度进行有效度量和选取,降维的同时也提高了分类精度。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题研究背景及意义
• 1.2 国内外研究现状
• 1.3 特征选择问题的研究趋势
• 1.4 本文的研究内容及主要工作
• 第2章 基于最大相关最小冗余WRAPPER 型特征选择算法基本理论
• 2.1 特征选择算法基本理论
• 2.1.1 特征选择的定义
• 2.1.2 特征选择的作用
• 2.1.3 特征选择的基本框架
• 2.1.4 常用特征选择算法
• 2.2 信息熵理论
• 2.2.1 熵原理及信息熵的引入
• 2.2.2 互信息
• 2.2.3 互信息的性质
• 2.3 分类器
• 2.3.1 支持向量机
• 2.3.2 朴素贝叶斯
• 2.3.3 线性判别分析
• 2.4 本章小结
• 第3章 基于最大相关最小冗余的改进特征选择算法
• 3.1 相关性度量
• 3.2 冗余性度量
• 3.3 最大相关的特征选择算法
• 3.4 改进的最大相关最小冗余特征选择算法
• 3.4.1 算法设计
• 3.4.2 算法框图及描述
• 3.4.3 改进的特征选择算法伪代码
• 3.5 算法分析
• 3.6 本章小结
• 第4章 实验验证及结果分析
• 4.1 实验数据来源及预处理
• 4.2 最大相关的特征选择算法实验分析
• 4.2.1 最大相关性分析
• 4.2.2 分类器验证
• 4.3 改进的最大相关最小冗余特征选择算法实验分析
• 4.3.1 MID/MIQ 型最大相关最小冗余算法
• 4.3.2 分类器验证
• 4.3.3 加权的MID/MIQ 型最大相关最小冗余算法
• 4.3.4 分类器验证
• 4.4 实验结果分析
• 4.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间承担的科研任务及主要成果
• 致谢
• 作者简介