分类问题的智能优化算法及其应用研究

论文摘要

智能优化算法（Intelligent optimization algorithms）通过模仿生物的智能行为来实现优化功能。例如,遗传算法（Genetic Algorithm, GA）模仿生物种群中自然选择的机制来求解优化问题;粒子群优化算法模仿鸟群觅食迁移中,个体与群体协调一致的机理来指导优化搜索等。智能优化方法具有简单通用、鲁棒性强和适于并行等优点,在模式识别、智能控制、并行搜索、联想记忆等方面得到了广泛的应用。支持向量机（Support Vector Machines, SVM）是一种应用广泛的数据分类技术,当高斯核支持向量机应用于各种各样的数据分类领域时,首先面临的至关紧要的问题是:怎样选择惩罚参数C和核参数γ（即怎样进行支持向量机模型选择）,怎样优化输入特征子集以提高分类准确率和减小特征子集。通过用户使用枚举法进行参数选择,往往降低支持向量机分类性能,得出的分类准确率很低,不能满足分类要求。采用网格搜索算法进行支持向量机参数优化,由于一定程度地提高了分类准确率,初步满足分类要求。随着数据分类领域对分类准确率的要求不断提高,采用智能优化算法和支持向量机的结合同时优化输入特征子集和支持向量机参数,进一步提高了分类准确率。本论文在上述研究工作的基础上,将支持向量机的渐进性能融入智能优化算法,提出了基于特征染色体的遗传算法、基于特征粒子的粒子群优化算法、基于特征抗体的克隆选择算法,分别构建提出的算法和支持向量机的混合系统以同时优化输入特征子集和支持向量机参数,取得了更高的准确率、更小的特征子集和更少的处理时间。通过将支持向量机的渐进性能融入智能优化算法,构建智能优化算法和支持向量机的混合系统解决上述问题是本论文的基本研究方法。本论文以分类问题的智能优化算法及其应用研究、智能优化算法和支持向量机混合研究为课题,本论文的贡献和创新点概括如下:（1）基于特征染色体的遗传算法基于遗传算法的原理和搜索机制,将支持向量机的渐进性能融入遗传算法,通过生成特征染色体操作将遗传算法的搜索导向到超参数空间中的最佳泛化误差直线,提出一种基于特征染色体的遗传算法,构造基于特征染色体的遗传算法和支持向量机混合系统以同时进行特征选择和参数设置的优化。对提出的算法的收敛性进行了分析。与类似方法相比,提出的算法不仅具有更高的分类准确率和更小的特征子集,而且具有更少的处理时间。（2）基于特征粒子的粒子群优化算法基于粒子群优化算法的原理和搜索机制,通过生成特征粒子操作将支持向量机的渐进性能融入粒子群优化算法,提出一种基于特征粒子的粒子群优化算法,构造基于特征粒子的粒子群优化算法和支持向量机混合系统以同时进行特征选择和参数设置的优化。分析了提出算法的复杂度。实验指出,提出的算法具有更高的分类准确率、更小的特征子集和更少的处理时间。（3）基于特征抗体的克隆选择算法基于克隆选择算法的原理和搜索机制,通过生成特征抗体操作将支持向量机渐进性能引入克隆选择算法,提出一种基于特征抗体的克隆选择算法,构造基于特征抗体的克隆选择算法和支持向量机混合系统以同时进行特征选择和参数优化。通过算法性能对比实验,得出提出的算法具有更高的分类准确率和更小的特征子集。（4）混合智能优化算法研究提出一种基于特征染色体的遗传算法和量子遗传算法的混合算法,构造基于特征染色体的遗传算法、量子遗传算法和支持向量机混合系统,给出了详细的实验结果和算法性能对比,验证了该算法是一种有效的方法。除此之外,还提出一种基于特征抗体的克隆选择算法和差分进化算法的混合算法,构造基于特征抗体的克隆选择算法、差分进化算法和支持向量机混合系统,给出了详细的实验结果和算法性能对比,实验指出提出的算法是一种有用的方法。（5）智能优化算法应用研究根据微阵列基因表达数据的特点,提出一种基于特征染色体的遗传算法包装法、信噪比过滤法和支持向量机混合系统的信息基因搜索方法,以同时搜索到基因数量少而分类准确率高的信息基因子集,实验结果表明,与其它优秀的肿瘤分类方法相比,提出的方法在信息基因数量及分类准确率方面具有明显的优越性。另外,提出一种基于特征染色体的遗传算法、共空间模式和支持向量机混合系统以进行脑-机接口分类参数优化,取得了提高分类准确率的明显效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文研究的背景和意义
• 1.2 智能优化算法
• 1.2.1 智能优化算法综述
• 1.2.2 遗传算法
• 1.2.3 粒子群优化算法
• 1.2.4 免疫算法
• 1.3 支持向量机
• 1.4 主要工作和结构安排
• 第二章 基于特征染色体的遗传算法
• 2.1 引言
• 2.2 相关研究工作
• 2.2.1 支持向量机模型选择及其渐进性能
• 2.2.2 基本遗传算法
• 2.3 基于特征染色体的遗传算法
• 2.3.1 染色体编码设计
• 2.3.2 适应度函数设计
• 2.3.3 初始化
• 2.3.4 交叉操作
• 2.3.5 变异操作
• 2.3.6 生成特征染色体操作
• 2.3.7 选择操作
• 2.4 基于特征染色体的遗传算法收敛性分析
• 2.5 基于特征染色体的遗传算法和支持向量机混合系统
• 2.6 实验
• 2.6.1 实验数据集
• 2.6.2 实验结果与分析
• 2.6.3 不同分类方法实验结果比较
• 2.7 本章小结
• 第三章 基于特征粒子的粒子群优化算法
• 3.1 引言
• 3.2 相关研究工作
• 3.2.1 支持向量机模型选择及其渐进性能
• 3.2.2 基本粒子群优化算法
• 3.3 基于特征粒子的粒子群优化算法
• 3.3.1 粒子编码设计
• 3.3.2 适应度函数设计
• 3.3.3 初始化
• 3.3.4 更新个体极值和全局极值
• 3.3.5 更新粒子的速度和位置
• 3.3.6 生成特征粒子操作
• 3.4 基于特征粒子的粒子群优化算法和支持向量机混合系统
• 3.5 实验
• 3.5.1 实验数据集
• 3.5.2 实验结果与分析
• 3.5.3 不同分类方法实验结果比较
• 3.6 基于特征粒子的粒子群优化算法复杂度分析
• 3.7 本章小结
• 第四章 基于特征抗体的克隆选择算法
• 4.1 引言
• 4.2 相关研究工作
• 4.2.1 支持向量机模型选择及其渐进性能
• 4.2.2 克隆选择原理
• 4.2.3 基本克隆选择算法
• 4.3 基于特征抗体的克隆选择算法
• 4.3.1 抗体编码设计
• 4.3.2 亲合度函数设计
• 4.3.3 初始化
• 4.3.4 克隆操作
• 4.3.5 克隆变异操作
• 4.3.6 生成特征抗体操作
• 4.3.7 克隆选择操作
• 4.4 基于特征抗体的克隆选择算法和支持向量机混合系统
• 4.5 实验
• 4.5.1 实验数据集
• 4.5.2 实验结果与分析
• 4.5.3 不同的分类方法的实验结果比较
• 4.6 本章小结
• 第五章 混合智能优化算法
• 5.1 基于特征染色体的遗传算法和量子遗传算法的混合算法
• 5.1.1 引言
• 5.1.2 相关研究工作
• 5.1.2.1 量子位和量子门
• 5.1.2.2 量子遗传算法
• 5.1.3 基于特征染色体的遗传算法和量子遗传算法的混合算法
• 5.1.3.1 量子染色体编码和二进制染色体编码设计
• 5.1.3.2 适应度函数设计
• 5.1.3.3 初始化
• 5.1.3.4 量子搜索过程
• 5.1.3.5 进化搜索过程
• 5.1.4 基于特征染色体的遗传算法、量子遗传算法和支持向量机混合系统
• 5.1.5 实验
• 5.1.5.1 实验数据集
• 5.1.5.2 实验结果和分析
• 5.1.5.3 不同分类方法的实验结果比较
• 5.2 基于特征抗体的克隆选择算法和差分进化算法的混合算法
• 5.2.1 引言
• 5.2.2 相关研究工作
• 5.2.2.1 独特型和独特位
• 5.2.2 2 差分进化算法
• 5.2.3 基于特征抗体的克隆选择算法和差分进化算法的混合算法
• 5.2.3.1 抗体编码设计
• 5.2.3.2 亲合度函数设计
• 5.2.3.3 基于特征抗体的克隆选择算法和差分进化算法的混合算法步骤
• 5.2.4 基于特征抗体的克隆选择算法、差分进化算法和支持向量机混合系统
• 5.2.5 实验
• 5.2.5.1 实验数据集
• 5.2.5.2 实验结果与分析
• 5.2.5.3 不同分类方法的实验结果比较
• 5.3 本章小结
• 第六章 智能优化算法应用研究
• 6.1 微阵列信息基因搜索方法
• 6.1.1 引言
• 6.1.2 信息基因初选和精选
• 6.1.2.1 信噪比过滤法
• 6.1.2.2 基于特征染色体的遗传算法包装法
• 6.1.3 微阵列数据分类
• 6.1.3.1 微阵列数据分类问题描述
• 6.1.3.2 实验数据集
• 6.1.4 基于特征染色体的遗传算法包装法、信噪比过滤法和支持向量机混合系统
• 6.1.5 实验
• 6.1.5.1 实验结果
• 6.1.5.2 不同分类方法实验结果比较
• 6.1.5.3 选择的信息基因分析
• 6.2 脑-机接口分类参数优化方法
• 6.2.1 引言
• 6.2.2 共空间模式
• 6.2.3 基于特征染色体的遗传算法、共空间模式和支持向量机混合系统
• 6.2.4 实验
• 6.3 本章小结
• 第七章 结论和展望
• 7.1 研究总结
• 7.2 前景展望
• 致谢
• 参考文献
• 攻博期间取得的研究成果