小波支持向量机在数据建模中的研究及应用

论文摘要

支持向量机（SVM）是一种新的数据建模方法,它基于统计学习理论,具有坚实的数学理论基础和严格的理论分析,具有理论完备、全局优化、适应性强、推广能力好等优点,是机器学习中的一种新方法和研究新热点。它运用结构风险最小化原则,综合了统计学习、神经网络等方面技术,在最小化经验风险的同时,有效地提高了算法泛化能力。以往大部分研究主要集中在支持向量机分类理论和应用上,近年来关于支持向量机回归的研究也显示出其优异的性能。作为一个新的理论和方法,支持向量机回归在训练算法和实际应用等方面有诸多值得深入探讨的课题。本论文就以上主要内容进行了深入的研究并取得了以下结果:1.研究支持向量核函数条件的基础上,构造了一种基于小波核函数的小波支持向量机。分析了算法的收敛性、通用性和泛化能力。该算法扩充较为容易,实验结果表明小波支持向量机算法具有比较理想的函数逼近能力。2.研究了KPCA支持向量机算法。借鉴核函数思想,提出了一种基于核主元分析和小波最小二乘支持向量机的数据建模方法,用核主元分析对输入变量进行数据压缩,消除变量之间的相关性,通过交叉验证的方法对支持向量机进行参数选择。将其用于双酚A（BPA）数据建模的结果表明:该方法具有学习速度快、泛化能力强等优点。3.针对SVM参数（核参数、惩罚因子）模型推广能力影响较大,而目前又无解析方法指导小波SVM参数选取的问题,本文提出了一种基于量子粒子群优化（QPSO）算法的小波SVM参数选择方法。该方法将SVM参数集当作粒子群,以最小化5-fold交叉验证误差作为适应目标,利用QPSO强劲的全局搜索能力实现了参数优选。仿真实例表明该方法对模型推广能力的提高具有很大的作用。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 统计学习理论
• 1.2.1 经验风险最小化原则
• 1.2.2 结构风险最小化原则
• 1.3 支持向量机基本原理
• 1.3.1 支持向量
• 1.3.2 核函数
• 1.4 支持向量机算法的研究现状
• 1.5 本文的主要研究工作
• 第二章 支持向量机理论基础及算法实现
• 2.1 引言
• 2.2 支持向量机回归原理
• 2.2.1 核函数
• 2.2.2 损失函数
• 2.2.3 非线性映射
• 2.3 最小二乘支持向量机原理
• 2.4 本章小结
• 第三章 小波支持向量机算法研究
• 3.1 引言
• 3.2 小波变换
• 3.2.1 小波变换的定义
• 3.2.2 小波变换的特点
• 3.2.3 db 小波
• 3.3 小波核函数
• 3.3.1 小波核函数的构造
• 3.3.2 小波支持向量机算法
• 3.4 算法性能分析
• 3.4.1 算法收敛性分析
• 3.4.2 算法通用性分析
• 3.4.3 算法泛化能力分析
• 3.5 函数仿真
• 3.6 仿真实例分析
• 3.6.1 聚丙烯腈的生产工艺及机理模型
• 3.6.2 小波SVM 在聚丙烯腈数据建模中的应用
• 3.7 本章小结
• 第四章 KPCA 小波支持向量机算法研究
• 4.1 引言
• 4.2 KPCA 小波支持向量机算法
• 4.2.1 主元分析法
• 4.2.2 核主元分析
• 4.2.3 KPCA 小波支持向量机算法
• 4.3 仿真实例分析
• 4.3.1 双酚A 重整反应过程的机理模型
• 4.3.2 KPCA 小波支持向量机算法在双酚A 重整反应数据建模中的应用
• 4.4 本章小结
• 第五章 基于QPSO 的小波支持向量机的参数选择
• 5.1 引言
• 5.2 粒子群算法和量子粒子群算法原理
• 5.2.1 标准粒子群算法简介
• 5.2.2 量子粒子群算法
• 5.2.3 量子粒子群算法的优点
• 5.2.4 量子粒子群算法描述
• 5.3 基于QPSO 的小波SVM 参数选择
• 5.3.1 参数选择的评价标准—推广能力估计
• 5.3.2 基于QPSO 的小波SVM 参数调整算法
• 5.3.3 数值仿真
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 本文工作总结
• 6.2 今后工作展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文