核机器学习方法若干问题研究

论文摘要

论文主要对机器学习问题、核机器方法、小波核机器、模糊小波核机器等内容进行探讨和分析,构建了几种核机器模型,理论分析和实验结果验证了它们的可行性和有效性。主要研究内容如下: 处理大规模样本时,支持向量机难以满足实时性要求,针对这一问题,提出了一种支持向量预提取方法:先用核感知机模块提取准支持向量,然后将所得结果输入到支持向量机中进行二次处理。核感知机采用的是简单的迭代结构,即使在样本规模较大时,花费的时间也很少;此外,准支持向量的数目可以通过设定阈值进行控制。在一定精度要求下,能从很大程度上提高数据的处理效率。由于核函数和误分界的引入,在综合使用支持向量机的基础上,能处理线性可分、非线性可分、非线性不可分带噪声数据以及回归等问题,理论分析和实验结果较好地验证了这一结论。 对非平稳信号进行处理时,信号细微特征的提取非常关键。论文尝试将小波技术、主分量分析及核方法相结合,用于处理这类信号。对采用小波基构建核函数的可行性进行了探讨,证明了它满足Mercy条件及其在Hilbert空间具有再生性的命题,以此为基础,结合主分量分析,探讨了小波核机器的构建方法,构造出一种核机器模型,并作了实例仿真。实验结果表明,复Gaussian小波核和复Morlet小波核的性能大致相当,它们都优于常规的高斯核和多项式核,初步展示出该方法的可行性和优越性。 对模糊逻辑和小波技术的相关理论进行探讨和分析,构建了一种模糊小波容许核函数,并与支持向量机结合,构造出一种核机器模型,对该模型的一致逼近性作了证明。在此基础上,提出了一种模糊小波支持向量核机器方法FW-SVKM,对参数的选择与预测结果的内在关系作了较为详细的分析,与三层神经网络ANN进行短期峰值负荷预测的对比实验,结果表明FW-SVKM优于ANN,具有较大的实用价值和较好的应用前景。 针对学习机器在参数较多时,优化时间过长、效率过低,不利于工程应用的问题,提出了一种多参数同步优化策略。实验结果表明,该方法在实际应用中是行之有效的,能大幅减少多参数模型的优化时间,增强核机器方法的实用性和有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 国内外研究现状分析
• 1.1.1 机器学习
• 1.1.2 核机器方法
• 1.1.3 非平稳信号与小波技术
• 1.2 统计学习理论基础
• 1.2.1 一致性概念与函数集VC维
• 1.2.2 四种重要的归纳原则
• 1.2.3 模式识别与回归估计
• 1.2.4 函数集的熵与推广能力的界
• 1.3 支持向量机基础及其优缺点分析
• 1.3.1 最优分类超平面
• 1.3.2 支持向量分类机
• 1.3.3 支持向量回归机
• 1.3.4 支持向量方法的优缺点分析
• 1.4 本文研究方法与主要内容
• 1.5 本文体系结构
• 第2章 支持向量预提取方法研究
• 2.1 准支持向量概念的提出
• 2.2 关于准支持向量集上的界的证明
• 2.2.1 在区间（2，∞）的情形
• 2.2.2 在区间(1，2]的情形
• 2.3 支持向量预提取方法
• 2.3.1 感知机模型
• 2.3.2 核感知支持向量机
• 2.4 实验情况
• 2.4.1 分类的情形
• 2.4.2 回归的情形
• 2.4.3 几个回归实例的性能对比与分析
• 2.5 在遥感数据处理中的研究
• 2.5.1 经典方法
• 2.5.2 数据来源及预处理
• 2.5.3 核函数方法
• 2.5.4 实验结果对比与分析
• 2.6 小结
• 第3章 小波核机器方法研究
• 3.1 小波的理论基础
• 3.1.1 小波变换与加窗傅里叶变换的异同
• 3.1.2 再生核Hilbert空间
• 3.1.3 连续小波变换与离散小波变换
• 3.2 两种小波核函数的相关证明
• 3.2.1 两种复小波
• 3.2.2 满足Mercy条件的证明
• 3.2.3 在Hilbert空间满足再生性的证明
• 3.3 小波核机器方法
• 3.3.1 主分量分析
• 3.3.2 小波核机器的构建
• 3.4 对比实验
• 3.4.1 数据预处理
• 3.4.2 参数选择
• 3.4.3 预测结果
• 3.4.4 几种小波核与常规核的性能对比
• 3.5 小结
• 第4章 模糊小波核机器方法及参数优化研究
• 4.1 理论基础
• 4.1.1 多分辨分析
• 4.1.2 尺度函数与小波函数
• 4.1.3 模糊特征与结果处理
• 4.1.4 模糊度量与模糊聚类方法
• 4.2 关于一致逼近性的证明
• 4.3 模糊小波支持向量核机器方法
• 4.3.1 小波核函数方法
• 4.3.2 模糊小波支持向量核机器方法
• 4.3.3 多参数同步优化策略
• 4.4 模糊小波方法与电网负荷预测研究
• 4.4.1 数据预处理
• 4.4.2 参数选择分析
• 4.4.3 对比实验与结果分析
• 4.5 小结
• 第5章 交通流量实时预测研究
• 5.1 交通流量的特征分析
• 5.2 数据来源与预处理
• 5.3 核机器的选择与构建
• 5.4 对比实验
• 5.4.1 特征量提取
• 5.4.2 正常上班日流量预测情况
• 5.4.3 双休日流量预测
• 5.5 几种核函数的性能对比分析
• 5.6 小结
• 第6章 结论与展望
• 6.1 主要结论
• 6.2 后续工作的展望
• 致谢
• 参考文献
• 攻读博士学位期间的论文及科研情况