基于Kernel的机器学习在建模与分类问题的应用研究

论文摘要

支撑向量机（Support Vector Machines,简称SVM）的成功引起了人们对核函数方法的兴趣。核函数方法的思想是,通过某种非线性映射将输入空间变换到一个高维特征空间,如果在其中应用标准的线性算法时,其分量间仅存在内积运算,则可以利用核函数替代内积,将这种算法转换为原输入空间里的非线性算法。论文以工业二甲苯（Para-Xylene,简称PX）氧化过程中间产物4—羧基苯甲醛（4-Carboxy-benzaldchydc,简称4-CBA）浓度预测、田纳西—伊斯曼过程（Tennessee-Eastman Process,TE过程）故障检测、人脸识别等问题为背景,利用核函数学习方法,从观测数据出发寻找规律,进行预测、故障检测、分类等方面的研究。论文的主要工作可以概括如下几个方面: （1）提出一种新的网格聚类算法——关联网格聚类算法。关联网格聚类算法在数据空间反复划分网格和移动网格,得到的每个网格在数据空间都构成一个超方体,位于同一个超方体中的所有样本形成一个事务。然后用Apriori算法寻找频繁项,将具有共同样本的频繁项划归为一类。关联网格算法可以克服固定网格算法割裂数据间的相似性的缺点。试验结果表明,该算法对被噪声污染的、任意形状的、类间边界模糊的数据集具有良好的聚类效果。 （2）提出一种建立和调整模糊模型的新方法。通过在高维特征空间F中进行基向量的消减或添加,来控制模糊规则的数量。首先采用模糊C均值聚类算法（FCM）粗略划分数据空间,将聚类中心作为初始基向量集,判断基向量是否冗余,并将冗余的基向量剔除。然后计算训练样本由基向量近似表示时的误差,将误差最大的样本添加到基向量集,这个过程反复进行,直到所有样本的误差都小于给定值。最后由基向量确定模糊规则的相关参数,并采用最小二乘法建立模糊模型。Iris数据集分类和混沌模型时间序列预测实验,验证了本文方法的有效性。 （3）提出一种核Fisher判别分析(Kernel Fisher Discriminant Analysis,简称

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 机器学习概述
• 1.1.1 机器学习发展概述
• 1.1.2 研究的主要问题
• 1.2 机器学习的理论背景--统计学习理论
• 1.2.1 经验风险最小化原则
• 1.2.2 VC维与结构风险最小化原则
• 1.3 基于核函数的学习算法
• 1.3.1 主要核学习算法分析
• 1.3.1.1 监督学习
• 1.3.1.2 非监督学习
• 1.3.2 基于核的学习算法的应用研究
• 1.4 本文主要工作
• 1.4.1 研究背景及意义
• 1.4.2 主要内容和结构安排
• 第二章 关联网格聚类算法
• 2.1 前言
• 2.2 数据格式的转换
• 2.2.1 基本概念
• 2.2.2 样本集与基本概念的对应关系
• 2.3 聚类算法
• 2.3.1 数据空间分割
• 2.3.2 关联网格聚类算法
• 2.4 实验
• 2.4.1 聚类
• 2.4.1.1 人工数据集
• 2.4.1.2 Iris数据集
• 2.4.2 关联网格的去噪作用
• 2.5 结论
• 第三章 基于 Kernel的模糊模型构建与调整
• 3.1 前言
• 3.2 模糊系统简介
• 3.3 模糊模型的构建与调整
• 3.3.1 基于 Mercer核的模糊系统
• 3.3.2 消减与增加模糊规则的判别方法
• 3.3.2.1 消减模糊规则的判别方法
• 3.3.2.2 增加模糊规则的判别方法
• 3.3.3 模糊模型构建和调整过程
• 3.4 实验
• 3.4.1 实例说明
• 3.4.2 Iris分类问题
• 3.4.3 时间序列预测
• 3.5 结论
• 第四章 核 Fisher判别分析的两阶段实现方法
• 4.1 前言
• 4.2 FLDA和 KFDA的机理分析
• 4.2.1 Fisher线性判别分析
• 4.2.2 核函数 Fisher鉴别
• 4.3 两阶段实现方法
• 4.3.1 构造非线性映射
• 4.3.2 NM-FDA的实现过程
• 4.4 实验
• 4.4.1 实验一
• 4.4.2 实验二
• 4.4.3 实验三
• 4.5 结论
• 第五章 基于样本子集的 KPCA在故障检测中的应用
• 5.1 前言
• 5.2 子集样本的提取方法
• 5.3 核主元分析
• 5.4 SUB-KPCA故障检测
• 5.4.1 统计控制指标
• 5.4.2 统计控制限
• 5.4.3 SUB-KPCA故障检测过程
• 5.5 实验
• 5.5.1 TE过程
• 5.5.2 TE过程的故障诊断
• 5.5.2.1 仿真数据的生成
• 5.5.2.2 结果分析
• 5.6 结论
• 第六章 基于核主角的故障检测方法
• 6.1 前言
• 6.2 特征子空间
• 6.2.1 基向量选取原理
• 6.2.2 基向量选取算法
• 6.3 核主角
• 6.4 基于核主角的故障检测
• 6.5 实验
• 6.6 结论
• 第七章 动态加权最小二乘支持向量机
• 7.1 前言
• 7.2 最小二乘支持向量机
• 7.3 动态加权 LS-SVM
• 7.3.1 加权 LS-SVM
• 7.3.2 动态 LS-SVM
• 7.3.2.1 增加样本
• 7.3.2.2 消减样本
• 7.3.3 动态加权 LS-SVM算法
• 7.4 实验
• 7.4.1 Mackey-Glass时间序列预测
• 7.4.2 PTA氧化过程中4-CBA含量预测
• 7.5 结论
• 第八章 结论与展望
• 8.1 论文内容总结
• 8.2 展望
• 参考文献
• 附录
• 致谢