树型混合学习模型及其应用研究

论文摘要

近年来,同时具有符号模型（如决策树）的可理解性及非符号模型（如神经网络）可在线学习的混合学习模型逐渐成为模式识别与理解领域的一个热门课题,它在生物医学、信息安全、故障诊断、面部表情分析等领域均显示了十分诱人的应用前景。本论文基于神经网络树和支撑向量机树,系统地研究了基于分而治之思想的树型混合学习模型的理论方法及应用,内容包括:1.针对连续特征输入情况提出一种基于特征自组织学习的神经网络树模型。在二值输入情况下,尽管每个专家神经网络的输入特征数很小,对连续特征问题的学习结果仍是难以解释的。为此,提出了一种基于特征自组织学习的神经网络树,并以UCI机器学习数据库中含连续特征的样本集为例验证模型的性能,实验结果表明提出的模型能够在保持识别精确率和不增加模型结构复杂度的同时,降低学习结果解释的空间复杂度。2.将基于特征自组织学习的神经网络树应用到入侵检测问题中。构建在KDD据库上的基于特征自组织学习的神经网络树模型获得了令人满意的训练和测试识别精确率,并从模型的学习结果中了解到对检测结果具有决定性影响的特征的信息。3.提出了一种基于混淆交叉的支撑向量机树学习模型（CSVMT）。首先针对复杂模式二分类问题,结合树型结构分而治之的思想,以混淆交叉因子控制相邻子节点间样例的交叉,构建二分类CSVMT模型;针对多分类问题,以启发式的方法产生教师信号,将二分类CSVMT扩展为多分类CSVMT。以双螺旋复杂二分类问题和UCI机器学习库中的多分类数据集作为仿真数据验证CSVMT模型的性能,结果说明CSVMT具有优良的泛化性能和较高的测试识别精确率。4.提出了基于有监督局部线性嵌入的支撑向量机树模型（SLLE-CSVMT）。为了解决高维特征空间中,每个中间节点学习结果可能包含冗余信息的问题,充分运用数据的类别信息,以及数据点之间的和各特征维之间的相互关系,本文分别采用两种训练方法实现基于有监督局部线性嵌入的支撑向量机树模型的构建。最后以UCI机器学习数据库中的optdigits样本集为例验证和分析了模型的结构和分类性能,实验表明SLLE-CSVMT学习方法能够在远低于原始特征维数的嵌入坐标空间中构建结构精简、识别性能优良的模型。5.针对SLLE-CSVMT模型对测试样本有较高的计算量和存储量要求的情况,提

论文目录

• 摘要
• Abstract
• 图索引
• 表索引
• 第一章 绪论
• 1.1 课题研究的背景与意义
• 1.2 国内外研究现状
• 1.3 本文的研究内容与组织结构
• 第二章 基于连续特征自组织学习的神经网络树设计研究
• 2.1 引言
• 2.2 神经网络树模型
• 2.2.1 决策树的构建
• 2.2.2 神经网络树的结构
• 2.3 基于连续特征自组织学习的神经网络树设计
• 2.3.1 连续特征自组织学习
• 2.3.2 基于特征自组织学习的神经网络树构建
• 2.3.3 实验结果与分析
• 2.4 SFL-NNT 在入侵检测中的应用
• 2.4.1 入侵检测模型和方法概述
• 2.4.2 基于SFL-NNT 的入侵检测应用
• 2.5 本章小结
• 第三章 基于混淆交叉的支撑向量机树设计研究
• 3.1 引言
• 3.2 支撑向量机模型
• 3.2.1 支撑向量机原理
• 3.2.2 多分类支撑向量机
• 3.3 基于混淆交叉的支撑向量机树模型（CSVMT）设计
• 3.3.1 支撑向量机树模型结构
• 3.3.2 混淆交叉
• 3.3.3 基于混淆交叉的支撑向量机树模型学习算法
• 3.4 实验结果与分析
• 3.5 本章小结
• 第四章 基于有监督局部线性嵌入的支撑向量机树设计研究
• 4.1 引言
• 4.2 局部线性嵌入
• 4.2.1 LLE 算法
• 4.2.2 LLE 参数优化
• 4.2.3 有监督局部线性嵌入算法
• 4.3 基于SLLE 的CSVMT 模型设计
• 4.3.1 基于全局SLLE 特征学习的CSVMT 模型设计
• 4.3.2 基于当前中间节点SLLE 特征学习的CSVMT 模型设计
• 4.4 实验结果与分析
• 4.5 本章小结
• 第五章 基于边界敏感度特征选择的支撑向量机树设计研究
• 5.1 引言
• 5.2 特征选择
• 5.2.1 特征选择与分类学习算法
• 5.2.2 基于最大输出信息的特征选择方法
• 5.2.3 基于分类边界敏感度的特征选择方法
• 5.3 基于特征选择的支撑向量机模型（FS-CSVMT）构建
• 5.4 实验结果与分析
• 5.5 本章小结
• 第六章 基于混淆交叉支撑向量机树的面部表情自动识别应用研究
• 6.1 引言
• 6.2 面部表情数据预处理
• 6.3 特征抽取
• 6.4 基于支撑向量机树学习模型的面部表情自动识别应用
• 6.4.1 CSVMT 在面部表情自动识别中的应用结果与分析
• 6.4.2 SLLE-CSVMT和FS-CSVMT模型在面部表情识别中的应用结果与分析
• 6.5 本章小结
• 第七章 总结与展望
• 7.1 本文的主要研究成果
• 7.2 课题研究展望
• 致谢
• 参考文献
• 缩略词
• 作者在攻读博士学位期间公开发表的论文
• 作者在攻读博士期间参加的科研项目