局部泛化误差模型的改进及其在特征选择中的应用

论文摘要

网络的泛化误差是描述网络能否对未知样例进行正确分类的一个指标。网络敏感性是度量网络输入及其参数的扰动对网络输出产生影响的指标。这两个指标在指导网络设计、增强网络鲁棒性、度量网络性能等方面都有重要的作用。因此,结合神经网络敏感性和泛化误差进行研究是神经网络研究的热点之一。本文首先介绍了Wing W.Y.Ng的局部泛化误差模型（L-GEM）,并指出了Wing W.Y.Ng在L-GEM的理论推导中及Wing W.Y Ng将该模型应用到特征选择时的不足之处。本文利用基于范数的思想,重新推导了该模型（NL-GEM）,并结合实际应用的需要,进一步简化了该模型（L-GEM-WA）。我们也将该模型应用到了特征选择当中。在此基础上我们提出了一种三阶段法来处理日益严重的“维数爆炸”的问题。实验表明,在尽可能不降低网络的测试精度的前提下,本文提出的L-GEM-WA模型及处理高维问题的三阶段法在特征选择中的应用非常实用有效。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究工作的来源与意义
• 1.2 课题的发展现状
• 1.3 本文的主要内容
• 第二章 预备知识
• 2.1 径向基函数神经网络（RBFNN）
• 2.3 特征选择
• 第三章 局部泛化误差模型
• 3.1 训练样例的Q-邻域
• 3.2 局部泛化误差模型（L-GEM）
• 3.3 局部泛化误差模型在特征选择中的应用
• 3.4 局部泛化误差模型本身及其在特征选择应用当中的缺点
• 第四章 改进的局部泛化误差模型及其在特征选择中的应用
• 4.1 基于范数的局部泛化误差模型（NL-GEM）
• 4.2 基于NL-GEM的特征选择算法
• 4.3 基于加权平均的局部泛化误差模型（L-GEM-WA）
• 第五章 针对高维数据的组合式特征选择算法—三阶段法
• 5.1 ReliefF法
• 5.2 主特征分析（PFA）法
• 5.3 Wrapper法
• 5.4 三阶段法
• 5.5 实验
• 第六章 结论与展望
• 参考文献
• 攻读硕士学位期间科研工作情况
• 致谢