神经网络集成中多样性问题的研究

论文摘要

提高神经网络的泛化能力是神经网络设计与实现的基本问题之一。人们在利用神经网络解决分类和回归问题时，通常采取具体问题具体分析的方式，通过大量费力耗时的实验摸索，确定出合适的神经网络模型、算法以及参数设置。如何避开网络的参数配置问题，从另一个角度来提高神经网络的泛化能力，具有显著的意义。集成学习，为上述问题的解决提供了一个可行的方案。使用这种方法，可以通过训练多个神经网络并将其结果进行集成，来提高学习系统的泛化能力。本文的主要工作如下：(1)从神经网络敏感性的角度来研究集成学习。当前，大多数的集成学习是通过扰动数据集和调整神经网络的结构来获得个体网络之间的差异，从而集成网络。我们以集成中个体网络输出敏感性的差异为基础，提出了三种测量差异度的尺度和基于此的四种测量方法来选择个体网络，构造集成。实验表明基于敏感性的集成可以保持甚至提高集成的泛化能力同时降低集成中需要的个体网络的个数。(2)从概率的角度来研究集成学习中个体网络的多样性与集成准确率的关系。我们提出了一种基于错误层次的多样性尺度并与十种已知的尺度做了比较。实验表明集成中个体的多样性与集成的准确率之间并非简单的线性关系，当前该领域的研究工作仍有很多的不足，对此我们给出了分析和解释，并对今后的工作重点和方向给出了我们的看法。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.3 本文的主要工作
• 1.4 本文的组织
• 第二章 基于神经网络敏感性的集成学习
• 2.1 研究现状
• 2.1.1 理论方面
• 2.1.2 实现方面
• 2.2 MLP模型和敏感性定义
• 2.2.1 MLP模型和符号定义
• 2.2.2 敏感性定义
• 2.3 MLP的敏感性与个体多样性
• 2.3.1 MLP敏感性解释
• 2.3.2 个体多样性的测量尺度与方法
• 2.4 实验对比
• 2.4.1 实验数据
• 2.4.2 实验方法
• 2.4.3 实验结果
• 2.5 小结
• 第三章 基于错误层次的多样性尺度
• 3.1 研究现状
• 3.1.1 分类与回归问题中的多样性分析
• 3.1.2 分类问题中的多样性尺度
• 3.2 基于错误层次的多样性尺度
• 3.2.1 基于概率的理论分析
• 3.2.2 错误层次的多样性尺度
• 3.3 实验对比
• 3.3.1 实验的数据集
• 3.3.2 实验方法
• 3.3.3 实验结果
• 3.4 小结
• 第四章 总结与展望
• 4.1 本文的总结
• 4.2 今后工作的展望
• 致谢
• 参考文献
• 附录 A
• A.1 第2.1.2节中的adaboost算法实现
• A.2 第2.1.2节中的bagging算法实现
• A.3 第2.3.2节中四种测量性方法
• A.4 第3.1.2节中十种多样性尺度和错误层次的多样性尺度