基于敏感性分析的神经网络结构选择研究

论文摘要

本文讨论了敏感性分析在神经网络结构选择中的应用,在机器学习中,对于神经网络结构的学习是一个研究热点,合理的网络结构有利于提高网络的性能和泛化能力。敏感性分析在神经网络中有着广泛的应用,本文给出了基于敏感性分析的两种指导神经网络拓扑结构构建的方法,第一种方法,将经验误差和网络的敏感性两者的一种非线性组合作为一种新的网络泛化能力评价指标,通过最小化这一非线性组合引导网络构建,从而产生了一种新的结构选择方法。该方法计算简便,比传统的交叉验证的方法大大节省了时间,减小了单纯利用最小化经验误差引导网络构建时容易产生过拟合的风险；第二种方法中,将敏感性引入到神经元对网络分类重要性的考察上,结合临界向量的核心思想,即选择对于分类重要的点作为中心的思想,给出了一种根据敏感性大小来确定径向基神经网络中心的方法。文中通过实验验证了方法的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究工作的来源及意义
• 1.2 本课题的国内外研究现状及分析
• 1.3 本文的主要内容
• 第2章 预备知识
• 2.1 人工神经网络
• 2.1.1 人工神经网络的概念
• 2.1.2 神经网络的拓扑结构
• 2.2 多层感知神经网络
• 2.2.1 多层感知网络的结构
• 2.2.2 多层感知网络的学习过程
• 2.3 径向基神经网络
• 2.3.1 径向基神经网络的拓扑结构
• 2.3.2 径向基神经网络的训练过程
• 2.4 神经网络中的敏感性分析
• 2.4.1 敏感性分析的概念
• 2.4.2 敏感性的计算方式
• 第3章 基于局部泛化误差模型的神经网络结构选择方法
• 3.1 局部泛化误差模型
• 3.1.1 局部泛化误差引入
• 3.1.2 模型建立
• 3.2 核心方法
• 3.3 实验情况
• 2]的计算'>3.3.1 关于E[（Δy）²]的计算
• 3.3.2 实验结果
• 第4章 基于临界向量的RBF神经网络结构选择方法
• 4.1 敏感性大小与临界向量
• 4.2 核心方法
• 4.3 实验情况
• 第5章 结论与展望
• 参考文献
• 攻读硕士学位期间撰写的论文
• 致谢