多层感知器神经网络的局部泛化误差模型

论文摘要

多层感知器神经网络在模式识别、函数逼近、风险预测和控制等领域中有广泛的应用,泛化能力是评价多层感知器神经网络训练成功的重要标准。多层感知器神经网络从训练样本提取“知识”,实现从输入空间到输出空间的映射,最后用训练过的多层感知器神经网络分类器对新到来的未知样本进行有效的分类。现有的评价多层感知器神经网络泛化能力的方法主要有两类:解析模型和交叉验证方法。解析模型提供了一种数学的方法来评价多层感知器神经网络的泛化能力,而交叉验证方法是一种实验性方法来评价多层感知器神经网络泛化能力。这些方法有以下缺点:不能区分有相同隐藏层神经元数而权值不同的网络的泛化能力、忽略了未知样本和训练样本之间存在多大差异、对大的数据集时间复杂度比较高。在实际应用中,对于一个特定的分类问题,期望训练的多层感知神经网络分类器能够正确识别与训练样本相差很大的未知样本是不合理的。这是本文研究多层感知器神经网络局部泛化误差模型的动机所在。局部泛化误差模型利用与训练样本“相似”的未知样本来确定训练网络泛化误差上界。未知样本与训练样本是“相似”的,如果这个未知样本特征值与训练样本的特征值的差异小于给定的实数值Q。局部泛化误差模型包括训练集误差,随机敏感度测量和给定训练集常数。在局部泛化误差模型中,训练误差和随机敏感度测量之间达到最好的折中时有最小化的局部泛化误差。在本文中,用局部泛化误差模型对多层感知器神经网络进行结构选择。即对于给定的分类问题,选择的隐藏层神经元数的多层感知器神经网络具有最好的泛化能力。用15个UCI数据集实验仿真,实验结果表明用局部泛化误差模型进行多层感知器神经网络结构选择的方法结果好于其他现有的几种方法。最后多层感知器神经网络的局部泛化误差模型应用到图像标注问题中,实验结果表明该方法有很好的应用前景。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 本课题研究的目的及意义
• 1.3 国内外研究历史和现状
• 1.3.1 多层感知器神经网络的历史与研究现状
• 1.3.2 泛化误差模型的研究现状
• 1.4 本课题特色与创新之处
• 1.5 课题主要研究内容和本文结构
• 第2章 MLPNN 的原理、参数选择与泛化能力
• 2.1 MLPNN 的基本原理
• 2.1.1 MLPNN 的设计思想
• 2.1.2 MLPNN 结构
• 2.1.3 MLPNN 的特点和优点
• 2.1.4 BP 算法的数学原理
• 2.1.5 BP 算法步骤
• 2.2 MLPNN 结构与训练参数的选取
• 2.2.1 输入、输出层节点选定及数据的预处理
• 2.2.2 MLPNN 结构的确定
• 2.2.3 训练样本的选取
• 2.2.4 训练参数的选取
• 2.2.5 训练MLPNN
• 2.2.6 合理MLPNN 模型的确定
• 2.3 MLPNN 的泛化能力
• 2.3.1 MLPNN 泛化能力的提出
• 2.3.2 MLPNN 泛化能力的数学根源
• 2.3.3 MLPNN 泛化能力的逻辑根源
• 2.4 本章小结
• 第3章 基于局部泛化误差模型的MLPNN 结构选择方法
• 3.1 引言
• 3.2 Q 邻域与Q 联合
• 3.3 局部泛化误差模型
• 3.4 MLPNN 的随机敏感度测量
• 3.5 MLPNN 的结构选择
• 3.5.1 MLPNN 的结构选择的研究现状
• 3.5.2 Q 值的意义
• 3.5.3 用RSM*对MLPNN 进行架构选择
• 3.6 本章小结
• 第4章 实验结果分析
• 4.1 引言
• 4.2 实验环境
• 4.3 UCI 标准数据库实验
• 4.3.1 实验建立
• 4.3.2 实验结果分析
• 4.4 图像标注实验
• 4.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢