BP网络泛化能力的增强改进

论文摘要

BP网络的泛化能力是指BP网络经过学习之后，对新的样本的适应能力。由于BP网络固有的训练算法导致网络的泛化能力一直不是很理想。因此如何提高BP网络的泛化特性是一个很值得研究的问题。前人的研究表明，影响BP网络的泛化能力的几个主要因素是：训练样本的数量和质量，网络参数，网络的内部结构。文章从上面三点出发，结合遗传算法，对网络进行改进从而提高泛化能力。具体的，对于给定的多维样本，往往样本的变量之间存在关联，因此可以结合遗传算法的全局搜索能力和渐进式优化特性，不断寻找优化过的变量组合。进而提高网络的泛化能力。，对于另外网络的初始权值和阈值同样利用遗传算法进行操作，当迭代终止时得到的参数值最优，再拿此参数值进行BP网络的训练，进一步提高网络的泛化能力。最后，以BP网络的内部结构调整为思考点。一般而言，网络的输出层和输入层比较固定，隐含层节点的个数一直是一个热点研究问题。文章首先对一组数据进行参数拟合，得到一个BP网络隐含层节点数的拟合公式，以后进行训练时直接按照此公式来计算BP网络的隐含层节点数。但是往往由此计算出的隐含层节点数目会偏高，此时结合SVD分解法对隐含层的输出矩阵进行分解并降维。在允许误差范围内，将那些特征值较小的隐含层节点删除，从而完成隐含层节点数的减少，提高了网络泛化能力。

论文目录

• 摘要
• Abstract
• 目录
• 第1章 绪言
• 1.1 问题的提出
• 1.2 国内外研究现状
• 1.2.1 训练样本集的数量
• 1.2.2 训练样本集的质量
• 1.2.3 网络的参数
• 1.2.4 隐层节点的个数
• 1.3 论文的研究内容
• 1.3.1 本文主要研究内容
• 1.3.2 文章内容安排
• 第2章 基础理论
• 2.1 人工神经网络简介
• 2.2 神经网络理论基础
• 2.2.1 神经元模型构成要素
• 2.2.2 神经元模型数学表示
• 2.2.4 网络结构
• 2.3 BP神经网络原理
• 2.3.1 BP网络概述
• 2.3.2 BP网络算法原理
• 2.3.3 BP网络学习算法
• 2.3.4 BP网络学习的进一步讨论
• 2.4 影响泛化能力的几个因素
• 2.4.1 样本的数量和质量
• 2.4.2 网络的参数值
• 2.4.3 隐层节点的个数
• 2.5 遗传算法
• 2.5.1 遗传算法的基本概念
• 2.5.2 基本遗传算法操作
• 2.5.3 遗传算法的原理及结构表示
• 2.6 本章总结
• 第3章 初始样本的处理
• 3.1 初始样本数量的探究
• 3.2 初始样本质量的处理
• 3.2.1 归一化处理
• 3.2.2 主成分分析法处理
• 3.2.3 遗传算法工具箱介绍下：
• 3.2.4 遗传算法降维思想及流程表
• 3.2.5 实验：2001全国大学生数学建模夏令营 C 题
• 3.2.6 实验结果及分析
• 3.3 本章总结
• 第4章 BP网络参数的改进
• 4.1 权值和阈值对网络泛化能力的影响
• 4.2 优化的思想
• 4.3 实验及结果分析
• 4.4 本章总结
• 第5章 BP网络隐含层节点数目的改进
• 5.1 隐含层对泛化的影响
• 5.2 隐含层节点确定目前的研究
• 5.3 拟合法确定隐含层节点数
• 5.4 SVD理论及应用
• 5.5 实验及结果分析
• 5.6 本章总结
• 第6章 总结
• 参考文献
• 致谢