遗传算法在BP神经网络结构优化中的应用研究

论文摘要

遗传算法有全局优化性能、通用性强、适合于并行处理等优点,人工神经网络在函数逼近、模式识别以及数据压缩等领域有着非常广泛的应用,但选择合适的隐含层节点数目、初始的权值和阈值比较困难。神经网络的研究与遗传算法结合是近年来研究的热点,本课题以遗传算法优化BP神经网络结构为研究对象,主要利用遗传算法的全局搜索性能对BP神经网络结构进行优化。首先,针对遗传算法随机产生的初始种群在解空间上分布不均衡性,提出了等距采样的初始种群产生方式,这样产生初始种群分布比较均匀,在搜索过程中,最优个体很容易被搜索到,加快了收敛速度且不易陷入局部最优。其次,适应度函数是遗传算法中判断染色个体优劣的唯一标准,在进化后期阶段保持群体多样性比较困难,本文采用了一种新的适应度函数定标方式,充分利用当代种群的最佳适应度、平均适应度以及遗传进化代数来动态定标适应度函数,目的是为了在进化前期限制竞争,进化后期鼓励竞争。再次,对遗传算子进行了深入的理论研究之后,提出了相应的改进办法,用分组的轮盘赌选择方式,采取自适应的交叉和变异概率,防止个别适应度高的染色个体迅速取代其它的染色个体,即防止群体过早地局部收敛,另外,利用遗传算法中的当前最优个体与全局最优个体“差别”最小的特性,增加了最优个体平移算子,使最优个体逐渐逼近最优解,并利用经典的遗传测试函数对改进遗传算法的性能进行了测试。最后,为了统一BP网络初始权值和阈值标准,提出了一种最大上限隐含层节点数目的BP网络模型,最终优化得到的网络是最初BP网络的子网络,在MATLAB环境下实现了本文提出的改进遗传算法对BP网络结构优化的仿真实验,并与其它改进的算法比较,证明了改进的遗传算法不仅能充分发挥BP网络泛化的映射能力,而且使BP网络具有更强的学习能力、更高的收敛速度和效率,优化后的神经网络结构更加合理,分类与逼近的精度更高。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 遗传算法的研究历史与发展现状
• 1.2.1 遗传算法的研究历史
• 1.2.2 遗传算法的发展现状
• 1.3 神经网络的发展历史与研究现状
• 1.3.1 神经网络的研究历史
• 1.3.2 神经网络的发展现状
• 1.4 选题的目的及意义
• 1.5 本文研究的主要工作及章节安排
• 1.5.1 本文研究主要工作
• 1.5.2 本文的章节安排
• 第二章 遗传算法的理论基础
• 2.1 标准遗传算法的形式化定义
• 2.2 标准遗传算法解决问题的关键步骤
• 2.3 标准遗传算法解决问题的实施过程
• 2.4 标准遗传算法的关键要素与具体实现
• 2.4.1 问题的表示和遗传算法的编码
• 2.4.2 个体适应度函数
• 2.4.3 遗传算子
• 2.4.4 遗传算法主要控制参数
• 2.5 模式定理与积木块假设
• 2.5.1 模式定理的基本概念
• 2.5.2 模式定理
• 2.5.3 积木块假设
• 2.6 欺骗问题与隐并行性原理
• 2.6.1 遗传算法欺骗问题
• 2.6.2 隐并行性原理
• 2.7 遗传算法收敛性分析
• 第三章 遗传算法的研究及其改进
• 3.1 标准遗传算法的不足
• 3.1.1 标准遗传算法采用单一的二进制编码
• 3.1.2 标准遗传算法随机产生初始种群
• 3.1.3 标准遗传算法采用简单的遗传操作算子
• 3.2 初始种群的产生与编码的分析与改进
• 3.2.1 初始种群的产生与编码的分析
• 3.2.2 初始种群产生方式的改进
• 3.3 适应度函数的分析与改进
• 3.3.1 适应度函数的分析
• 3.3.2 适应度函数定标的改进
• 3.4 遗传算子的分析与改进
• 3.4.1 遗传选择算子的分析与改进
• 3.4.2 遗传交叉算子的分析与改进
• 3.4.3 遗传变异算子的分析与改进
• 3.5 控制参数的确定
• 3.6 遗传最优个体平移算子
• 3.7 遗传算法性能测试
• 3.7.1 性能测试函数的选择
• 3.7.2 其它一些改进的遗传算法
• 3.7.3 性能函数优化的仿真
• 第四章 遗传算法优化BP网络的实现
• 4.1 人工神经网络模型
• 4.1.1 生物神经元
• 4.1.2 人工神经网络的基本模型
• 4.1.3 BP网络学习算法
• 4.2 BP网络的训练步骤
• 4.3 BP网络隐含层节点数目的估计
• 4.4 改进遗传算法优化BP网络的基本框架
• 4.5 编码与初始种群的产生
• 4.6 适应度函数
• 4.7 遗传选择与交叉操作
• 4.8 遗传变异操作
• 4.9 最优个体的平移
• 第五章 改进的遗传算法在优化BP网络结构中的应用及其MATLAB实现
• 5.1 BP网络语音信号特征分类
• 5.1.1 隐层节点数目与网络初始权值和阈值的优化
• 5.1.2 分类结果正确率比较
• 5.2 BP网络非线性函数的拟合
• 5.2.1 隐层节点数目与网络初始权值和阈值的优化
• 5.2.2 函数逼近正确率比较
• 第六章 结论与展望
• 致谢
• 参考文献
• 附录 攻读硕士学位期间完成的主要论文和工作