基于先验信息编码的约束学习算法研究

论文摘要

由于仅考虑希望的输入／输出信息而没有考虑网络的结构属性和所要解决问题的先验信息或约束条件，传统的基于梯度下降的反向传播算法及其诸多改进的算法都无法避免收敛速度慢、泛化性能差等缺陷。因此，将问题中所蕴涵的先验信息编码进学习算法的研究无疑是一个具有重要意义的研究方向，它能够使网络的训练有方向可循，而不会误入“歧途”，从而节省网络的学习时间并能提高网络的泛化能力。本文主要针对基于先验信息编码的约束学习算法这一主题来开展理论与应用研究，主要工作可以概括为以下几个方面： 1．提出了一类改进的耦合附加函数约束的学习算法，该类算法通过隐单元和输出单元激活函数的一阶或二阶微分信息构造附加的函数约束，并将它们耦合到算法的附加能量函数中去。该类算法能够同时降低输入输出映射灵敏度和惩罚训练中产生的连接权的高频分量，从而使该类算法提高网络的泛化性能和收敛速度。此外，本文还深入研究了隐层单元的附加约束和输出层单元的附加约束的不同组合、隐单元数目和算法中自由参数对网络泛化性能的影响。特别地，本文提出了将放大的梯度函数运用到以上约束算法中，使得算法收敛更快并能增大跳出局部极小点的可能性。最后将这些新算法用于解决时间序列预测问题，取得了较好的效果。 2．为了提高函数逼近精度和收敛速度，提出了三个约束学习算法。这三个逼近算法将从函数逼近问题中提取的先验知识耦合进约束算法中。先验信息耦合进算法中是通过两种方式来实现的，其一是以结构约束的方式来实现的，也就是根据泰勒定理可以将网络的输出表示成多项式的形式；其二是以连接权约束的形式来实现的，即根据微分中值定理求出函数一阶二阶导数近似估计值，再将导数信息表示成权值函数约束并耦合进网络的能量函数中去。与传统的前馈网络逼近算法相比，这三个算法具有收敛快、逼近误差小的特点。 3．根据早期非小细胞肺癌预后预测问题的特点，提出了极端学习机和主分量分析相结合的预测模型。由于充分利用了极端学习机和主分量分析的特点，该模型预测精度高、速度快，取得了传统医学方法无法比拟的效果。

论文目录

• 摘要
• ABSTRACT
• 插图目录
• 表格目录
• 第一章 绪论
• 1.1 引言
• 1.2 前馈神经网络概述
• 1.2.1 神经网络的发展史
• 1.2.2 前馈神经网络及BP算法
• 1.2.3 BP算法存在的不足及其改进方法
• 1.3 前馈神经网络的学习算法的研究现状
• 1.4 本文的内容安排
• 1.5 本文主要创新点
• 参考文献
• 第二章 耦合附加函数约束的学习算法研究
• 2.1 引言
• 2.2 只考虑降低输入输出灵敏度的算法（Hybrid-Ⅰ算法）
• 2.2.1 输入输出灵敏度
• 2.2.2 Hybrid-Ⅰ算法
• 2.3 只考虑惩罚高频分量的算法（Hybrid-Ⅱ算法）
• 2.4 改进的约束算法
• 2.4.1 两个改进的约束算法
• 2.4.2 两个改进的约束算法的理论分析
• 2.4.3 实验结果
• 2.4.4 几种其它情况
• 2.5 放大梯度函数的约束算法
• 2.6 小结
• 参考文献
• 第三章 耦合导数信息的函数逼近算法研究
• 3.1 引言
• 3.2 函数逼近问题中的两类先验信息
• 3.2.1 从函数逼近问题中提取的结构约束
• 3.2.2 从函数逼近问题中提取的连接权约束
• 3.3 耦合函数导数信息的函数逼近约束算法
• 3.3.1 耦合函数一阶导数信息的函数逼近约束算法（FDCLA）
• 3.3.2 耦合函数二阶导数信息的函数逼近约束算法（SDCLA）
• 3.3.3 耦合函数一阶二阶导数信息的函数逼近约束算法（FSDCLA）
• 3.3.4 三种新算法的理论分析
• 3.3.5 实验结果
• 3.4 小结
• 参考文献
• 第四章 编码极端学习机的研究
• 4.1 引言
• 4.2 极端学习机（ELM）
• 4.2.1 极端学习机
• 4.2.2 基于极端学习机与PCA的早期非小细胞肺癌个体化预后预测
• 4.3 多项式极端学习机
• 4.4 正余弦极端学习机
• 4.4.1 逼近周期为2π的函数
• 4.4.2 逼近周期为2l的函数
• 4.5 实验结果
• 2-0.4（40x/π）³）e^-x/2'>4.5.1 逼近周期函数y=（1-（40x/π）+2（40x/π）²-0.4（40x/π）³）e^-x/2
• 4.5.2 逼近两个偶周期函数
• 4.5.3 逼近两个奇周期函数
• 4.6 小结
• 参考文献
• 第五章 基于粒子群优化与先验知识的前馈网络学习算法研究
• 5.1 引言
• 5.2 粒子群优化
• 5.3 两个基于APSO和先验知识的函数逼近算法
• 5.3.1 基于先验知识的APSO的函数逼近算法
• 5.3.2 基于APSO和耦合先验知识的约束算法的函数逼近算法
• 5.4 实验结果
• 5.5 小结
• 参考文献
• 总结与展望
• 1 主要工作与创新
• 2 进一步的研究展望
• 附录
• 攻读博士学位期间发表论文、参加科研项目和获奖情况
• 致谢