基于敏感性理论的Madaline网络学习算法研究

论文摘要

基于“敏感性理论”的MADALINE网络学习算法，是一种针对MADALINE网络(一种离散型的二值前向网络)的有监督的学习算法。目前，对于二值前向网络，还没有一种很好的训练学习算法。本文以“最小扰动”原则作为算法设计思想，从“MADALINE敏感性”的角度来寻找体现、贯彻这种思想的方法和途径，并成功地设计出了一种“基于敏感性理论的MADALINE学习算法”。另外，文中也以一定的篇幅分析了新算法的失败模式——“局部震荡”现象，并进一步阐述了跳出“局部震荡”的思想及其算法实现。最后，通过与MRⅡ的一组对比模拟试验，以及“MONK’S PROBLEM”的模拟试验，验证并展示了新算法的良好的学习性能和泛化性能，并分析和揭示了新算法所体现出来的其它一些良好性能表现，如算法学习性能对隐层结点数目表现出高灵敏度以及算法的泛化性能相对于网络结构呈现出良好的稳定性。可以说，新算法在二值前向网络上比较成功地实现了感知机学习规则的推广。突破了这一业界长期以来未能很好解决的难题。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 人工神经网络概述
• 1.1.1 人工神经网络概念
• 1.1.2 人工神经网络特性
• 1.1.3 人工神经网络发展与现状
• 1.1.4 人工神经网络应用
• 1.2 二值前向网络的研究现状
• 1.2.1 二值前向网络的分类能力
• 1.2.2 二值前向网络的分类行为与稳健性能
• 1.2.3 二值前向网络的训练
• 1.3 本文的研究内容及成果
• 1.4 论文组织结构
• 第2章 MADALINE网络模型、特征及其相关符号约定
• 2.1 MADALINE神经网络模型
• 2.1.1 神经元的数理模型
• 2.1.2 人工神经网络模型
• 2.1.3 MADALNE网络模型
• 2.2 MADALINE网络特征
• 2.2.1 MADALINE网络的样本空间
• 2.2.2 MADALINE网络的分类能力
• 2.2.3 MADALINE网络的性能指标
• 2.3 本文相关符号约定
• 第3章 基于半超球面模型的MADALINES敏感性理论
• 3.1 Hoff提出的近似超球面概念
• 3.2 权值扰动下的ADALINE的敏感性
• 3.3 输入扰动下ADALINE的敏感性
• 3.4 在权值扰动和输入错误情况下ADALINE敏感性计算
• 3.5 MADALINE敏感性计算
• 第4章 MRII学习算法
• 4.1 最小扰动原则
• 4.2 MRII学习规则
• 4.3 MRII实现细则
• 4.4 MRII性能分析
• 4.4.1 MRII的性能优势
• 4.4.2 MRII的不足
• 第5章 基于"敏感性理论"的MADALINE学习算法
• 5.1 敏感性概念及其计算
• 5.1.1 结点敏感性和网络敏感性的内涵
• 5.1.2 结点敏感性的计算
• 5.1.3 MADALINE网络敏感性的计算
• 5.2 算法设计的基本思想
• 5.3 学习规则设计
• 5.4 算法设计细则
• 5.4.1 学习顺序
• 5.4.2 结点接受学习的准则
• 第6章 新学习算法验证实验
• 6.1 度量学习算法的性能指标
• 6.2 "AND/XOR"问题
• 6.3 The MONK's Problem
• 6.4 新学习算法与MRⅡ的一组对比实验
• 6.4.1 "图像边际检测"问题
• 6.4.2 模拟一16input-3-3已知网络
• 6.5 学习算法的性能特点
• 第7章 新学习算法的失败模式及其改善算法
• 7.1 学习算法的失败模式——"局部震荡"
• 7.2 让网络跳出"局部振荡"局面的基本思想
• 7.3 施加权扰动算法的实施细则
• 7.3.1 扰动结点的选取
• 7.3.2 权扰动增量ΔW的选取
• 7.3.3 网络陷入"局部振荡"状态的判定
• 7.3.4 权扰动算法的实现
• 7.4 验证实验
• 7.4.1 "AND/XOR"问题
• 7.4.2 "图像边际检测"问题
• 第8章 总结与展望
• 8.1 本文工作总结
• 8.2 进一步研究与展望
• 参考文献
• 致谢