广义同余神经网络研究

论文摘要

在过去的二十年,神经网络理论研究取得了很大的进展,在各领域的应用也取得了丰硕的成果。作为神经网络的经典模型,BP网络也得到了快速的发展,同时,也存在着收敛速度缓慢、难以用数字硬件实现等问题。随着研究的深入,人们对神经网络实时性、规模性的要求越来越高,解决这些问题也就显得更加迫切。 有关广义同余神经网络(GCNN)的初步研究表明,相对于普通BP网络,GCNN具有很快的收敛速度。但是,GCNN也存在着一些不足,主要包括:学习能力略差,激励函数模值不易设定,难以开发出合适的学习算法,缺乏严格的理论基础。 本文针对GCNN的上述问题进行了研究,包括提出新的网络结构、学习算法、进行相关理论分析以及实际应用分析。本文的研究成果主要有: 1) 提出了一种改进的广义同余激励函数。同时,对GCNN网络结构做了一些改进,解决了模值难以设定的问题。并证明了,单隐层的GCNN具有一致逼近能力。 2) 提出了两种新的学习算法:改进的GCNN BP学习算法及Large Margin学习算法。分析了改进GCNN BP算法的时间复杂度,并证明了其收敛性。实验结果表明,本文所提出的网络结构及学习算法是有效的,GCNN比普通BP网络及其部分变体具有更快的学习速度和较好的逼近、分类精度。 3) 分析了GCNN快速收敛的原因。理论分析及实验结果表明,GCNN实质上是通过在误差函数空间中增加误差函数的极值点数目而实现快速收敛的。 4) 将GCNN成功应用到垃圾邮件过滤中。实验结果表明,GCNN的过滤性能好于其它几种机器学习技术,也优于普通BP网络,且所需学习时间也少于BP网络。

论文目录

• 摘要
• Abstract
• 目录
• 符号说明
• 第1章 绪论
• 1.1 神经网络的产生与发展
• 1.2 神经网络的概念
• 1.3 神经网络研究的重要性
• 1.4 BP网络的一些问题
• 1.5 本文的工作
• 第2章 改进的广义同余神经网络（GCNN）
• 2.1 激励函数国际研究现状
• 2.2 改进的广义同余神经网络
• 2.2.1 广义同余神经元
• 2.2.2 改进的广义同余函数
• 2.2.3 网络结构
• 2.3 GCNN的一致逼近能力
• 第3章 GCNN学习算法
• 3.1 GCNN已有学习算法简介
• 3.2 两种新的学习算法
• 3.2.1 改进的GCNNBP学习算法
• 3.2.2 LargeMargin学习算法
• 3.3 改进的GCNNBP学习算法分析
• 3.3.1 时间复杂度分析
• 3.3.2 收敛性分析
• 3.3.3 快速收敛分析
• 第4章 实验测试
• 4.1 异或问题
• 4.2 N位奇偶校验问题
• 4.3 双螺旋问题
• 4.4 函数逼近问题
• 4.4.1 一元函数逼近
• 4.4.2 二元函数逼近
• 第5章 基于GCNN的邮件过滤
• 5.1 邮件过滤问题简介
• 5.2 邮件过滤国际研究现状
• 5.3 邮件过滤系统设计
• 5.3.1 预处理
• 5.3.2 过滤器
• 5.4 实验结果及分析
• 5.4.1 语料
• 5.4.2 性能评价
• 5.4.3 实验结果
• 5.5 总结与展望
• 第6章 结束语
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文与科研项目