基于核的增强型联想记忆模型及推广性研究

论文摘要

联想记忆(AM)是人脑极其重要的功能之一,是逻辑思维和形象思维、推理和创新的源泉。因此,试图通过对其某些简单功能的模拟或模仿给当前的机器赋予类似人脑的简单功能,一直是人们追求的目标。经过二十多年的研究,AM神经网络已经发展成为一类重要的人工神经网络,并已被广泛地应用于优化计算、纠错编码、数据压缩和模式识别等领域。本文紧紧围绕AM研究的两个核心─学习算法与体系结构对联想记忆模型展开改进研究。借助机器学习领域中流行的核技巧和现实社会中普遍存在的小世界网络,提出了相应的AM改进模型,并将其应用于人脸识别、手写体识别问题。本文的创造性研究成果主要有:(1)提出了模糊形态学联想记忆(FMAM)模型。FMAM具有与经典联想记忆和模糊联想记忆完全不同的特性。它不仅保持了MAM抗腐蚀/膨胀噪声的优点,而且自联想FMAM具有无限存储容量,能保证完全回忆,且回忆在一步内完成。并且给出了上述特性的定理证明。此外,FMAM还可以模糊性解释。通过与模糊联想记忆(FAM)的比较揭示出在特定条件下,FMAM可视作FAM的一种新的编码方式。(2)借助当前普遍使用的核方法,针对FMAM和MAM对混合噪声极其敏感的缺点进行了改进,提出了基于经验核映射的增强型FMAM(EFMAM)。EFMAM的实质是在不改变原始FMAM结构和编码策略的前提下,借助经验核映射,将原始输入空间中的模式映射到由训练模式张成的相似度空间中,从而达到双重抗噪性(一是由于经验核映射的引入,二是自联想FMAM本身的抗噪性)的目的。因此,它不仅继承了自联想FMAM的良好特性,而且解决了混合噪声问题,拓宽了FMAM的应用领域。实验结果表明,在相同程度的混合噪声下,EFMAM的识别准确率要比自联想FMAM的高得多。(3)针对EFMAM由于网络规模过大可能导致的硬件实现困难进行进一步改进,提出了经济型EFMAM(E2FMAM)。通过定义经验核映射向量的经济化准则,并借助遗传算法优化该准则,使需存储的经验核映射向量的维数得到了大幅度约简,从而缩小了EFMAM的网络规模,方便了硬件实现。虽然只是对原始EFMAM的训练过程添加了如此简单的一步,但是效果显著。不仅节约了存储空间和至少一半的计算时间,而且在不同类型噪声和不同丢块方式下,保持了与未经济化EFMAM相当的识别性能。此外,E2FMAM对图像尺寸的不敏感性为我们处理大尺寸图像识别问题带来了极大的方便。

论文目录

• 第1章 绪论
• 1.1 引言
• 1.2 离散联想记忆神经网络发展概况
• 1.2.1 Hopfield 联想记忆
• 1.2.2 双向联想记忆（BAM）
• 1.3 形态学联想记忆
• 1.4 小世界体系结构
• 1.5 本文的主要研究工作
• 1.6 本文的内容安排
• 第2章 模糊形态学联想记忆
• 2.1 引言
• 2.2 模糊形态学联想记忆FMAM
• 2.3 用AXY 和BXY 处理腐蚀和膨胀噪声
• 2.4 自联想FMAM
• 2.5 FMAM 与FAM 的比较
• 2.6 仿真实验
• 2.7 本章小结
• 第3章 基于经验核映射的增强型FMAM
• 3.1 引言
• 3.2 现有解决MAM 混合噪声的方法
• 3.2.1 Ritter 等人的核方法
• 3.2.2 Ida 等人的增加冗余位法和反转法
• 3.3 基于经验核映射的增强型FMAM（EFMAM）
• 3.3.1 经验核映射
• 3.3.2 EFMAM
• 3.3.3 仿真实验
• 3.4 本章小结
• 第4章 增强型FMAM 在人脸识别中的应用
• 4.1 引言
• 4.2 ORL 人脸数据库
• 4.3 基于特征脸（特征子空间）的人脸识别算法
• 4.4 实验比较
• 4.5 本章小结
• 第5章 经济型EFMAM
• 5.1 引言
• 5.2 经济化准则
• 5.3 基于遗传算法的优化算法
• 5.3.1 遗传算法简介
• 5.3.2 优化算法
• 5.4 实验比较
• 5.4.1 手写体数字集
• 5.4.2 ORL 人脸数据库
• 5.5 本章小结
• 第6章 基于小世界体系结构的指数联想记忆模型
• 6.1 引言
• 6.2 基于小世界体系结构的指数自联想记忆模型（SWEAM）
• 6.2.1 模型描述
• 6.2.2 能量函数与稳定性证明
• 6.2.3 SWEAM 的存储容量分析
• 6.2.4 仿真实验
• 6.3 基于小世界体系结构的指数双向联想记忆模型（SWeBAM）
• 6.3.1 模型描述
• 6.3.2 仿真实验
• 6.4 本章小结
• 第7章 总结与展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 致 谢
• 在学期间的研究成果及发表的学术论文