概率神经网络的结构优化研究及其应用

论文摘要

D.F.Specht提出的概率神经网络(Probabilistic Neural Network, PNN)是基于贝叶斯决策理论与Parzen窗概率密度估计方法而建立的一种分类网络。PNN的训练过程简单,算法容易设计,在模式识别及模式分类领域有着广泛的应用。然而,PNN拓扑结构的复杂性和训练样本的数目成直接比例关系,每个训练样本对应一个隐层神经元,当训练样本数量巨大时,将导致规模庞大的网络结构,从而阻碍了PNN网络的推广和应用。本文的研究工作主要集中于PNN网络结构优化方面。论文首先对PNN的理论基础和网络结构模型进行研究,并分析了PNN分类网络的优缺点。PNN在运算过程中通过Parzen窗估计法得到类条件概率密度,根据贝叶斯决策提供对样本的分类。这种基于统计原理的神经网络模型无需训练样本的连接权值,由给定样本直接构成隐层,是完全前向的计算过程,训练简洁;同时样本量的增多却对PNN的设计实现带来了难度。然后归纳总结了目前PNN拓扑结构优化的研究技术,包括样本向量的降维技术和PNN网络隐层神经元的选择算法。在此基础上提出了一种基于有监督信号的竞争学习算法,利用PNN网络的分类结果来调整隐中心矢量。具体工作包括混叠类别的PNN决策边界分析,算法的具体实施步骤,收敛条件的确定和平滑因子的选取。而且设计了一个对服从标准正态分布的二维空间样本进行分类的实验,实验结果表明此有监督竞争学习算法对服从标准正态分布的样本向量有较好的分类效果。最后设计和实现了一个基于PNN网络模型的垃圾邮件过滤系统,利用精确率,误报率和漏报率对实验结果进行评价,并对结果进行了分析和比较。实验证明了提出的有监督竞争学习算法在PNN分类中具有较高的分类性能并且有效的降低了PNN拓扑结构的复杂性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 PNN国内外研究现状
• 1.3 本文主要研究内容
• 第2章 概率神经网络
• 2.1 引言
• 2.2 PNN理论基础
• 2.2.1 贝叶斯决策分类
• 2.2.2 Parzen窗方法
• 2.3 PNN网络模型
• 2.3.1 PNN拓扑结构
• 2.3.2 PNN网络的学习算法
• 2.4 本章小结
• 第3章 PNN结构优化研究
• 3.1 引言
• 3.2 PNN样本降维技术
• 3.2.1 PCA理论分析
• 3.2.2 利用PCA方法降维的步骤
• 3.3 PNN隐中心矢量的选择
• 3.3.1 Kmeans算法
• 3.3.2 EM算法
• 3.3.3 LVQ算法
• 3.4 基于有监督信号的竞争学习算法
• 3.4.1 混叠类别的PNN决策边界分析
• 3.4.2 PNN的有监督竞争学习
• 3.4.3 软决策边界的收敛条件
• 3.4.4 平滑因子的确定
• 3.5 实验
• 3.5.1 实验说明
• 3.5.2 原始PNN和结构优化PNN对比实验
• 3.6 本章小结
• 第4章 基于PNN的垃圾邮件过滤系统
• 4.1 邮件预处理
• 4.1.1 邮件语料库的选取
• 4.1.2 邮件结构分析
• 4.1.3 中文邮件分词
• 4.2 特征抽取
• 4.2.1 邮件向量空间模型
• 4.2.2 常用特征算法
• 4.2.3 改进后的TFIDF算法
• 4.3 PNN邮件分类器
• 4.4 实验结果及分析
• 4.4.1 垃圾邮件评价体系
• 4.4.2 实验说明
• 4.4.3 原始的PNN邮件分类
• 4.4.4 Kmeans-PNN和Kmeans-COMPETE-PNN邮件分类
• 4.4.5 EM-PNN和EM-COMPETE-PNN邮件分类
• 4.4.6 LVQ-PNN和LVQ-COMPETE-PNN邮件分类
• 4.4.7 PCA对PNN邮件分类的影响
• 4.4.8 原始PNN与结构优化PNN结果比较
• 4.5 本章小结
• 结论
• 参考文献
• 附录 1 小规模数据集的 PNN 邮件分类结果
• 附录 2 大规模数据集的 PNN 邮件分类结果
• 致谢