神经网络作为分类器的算法研究及在信息检索中的应用

论文摘要

本文以统计理论为基础，主要讨论在计算机上用软件模拟实现的神经网络分类器。在综述了神经网络作为分类器的研究现状及存在问题的基础上，着重对构造性学习方法中的覆盖算法进行深入的探讨和改进，以达到缩短学习时间、简化网络结构、提高分类精度的目的。主要的研究内容及创新如下： （1） 提出了覆盖算法的概率模型，并利用有限混合模型的极大似然拟合，用期望最大化算法对覆盖算法进行优化处理。将用原覆盖算法所得到的覆盖结果看作是一个预处理，将覆盖某一类样本的覆盖数看作是有限混合模型中的分量数目，解决了有限混合模型中分量数目难以估计这一难题，而不是主观地去估计分量的数目。某一类样本有多少个覆盖，就认为有限混合模型中的分量数目是多少，将覆盖某一类样本的每个覆盖看成一个Gauss分布，利用混合模型的极大似然拟合，用期望最大化算法来对覆盖算法进行优化处理。扩大了覆盖算法的应用范围，模拟结果表明新算法提高了测试精度。 （2） 对覆盖算法中的参数与测试精度的关系进行了研究。得出的结论如下：当原空间的k维样本向特征空间的k+1维投影时，超球半径的大小R与测试精度、拒识样本数之间几乎没有关系；对覆盖半径中参数n的取值与测试精度关系进行了研究，当n=1／2（即覆盖半径取同类样本中的最大距离与异类样本中的最小距离的算术平均）时测试精度达到了最高，这相当于SVM中的最优超平面；对覆盖算法中样本的学习顺序与网络性能的关系进行了分析实验，实验结果表明将样本按类别排序后所得到的网络，其性能比未排序时所得到的网络有不同程度的提高。 （3） 研究了覆盖算法中覆盖半径的大小与识别精度之间的关系。 本文提出通过扩大覆盖半径和加入异类点，来减少覆盖数目和隐层神经元个数，在网络规模尽可能小的情况下，虽然增加了有限的学习时间，但提高了学习的精度。实验证明PBCA对神经网络的训练是有效的。 在网络结构上，提出了由前馈网络和反馈网络组成的神经网络的混合结构。前馈网络完成样本的第一次分类，用反馈网络对边界样本或拒识样本进行第二次分类。

论文目录

• 中文摘要
• 英文摘要
• 目录
• 第一章 绪论
• 1.1 选题的意义
• 1.2 人工神经网络的发展综述
• 1.2.1 人工神经网络的特点
• 1.2.2 神经网络研究的历史和现状
• 1.3 神经网络在信息检索中的应用
• 1.3.1 信息检索的历史
• 1.3.2 信息检索的研究现状及存在的问题
• 1.4 本文的工作
• 第二章 神经网络作为分类器的算法研究
• 2.1 神经网络作为分类器的算法研究现状
• 2.2 基于搜索的学习算法
• 2.2.1 BP算法
• 2.2.2 模拟退火算法
• 2.3 基于规划的学习算法——SVM及其学习算法
• 2.3.1 统计学习理论和结构风险最小化原则
• 2.3.2 支持向量机
• 2.4 本章小结
• 第三章 构造性学习方法
• 3.1 M-P神经元的几何意义
• 3.2 FP（Forward Propagation）算法
• 3.3 覆盖算法
• 3.4 实验结果与分析
• 3.4.1 学习顺序的选择
• 3.4.2 实验数据与方法
• 3.4.3 实验内容
• 3.5 覆盖算法的分析与不足
• 3.6 本章小结
• 第四章 基于概率的覆盖算法PBCA
• 4.1 概率逻辑神经网络
• 4.1.1 概率逻辑神经元
• 4.1.2 概率逻辑神经网络
• 4.1.3 PLN网络的学习算法
• 4.1.4 PLN网络的改进——AZ模型
• 4.2 基于概率的覆盖算法PBCA
• 4.2.1 基于概率的覆盖算法PBCA
• 4.2.2 PBCA的学习算法
• 4.2.3 PBCA的测试算法
• 4.3 实验结果及分析
• 4.3.1 实验内容
• 4.3.2 实验结果分析
• 4.4 本章小结
• 第五章 有限混合模型在覆盖算法中的应用
• 5.1 有限混合模型的定义及说明
• 5.1.1 有限混合模型的定义
• 5.1.2 混合模型的可辨识性
• 5.2 混合模型的极大似然拟合
• 5.2.1 极大似然估计
• 5.2.2 应用期望最大化算法于混合模型
• 5.2.2.1 EM算法的基本原理
• 5.2.2.2 EM算法的步骤
• 5.3 应用期望最大化算法于覆盖算法
• 5.4 实验数据及分析
• 5.5 本章小结
• 第六章 覆盖算法在信息检索中的应用
• 6.1 文本分类的一般模型
• 6.2 文本的预处理
• 6.2.1 文本的表示
• 6.2.2 特征项的抽取
• 6.3 实验语料和检索结果的评价方法
• 6.3.1 实验语料
• 6.3.2 性能评价方法
• 6.4 覆盖算法在文本分类中的应用
• 6.4.1 分类器的评价方法
• 6.4.2 文本的预处理
• 6.4.3 实验内容及结果
• 6.5 本章小结
• 第七章 总结和展望
• 7.1 主要结论
• 7.2 发展与展望
• 参考文献
• 攻读博士学位期间科研工作及发表论文
• 致谢