基于仿生模式识别的文本分类技术研究

论文摘要

互联网时代的来临,使得各种电子文本数据急剧增加,如何快速有效地获取、管理和使用这些文本数据,己经成为信息系统学科迫切需要解决的重要问题。而文本分类技术是信息处理技术的重要研究方向,它是对大量的自然语言文本按照一定的主题类别进行自动分类。传统的文本分类算法(或传统模式识别)都是基于最佳划分的,而仿生模式识别(Biomimetic Pattern Recognition,BPR)是基于“认识”事物而不是“区分”事物,更符合人类认识世界的本质,所以本文把仿生模式识别的理论应用在文本分类中。仿生模式识别是一种不同于传统模式识别的理论方法,它的理论基点是特征空间中同类样本的连续性(不能分裂成两个彼此不邻接的部分)特性。它通过对同类本的在高维特征空间的最佳覆盖来达到识别样本的目的。本文对仿生模式识别的理论基础、数学工具和实现方式进行了深入的研究学习,提出了用超香肠型神经元(Hyper Sausage Neuron,HSN)网络实现基于仿生模式识别的文本分类算法。在HSN网络分类算法的基础之上,本文又提出了三种改进方法。对训练样本冗余和噪声的研究,提出了HSN网络和聚类结合的分类算法;对边界样本存在误识别问题的研究,提出了HSN网络的K最高识别算法;而对特征噪声问题的研究提出了二次特征选择算法。此外,还提出了HSN网络和SVM融合的分类算法。在英文数据上,实验结果表明改进的HSN网络分类算法比传统的KNN和SVM分类性能要好;而在中文数据上,改进的HSN分类算法性能要优于KNN,而HSN和SVM融合后分类效果好于它们中的单个分类性能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景和意义
• 1.2 国内外相关技术研究现状
• 1.2.1 文本分类在国内外的研究现状
• 1.2.2 仿生模式识别在国内外的研究现状
• 1.2.3 文本分类和仿生模式识别面临的突出问题
• 1.3 本文主要研究内容
• 1.4 本文的内容组织
• 第2章 文本分类关键技术
• 2.1 引言
• 2.2 文本分类的基本概念
• 2.2.1 文本分类的定义
• 2.2.2 文本分类的评价标准
• 2.3 文本分类的主要技术和方法
• 2.3.1 文本表示技术
• 2.3.2 文本特征处理技术
• 2.3.3 文本分类算法
• 2.4 文本分类系统结构
• 2.5 本章小结
• 第3章 仿生模式识别与多权值神经元网络原理
• 3.1 引言
• 3.2 仿生模式识别（BPR）原理简介
• 3.3 仿生模式识别的数学工具——高维空间几何分析理论
• 3.3.1 神经元的多维空间几何对应
• 3.3.2 多维空间几何的基本分析方法
• 3.4 仿生模式识别的实现方式——多权值神经元人工神经网络
• 3.5 本章小结
• 第4章 基于仿生模式识别的文本分类算法
• 4.1 引言
• 4.2 仿生模式识别用于文本分类的原理
• 4.3 基于超香肠神经元网络的文本分类算法
• 4.3.1 拓扑属性分析和神经元的选择
• 4.3.2 超香肠神经元网络（HSN Network）文本分类算法
• 4.4 实验分析
• 4.4.1 实验设置
• 4.4.2 实验结果分析
• 4.5 本章小结
• 第5章 HSN网络文本分类算法的改进
• 5.1 引言
• 5.2 基于聚类的改进方法
• 5.2.1 相关的聚类技术
• 5.2.2 基于文本聚类的HSN网络分类算法
• 5.3 HSN网络的K最高识别方法
• 5.3.1 HSN神经元覆盖的重叠
• 5.3.2 K最高识别算法
• 5.4 基于二次特征选择的改进方法
• 5.4.1 特征选择分析
• 5.4.2 二次特征选择的方法
• 5.5 实验分析
• 5.5.1 实验设置
• 5.5.2 实验结果分析
• 5.6 本章小结
• 结论
• 参考文献
• 致谢