基于中文信息检索的文本预处理研究

论文摘要

当前,Web正在成为人类知识和文明的全球存储库,这个存储库空前的允许在一个史无前例的范围内实现思想和信息的共享,随着互联网的快速普及,通过网络共享的中文信息资源以接近指数级的速度递增。如何处理网上的海量信息成为非常重要的研究课题。信息检索的研究可以帮助人们有效的找到自己所需的信息。信息检索的内容有多种,其中,文本信息的含量最多。因此,为了提高用户的查询精度、系统运行效率以及空间利用率,都需要对文档进行预处理。本论文就是在文本信息检索这个大背景之下,对文本的预处理技术进行了探索。本文首先对文本预处理的相关技术进行介绍和研究,包括文本的表示、分词、词性标注、标引词选择等。接着,对本文采用的文本预处理技术进行了探讨,由于切分歧义是汉语分词所面临的最大难题,其中能用语法知识消解的就约占90%以上,而涉及语义和语用知识的切分歧义则很少,因此本文有机地将分词过程和词性标注过程融合在一起,采用了动态规划解决这一问题,有利于切分歧义的消解。对于粗切分后的碎片,本文根据重叠词的模式进行了重叠词识别,并采用了一定的规则来识别碎片中的未登陆词。在信息检索的向量空间模型中,文本被形式化地表示为由词项及其权重组成的向量。因此如何使这个向量尽可能准确有效地表示出文本内容同时又要尽量地减少向量空间的维数一直是该模型的基础性问题。针对这个问题,本文提出了一个标引词选择的算法,该算法充分考虑了词项的词频、位置以及它与其它词项、重要语句间的关系,根据实例,证明了该算法的有效性。最后,本文利用这些算法设计了一个基于信息检索的文本预处理系统。该系统首先利用句末标点将文本进行断句,根据各个句子的不同位置为其设定不同的句子权重;然后依次处理各个句子,根据句子中的其它标点把这个句子打散成短句子组,对于其中的一些特殊标点,进行了特殊的处理;接着对每个短句子进行分词和词性标注;对文本的碎片进行重叠词和未登陆词的识别;最后,采用了本文提出的标引词算法对已经完成前期处理的文本进行标引词的选择。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1.研究背景及意义
• 1.2.信息检索
• 1.3.信息检索国内外研究状况
• 1.4.本文的研究内容和组织安排
• 第二章 文本预处理的相关技术
• 2.1.文本表示
• 2.2.分词
• 2.2.1.机械分词法
• 2.2.1.1.最大匹配算法
• 2.2.1.2.邻近匹配算法
• 2.2.1.3.最短路径匹配算法
• 2.2.1.4.基于统计的最短路径分词算法
• 2.2.2.非机械分词法
• 2.2.3.分词算法性能评价
• 2.3.词性标注
• 2.3.1.基于规则的方法
• 2.3.2.基于统计的方法
• 2.3.3.混合方法
• 2.4.停用词过滤
• 2.5.标引项的选择
• 第三章 基于信息检索的文本预处理的算法设计
• 3.1.本文要解决的问题
• 3.2.本文采用的分词和词性标注方法
• 3.2.1.分词和词性标注一体化
• 3.2.2.重叠词的处理
• 3.2.3.未登陆词的识别
• 3.3.本文采用的标引词选择方法
• 3.3.1.标引词选择算法的提出
• 3.3.2.一个实例
• 第四章 系统设计与实现
• 4.1.系统流程
• 4.2.词典设计
• 4.2.1.基本词典
• 4.2.2.其它词典
• 4.3.从语料中获取参数
• 4.4.系统的详细设计
• 4.4.1.断句模块
• 4.4.2.分词和词性标注模块
• 4.4.3.重叠词识别模块
• 4.4.4.未登录词处理模块
• 4.4.5.标引词的选择模块
• 4.4.6.实验结果
• 第五章 总结
• 致谢
• 参考文献
• 攻硕期间取得的研究成果