基于拼音标注的中文分词算法研究

论文摘要

随着计算机科学与技术尤其是互联网技术的高速发展,人们日常生活的日新月异,使得互联网上呈现出信息知识大爆炸的势头,信息检索成为人们生活中不可或缺的组成部分。而中文分词技术作为中文信息检索的重要基础部分,对信息检索的准确性和有效性都有着很大的影响。一个好的中文信息检索系统,就必须有一个好的中文分词为基础。本文首先介绍了当前中文分词的发展现状,然后主要介绍基于统计的中文分词和算法,以及基于统计的条件最大熵模型、隐马尔科夫模型。中科院计算所采用基于层次隐马尔科夫模型,自主研发出来的ICTCLAS中文分词系统对本文提供了莫大的帮助。该系统将中文分词分为原子切分、N-最短路径粗切分、未登陆词识别、基于角色标注的命名实体识别、基于类的隐马标注这五个层HMM组成。其中,第二层采用N-最短路径算法求出N最优切分结果,基于角色标注的命名实体识别采用Viterbi算法标注出全局最优的角色序列。通过对比试验表明,层次隐马模型的各个层面对中文词法分析都起到了积极的作用。本文在ICTCLAS的基础之上,提出了一种基于汉语拼音标注的分词算法,它需要根据拼音词典,对原始预料库进行拼音标注,根据六词位法统计出各个拼音在词语中出现的位置情况。在分词时,首先将待分词的句子进行拼音标注,然后采用基于词典的最大匹配算法计算出候选的N个分词结果,然后对每一个分词结果进行拼音词位的标注,通过统计出来的每个词位的概率,计算出每个分词结果的标注概率,选择概率最大的作为最终的分词结果。我们将该算法应用到ICTCLAS系统的命名实体识别中时,收到了一定的成效,为今后进一步的研究和挖掘中文分词算法奠定了基础。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究中文分词的目的和意义
• 1.2 中文分词的发展过程和发展现状
• 1.3 主要的研究内容以及论文内容安排
• 2 中文分词技术
• 2.1 中文分词的定义
• 2.2 中文分词的规范和评测标准
• 2.3 中文分词的难点
• 3 统计语言模型
• 3.1 最大熵模型
• 3.2 HMM 模型（Hidden Markov Model）
• 3.3 N-gram 模型
• 4 基于统计的分词算法
• 4.1 基于层次隐马模型的分词
• 4.2 基于字位信息的分词
• 4.3 基于拼音标注的分词算法
• 5 实验数据和分析
• 6 结束语
• 致谢
• 参考文献