统计和规则相结合的语言模型在中文输入法中的应用研究

论文摘要

随着计算机与互联网的广泛普及,语言信息处理的社会需求日益增大,人们迫切需要用自动化的手段处理海量的语言信息。在这种情形下,作为智能化人机接口重要组成部分的汉字键盘输入技术成为中文信息处理的研究热点之一。在汉字键盘输入法研究中,统计语言模型因其鲁棒性强、简洁、易实现等特点而得到广泛应用。但统计语言模型本身存在数据稀疏性、领域依赖性、规模过大以及解码速度慢等问题。同时,单纯基于统计的语言模型较少地考虑词义、语义、上下文关系等语言规则,造成模型应用结果不合理,影响了输入法的性能。针对以上问题,本文研究了统计和规则相结合的语言模型,并将其应用于输入法。在语言模型平滑和压缩方面,本文采用基于图灵估计的减值法和Katz法结合的方法对模型进行平滑,采用基于单元重要性的方法缩小模型规模;在语言规则提取方面,本文基于语义场来提取词网中词类特定的搭配规则;在语言模型领域依赖方面,本文采用基础语言模型和用户模型相结合的方法来实现语言模型的自适应;在实现方面,本文给出了基于词网格最优路径搜索算法,实现输入序列到输出序列转换过程的高效和输出结果的合理性。通过引入语言规则,本文在一定程度上弥补了统计语言模型的缺陷,在笔画输入法中的应用实践表明,本文工作有效地提高了语言模型的解码准确率和性能。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 语言信息处理现状
• 1.2 汉字输入现状
• 1.3 课题的研发目的、意义及本文主要工作
• 1.4 本文结构安排
• 第二章 语言模型与隐马尔柯夫模型
• 2.1 语言模型
• 2.1.1 信息论与语言模型
• 2.1.2 基于统计的语言模型
• 2.1.3 N 元文法
• 2.1.4 语言模型的进展和未来
• 2.2 隐马尔柯夫模型
• 2.2.1 马尔柯夫链和马尔柯夫模型
• 2.2.2 隐马尔柯夫模型及其应用
• 2.3 本章小结
• 第三章 隐马尔柯夫模型与规则结合应用于输入法
• 3.1 语言模型建立
• 3.1.1 字词库的建立
• 3.1.2 隐马尔柯夫模型应用于输入法
• 3.1.3 语言模型的平滑
• 3.1.4 语言模型的压缩
• 3.2 语言模型建立规则
• 3.2.1 词类
• 3.2.2 词网构成
• 3.2.3 基于语义场的规则提取
• 3.2.4 基于语义场的规则的应用
• 3.2.5 基础语言模型和用户模型相结合的自适应方法
• 3.3 词网格最优路径搜索算法
• 3.4 本章小结
• 第四章 语言模型模拟及评测
• 4.1 用户模型
• 4.2 性能评测
• 4.3 仿真结果及分析
• 第五章 结束语
• 致谢
• 参考文献
• 攻读硕士学位期间的研究成果