融合统计与规则技术的蒙古语词法分析研究

论文摘要

词是语言中最小的能独立运用的单位,是自然语言处理的基本单位。词法分析是自然语言处理的一个基础课题,其主要研究内容是进行词语切分和词语标注。语言学上,按照词的形态结构对各种语言进行划分,汉语属于分析型语言,而蒙古语是黏着型语言。汉语词基本上没有专门表示语法意义的附加成分,形态变化也很少;而蒙古语词内有专门表示语法意义的附加成分词缀,一个词缀表达一种语法意义,词由词干和词缀相结合构成。目前,蒙古语词法分析研究是词法分析研究领域的热点问题。本文针对蒙古语词的形态结构特点,采用统计语言模型与语言学规则相结合的方法,进行蒙古语词法分析。所完成的主要工作如下:1)针对蒙古语词由词干和词缀构成的特点,按照词形态结构设计了一种生成式的概率统计语言模型。首先,把蒙古语句子的词法分析结果描述为有向图,图中节点表示分析结果中的词干、词缀及其相应标注,而边则表示节点之间的转移或生成关系;然后,使用训练程序把训练数据转换成语言模型;最后,解码器载入上述语言模型并使用动态规划算法整句解码,找出最优词法分析结果。实验表明,基于生成式的统计语言模型提高了词级联合切分与标注的准确率,准确率可达到93.5%。2)在上述生成式统计模型的基础上,进一步加入“蒙古语语法信息词典”数据规范作为语言学构词规则,加入语言学规则后,一方面,在动态规划整句解码过程中,以词的词干作为触发条件,利用数据规范规则修正解码器候选结果概率值,给予正确候选分析结果更高概率值;另一方面,按照词类对专有名词,如人名、地名等进行候选结果后续修正处理,完善了生成式统计模型。实验表明,融合统计和规则方法比单纯统计方法词法分析效果更优,在测试集上词级联合切分与标注准确率可达95.2%。3)蒙古语词干是词语的中心成分,针对蒙古语词干提取的重要地位,设计并实现了一种基于自动机词干提取方法,首次将蒙古语词干提取任务和自动机结合,将蒙古语词表示成一种以词干为中心的主从式结构。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 研究现状
• 1.3 研究目的和内容
• 1.4 主要工作与组织结构
• 第二章 词法分析综述
• 2.1 词法分析的常用技术及歧义
• 2.1.1 分词
• 2.1.2 词性标注
• 2.1.3 歧义
• 2.2 统计语言模型
• 2.2.1 N 元文法模型
• 2.2.2 最大熵模型
• 2.2.3 条件随机场模型
• 2.3 词法评测
• 2.3.1 词语单位的界定
• 2.3.2 分词评测的方式
• 2.3.3 评价指标
• 2.4 小结
• 第三章 蒙古语及词法分析数据规范
• 3.1 蒙古语概述
• 3.1.1 蒙古语简介
• 3.1.2 蒙古语文字
• 3.1.3 蒙古语词法特点
• 3.2 语料表示形式
• 3.3 蒙古语切分与还原
• 3.4 词法分析的数据规范
• 3.5 小结
• 第四章 蒙古语词法分析系统
• 4.1 基于统计语言模型的词法分析
• 4.1.1 生成式和判别式语言模型
• 4.1.2 单纯切分的生成式模型结构
• 4.1.3 联合切分标注的生成式模型结构
• 4.1.4 训练与解码步骤
• 4.1.5 实验与分析
• 4.2 融合统计和规则的词法分析
• 4.2.1 生成式统计模型的问题
• 4.2.2 生成式模型数据分析
• 4.2.3 融合统计和规则技术的词法分析系统
• 4.2.4 实验与分析
• 4.3 基于自动机的词干提取方法
• 4.3.1 词干提取任务
• 4.3.2 自动机构造规则
• 4.3.3 形式化定义
• 4.3.4 自动机构造
• 4.3.5 词干提取模块
• 4.4 小结
• 第五章 总结和展望
• 5.1 论文总结
• 5.2 展望
• 参考文献
• 致谢
• 攻读学位期间的科研成果