基于PCFG-HDSM模型的语义句式识别

论文摘要

语义理解在自然语言处理中处于重要地位,同时语义句式在汉语言语义的表达上不可忽视。为了让计算机能够自动处理机务信息,并且使得处理的范围涉及到语义的层次,本文强调了语义句式在语义理解方面的基础作用。为了能让计算机理解文本语义信息,首先要让计算机智能地识别出语义句式,然后再针对语义句式进行处理,因此本文围绕语义句式的自动识别这个课题开展工作。为了实现语义句式的自动识别,本文选择了先对文本进行句法分析,再将句法模式转化成语义模式的方法。在句法分析方面,本文人工建立了句法标注语料库,其过程是:首先使用中国科学院计算机研究所开发的词法分析系统对初始语料文本进行分词及词性标注,再对词性标注进行了适当修正,以减少歧义,之后再人工地对其进行句法标注。通过这个标注语料库学习了385条句法规则,用于句法分析系统。为了提高句法分析器的分歧能力和分析准确率,本文结合上下文无关概率模型PCFG和头驱动概率模型HDSM各自的优点,提出了一种新型的概率模型PCFG-HDSM,并基于GLR算法,实现了一个新型的汉语句法分析器。经过开放测试,准确率和回归率分别达到80.8%,74.3%,与中科院的Prop分析器分析结果比较有了一些提高,证明新模型PCFG-HDSM确实提高了分析器的分歧能力。在语义句式分析方面,本文在总结句法和语义元素的对应关系的前提下,分析句法分析结果,获得语义模式,经过大量语句测试,本文最后统计汇总了各个语义模式的分布情况。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文研究背景与意义
• 1.2 句法分析
• 1.2.1 国外句法分析研究历史及现状
• 1.2.2 国内句法分析研究历史及现状
• 1.3 语义句式分析
• 1.4 研究目标和主要工作内容
• 1.5 本文组织结构
• 1.6 本章小结
• 第二章 语义分析相关理论
• 2.1 语料库研究
• 2.2 GLR 算法
• 2.3 概率模型
• 2.3.1 概率上下文无关模型PCFG
• 2.3.2 头驱动的概率模型HDSM
• 2.4 语义场及框架语义理论
• 2.4.1 语义场理论
• 2.4.2 框架语义学
• 2.5 格语法、语义成分与语义句式
• 2.6 本章小结
• 第三章 语料库处理
• 3.1 词法分析系统
• 3.2 句法标注语料库
• 3.2.1 普通句法语料库
• 3.2.2 歧义处理句法标注语料库
• 3.2.3 句法标注总结注意事项
• 3.3 从语料库获得规则
• 3.3.1 规则形式
• 3.3.2 学习方法
• 3.3.3 规则库管理
• 3.4 词典处理
• 3.5 本章小结
• 第四章 基于新模型PCFG-HDSM 的句法分析
• 4.1 句法分析部分总体结构
• 4.2 新模型PCFG-HDSM 理论
• 4.2.1 PCFG 和HDSM 模型的比较
• 4.2.2 新模型PCFG-HDSM 介绍
• 4.3 GLR 算法改进与实现
• 4.3.1 GLR 算法具体流程
• 4.3.2 数据结构
• 4.3.3 GLR 算法的改进
• 4.3.4 GLR 算法实现要点
• 4.4 本章小结
• 第五章 语义句式分析
• 5.1 语义句式分析总体结构
• 5.2 介词短语与语义成分的对应关系
• 5.3 句法到语义句式映射算法
• 5.3.1 单句语义映射
• 5.3.2 合并单句语义映射
• 5.4 本章小结
• 第六章 实验结果分析比较
• 6.1 实验环境
• 6.2 语料库
• 6.3 改进的句法分析器对比实验和结果分析
• 6.4 语义句式抽取统计分析
• 6.5 本章小结
• 第七章 结论
• 7.1 工作总结
• 7.2 不足与展望
• 致谢
• 参考文献
• 在学期间的研究成果
• 附录1（语义成分）
• 附录2（汉语文本词性标注标记集）
• 附录3（文法中非终结符、终结符）
• 附录4（句法规则集）
• 附录5（句法分析实验结果）