基于概率上下文无关文法的汉语句法分析方法研究

论文摘要

句法分析是自然语言处理的一个基本问题。许多自然语言处理任务,比如机器翻译、信息获取、自动文摘等都要依赖句法分析的精确结果才能最终获得满意的解决。同时,句法分析中所使用的技术也有助于解决其他领域与句法分析相似的问题。另一方面,语言是人类思维的载体,对自然语言的研究有助于研究人类智慧的本质,在处理语言的过程中,句法分析也是人们所面临的一个基本问题。因此对自然语言句法分析的研究具有重要的理论价值和深刻的哲学意义。在基于统计的句法分析方法中,最关键的两个问题是句法分析歧义消解模型和句法分析算法的设计,他们决定着句法分析系统的分析正确率和效率。本文从事的工作则从这两方面入手,提出了一个基于PCFG的结合上下文信息的句法分析方法,主要研究工作如下:1.研究现有常用的统计句法分析模型和句法分析算法,并对其进行综合分析比较;2.在以上研究的基础上,提出一个引入上下文信息的句法歧义消解模型;3.对GLR分析算法进行概率化扩展,形成了本文的句法分析算法。4.用实验证明了本文句法分析方法的有效性。本文的实验采用了1998年1月的人民日报语料库和中科院计算所机器翻译句法树库作为训练语料,根据树库总结出实验所用语法规则,进行了小规模的分组实验。实验证明,本文的句法分析方法具有较高的分析效率和正确率。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 本文的研究目的和意义
• 1.2 句法分析方法综述
• 1.2.1 基于规则的方法
• 1.2.2 基于统计的方法
• 1.3 汉语句法分析研究现状
• 1.3.1 汉语句法分析面临的问题
• 1.3.2 汉语句法分析的发展趋势
• 1.4 本文的主要研究内容
• 第二章 统计句法分析模型和句法分析算法研究
• 2.1 统计句法分析的基本理论
• 2.1.1 语言模型、句法分析模型和句法分析算法
• 2.1.2 句法分析模型的评价标准
• 2.1.3 数据稀疏问题
• 2.2 常用统计句法分析模型简介及比较
• 2.2.1 概率上下文无关文法
• 2.2.2 基于历史的句法分析模型
• 2.2.3 分层渐近式句法分析模型
• 2.2.4 头驱动的统计句法分析模型
• 2.2.5 四种模型的性能综合比较
• 2.3 常用句法分析算法概述和分类比较
• 2.3.1 句法分析算法概述
• 2.3.2 句法分析算法的分类与比较
• 第三章 本文的句法分析方法
• 3.1 概率模型
• 3.2 语法规则概率的获取
• 3.3 结构共现概率的计算方法
• 3.4 分析算法
• 3.4.1 分析表的构造
• 3.4.2 分析算法描述
• 3.4.3 用例子描述算法分析过程
• 第四章 实验与实验结果分析
• 第五章 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 附录
• 致谢
• 作者攻读学位期间发表的学术论文目录