基于词汇化统计模型的汉语句法分析研究

论文摘要

句法分析是自然语言处理的一个基本问题。许多自然语言处理任务,如机器翻译、信息获取、自动文摘等都要依赖句法分析的精确结果才能最终获得满意的解决。另一方面,语言是思维的载体,对自然语言句法分析的研究有助于研究人类思维的本质,因此对自然语言句法分析的研究具有重要的理论和实用价值及深刻的哲学意义。总体上来看,由于起步较晚、树库资源缺乏等原因,汉语句法分析技术不如英语句法分析技术发展的迅速。目前的汉语句法分析技术还满足不了各种中文信息处理系统的要求,所以对汉语句法分析的研究既意义重大又任重道远。目前的主流技术还是基于统计的方法,本文主要研究统计框架下汉语句法分析问题。本文工作分四个部分进行,具体内容如下:1、对句子进行词性标注是句法分析的一个重要环节。本文提出一种基于二元同现的汉语词性标注模型。在隐马尔可夫模型的基础上,引入二元词汇信息来加强词性标注模型的歧义消解能力。该方法具有简单、快速、有效的特点。2、统计句法分析的基本理论是构建基于统计句法分析模型的基础,已有的典型句法分析模型是汉语句法分析建模的经验来源和参照目标。本文率先在宾州中文树库5.0上应用中心驱动模型进行汉语句法分析实验,取得了比较成功的效果,验证了应用词汇化统计模型进行汉语句法分析的可行性。3、提出了一个两级中文句法分析方法。根据我们定义的30种短语类型,提出了一个分治策略:即把所有的短语分为基本短语和复杂短语,针对两种短语的语言特点,采用不同的模型来识别它们。首先,把基本短语识别转化为最佳边界标记序列的搜索问题,提出一个基于马尔可夫模型的基本短语识别方法。在此基础上,识别汉语复杂短语。实验结果表明,两级中文句法分析方法一方面可以显著提高句法分析系统的精确率和召回率,另一方面还有效降低了句法分析的复杂度,使系统处理文本的速度得到了提高。4、提出了一种基于语义类的汉语句法分析方法。该方法以中心驱动模型为基础,把自动获取的语义类融入到句法分析模型中,为消解句法歧义提供语义类信息。利用一部语义词典,应用最小描述长度原理,自动地为句法分析模型确定一个粒度在词性与词汇之间的语义类。实验结果表明:与词汇信

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的背景和意义
• 1.2 英语句法分析研究综述
• 1.2.1 基于规则的方法
• 1.2.2 基于统计的方法
• 1.3 汉语句法分析研究现状
• 1.3.1 自动分词
• 1.3.2 词性标注
• 1.3.3 浅层分析
• 1.3.4 深层分析
• 1.3.5 汉语语料库的建设
• 1.4 本文的主要研究内容
• 第2章 基于二元同现的汉语词性自动标注模型
• 2.1 引言
• 2.2 汉语自动词性标注及其困难
• 2.2.1 词性的定义
• 2.2.2 词性标注
• 2.2.3 词性歧义
• 2.2.4 汉语词性标注特有的困难
• 2.3 现有主要词性标注方法的研究与分析
• 2.3.1 基于隐马尔可夫模型的词性标注方法
• 2.3.2 基于最大熵的词性标注方法
• 2.3.3 基于支持向量机的词性标注方法
• 2.4 基于二元同现的标注模型
• 2.4.1 基于二元同现的词性标注模型
• 2.4.2 同隐马尔可夫模型的对比
• 2.4.3 参数估计与数据平滑
• 2.4.4 标注方法的性能评价及实验分析
• 2.4.5 词性标注集与词性标注正确率的关系
• 2.5 本章小结
• 第3章 基于中心驱动模型的汉语句法分析
• 3.1 引言
• 3.2 文法
• 3.2.1 文法的形式化定义
• 3.2.2 乔姆斯基文法体系
• 3.2.3 句法模式识别与自然语言句法分析
• 3.3 统计句法分析模型
• 3.3.1 统计句法分析模型的基本概念
• 3.3.2 概率上下文无关文法
• 3.3.3 词汇化句法分析模型
• 3.4 基于中心驱动模型的汉语句法分析
• 3.4.1 宾州中文树库
• 3.4.2 模型实现时的若干细节
• 3.4.3 句法分析模型的评价方法
• 3.4.4 实验结果与分析
• 3.5 同相关工作的对比
• 3.6 本章小结
• 第4章 两级汉语句法分析方法
• 4.1 引言
• 4.2 词汇化模型句法分析算法复杂性分析
• 4.2.1 上下文无关语言的分析算法
• 4.2.2 CYK算法
• 4.3 基于分治策略的句法分析方法
• 4.3.1 并行分治策略的句法分析
• 4.3.2 串行分治策略的句法分析
• 4.4 两级汉语句法分析方法
• 4.4.1 哈工大汉语树库
• 4.4.2 基本短语
• 4.5 基于词汇化模型的汉语基本短语识别
• 4.5.1 汉语基本短语在形式上的特点
• 4.5.2 非递归短语的识别方法
• 4.5.3 汉语基本短语的两种识别方法
• 4.5.4 基于词汇化模型的汉语基本短语识别
• 4.6 基于中心驱动模型的复杂短语识别
• 4.7 实验与讨论
• 4.7.1 实验设置
• 4.7.2 训练与解码
• 4.7.3 结果与分析
• 4.7.4 讨论
• 4.8 本章小结
• 第5章 面向小样本的句法分析技术
• 5.1 引言
• 5.2 面向小样本的句法分析技术
• 5.2.1 基于自学习的方法
• 5.2.2 基于共训练的方法
• 5.3 基于语义类的汉语句法分析
• 5.3.1 模型
• 5.3.2 语义类标注集的确定
• 5.3.3 基于最小描述长度原则的剪枝
• 5.3.4 无指导的语义类标注
• 5.3.5 实验与分析
• 5.4 本章小结
• 结论
• 参考文献
• 附录
• 攻读博士学位期间发表的论文
• 哈尔滨工业大学博士学位论文原创性声明
• 哈尔滨工业大学博士学位论文使用授权书
• 哈尔滨工业大学博士学位涉密论文管理
• 致谢
• 个人简历