基于依存语法的汉语句法分析研究

论文摘要

句法分析是自然语言处理基础研究中的一个关键技术之一,是衔接词法分析与语义分析的桥梁。本文的目的是从汉语自身特点出发,以现有的句法分析理论和方法为指导,研究和开发适合汉语的句法分析技术。句法分析技术指的是依据语法规则来确定句子结构的分析方法。依存语法是当今句法学研究的前沿和热点问题之一,本文的句法分析采用的语法体系就是依存语法,采用的句法分析技术是决策式依存句法分析方法。Niver算法作为决策式句法分析方法己经成功的应用于英文的依存句法分析,因为英文和中文在句法特点上具有一定的相似性,所以本文采用Nivre算法进行汉语依存句法分析。本文首先对现有的一些依存句法分析方法从处理策略,算法的时间复杂度等方面进行了综合分析和比较,其中详细研究了Nivre算法,然后针对该算法,本文提出了进一步的改进。Nivre算法在分析长距离右依存时会出现错误,在汉语中,只有动词和介词跟他们的依存者具有右依存关系,所以错误主要发生在动词和介词的依存分析上。本文依据汉语介词短语的特点,提出了一种改进的Nivre算法,让除了介词外的介词短语部分先进行依存分析,最后再是跟介词之间的依存分析,来减少介词的长距离依存问题,提高汉语依存句法分析的正确率。实验数据采用含有1万个句子的哈尔滨工业大学的依存关系语料库,采用基于支持向量机(SVM)的句法分析器MaltParser作为本文算法的实现工具。结果表明,使用改进后的Niver算法进行汉语依存句法分析,正确率提高了1.72%,对介词的长距离依存取得了比较好的分析结果。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 自然语言理解概述
• 1.2 句法分析概述
• 1.2.1 句法分析的任务和目的
• 1.2.2 句法理论
• 1.2.3 句法分析方法
• 1.2.4 语料库的建设
• 1.3 汉语句法分析面临的主要问题和发展趋势
• 1.4 本文的主要研究内容和组织结构
• 2 依存语法与依存句法分析
• 2.1 依存语法
• 2.1.1 Tesnière的从属关系语法理论
• 2.1.2 依存结构图
• 2.1.3 依存语法理论
• 2.2 依存句法分析
• 2.2.1 各种依存句法分析方法比较
• 2.2.2 Nivre的工作
• 2.2.3 依存句法分析结果的评价标准
• 2.2.4 依存句法分析方法的几种改进思路
• 2.3 本章小结
• 3 基于支持向量机的机器学习
• 3.1 机器学习在依存句法分析中的应用综述
• 3.2 支持向量机
• 3.2.1 支持向量机的理论基础
• 3.2.2 多类分类的方法
• 3.3 LibSvm
• 3.4 本章小结
• 4 针对介词短语的依存句法分析
• 4.1 树库转换
• 4.2 Nivre算法的改进
• 4.2.1 运用Nivre算法分析介词的长距离依存
• 4.2.2 算法改进依据
• 4.2.3 介词短语识别
• 4.2.4 改进后的Nivre算法
• 4.2.5 算法实现
• 4.3 本章小结
• 5 实验结果及分析
• 5.1 特征选取
• 5.2 实验结果
• 5.3 错误分析
• 5.4 特征对句法分析结果的影响
• 5.5 训练语料规模对实验结果的影响
• 5.6 本章小结
• 6 总结与展望
• 参考文献
• 附录
• 致谢
• 个人简历
• 发表的学术论文