基于条件随机场的汉语短语识别研究

论文摘要

随着机器翻译技术的不断发展,对完全句法分析质量的要求也越来越高。由于完全句法分析(full parsing)要确定句子所包含的全部句法信息,并确定句子中各成分之间的关系,这是一项十分困难的任务。到目前为之,无论是句法分析器的正确率,还是其运行速度和鲁棒性等各方面,都还难以达到令人满意的程度,这种状况严重地制约了以完全句法分析为基础的自然语言处理相关研究的发展和应用系统的开发。为了降低问题的复杂度,同时获得一定的句法结构信息,短语识别应运而生。本文借鉴了英语chunk的定义、根据汉语自身的语言学特点以及Upenn ChineseTreeBank 5.1标注本身的特点,将汉语短语定义为十种基本短语结构。在该定义的指导下,从Upenn ChineseTreeBank 5.1中抽取语料。论文论述了条件随机场的基本原理,并通过与其他传统的标注模型进行了理论和实验方面的比较,阐述了条件随机场在标注任务中的性能优越性,在此基础上提出了基于条件随机场(CRFs)的汉语短语识别方法,并搭建汉语短语识别实验系统,对测试语料进行短语识别。实验结果表明,相对于Markov和HMMs模型来说,本文提出的短语定义和识别算法具有较高的识别性能；大规模的语料有助于汉语短语识别性能的提高。另外,在Upenn ChineseTreeBank 5.1上,二阶的CRFs识别结果并不比二阶的CRFs好很多,这是由于二阶CRFs在使用更多的上下文特征时,数据稀疏造成的。本文提出的短语识别方法在一定程度上使完全句法分析的任务得到了简化,同时也有利于完全句法分析在大规模真实文本处理系统中迅速得到运用。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景及现状
• 1.1.1 理性主义的研究方法
• 1.1.2 经验主义的研究方法
• 1.2 本文研究工作及意义
• 1.3 论文结构
• 第二章 相关知识
• 2.1 机器学习
• 2.2 机器学习的分类
• 2.3 条件随机场（CRFs）
• 2.3.1 无向图模型
• 2.3.2 条件随机场的图结构
• 2.3.3 势函数
• 2.3.4 条件随机场
• 2.3.5 最大熵
• 2.3.6 极大似然参数估计
• 2.3.7 CRFs概率计算
• 2.3.8 动态规划
• 2.4 机器学习在科学中的前景
• 2.5 机器学习在自然语言处理中的应用
• 2.6 本章小结
• 第三章 汉语短语定义
• 3.1 Chunk的提出
• 3.2 汉语短语的定义
• 3.2.1 基本动词短语（VP）
• 3.2.2 基本限定词短语（DP）
• 3.2.3 基本形容词短语（ADJP）
• 3.2.4 基本数量短语（QP）
• 3.2.5 基本片段短语（FRAG）
• 3.2.6 基本名词短语（NP）
• 3.2.7 基本介词短语（PP）
• 3.2.8 由词性标记LC形成的基本短语（LCP）
• 3.2.9 基本副词短语（ADVP）
• 3.2.10 基本分类词短语（CLP）
• 3.3 本章小结
• 第四章 基于CRFs的汉语短语识别
• 4.1 介绍
• 4.2 汉语短语识别
• 4.2.1 汉语短语及标记
• 4.2.2 独立假设（Independent Assumption）
• 4.2.3 标记偏差（Label Bias）
• 4.3 条件随机场（CRFs）
• 4.4 实验
• 4.4.1 系列标注任务系统
• 4.4.2 实验设置
• 4.4.3 评测标准
• 4.4.4 实验结果及数据分析
• 4.5 本章小结
• 第五章 结论
• 参考文献
• 致谢