汉语句子的组块识别研究

论文摘要

组块识别是自然语言浅层句法分析的重要任务之一。它通过采用“分而治之”的策略把句子解析成较小的单元来简化句子结构,并为进一步揭示这些单元间的句法关系提供基础。组块识别作为一种确定性很高的部分分析结果,有利于解决机器翻译中的歧义问题。组块识别还在信息检索、信息抽取、文本分类及语音识别等领域具有重要的应用价值。本文的目的是在词法分析的基础上,完成汉语句子的组块识别,为完全句法分析和其他自然语言处理任务提供基础。本文利用条件随机域(Conditional Random Fields,CRFs)方法进行汉语句子的组块识别研究,提出了基于CRFs的分布式策略与错误驱动技术相结合的组块识别方法。为了克服单一模板识别多类型组块的局限性,本文给出了一种分布式策略方法,它将11种类型的汉语组块进行分组,对不同组的组块类型选取适合该组类型识别的敏感特征,结合CRFs构建不同组的组块识别模型;为进一步提高组块识别结果,本文利用基于CRFs的错误驱动技术对组块进行自动纠错,将第一阶段CRFs的组块识别结果作为一般特征加入到第二阶段CRFs识别的特征模板中,通过CRFs统计学习其中的错误规律来进行纠错识别;最后本文通过分析并列关系结构对组块识别错误的影响,利用CRFs在选取上下文特征上的灵活性优势,抽取了并列关系词的上下文信息作为特征,来进一步改善组块的识别效果。实验结果表明,基于CRFs的分布式策略与错误驱动技术相结合的组块识别方法取得了较好的结果,系统开式测试的精确率、召回率和F值分别达到95.52%、91.21%和93.32%,好于CRFs方法和其他组合方法的组块识别结果。本文的研究成果可以应用于实际的机器翻译系统中,达到简化句子结构、提高机器翻译系统性能的目的。另外还可以进一步应用到信息检索、文本分类等自然语言处理领域。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 组块识别的研究背景
• 1.2 组块识别的研究意义
• 1.3 自然语言处理的基本方法
• 1.4 组块识别的研究现状
• 1.5 本文的主要工作
• 2 条件随机域（CRFs）模型
• 2.1 无向图模型
• 2.2 CRFs的图结构
• 2.3 CRFs的势函数表示
• 2.4 CRFs的参数估计
• 2.5 CRFs的概率计算
• 2.6 动态规划
• 2.7 与其他模型的比较
• 3 基于条件随机域（CRFs）的汉语组块识别
• 3.1 组块的定义和标注方法
• 3.1.1 组块的定义
• 3.1.2 组块的类型
• 3.1.3 组块的标注方法
• 3.2 基于CRFs的组块识别特征选取
• 3.3 基于CRFs的组块识别模型构建
• 4 基于CRFs的分布式策略与错误驱动技术的汉语组块识别
• 4.1 基于CRFs的分布式策略
• 4.2 基于CRFs的错误驱动技术
• 4.3 合并结果及处理类型冲突
• 4.4 并列结构的处理
• 4.5 系统流程图
• 5 实验结果与分析
• 5.1 实验数据说明
• 5.2 评价参数的定义及获取
• 5.2.1 评价参数定义
• 5.2.2 评价参数获取
• 5.3 实验结果与分析
• 5.3.1 基于CRFs的分布式策略的组块识别结果
• 5.3.2 基于CRFs的分布式策略与错误驱动技术的组块识别结果
• 5.3.3 合并策略对实验结果的影响
• 5.3.4 并列结构处理后的组块识别结果比较
• 5.3.5 与其他方法的实验结果比较
• 结论
• 参考文献
• 附录A 北大2001词性标注集
• 攻读硕士学位期间发表学术论文情况
• 致谢