汉语真实文本的语义角色标注

汉语真实文本的语义角色标注

论文摘要

语义角色标注在机器翻译、文本理解等自然语言处理系统中是一项必需的任务,它需要自动识别出句子中的谓词所关涉的论元结构。目前英语的语义角色标注系统很多,但汉语的相关研究还比较少见。汉语语义角色的确定有其自身的特点,不应该照搬英语的标注规范与方法。本文首次采用了清华大学开发的汉语句法树库TCT进行汉语真实文本的语义角色标注实验。这是语义角色标注的一种新的尝试,与以往的标注相比存在以下难点:(一)以往在Propbank中的标注都是按照每个谓词不同的语义框架选择了一些句子进行标注,这样对于自动标注会有帮助,但无法反映真实文本的情况,而TCT中的句子都没有经过人工的筛选,完全忠实于原来的文本,特别是汉语以分句较多为特点,而真实文本正反映了这个特点,增加了标注的难度;(二)实验中使用了小规模的训练语料和测试语料,这使得标注难度大大增加,而且为了验证标注方法的有效性,我们使用了5重交叉验证的方法,弥补了测试语料较少的缺撼;(三)本文实验使用的测试语料中的大部分谓词词形都没有出现在训练语料中,所以有关谓词框架的信息相对缺乏,而以往大部分测试语料中的谓词词形都会出现在训练语料中;(四)我们在标注中需要处理大量的名动词,而以往汉语和英语的标注中都没有包括名动词或名词化形式;(五)TCT树库中缺乏空语类标记,我们的系统需要自动判断与空语类对应的论元。针对以上难点,我们采用了新的标注方法,构造了一个适合在小规模真实文本上进行语义角色标注的系统:(一)本文将统计和规则的方法结合起来,在规则制定的一些薄弱环节上,如谓词在名词短语中,谓词和论元在不同分句中,时间和持续的区分等,确定了不同的测试集、训练集,用决策树进一步提高规则标注的准确率,并首次将规则标注的结果转换为规则特征,结合其它特征一起进行语义角色标注实验。实验结果表明,规则特征能够有效避免决策树对于训练数据的过适应(overfitting)问题,在标注结果上好于概率特征;(二)我们的系统的识别过程分为四个步骤:首先用规则判定是否有谓词论元关系,接着用决策树判定谓词论元关系,用规则确定成分的语义角色,用决策树确定成分的语义角色;(三)在规则制定的过程中,我们充分利用句法和语义的对应关系,根据句法结构对谓词论元关系做了分类,如主谓结构中的谓词论元关系、名词短语内部的谓词论元关系等,并根据不同的类别采用了不同的识别策略;(四)汉语中的句式变换和倒装是影响汉语语义角色标注的主要因素,我们对不同类型的句式变换和倒装进行了讨论,并制定了相应的判断语义角色的规则;(五)目前针对语义角色标注的资源还很缺乏,所以我们利用《同义词词林》等对谓词、名词进行划分,建立了用于区分语义角色的谓词词表和名词词表,并通过对介词的分类构造了一个介词词表,用于确定以介词为标记的论元的语义角色。本文的实验方法反映了汉语在语义角色标注上的特点,并在开放测试和封闭测试上取得了较好的效果,尽管使用的是真实文本,训练数据也比较少,但最终规则加统计的方法的F值达到了82%。

论文目录

  • 摘要
  • Abstract
  • 第1章 引言
  • 1.1 语义角色标注概述
  • 1.2 本文的研究内容和意义
  • 1.3 本文的组织结构
  • 第2章 在 TCT中的语义角色标注
  • 2.1 标记集的确定
  • 2.2 汉语和英语的语义角色标注比较
  • 2.3 标注中遇到的一些情况的处理方法
  • 第3章 使用规则确定谓词论元关系
  • 3.1 谓词论元关系的句法分类
  • 3.2 谓词的定位
  • 3.3 若干特殊的谓词论元关系
  • 第4章 使用规则和词表判定成分的语义角色
  • 4.1 核心论元的交替
  • 4.2 词表的建立
  • 第5章 基于决策树分类的语义角色标注
  • 5.1 标注单元和特征集
  • 5.2 谓词在名词短语中
  • 5.3 谓词和句法成分在不同的分句中
  • 5.4 引语
  • 5.5 原型施事和原型受事
  • 5.6 时间和持续
  • 第6章 实验结果分析
  • 6.1 TCT与CPB标注实验的比较
  • 6.2 不同类型的论元的标注结果
  • 6.3 规则特征在决策树标注中的作用
  • 结语
  • 附录
  • 附录1 标注结果举例
  • 附录2 主要函数举例
  • 附录3 TCT中的标记集
  • 参考文献
  • 后记
  • 相关论文文献

    标签:;  ;  ;  ;  ;  

    汉语真实文本的语义角色标注
    下载Doc文档

    猜你喜欢