基于语篇的中文命名实体识别研究

论文摘要

命名实体识别是自然语言信息处理的一项基础工作。命名实体识别的研究,在自然语言信息处理的许多应用领域如信息抽取、自动分类、机器翻译、问答系统和信息检索等都具有重大的意义。国际上,很早就开始了命名实体识别技术的研究并取得了不错的成果。但是,由于中文本身的内在特点,使得命名实体识别问题成为中文信息处理中的一项艰巨的任务。为了解决基于句子中文命名实体识别研究的局限性,本文提出了一种基于语篇的中文命名实体识别算法,并从以下几个方面对基于语篇的中文命名实体识别问题进行了研究和探讨:首先,文本介绍了人名、地名和组织名三种主要的命名实体的相关语言学知识,并对命名实体识别的早期的规则方法和目前流行的机器学习方法进行了简要介绍。其次,提出了一个统计与规则相结合的中文命名实体识别算法。本文详细分析了中文命名实体的构成特点,提出了双层的CRFs模型进行机器学习方法,并采用规则库对CRFs标注结果进行校正,取得了不错的效果。再次,对语篇的基本概念和语篇理论进行了初步的学习和研究。在对语篇概念和基本理论有了一定的认识之后,重点对语篇的指代消解进行学习和研究。最后,提出了一种基于语篇的中文命名实体识别的算法,从整个语篇的角度对命名实体识别进行分析和研究。在系统架构过程中,本文采用了模块化的方法,分别有:句子级中文命名实体识别模块,指代消解模块,组织名缩略语识别模块、中文命名实体重现模块和评测模块等。实验结果表明,基于语篇的中文命名实体识别系统的识别效果相对于句子级的中文命名实体识别系统的识别效果有明显提高,在对2004年863中文命名实体评测语料的开放测试中,系统的识别的精确率、召回率和F-值分别是85.35%、80.62%和82.92%。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1自然语言处理
• 1.2 研究背景和意义
• 1.3 命名实体识别研究现状
• 1.3.1 国内外的研究机构
• 1.3.2 近年来的命名实体系统评测会议介绍
• 1.4 论文的研究工作
• 1.5 论文结构组织
• 第二章 命名实体识别的基本原理和方法
• 2.1 基本语言知识
• 2.1.1 命名实体的特点
• 2.1.2 命名实体识别的难点
• 2.2 早期的规则方法
• 2.3 机器学习的方法
• 2.3.1 MEM
• 2.3.2 CRFs
• 2.4 本章小结
• 第三章 基于统计与规则的中文命名实体识别
• 3.1 CRFs相关理论
• 3.1.1 独立假设（Independence Assumption）
• 3.1.2 标记偏差（Label Dias）
• 3.1.3 条件随机场（CRFs）
• 3.2 CRFs工具的选用
• 3.3 特征选择
• 3.3.1 人名
• 3.3.2 地名
• 3.3.3 组织名
• 3.4 规则库构造
• 3.5 算法描述
• 3.6 实验及结果
• 3.6.1 实验设计
• 3.6.2 实验结果及分析
• 3.7 本章小结
• 第四章 语篇知识介绍
• 4.1 基本概念
• 4.2 语篇理论介绍
• 4.2.1 语篇类型
• 4.2.2 语篇的衔接
• 4.3 指代消解
• 4.3.1 指代消解的定义
• 4.3.2 指代消解中的常用特征
• 4.3.3 指代消解的基本原理和方法
• 4.4 本章小结
• 第五章 基于语篇的中文命名实体识别研究
• 5.1 问题提出
• 5.2 系统实现
• 5.2.1 句子级中文命名实体识别模块
• 5.2.2 语篇指代消解模块
• 5.2.3 组织机构名缩略语识别模块
• 5.2.4 命名实体重现识别模块
• 5.3 实验设计
• 5.3.1 实验语料
• 5.3.2 评测标准
• 5.4 实验结果及分析
• 5.4.1 实验结果
• 5.4.2 结果分析
• 5.5 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢