中文姓名自动识别系统的设计与实现

论文摘要

中文命名实体或未登录词识别是中文信息处理的基础研究课题,是文本理解、文本校对、文本主题自动抽取、文本聚类、文本挖掘、文本过滤、信息抽取、机器翻译等多种自然语言处理技术的重要基础。因此,研究中文命名实体识别对提高词法分析、句法分析、语义分析乃至中文信息处理的质量有很重要的意义。本文针对现代汉语文本,主要研究人名的自动识别问题,我们在对大规模姓名样本库、姓名语料库进行统计的基础上,将姓氏按其在真实文本中成为真姓氏的概率对姓氏进行优先级划分,并重点研究了前300个姓氏作普通单字时其上下文用字规律及姓氏的词性规律,将局部二元统计语言模型作为基本框架,设计并实现了一个中文人名自动识别系统。具体地,本文的主要内容如下:本文首先分析了中文人名识别的困难,并对现有的人名识别方法进行了简单介绍和比较;然后建立了人名样本库、姓氏库、人名语料库等在人名识别前所需的语言学资源,并对这些资源进行统计分析的基础上,建立了各种人名用字表、姓氏概率表、分词词典、人名上下文信息表、姓氏用作普通单字时的上下文信息表、姓氏前缀、后缀表等人名识别过程中所需的数据资源。然后对姓氏按优先级进行分类,并通过3σ法则建立优先级阈值库;利用局部二元统计语言模型对人名识别问题进行建模,并给出各个优先级的姓氏的识别规则。最后,我们设计并实现了一个基于局部二元统计模型的中文人名自动识别系统。实验结果表明,本文提出的人名识别模型能够获得较为满意的结果。对98年1月《人民日报》26日～31日的语料进行的开放测试.在调整阈值参数c的情况下,获得了平均召回率和准确率分别为79.06%、81.16%,部分解决了人名的识别问题。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 研究意义
• 1.3 中文人名识别的困难
• 1.4 本文的主要工作
• 1.5 本文结构
• 2 国内外研究现状
• 2.1 词语切分方法概述
• 2.2 人名识别方法概述
• 2.2.1 基于规则的方法
• 2.2.2 基于统计的方法
• 2.2.3 统计与规则相结合的方法
• 2.2.4 机器学习的方法
• 2.2.5 其他方法
• 2.3 各种方法比较
• 2.3.1 各种方法使用资源小结
• 2.3.2 各种方法比较
• 3 建立中文人名识别资源
• 3.1 人名样本库
• 3.1.1 单名用字表
• 3.1.2 双名用字表
• 3.1.3 双名首字、末字表
• 3.1.4 名字用字分析
• 3.2 姓氏库
• 3.2.1 姓氏表
• 3.2.2 姓氏用字分析
• 3.3 人名语料库
• 3.3.1 分词词典
• 3.3.2 姓氏词性分析及其词表
• 3.3.3 姓氏概率表
• 3.3.4 人名上下文信息表
• 3.3.5 姓氏作普通单字词的上下文信息表
• 3.3.6 姓氏前缀、后缀表
• 3.3.7 “于”前置词表
• 4 基于局部二元统计的人名识别模型
• 4.1 相关定义
• 4.2 姓氏的优先级
• 4.3 人名识别模型
• 4.3.1 统计语言模型概述
• 4.3.2 局部二元统计模型
• 4.4 人名识别思想描述
• 4.4.1 人名识别方法
• 4.4.2 人名识别过程
• 4.4.3 阈值计算方法
• 4.4.4 一些有用的规则
• 5 系统设计与实现
• 5.1 系统结构
• 5.2 系统资源定义
• 5.2.1 人名用字类
• 5.2.2 人名用字表类
• 5.2.3 姓氏用字作普通单字词的上下文类
• 5.2.4 姓氏上下文链表类
• 5.2.5 姓氏类
• 5.2.6 姓氏字典类
• 5.2.7 人名上下文信息类
• 5.2.8 人名上下文信息表类
• 5.2.9 单词类
• 5.2.10 词典类
• 5.2.11 阈值类
• 5.2.12 阈值表类
• 5.2.13 人名识别资源定义
• 5.3 识别过程描述
• 5.3.1 文本中的人名识别过程
• 5.3.2 当前姓氏人名识别过程
• 5.4 实验及分析
• 5.4.1 实验语料
• 5.4.2 评测指标
• 5.4.3 实验设计
• 5.4.4 实验结果
• 5.4.5 结果分析
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢