论文题目: 基于最大熵模型的中文人名识别方法研究
论文类型: 硕士论文
论文专业: 计算机应用技术
作者: 乔羽
导师: 杨尔弘
关键词: 中文人名识别,最大熵模型,特征集,潜在人名
文献来源: 山西大学
发表年度: 2005
论文摘要: 命名实体识别一直是自然语言处理领域的研究焦点之一,对信息抽取、问答系统、机器翻译等方面的研究有着十分重要的价值。虽然命名实体识别技术已经相当成熟,然而从评测的结果来看,中文命名实体的识别还远不能满足应用的需求,因为这里存在着技术、资源、应用需求之间有机结合的问题。 中文人名识别是汉语命名实体识别的一个子问题。目前,国内对中文人名识别的研究或者仅限于单纯进行汉语姓名识别,或者仅限于单纯的译名识别,而将汉语姓名和译名统一起来进行识别的研究却还不多,且不能够满足应用的需求。 本文基于最大熵模型,探索性地构建了一个能够对中文文本中各类人名进行统一识别的中文人名识别系统,取得了较好的效果。本文主要研究了以下几个方面的问题: 1.特征抽取及选择。在分析真实语料的基础上,本文提出了适合中文人名的特征集,并通过实验进行特征选择,确定了有效特征。 2.潜在人名发现。本文在传统人名用字概率信息方法的基础上,提出了一种平滑处理机制,保证了潜在人名发现召回率在99%以上;同时通过制定灵活的阈值选取规则,在保证召回率的基础上尽量提高潜在人名发现的精确率,在一定程度上减少了对模型标注的干扰。该方法不仅可召回由单字碎片组成的人名,还适用于人名内部成词和上下文成词的情况。
论文目录:
第一章 引言
1.1 研究对象
1.2 课题研究意义
1.3 中文人名识别的难点
1.4 论文的主要工作
1.5 论文结构
第二章 国内外研究历史及现状
2.1 英文命名实体识别历史及现状
2.2 中文人名识别历史及现状
2.3 本章小节
第三章 最大熵模型
3.1 问题描述
3.2 相关定义
3.3 最大熵原理
3.4 参数估计
第四章 特征集
4.1 特征集描述
4.1.1 相关概念
4.1.2 实体外特征
4.1.3 实体边界特征
4.1.4 实体内特征
4.1.5 综合性特征
4.2 特征选择实验
4.3 本章小节
第五章 潜在人名发现
5.1 潜在人名发现的方法
5.1.1 潜在汉语人名发现
5.1.2 潜在译名发现
5.2 人名竞争
5.3 本章小节
第六章 基于最大熵模型的中文人名识别系统设计
6.1 系统结构
6.2 模型的训练
6.2.1 模型的训练过程
6.2.2 特征集的抽取
6.2.3 参数估计
6.3 文本标注
6.4 实验结果与分析
6.4.1 实验语料和评测指标
6.4.2 实验结果
6.4.3 结果分析
6.5 本章小节
结束语
致谢
参考文献
附录
承诺书
发布时间: 2005-08-31
参考文献
- [1].跨模态间的人脸与人名对齐方法研究[D]. 吴伟.复旦大学2012
- [2].汉英人名自动翻译方法的研究[D]. 李鑫鑫.黑龙江大学2012
- [3].基于统计和规则的中文人名识别研究与实现[D]. 臧勇真.西南交通大学2013
- [4].基于统计和规则混合策略的维吾尔人名识别研究[D]. 加日拉·买买提热衣木.新疆大学2014
- [5].基于混合模型的中文人名识别方法研究[D]. 王俊.华东交通大学2015
- [6].中文人名跨文档指代消解研究[D]. 倪吉.苏州大学2011
- [7].基于循环神经网络的中文人名识别的研究[D]. 徐新峰.大连理工大学2016
- [8].基于条件随机场模型的中文人名识别的研究[D]. 王东亮.大连理工大学2010
- [9].基于类比学习的人名识别方法研究[D]. 朱丽丽.山西大学2007
- [10].中文人名搜索引擎关键技术研究[D]. 曹文学.河北大学2012
相关论文
- [1].SVM和最大熵相结合的中文机构名自动识别[D]. 杨德来.大连理工大学2006
- [2].基于条件随机场的命名实体识别研究[D]. 郭家清.沈阳航空工业学院2007
- [3].规则与统计相结合的中文命名实体识别[D]. 乔永波.山东大学2007
- [4].汉语文本人名识别改进方法研究[D]. 武玉洲.北京语言大学2007
- [5].基于最大熵模型的分词技术研究[D]. 贾丽洁.山东师范大学2007
- [6].基于最大熵模型的中文命名实体识别[D]. 王江伟.南京理工大学2005
- [7].面向机器学习方法的命名实体识别[D]. 任登君.东北大学2005
- [8].基于最大熵模型的中文姓名识别研究[D]. 步海慧.山东大学2006
- [9].基于CRF的英文命名实体识别研究[D]. 张剑.哈尔滨工业大学2006
- [10].中文命名实体识别方法研究[D]. 廖先桃.哈尔滨工业大学2006