基于多分类器的统计汉语词义消歧方法研究

论文摘要

词义消歧是计算语言学领域的一个重要基础性研究课题，也是近年来该领域的热点研究问题之一。它对机器翻译、信息检索、内容和主题分析、文本分类、语音识别等领域都有着重要的影响。本文研究的重点是基于统计词义消歧技术，以北京大学计算语言学研究所开发的综合语言知识库为基础，在以下几个方面进行了研究：1．对《人民日报》标注语料的特点及其特征提取方法进行了研究。首先分析了《人民日报》标注语料的结构以及可供使用的消歧知识，然后对语料库中多义词所处上下文中所包含的显性特征信息、半显性特征信息和隐性特征信息等的特点以及它们的提取方法和使用方法进行了研究。2．对一些词义消歧模型进行分析和比较，探讨它们所用特征集的特点以及它们之间的互补性，为多分类器词义消歧模型奠定基础。首先对贝叶斯模型、决策树模型、向量空间模型、最大熵模型等建模方法的模型结构以及特征集的获取方法进行了研究，并对他们在词义消歧上的应用效果及其之间的互补性进行了比较分析。3．提出了一种动态自适应加权投票的多分类器集成方法。在对多种分类器分析的基础上，借鉴模式识别领域集成分类器思想，提出了一种动态自适应加权投票的多分类器集成方法来构建集成分类器。实验结果表明，所提集成分类器使消歧结果达到了91.86%。4．建立了义项标注实验平台。该平台是一个应用框架，集成了词义消歧常用的功能模块如分词、特征提取、结果评测。使用者可以将自己的消歧算法加入到该平台中，从而省去重复性工作，将精力放于算法的研究。综上所述，本文在词义消歧方法的集成上做了一些有益的尝试，研究表明该方法可以有效的提高词义消歧的准确率，必使汉语词义消歧的研究迈进一步，并为自然语言处理相关领域使用集成方法提供启迪。

论文目录

• 摘要
• ABSTRACT
• 第1章 引言
• 1.1 课题的提出及研究意义
• 1.1.1 词义消歧的定义
• 1.1.2 词义消歧研究的意义
• 1.2 词义消歧方法概述
• 1.3 本文研究的内容
• 1.4 本文的组织
• 第2章 语言知识资源分析和消歧特征提取
• 2.1 语言知识资源分析
• 2.1.1 人民日报标注语料库
• 2.2 消歧特征的提取
• 2.2.1 显性信息的提取和使用
• 2.2.2 半显性信息的提取和使用
• 2.2.3 隐性信息的提取和使用
• 2.3 本章小结
• 第3章 现有词义消歧模型的分析与比较
• 3.1 四种词义消歧建模方法
• 3.1.1 贝叶斯词义消歧模型
• 3.1.2 决策树词义消歧模型
• 3.1.3 向量空间词义消歧模型
• 3.1.4 最大熵词义消歧模型
• 3.2 各词义消歧模型试验结果及比较
• 3.2.1 实验设计与实现
• 3.2.2 实验结果分析
• 3.3 本章小结
• 第4章 多分类器集成的词义消歧设计与实现
• 4.1 多分类器集成技术
• 4.2 单分类器的选择
• 4.3 多分类器集成的主要方法
• 4.4 动态自适应加权投票分类器集成算法
• 4.5 实验设计与实现
• 4.6 实验结果分析比较
• 4.7 本章小结
• 第5章 义项标注实验平台的构建
• 5.1 义项标注平台的结构和功能
• 5.1.1 分词模块
• 5.1.2 特征选择模块
• 5.1.3 机器学习模块
• 5.1.4 词义标注模块
• 5.1.5 结果评测模块
• 5.2 字标注分词系统的设计与实现
• 5.2.1 隐马尔可夫模型
• 5.2.2 基于 HMM 的字标注分词算法模型
• 5.2.3 基于 HMM 的分词系统设计与实现
• 5.3 全文检索模块的设计与实现
• 5.3.1 字典组织结构的分析
• 5.3.2 词典组织结构的设计
• 5.3.3 地址数据组织结构的分析
• 5.3.4 地址数据结构的设计
• 5.3.5 索引和查询算法设计
• 5.3.6 实验设计与分析
• 5.4 本章小结
• 第6章 结论
• 参考文献
• 附录 A 多义词词频表
• 个人简历及在读期间发表的论文与研究成果
• 致谢