基于规则的Web文本信息抽取技术的研究

论文摘要

随着因特网技术的迅速发展,网上信息成几何级数增长,如何自动处理这些海量联机文本信息成为目前重要的研究课题。文本信息抽取是指从一段文本中抽取指定的信息（例如事件、事实）,并将其形成结构化的数据填入数据库中供用户查询使用的过程。本文实现的是中文命名实体识别及关系抽取系统。命名实体识别是实体关系抽取的基础。实体关系抽取是信息抽取中的一个重要研究课题,其任务是寻找并判定实体对之间存在的特定关系。实体关系抽取作为一项基础性研究,对于信息检索、问答系统、信息过滤、自动文摘、机器翻译以及数字图书馆建设有重要的研究意义。当前实体关系抽取的主要技术有基于知识库的抽取方法、基于特征向量的机器学习方法、基于核函数的机器学习方法,基于模式的Bootstrapping方法。本文采用了隐马尔可夫模型（Hidden Markov Models,HMM）与具有优先规则提取相结合的方法进行中文命名实体识别。整个识别过程可以分为两个步骤,首先使用隐马尔可夫模型进行词性标注,然后利用具有优先级别的匹配规则对第一步的结果进行修正和转换。二者的有机结合使得系统性能有了很大的提高。采用两种基于特征向量的机器学习算法,Winnow和支持向量机（SVM）,在ACE评测的训练数据上进行实体关系抽取实验。两种算法都进行适当的特征选择,当选择每个实体的左右两个词为特征时,达到最好的抽取效果,Winnow和SVM算法的加权平均F-Score分别为73.08%和73.27%。可见在使用相同的特征向量,不同的学习算法进行实体关系的识别时,最终性能差别不大。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 国内外相关研究状况
• 1.3 本文的研究工作
• 1.4 本文的组织结构
• 1.5 本章小结
• 第二章 信息抽取知识概述
• 2.1 信息抽取综述
• 2.1.1 信息抽取的相关概念
• 2.1.2 信息抽取的层次和类型
• 2.1.3 信息抽取中的主要技术
• 2.1.4 信息抽取的主要任务
• 2.1.5 信息抽取系统的体系结构
• 2.1.6 信息抽取的工作过程和衡量指标
• 2.2 命名实体识别主要算法
• 2.2.1 隐马尔可夫模型（Hidden Markov Models,HMM）
• 2.2.2 最大熵模型（Maximum Entropy Models）
• 2.2.3 条件随机场（Conditional Random Fields）
• 2.3 本章小结
• 第三章 中文命名实体识别及实体关系抽取的研究
• 3.1 基于规则与统计的中文命名实体识别的研究
• 3.1.1 基于HMM 的命名实体识别
• 3.1.2 上下文相关的新词和人名识别
• 3.1.3 匹配规则修正
• 3.2 基于特征向量的实体关系抽取的研究
• 3.2.1 基于特征向量的机器学习算法
• 3.2.2 支持向量机（SVM）的基本理论
• 3.2.3 在线学习Winnow 算法
• 3.3 实体关系抽取的构造算法
• 3.4 系统总体设计
• 3.5 系统的模块设计
• 3.5.1 中文命名实体识别模块
• 3.5.2 中文实体关系抽取模块
• 3.6 系统服务的实现
• 3.6.1 客户端设计
• 3.6.2 服务端设计
• 3.6.3 系统部署
• 3.7 本章小结
• 第四章 系统测试及其结果分析
• 4.1 实验评测指标
• 4.2 实验数据及结果分析
• 4.2.1 中文命名实体识别部分
• 4.2.2 中文实体关系抽取部分
• 4.3 本章小结
• 第五章 结论和展望
• 5.1 总结
• 5.2 前景展望
• 5.3 本章小结
• 致谢
• 参考文献