从大规模中文语料中获取知识模式的研究

论文摘要

知识获取被认为是一项非常困难和耗时耗力的任务,几十年来一直是阻碍智能系统等研究和开发的瓶颈问题。互联网时代,大量的信息都以非结构化的文本形式存在。由于自然语言处理的歧义性（Ambiguity）和非规范性（Ill-Fonnedness）两大类问题,使得计算机自动文本知识获取被认为是一项非常困难和费时的任务。基于模式的方法在文本知识获取系统中被普遍使用,并取得很好的结果。因此如何获取所需的模式成为重要的研究问题。本文主要研究如何从大规模语料中获取语义模式,开展了如下的工作:1)非监督的介词-动词模式自动获取。动词介词模式是自然语言表述关系型知识的一种主要形式,通过“什么”疑问词的引入降低模式获取的复杂性。首先引入了基于条件概率的过滤规则对介词动词组合进行过滤;然后构造查询项,通过Google搜索引擎从Internet上获取语料;最后从“概念词和概念词之间的相关性”、“概念词和模式词之间的相关性”和“模式词和模式词之间的相关性”的角度定义了六种度量,并基于这几种度量对获取的模式进行评价。实验结果证明,这六种度量是很好的模式定量特征。2)模式库的扩充。按照类比学习的思想提出了模式扩充的方法。以模式的词汇语法层相关性为基础进行模式的扩充。最后沿用了模式获取阶段的模式评价方法对模式进行评价。3)提出模式专一性的度量方法。模式的适用范围大小是基于模式进行知识获取过程中重要的信息。适用范围体现在模式能表达的概念的类别集合上,而模式不同位置（<?Ci>）能表达概念的类别集合是不同的,为此需要对模式的的不同位置分别进行度量。我们将这种适用范围的大小的度量定义为专一性。本文分别通过深度、概念集抽象和墒的方法度量专一性。通过分析发现这三种度量基本上与人感觉的专一程度吻合。

论文目录

• 摘要
• Abstract
• 目录
• 表格目录
• 图目录
• 第一章 引言
• 1.1 文本知识获取介绍
• 1.1.1 文本知识获取含义
• 1.1.2 文本知识获取的目标与手段
• 1.1.3 国家基础知识设施
• 1.1.4 模式的作用
• 1.2 国内外研究现状与分析
• 1.2.1 命名实体识别
• 1.2.2 语义关系获取
• 1.2.3 主要的关系知识获取的研究项目
• 1.2.4 研究现状的分析与比较
• 1.3 本文的主要研究内容
• 1.4 本文的组织
• 第二章 语义模式获取的框架
• 2.1 获取语义模式的目的
• 2.2 基本假设
• 2.3 语义模式的表示
• 2.3.1 语义模式的结构
• 2.3.1.1 词汇语法结构
• 2.3.1.2 词汇语法限制
• 2.3.1.3 定性限制
• 2.3.1.4 定量限制
• 2.3.1.5 特性描述
• 2.4 评价的标准
• 2.4.1 精度/召回率标准
• 2.5 模式获取系统的结构
• 2.5.1 模式获取单元
• 2.5.2 模式扩充单元
• 2.5.3 模式分析单元
• 2.5.4 模式评价单元
• 2.6 小结
• 第三章 动词-介词模式的获取方法
• 3.1 获取动词-介词模式的目的
• 3.2 “什么”疑问词的作用
• 3.3 介词-动词模式的特征
• 3.3.1 简单表示能力度量
• 3.3.2 概念词集合投影度量
• 3.3.3 潜层语义度量
• 3.3.4 概念词之间句子级互信息度量
• 3.3.5 概念词之间文档级互信息度量
• 3.3.6 概念词和模式词之间相关性度量
• 3.4 PV模式获取的步骤
• 3.5 小结
• 第四章 模式的扩充
• 4.1 目的
• 4.2 扩展方法
• 4.3 模式扩充算法
• 4.4 特征构造
• 4.5 小结
• 第五章 模式的性质分析
• 5.1 目的
• 5.2 上下位概念空间
• 5.3 专一性需要满足的性质
• 5.4 专一性的几种定义
• 5.4.1 基于深度的专一性定义
• 5.4.1.1 概念集合上位扩展
• 5.4.1.2 基于深度的专一性性质分析
• 5.4.2 基于概念集抽象的专一性定义
• 5.4.2.1 基于概念集抽象的专一性分析
• 5.4.3 基于熵的概念集抽象定义
• 5.4.3.1 熵概念的引入
• 5.4.3.2 类概念集合的分布构造
• 5.4.4 专一性示例及分析
• 5.4.5 模式的专一性定义
• 5.5 符号说明
• 5.6 小结
• 第六章 实验结果及分析
• 6.1 实验结果
• 6.2 实验结果分析
• 6.3 小结
• 第七章 结束语
• 7.1 本文总结
• 7.2 今后的工作及改进
• 参考文献
• 致谢
• 作者简历