文本间语义相关性计算及其应用研究

论文摘要

在信息飞速膨胀的当今世界,文本由于其表达灵活、信息容量大以及最为关键的人性化特点,一直是信息传播和存储的主要形式。如何对浩如烟海的文本数据进行处理,帮助人们更好地管理和使用这些数据,是如今这个信息时代需要研究和解决的根本问题之一。而对文本之间的关系进行考查,将这些纷杂的文本依据它们的内容进行合理的关联和区分,从而使更加复杂和深入的后续处理能够被顺畅的应用,则成为文本信息处理的首要内容。长期以来,由于计算机领域的研究者们缺乏对相关性概念的深入思考,使得在文本间关系的考察中,以相似性度量代替相关性度量的方法长期占据主流地位。尽管在一些情况下,相似性度量能够在一定程度上模拟相关性度量。但是,在很多着重强调考察文本之间关联程度而非相似程度的应用当中,由于此类方法的出发点与应用的关注目标之间存在偏差,因此往往不能很好的满足应用对计算效果的要求。本文借助认知科学与信息科学等多个领域的研究者对相关概念的实质所进行的深入分析,在现有的技术条件下,对用户的一般性知识基础加以利用,在语义层面上通过对系统角度的相关性计算模式进行改进,使之向用户角度的相关性计算靠近,对人类的相关判断行为进行模拟。针对语句和文档这两种不同规模和级别的文本,本文对它们的相关性计算方法分别进行了研究,并探讨了它们各自在相关领域中的应用。具体内容包括以下几个方面。面向自动问答系统中候选答案语句抽取的任务,提出了基于系统相似理论的加强型系统相似模型,用以对问答系统中用户查询问句与候选文档问句之间的关系进行计算。该模型引入候选答案要素,赋予其相应的模拟相似度,使其对语句之间相似度产生正向贡献,进而实现相似性度量到相关性度量的转变,更加准确地满足问答系统的需求。以该语句相关性计算方法为主要创新点的问答系统在目前国际权威的问答系统评测中获得了优异的评测成绩,同时,在此评测数据集上针对该方法的测试结果也体现了该方法性能的优越性。除了对语句一级的文本间语义相关性计算方法进行研究,本文对文档之间的相关性度量也提出了新的计算方法。利用文档所具有的词汇集聚特性,借助语义辞典等知识源,本文对文档中词语间的语义链接关系进行了定义与考察,并以之为基础提出了文档的词汇链形式化表示、词汇链权重计算,以及相应的文档匹配等方法。在对人类相关性判断行为的特点进行分析的基础上,提出了利用文本分类对相关性计算效果进行考察的评价方法。实验证明,基于词汇集聚的文档相关性计算方法取得了良好的计算效果。在此基础之上,本文提出了可调节距离的词汇间链接关系定义方法,并且对文档词汇集聚所形成的词簇的内部结构做了进一步的分析,提出了对词簇结构信息加以利用的基于结构化词汇集聚的文档相关性计算方法。在相关实验中,该计算方法的优越性得到了充分的证实。此外,面向药物开发过程中,药代动力学模型训练所需的相关参数缺乏的问题,本文对基于词汇集聚的文本相关性计算方法在生物医药领域药代动力学参数相关文档过滤中的应用进行了研究,同时包括了系统的结构设计以及针对应用领域的特点所采取的特殊的文本预处理方法。在针对酶作用物、引物和抑制剂三个类别的8种药物的实验中,以基于词汇集聚的文本相关性计算方法为核心的文本过滤系统取得了良好的计算效果,对提高生物医药领域药品开发过程的效率具有非常重大的实际意义。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题的背景和意义
• 1.2 文本相关性计算的研究现状
• 1.2.1 相关性概念的研究
• 1.2.2 相关性和相似性
• 1.2.3 文本相关性计算方法的研究现状
• 1.3 本文的主要研究内容
• 1.4 本文的内容安排
• 第2章 面向问答的语句相关性计算
• 2.1 引言
• 2.2 语句相关性计算模型介绍
• 2.2.1 向量空间模型
• 2.2.2 系统相似性模型
• 2.3 面向问答的加强型系统相似模型
• 2.4 语句间语义相关性计算在问答系统中的应用
• 2.4.1 加强型系统相似模型在 Insun05QA 系统中的实现
• 2.4.2 测试数据集、评测方法以及实验结果
• 2.5 本章小结
• 第3章 基于词汇集聚的文档相关性计算
• 3.1 引言
• 3.2 词汇集聚与文档相关性
• 3.2.1 词汇集聚
• 3.2.2 在文档相关性计算中引入词汇集聚的原因
• 3.3 基于词汇集聚的文档相关性计算模型
• 3.3.1 基于词汇链的文档表示方法
• 3.3.2 词汇链权重计算方法
• 3.3.3 基于词汇链的文档匹配算法
• 3.4 实验及结果分析
• 3.4.1 评价方法与测试数据集
• 3.4.2 实验结果及分析
• 3.5 本章小结
• 第4章 基于结构化词汇集聚的文档相关性计算方法
• 4.1 引言
• 4.2 可调节距离的词汇间链接关系定义
• 4.3 基于结构化词汇集聚的文档表示方法
• 4.4 基于回归分析的词汇链权重计算
• 4.4.1 回归分析
• 4.4.2 基于逻辑回归的词汇链权重特征融合
• 4.5 基于结构化词汇集聚的文档匹配方法
• 4.5.1 词汇集聚的结构信息分析
• 4.5.2 文档匹配方法
• 4.6 实验结果及分析
• 4.7 本章小结
• 第5章 文档相关性计算在生物医药文献过滤中的应用
• 5.1 引言
• 5.2 药代动力学相关生物文献过滤任务的提出及意义
• 5.3 文档相关性计算在生物文献过滤中的应用
• 5.3.1 药代动力学相关生物文献过滤系统结构
• 5.3.2 系统研究的相关生物医药资源
• 5.3.3 生物文献的预处理
• 5.3.4 基于文档相关性计算的生物文献过滤
• 5.4 实验结果与分析
• 5.5 本章小结
• 结论
• 参考文献
• 攻读博士学位期间发表的论文
• 致谢
• 个人简历