事实型中文问答系统中片段检索方法的研究

论文摘要

目前,问答系统作为一种新型的智能化的信息检索形式,作为一种更高效、更人性化的搜索引擎,已经成为信息检索和自然语言处理领域中重要研究方向之一。信息检索部分是整个问答系统中承前启后的重要环节,其性能的优劣直接关系到答案提取能否有效地进行。目前大部分的片段检索方法都是基于词汇表面形式的匹配,而这种方法通常会造成词语间重要的语义关系的丢失,也是导致一些并不包含答案的片段呈假阳性的重要原因之一。假阳性即指一些不相关的片段与正确片段一样包含同样的问题词,但词之间的关系却与问题大不相同。本文将自然语言处理中浅层语义分析的相关技术引入到片段检索中,提出了一种基于句法依存关系的片段检索方法,旨在更好地反映问题与候选片段在语义上的相似度。对于长度较短的问题,增加了同义词、缩略词扩展和基于依存关系的关键字扩展策略,以提高检索召回率。同时,本文的基于句法依存关系的片段检索方法还能够与同义词、缩略词扩展相结合,使其在一定程度上实现了关键字的模糊匹配。本文通过两部分实验对不同的片段检索方法及其与关键字扩展结合后的性能进行了客观评测。实验结果表明,与简单基于词汇匹配的方法相比,本文基于句法依存关系的片段检索方法在结果准确性和排序方面都有较大的提高。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 搜索引擎与问答系统
• 1.1.2 问答系统的分类
• 1.1.3 问答系统的组成
• 1.1.4 问答系统性能分析
• 1.2 问题提出和研究意义
• 1.3 本文的研究内容
• 1.4 本文的组织结构
• 第二章 文档检索及片段检索
• 2.1 问答系统中的信息检索
• 2.1.1 两种不同的检索策略
• 2.1.2 不同检索策略的分析
• 2.2 问答系统中常用文档检索模型
• 2.2.1 基于布尔模型的文档检索
• 2.2.2 基于向量空间模型的文档检索
• 2.3 文档中相关片段的检索
• 2.3.1 基于关键字数量的片段检索
• 2.3.2 基于关键字密度的片段检索
• 2.3.3 基于关系匹配的片段检索
• 2.3.4 中文问答系统中的片段检索方法
• 2.4 本文的检索策略
• 2.5 本章小节
• 第三章 基于句法依存关系的片段检索方法
• 3.1 句法依存分析
• 3.1.1 句法依存分析器
• 3.1.2 句法依存分析在问答系统中的应用
• 3.2 路径提取
• 3.3 路径提取规则
• 3.4 语料路径相似度计算
• 3.5 本文片段检索的总体思想
• 3.6 问题路径与候选答案句子路径匹配
• 3.7 路径匹配对的相似度计算
• 3.8 问题与候选句子的相似度评分
• 3.9 本章小结
• 第四章 关键字扩展
• 4.1 问答系统中的关键字扩展
• 4.1.1 常用的关键字扩展方法
• 4.1.2 不同方法的性能分析
• 4.1.3 本文中关键字扩展策略
• 4.2 基于依存关系的关键字扩展
• 4.3 关键字扩展与文档检索结合
• 4.4 关键字扩展与片段检索结合
• 4.5 本章小结
• 第五章 性能评测
• 5.1 实验数据
• 5.2 评测方法
• 5.3 实验设计
• 5.3.1 本文片段检索方法的性能评测
• 5.3.2 结合关键字扩展的片段检索性能评测
• 5.4 性能及错误分析
• 5.5 本章小节
• 第六章 结论与展望
• 6.1 本文的主要工作
• 6.2 一些主要结论
• 6.3 今后的研究工作
• 参考文献
• 致谢
• 攻读硕士期间参加的项目和发表的论文