中文问答系统的研究与实现

论文摘要

问答系统是信息检索分支,属于精确检索。问答技术是自然语言处理领域中一个非常热门的研究方向,它综合运用了各种自然语言处理技术,是国内外信息技术的研究热点。目前,国内外有很多的科研机构参与了英文问答技术的研究,甚至己经有相对成熟的英文问答系统,但是参与中文自动问答技术研究的科研机构并不是很多,而且基本没有成型的中文问答系统。本文正是对中文问答技术研究的一个探索。问答系统是自然语言处理研究的应用系统,它包括了自然语言处理、信息检索等方面的基本技术,例如词法分析,大规模文档的索引建立、检索、排序等等。本文中,问答系统分为查询问句分析、信息检索、相似度计算三大部分。查询问句分析在问答系统中对问句理解起着重要的作用。一般的,查询句分析需要进行词法、句法分析以及查询句分类、关键词提取与扩展等。本文讨论了基于词法分析的查询问句分析技术,构建了针对问答系统领域的停用词词表,根据分词、词性标注、名实体识别并结合停用词词表来抽取关键词,并根据词性设置不同关键词的重要程度和对关键词进行适当的扩展。信息检索模块是问答系统中最重要的模块之一,检索的结果对后面的处理,以至找到问题的正确答案都有很大的影响。本文中对布尔模型、向量空间模型、概率模型做了简要介绍,为了满足问答系统高效、快速的需求,实现了基于向量空间模型的问答对检索系统。为了能够将与查询问句最相关的问答对返回出来,本文中设计了一种基于统计信息和语言学知识相结合的问句相似度计算方法。基于向量空间模型的相似度原理,本文改进了向量空间模型的问句相似度计算方法,使其适合问句匹配;并且计算了问句之间的语义相似度。并将这两种相似度结合作为查询问句和问答对之间的最后相似度,这种问句相似度的计算方法能够更好的返回问句匹配答案。最后,我们抽取14个领域类别的测试问题作为语料进行测试,通过对实验结果的分析,可以看出本文所实现的中文问答系统具有高效、准确、快速等特性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景和意义
• 1.2 问答系统的分类
• 1.3 问答系统的研究现状
• 1.4 本文的主要研究内容
• 1.5 论文组织
• 第2章 基于词法分析的查询问句分析
• 2.1 查询问句分析研究现状综述
• 2.2 查询问句分析流程
• 2.3 查询问句预处理
• 2.3.1 中文分词
• 2.3.2 词性标注
• 2.3.3 去停用词
• 2.4 基于词法分析的查询问句关键词抽取与扩展
• 2.4.1 关键词抽取
• 2.4.2 关键词扩展
• 2.4.3 关键词抽取与扩展的评价
• 2.5 本章小结
• 第3章 问答对检索模型
• 3.1 信息检索的定义与发展
• 3.2 经典的信息检索模型
• 3.2.1 布尔模型
• 3.2.2 向量空间模型
• 3.2.3 概率模型
• 3.3 基于向量空间模型的问句检索关键技术研究
• 3.3.1 特征项选择
• 3.3.2 特征项赋权
• 3.3.3 倒排索引的数据格式
• 3.4 倒排索引创建
• 3.4.1 索引创建
• 3.4.2 索引归并
• 3.5 检索服务实现
• 3.5.1 检索服务系统结构
• 3.5.2 检索功能实现
• 3.6 实验分析
• 3.6.1 索引创建实验
• 3.6.2 检索效率实验
• 3.7 本章小结
• 第4章 基于统计信息和语言学知识相结合的问句相似度计算
• 4.1 一种改进的基于向量空间模型的问句相似度计算
• 4.1.1 基于向量空间模型的相似度原理
• 4.1.2 改进的基于向量空间模型的问句相似度公式
• 4.2 基于HowNet（知网）的词语相似度
• 4.3 基于语义信息的问句相似度计算
• 4.3.1 问句语义相似
• 4.3.2 基于语义信息的问句相似度公式
• 4.4 基于统计信息和语言学知识相结合的问句相似度公式及评价
• 4.5 本章小结
• 第5章 中文问答系统的设计与实现
• 5.1 中文问答系统总体架构
• 5.2 中文问答系统的实现
• 5.2.1 查询问句分析的实现
• 5.2.2 问答系统中问句检索的实现
• 5.2.3 问句相似度计算的实现
• 5.3 实验分析
• 5.3.1 实验设置
• 5.3.2 评价标准
• 5.3.3 实验结果及分析
• 5.3.4 开放性测试
• 5.4 本章小结
• 结论
• 参考文献
• 致谢