基于语义的主题搜索引擎研究

论文摘要

随着互联网技术的广泛发展,互联网已经成为目前世界上最大的信息资源库。在互联网信息空间中如何快速、准确、全面的找到自己想要的信息已经成为21世纪互联网技术的一大难题。通用搜索引擎拥有庞大的索引数据和宽泛的主题,一定程度上解决了信息获取问题,但多元化的人群决定了多元化的信息搜索需求,因此通用搜索引擎不能满足特殊领域、特殊人群的精确化信息的需求。用户往往需要在检索结果中进一步查找才能获得感兴趣的信息,这促使着搜索引擎朝着专业化、智能化的方向发展,所以基于高准确率的主题搜索引擎得到了发展和应用。主题搜索引擎是为了提高互联网特定领域信息检索的效率而产生的。它通过网络爬虫获取主题信息并建立索引对用户提供相关信息和服务。主题搜索引擎是对通用搜索引擎的领域细化,满足了行业用户对主题信息快速、准确查找的需求。本文在主题搜索引擎系统的开发过程中,对主题搜索引擎中的关键技术进行了研究,其中包括了文本自动分词、特征提取、权值计算、文本分类、文本相似度计算等方面。对传统的相似度计算方法进行了改进,加入了词与词之间语义关系,并将其成功应用在主题搜索引擎中。首先,介绍了主题搜索引擎研究的背景与意义,以及国内外研究现状。其次,阐述了主题搜索引擎的实现原理及其关键技术,对主题搜索引擎的技术框架、网络爬虫、网页内容分析、网页索引和检索、分类技术和网页排序技术的各个环节依次作了详细介绍。然后,深入研究了传统文本相似度算法及其存在的不足。传统文本相似度算法没有考虑语义关系,词与词之间是独立的。针对这些不足进行了算法改进,采用并扩展了广义向量空间模型。通过词汇知识库计算两个词的语义相似度,把语义相似度应用到广义向量空间模型中,从而得到新的文本相似度算法。最后,针对Nutch的开源框架进行了二次开发,实现了主题资源发现,中文分词,主题过滤等功能,并将新的文本相似度算法应用到主题过滤中,最终完成了主题搜索引擎实验系统。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究的背景与意义
• 1.2 国内外研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 论文研究内容及章节安排
• 第二章 主题搜索引擎原理及关键技术
• 2.1 主题搜索引擎概述
• 2.2 网页抓取
• 2.2.1 网络蜘蛛实现原理
• 2.2.2 网络蜘蛛系统结构
• 2.2.3 网络蜘蛛优化
• 2.3 网页分析
• 2.3.1 网页分析实现原理
• 2.3.2 文档分析基本流程
• 2.3.3 网页分析系统结构
• 2.4 文本分类技术
• 2.4.1 文本分类定义
• 2.4.2 文本表示模型
• 2.4.3 特征提取与加权
• 2.4.4 分类算法介绍
• 2.5 网页索引
• 2.5.1 网页索引实现原理
• 2.5.2 网页索引基本结构
• 2.6 网页检索
• 2.6.1 网页检索实现原理
• 2.6.2 网页检索基本流程
• 2.7 网页排序
• 2.7.1 网页排序实现原理
• 2.7.2 网页排序基本流程
• 2.8 本章小结
• 第三章 基于GVSM文本相似度算法研究
• 3.1 广义向量空间模型（GVSM）
• 3.2 WordNet
• 3.2.1 语义词典介绍
• 3.2.2 词汇的矩阵模型
• 3.2.3 WordNet中的关系
• 3.3 基于GVSM文本相似度算法
• 3.3.1 语义相似度计算
• 3.3.2 词汇语义网构建
• 3.3.3 文本相似度计算
• 3.4 实验结果与分析
• 3.4.1 实验评价标准
• 3.4.2 实验结果与分析
• 3.5 本章小结
• 第四章 基于Nutch主题搜索引擎研究
• 4.1 开源系统介绍
• 4.1.1 Lucene
• 4.1.2 Nutch
• 4.2 基于Nutch主题搜索引擎
• 4.2.1 主题搜索需求分析
• 4.2.2 主题搜索系统框架
• 4.2.3 主题资源发现
• 4.2.4 主题识别技术
• 4.3 实验结果与分析
• 4.3.1 实验平台与运行环境
• 4.3.2 实验评价标准
• 4.3.3 实验结果与分析
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 致谢
• 攻读硕士期间发表的论文