基于TSE的特定领域搜索引擎研究及实现

论文摘要

搜索引擎(Search Engine)是随着Web信息的迅速增加,在近些年才逐渐发展起来的技术。搜索引擎以一定的策略在互联网中搜集、发现信息,并对信息进行理解、提取、组织和处理,为用户提供检索服务,从而起到信息导航的作用。目前搜索引擎已经成了人们在浩如烟海的网络上寻找目的地的必要工具,它在人们的生活中扮演着越来越重要的作用。因而搜索引擎技术成为计算机工业界和学术界争相开发、研究的对象。面向领域的搜索引擎(又称垂直搜索引擎)是信息检索领域的一个重要研究课题。虽然该领域已经取得许多研究成果,但目前相应的系统应用和检索效果却并不乐观。鉴于目前在国内,基于历史学学科特定知识领域的信息检索少有所闻,所以本论文将对历史学科的搜索引擎系统进行深入的研究及实现。TSE(Tiny Search Engine)是基于北大天网为模型开发的一个在Linux环境下运行的小型搜索引擎。其源码开放,是北大网络实验室的闫宏飞老师专门为搜索引擎爱好者提供的学习产品。由于TSE是一个通用的搜索引擎系统,针对特定领域的问题搜索时,在准确性和效率方面都有一定的不足。本文在构建TSE的基础上将历史学的领域知识加入此系统,改善其分词和索引功能:(1)加入历史学科特定词库。(2)改进TSE的分词算法。(3)更改TSE爬取网页时相关参数的设置以便更适应于特定领域的网页搜集。为了测试改进后的系统的性能,我们利用东北师范大学理想信息技术研究院在历史学科方面的整合资源,建立了一个历史学测试集(大约200篇文档,50个问题及答案)。利用此测试集对TSE及改进后的系统进行测试并对结果进行了深入分析。改进后的系统性能是令人满意的。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 课题研究背景及现实意义
• 1.2 面向领域的搜索引擎的现状
• 1.3 本文研究的重点
• 1.4 论文结构
• 1.5 本章小结
• 第二章 搜索引擎的基本原理与关键技术
• 2.1 搜索引擎的概念
• 2.2 当代搜索引擎的工作原理
• 2.2.1 网页搜集
• 2.2.2 预处理
• 2.2.3 查询服务
• 2.3 相关算法概述
• 第三章 基于TSE 搜索引擎系统的设计原理及改进算法实现
• 3.1 TSE 系统的设计原理
• 3.1.1 TSE 系统的Web 信息的搜集与存储
• 3.1.2 TSE 系统的对搜集信息的预处理
• 3.1.3 TSE 系统的信息查询服务与实现
• 3.2 TSE 系统中中文分词算法的原理
• 3.3 TSE 系统中索引算法的原理
• 3.4 改进后TSE 系统提供的功能介绍
• 3.5 改进后TSE 所使用的中文分词算法与实现
• 第四章 基于历史学科资源的改进TSE 系统的性能评测
• 4.1 评测系统的建立
• 4.1.1 实验环境
• 4.1.2 更改TSE 网页搜集模块相关参数的配置
• 4.1.3 TSE 系统的搭建
• 4.1.4 测试集
• 4.2 程序的调试及调试结果
• 4.2.1 改进词库后的调试及结果
• 4.2.2 分词算法改进调试及结果
• 4.3 系统性能测试分析与总结
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 工作总结
• 5.2 进一步工作
• 5.3 未来展望
• 参考文献
• 致谢