基于元搜索调度算法的领域搜索模型研究

论文摘要

随着互联网和技术的不断发展,搜索引擎凭借自身的特殊优势,在前进的道路上扮演着越来越重要的角色,同时也成为人们关注的热点。由于互联网上信息的海量化,异构及动态特性的不断升级,通用搜索引擎在解决网页搜索问题时越来越不能令人满意,于是出现了元搜索引擎。元搜索引擎是一种上应用的信息检索的软件系统,它通过将用户的查询请求转发给成员搜索引擎,然后将各个成员搜索引擎返回的结果进行处理后提交给用户。元搜索在一定程度上提高了查全率,然而在面临用户准确查询时也会面临困难。针对目前信息查询中遇到的问题,本文提出了一种面向领域的搜索模型,这种模型以元搜索技术为基础,在提高查全率的同时,通过引入领域词加权模块,为用户的标准查询表达式额外再生成一个领域查询表达式,这两个表达式合取并作为通用搜索引擎接口的输入,最后采用基于扩展布尔模型的排序算法对返回的文献结果集进行相关度排序并将最终排序结果返回用户。本文主要研究内容:1、对元搜索调度策略进行了深入研究,分析其优缺点,找出其存在的不足,最后提出了一种基于学习的元搜索混合调度模型,这种模型从查全率、查准率、平均响应时间、用户兴趣偏好四个方面出发,综合考虑影响成员搜索引擎调度的各个因素,最后对该算法进行了相关分析。2、针对当前领域搜索引擎在构建自己的索引数据库方面的限制等,本文构建了一种基于元搜索的领域搜索模型(DOSM),这种模型以传统的通用搜索引擎为基础,引入功能模块,通过各个模块分工合作,使整个搜索模型在提高用户查询方面获得了很好的效果。3、构建了一种基于领域知识库的领域词加权模块,通过对用户查询信息分析统计和注册用户信息反馈,从而对领域知识库中的领域词及其层次结构进行动态更新,使领域知识库具备一定的学习能力。4、在分析现有检索模型优劣的基础上,采用了基于扩展布尔模型的排序算法对成员搜索引擎的返回结果进行相似度排序,以提高用户满意度,最后设计并实现了一个基于元搜索调度策略的面向特定领域的搜索引擎。

论文目录

• 摘要
• Abstract
• 1 引言
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.2.1 元搜索的当前发展概要
• 1.2.2 元搜索引擎调度策略国内外研究现状
• 1.2.3 领域搜索模型相关技术国内外现状
• 1.3 研究内容
• 1.4 论文的组织结构
• 2 元搜索引擎相关理论分析
• 2.1 元搜索引擎概述
• 2.1.1 元搜索引擎的原理
• 2.1.2 元搜索引擎的分类
• 2.1.3 元搜索的特点
• 2.2 元搜索引擎与其它搜索引擎的比较
• 2.2.1 元搜索引擎与独立搜索引擎的比较
• 2.2.2 元搜索引擎和分布式搜索引擎的比较
• 2.2.3 元搜索引擎与集成搜索引擎的比较
• 2.3 元搜索引擎调度模型
• 2.3.1 SavvySearch方法
• 2.3.2 ProFusion方法
• 2.3.3 决策树归纳分类算法
• 2.3.4 基于用户兴趣的个性化调度模型
• 2.4 元搜索引擎的优势和评价指标
• 2.5 本章小结
• 3 元搜索混合调度模型研究
• 3.1 混合调度算法
• 3.1.1 模型定义
• 3.1.2 查全率置信度
• 3.1.3 查准率置信度
• 3.1.4 成员搜索引擎的平均响应时间
• 3.1.5 成员搜索引擎的用户兴趣偏好权重
• 3.2 成员搜索引擎的综合评价
• 3.3 元搜索引擎的调度过程
• 3.4 本章小结
• 4 基于元搜索调度算法的领域检索模型研究
• 4.1 领域知识库的构建
• 4.1.1 领域知识的表示
• 4.1.2 领域知识库的建立
• 4.2 查询请求转换和查询表达式生成
• 4.3 领域特征属性加权
• 4.4 文献排序
• 4.4.1 信息检索模型
• 4.4.2 扩展布尔模型
• 4.5 本章小结
• 5 领域搜索模型系统的设计与实现
• 5.1 系统开发工具和平台
• 5.2 系统总体框架
• 5.3 数据库系统设计
• 5.3.1 关键词数据库
• 5.3.2 网页数据库
• 5.3.3 索引数据库
• 5.4 实验结果与分析
• 5.4.1 检索效果评价方法
• 5.4.2 检索实例
• 5.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢