一种改进的专题搜索结果排序算法的研究

论文摘要

随着网络技术的发展,Internet已成为人们获取资源和信息交流的主要途径,搜索引擎作为搜寻网络信息的工具,已经渗透到了人们生活的各个领域,但由于种种原因还存在许多不足,并且当使用搜索引擎来检索专业内容时,往往找不到用户需要的内容。针对这种情况,专题搜索引擎应运而生。专题搜索引擎注重具体、深入的纵向服务,致力于某一特定领域内信息的全面和内容的深入,这个领域外的闲杂信息不收录。目前,国外对专题搜索引擎的研究大都处于试验阶段;国内对专题搜索引擎的研究起步很晚,发展较慢并且数量很少,用户对目前专题搜索引擎的状况满意度不高,其中输出结果的排序对搜索性能的影响很大,因此,对专题搜索结果排序进行理论研究和实践探索具有很大的现实意义,也具有较大的学术和应用价值。专题搜索引擎是“专题”与“搜索引擎”的结合,本文首先系统地分析了通用搜索引擎排序算法,如词频和位置加权排序算法、Direct Hit算法、PageRank算法、Hits算法,指出了它们各自的优势和存在的不足,并探讨了国内外现有的基于PageRank的改进算法,对其进行了归纳和总结,将现有的搜索引擎排序技术的改进思路进行了分析。专业搜索引擎的核心技术之一是相关性算法,本文研究了目前相关度计算模型:布尔模型,向量模型和概率模型,以及它们的优缺点。然后分析了专题对于排序算法的影响。其次,本文引入了查询词在页面中出现的位置、状态和频率,用户反馈信息、链接关系、正文长度、e值选取、迭代公式等因素改进PageRank算法,之后本文提出了主题相关度,从文档分类、主题中各维度赋予不同权值、文档与主题中各类别不同的相关度、友情链接等方面进行改进,再与通用搜索引擎排序的若干因素结合。最后对本文算法改进中所利用的各种因素加以细致入微地测评。专题搜索引擎是一个崭新的领域,其相关的许多技术还在发展,本文的最后对进一步的研究工作进行了探讨。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景
• 1.1.1 专题搜索引擎的发展
• 1.1.2 国内外专题搜索引擎的研究现状
• 1.1.3 专题搜索引擎面临的问题
• 1.1.4 研究专题搜索结果排序算法的意义
• 1.2 本文的研究内容
• 1.3 本文的组织与结构
• 第2章 专题搜索结果排序算法的相关技术研究
• 2.1 通用排序算法相关技术
• 2.1.1 词频和位置加权排序算法
• 2.1.2 Direct Hit算法
• 2.1.3 PageRank算法
• 2.1.4 Hits算法
• 2.2 通用排序策略的评价
• 2.2.1 词频和位置加权排序算法的优点与不足
• 2.2.2 Direct Hit算法的优点与不足
• 2.2.3 PageRank算法的优点与不足
• 2.2.4 Hits算法的优点与不足
• 2.2.5 选择对PageRank算法进行改进的原因
• 2.3 基于PageRank的已有的改进算法
• 2.3.1 在主题相关性方面进行的改进
• 2.3.2 在对新网页补偿的方面进行改进
• 2.3.3 已有改进方案的评价
• 2.4 专题的相关度计算模型
• 2.4.1 布尔模型
• 2.4.2 向量模型
• 2.4.3 概率模型
• 2.5 专题的相关度计算模型的评价
• 2.5.1 布尔模型的优点与不足
• 2.5.2 向量模型的优点与不足
• 2.5.3 概率模型的优点与不足
• 2.6 专题对于排序算法的影响
• 第3章 专题搜索结果排序算法的改进
• 3.1 基于PageRank算法的改进
• 3.1.1 利用查询词在页面中出现的位置修正权值
• 3.1.2 利用查询词在页面中的状态修正权值
• 3.1.3 利用查询词在页面中出现的频率修正权值
• 3.1.4 利用用户反馈信息修正权值
• 3.1.5 利用链接关系修正权值
• 3.1.6 利用正文长度修正权值
• 3.1.7 利用改进e值修正权值
• 3.1.8 利用改进迭代公式修正权值
• 3.2 针对基础教育专题进行改进
• 3.2.1 文档分类
• 3.2.2 主题中各维度赋予不同权值
• 3.2.3 文档与主题的相关度
• 3.2.4 友情链接
• 3.3 权值的选取
• 3.4 最终权值的计算
• 第4章 改进算法的测评
• 4.1 基于PageRank改进算法的测评
• 4.1.1 对查询词在页面中出现位置的因素进行测评
• 4.1.2 对查询词在页面中状态的因素进行测评
• 4.1.3 对查询词在页面中出现频率的因素进行测评
• 4.1.4 对用户反馈信息因素进行测评
• 4.1.5 对链接关系因素进行测评
• 4.1.6 对正文长度因素进行测评
• 4.1.7 对改进的e值因素进行测评
• 4.1.8 对改进的迭代公式因素进行测评
• 4.2 针对基础教育专题改进的测评
• 第5章 论文工作总结与展望
• 5.1 研究成果综述
• 5.2 没有真正解决的问题
• 5.3 搜索引擎的发展方向
• 5.3.1 十分注意提高信息查询结果的精度,提高检索的有效性
• 5.3.2 基于智能代理的信息过滤和个性化服务
• 5.3.3 采用分布式体系结构提高系统规模和性能
• 5.4 后续研究
• 参考文献
• 攻读学位期间公开发表论文
• 致谢
• 研究生履历