垂直搜索的算法研究

论文摘要

随着互联网上的信息量越来越大,传统的通用搜索引擎对信息的查找、索引越发显得力不从心,逐渐显露出“准确性差、时效性差、覆盖率低”等弊端。通用搜索引擎立意于满足用户的公共信息查询需求,它根据用户输入的查询串与索引页面在内容上的匹配程度的高低来筛选、返回页面。这种检索方式不但带回大量的无关页面,而且缺乏准确性与实效性,已不能满足人们日益增长的对个性化服务的需求。针对以上情况,另一种搜索引擎悄然出现,它可以在一定范围内取得比传统搜索引擎更令人满意的结果,这就是垂直搜索引擎。垂直搜索引擎的核心部分是垂直搜索算法。本文首先介绍通用搜索算法的基本原理和关键技术,并对这些算法的优缺点进行了分析,并在此基础上提出了垂直搜索算法。本文对通用的PageRank算法和Hits算法进行了改进：适当的增加主题关键词的权值,对相关的属性赋予适当比重的权值。针对传统的搜索算法产生“主题漂移”和“属性漂移”的问题,本文适当的调整了算法的权重因子,使算法尽可能的避免这类问题。本文对算法阀值的选取进行了讨论,并指出了需要考虑的因素及其对算法结果的影响。作者针对改进的算法设计了一个简单的实验环境,并对改进的算法进行了验证,实验表明,改进的算法能够适当的避免主题漂移等问题。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 论文的背景
• 1.2 国内外研究现状
• 1.3 研究的目的及意义
• 1.4 本文的组织工作
• 2 垂直搜索的工作原理及关键策略
• 2.1 爬虫原理与爬行策略
• 2.2 主题相关度计算策略
• 2.3 中文分词策略简介
• 2.4 主题向量的建立策略
• 2.5 本章小结
• 3 常用的垂直搜索的爬虫爬行算法研究
• 3.1 传统网络爬虫的爬行算法
• 3.2 主题爬虫的爬行算法
• 3.3 本章小结
• 4 PAGERANK算法和HITS算法的分析与改进
• 4.1 PAGERANK算法的基本思想
• 4.2 PAGERANK算法的分析与改进
• 4.3 垂直搜索的阀值设立的考虑因素
• 4.4 HITS算法的基本思想
• 4.5 HITS算法的过程
• 4.6 基于HITS算法改进的PRH算法
• 4.7 基于HITS算法的改进的PRA算法
• 4.8 本章小结
• 5 改进算法的模拟实验与结果分析
• 5.1 实验环境
• 5.2 实验的设计
• 5.3 实验的实现
• 5.4 实验的结果及分析
• 6 总结与展望
• 致谢
• 参考文献
• 攻读硕士期间主要成果