移动互联网环境下无线垂直搜索引擎的研究与实现

论文摘要

随着移动手持设备智能化程度的普及,当今的计算环境已经发生了很大变化。现今时代下,人们手中的手机,已经越来越普及,越来越智能。可以预见,会有很大一批用户将跳过PC时代,直接使用手机进入互联网的世界里。在移动互联网环境下,人们的需求发生了明显变化,在移动终端上,人们可能关心的话题包括新闻资讯、餐饮娱乐、社交等等,这些领域带有明显的领域特征,其中虽然面临着信息检索的巨大需求,但这种需求已经非传统搜索引擎所能解决。事实上,在移动互联网环境下,人们需要一类具备一定领域纵深度的、垂直式的无线搜索引擎,这正是本课题所给予的时代大背景和需求动力。移动垂直搜索引擎,较传统PC上的垂直搜索引擎,具有许多不同点,许多的移动运营商按流程收费,这就要求移动搜索引擎必须尽力为用户节省流量。同时,3G时代的到来,移动互联网的速度倍增,那么移动搜索引擎的响应速度必须跟得上这个时代。另外,本文使用的垂直搜索是用于搜索博客、微博相关的信息,搜索到的信息必须具有简洁明确的特征。在移动互联网这个特定的环境下,对垂直搜索引擎的要求具有更高的要求,因此文章的组织结构是:第一分析了解搜索引擎的底层技术,介绍利用高性能架构来提升搜索引擎的响应速度,同时还介绍了优化系统资源的技术,从基础结构上满足用户对搜索引擎性能上的需求,同时还对垂直搜索引擎的背景和需求进行了更深一步的讨论。第二对垂直搜索引擎进行了详细设计,包括对移动用户的前端技术进行了设计,使用最新的优化技术对搜索引擎进行优化,为移动前端设计了最新的BigPipe技术,提高用户体验,对诸如排序、搜索、索引、缓存等模块进行了设计,提出了相应使用的技术。第三实现了面向博客的垂直搜索引擎,介绍了PageRank算法以及它的具体实现,帮助垂直搜索引擎进行排序,实现了设计部分的设计内容,如使用Lucene进行索引和搜索,使用Memcached进行缓存等,最终达到了完整的搜索引擎要求。第四用实验数据,对搜索引擎的准确性、性能进行评估。最后对本文进行了总结和未来工作的介绍。实验结果表明,基于本文实现的垂直搜索引擎,具有较高的搜索命中率,推荐内容较为合理,同时浏览器端响应速度较快,用户体验良好。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景
• 1.2 移动垂直搜索引擎
• 1.2.1 传统垂直搜索引擎简介
• 1.2.2 移动搜索的发展现状
• 1.2.3 国内外研究现状
• 1.2.4 发展前景
• 1.3 本文的主要工作
• 1.3.1 研究内容
• 1.3.2 本文的组织
• 第二章 相关技术简介
• 2.1 本章简介
• 2.2 核心技术简介
• 2.3 垂直搜索技术
• 2.4 主题相关度判定
• 2.4.1 布尔模型
• 2.4.2 向量空间模型
• 2.5 信息抽取技术
• 2.6 本章小结
• 第三章 面向博客的垂直搜索引擎的需求分析
• 3.1 系统需求
• 3.2 爬虫模块
• 3.3 垂直信息提取模块
• 3.4 结果排序模块
• 3.5 预期垂直搜索引擎的指标
• 3.6 本章小结
• 第四章 面向博客的垂直搜索引擎的设计
• 4.1 总体模块设计
• 4.2 基础设施的设计
• 4.3 网页信息抽取技术的设计
• 4.4 网页消重的设计
• 4.5 网页重排序的设计
• 4.6 检索技术的选取
• 4.7 性能优化设计
• 4.7.1 BigPipe 设计
• 4.7.2 资源优化设计
• 4.7.3 Cache Server 的选取
• 4.7.4 Cache Server 的实现设计
• 4.8 本章小结
• 第五章 面向博客的垂直搜索引擎的实现
• 5.1 基础设施的实现
• 5.1.1 高性能服务器
• 5.1.2 存储结构
• 5.1.3 负载均衡服务器
• 5.2 网页信息抽取技术的实现
• 5.3 性能优化的 BigPipe 技术实现
• 5.3.1 单线程BigPipe
• 5.3.2 多线程BigPipe
• 5.3.3 与普通的对比
• 5.4 性能优化的资源优化实施
• 5.5 检索技术的实现
• 5.5.1 分布式存储
• 5.5.2 索引结构与存储
• 5.5.3 主题相关度判定算法
• 5.5.4 检索流程设计
• 5.6 网页重排序的实现
• 5.7 本章小结
• 第六章 结果分析与性能测试
• 6.1 结果展示
• 6.2 压力测试
• 6.3 指标测试
• 6.4 稳定性测试
• 6.5 本章小结
• 第七章 结束语
• 7.1 本文工作总结
• 7.2 未来工作展望
• 致谢
• 参考文献