基于Lucene的AEP垂直搜索引擎的研究与实现

论文摘要

随着阿里软件电子商务平台上软件的增多,单纯的依靠目录式的方法来寻找需要的软件已经不能满足用户的需求,也不能提升用户的体验度,开发搜索引擎势在必行。本文在开源工具包Lucene2.0的基础上,开发了一个能够深度搜索软件详细信息的垂直搜索引擎,力争应用到电子商务平台上。本文的主要工作有:分析包括信息检索的模型等搜索引擎的相关理论;介绍搜索引擎的相关技术,包括网络爬虫Heritrix和DWR的原理和应用;扩展Heritrix并抓取AEP平台上的软件信息;将DWR技术应用于平台的搜索模块,能够大大节省系统资源;使用Htmlparser处理抓取到的文档,将html页面持久化为包含软件所有有用信息的文档;分析Lucene的开源框架、搜索引擎的工作原理,对它的索引构建、搜索模块和过滤排序等有了深入的了解,并在此基础上开发了垂直搜索引擎的相应模块;使用Spring+Hibernate+MySql构建AEP垂直搜索引擎的搜索模块,并使用最大匹配法进行分词处理。总之,本文不仅对AEP搜索引擎进行了实现,还在实现中尽量使用主流的技术,对用到的各种相关工具进行了较为深入的研究,对用到的分词算法和排序算法进行了研究和实现。本文的研究成果可以广泛应用于各种网站和Web应用系统的搜索,开发者可以根据需要制定符合用户习惯和要求的搜索。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 课题的背景和研究意义
• 1.2 搜索引擎的研究现状和发展趋势
• 1.3 研究内容
• 2 搜索引擎的相关理论基础和技术
• 2.1 信息检索技术
• 2.2 WEB 搜索的关键相关技术—Heritrix 网络爬虫
• 2.3 DWR 技术介绍和应用
• 2.4 本章小结
• 3 Lucene 源码分析
• 3.1 使用 Lucene 构建搜索引擎的过程
• 3.2 Lucene 的包结构功能
• 3.3 本章小结
• 4 AEP 平台垂直搜索引擎方案设计
• 4.1 AEP 平台搜索需求分析
• 4.2 系统设计
• 4.3 本章小结
• 5 系统的实现测试
• 5.1 系统的实现
• 5.2 系统主要技术难点概述
• 5.3 本章小结
• 6 总结和展望
• 致谢
• 参考文献