垂直搜索引擎在网络购物系统中的研究与应用

论文摘要

随着信息技术的迅速发展,互联网已经成为了当今世界上最大的信息存储库,它为人们提供了良好的信息共享和资源共享的服务。但是互联网上信息量的急剧增加也带了大量的重复信息和垃圾信息,用户很难在这种环境中找到自己需求的信息及资源,那么如何高效地检索互联网信息就成为了必须解决的问题。在这种情况下,针对特定的人群及特定的领域范围的垂直搜索引擎就应运而生,也成为了搜索引擎的一个研究热点。本论文的研究就是围绕这一热点展开的。本文研究了如何实现一个应用于购物系统的针对网络购物的购物垂直搜索引擎。本文对通用搜索引擎的工作原理和主要组成部分作了介绍,进而讲述了垂直搜索引擎的特点。为了实现该系统,本文引入了通用搜索引擎的架构模型,即网络抓取、预处理和索引、检索器、用户接口四部分,重点讲述了这些组成部分各自的工作原理和实现方式,阐述了专题网络蜘蛛的搜索策略及信息过滤方法,如何对网页信息进行预处理以满足索引的建立需要,如何建立最终的数据索引,以及对搜索结果的大量网页进行排序。其中还用到了开源的全文索引引擎Apache Lucene和网页抓取Heritrix,对它们也做了介绍。在设计开发的过程中,依照现代软件工作的代码重用要求重用了其中的部分源码,并在它们的基础上进行了进一步的改进,更好实现了系统所需功能,以使它们更好地为系统服务。本文所设计的垂直搜索引擎与目前的通用搜索引擎的最大区别就在于是否面向于特定的人群以及针对了专业的搜索范围,在购物系统中具有其可应用性,相信垂直搜索引擎能够为本领域内的用户提供很大的方便和帮助。

论文目录

• 摘要
• Abstract
• 1. 绪论
• 1.1 课题来源及研究背景
• 1.2 国内外的研究现状
• 1.3 课题的内容及意义
• 1.4 论文的组织结构及内容
• 2. 搜索引擎概述
• 2.1 通用搜索引擎的发展过程及分类
• 2.1.1 通用搜索引擎的历史
• 2.1.2 通用搜索引擎的分类
• 2.2 通用搜索引擎的工作原理及主要技术
• 2.2.1 数据挖掘
• 2.2.2 通用搜索引擎的工作原理
• 2.2.3 通用搜索引擎的主要技术
• 2.4 搜索引擎的性能评价指标
• 2.5 本章小结
• 3. 垂直搜索引擎的系统设计
• 3.1 垂直搜索引擎的定义
• 3.2 垂直搜索引擎的系统设计及组成原理
• 3.3 垂直搜索引擎的优点与必要性
• 3.4 本章小结
• 4. 网页抓取子系统
• 4.1 网络蜘蛛
• 4.1.1 通用网络蜘蛛
• 4.1.2 主题网络蜘蛛
• 4.1.3 主题网络蜘蛛的优越性
• 4.2 网页搜索策略
• 4.2.1 深度优先策略
• 4.2.2 广度优先策略
• 4.2.3 不重复抓取策略
• 4.3 主题网络蜘蛛的结构设计
• 4.4 网页抓取的实现
• 4.4.1 Heritrix 介绍
• 4.4.2 抓取网页
• 4.5 本章小结
• 5. 预处理和索引子系统
• 5.1 网页预处理的实现
• 5.1.1 HTML 基本语法分析
• 5.1.2 HTML Parser 简介
• 5.1.3 抽取网页信息
• 5.2 倒排索引
• 5.2.1 倒排索引
• 5.2.2 倒排索引的建立
• 5.3 建立索引模块的实现
• 5.3.1 Lucene 简介
• 5.3.2 Lucene 的优点
• 5.3.3 Lucene 的结构
• 5.3.4 建立索引
• 5.4 本章小结
• 6. 用户接口子系统
• 6.1 查询界面及结果返回
• 6.2 搜索结果排序技术
• 6.3 与通用搜索引擎的对比
• 6.4 本章小结
• 7. 总结与展望
• 7.1 工作总结
• 7.2 未来展望
• 参考文献
• 致谢
• 个人简历
• 发表的学术论文