基于Web搜索引擎系统的设计与实现

论文摘要

为了适应网络信息的飞速增长,并且能够迅速、方便地从网络中获取有效信息,搜索引擎逐渐走进了人们的生活,“竹竹”搜索引擎系统在这样的条件下,应运而生。本文首先系统的介绍了搜索引擎的概念、发展历史、和搜索引擎的分类。然后,对“竹竹”搜索引擎系统进行需求分析,对系统进行总体设计,并对系统的各个功能模块进行详细的设计和实现,最后“竹竹”搜索引擎系统进行了测试。“竹竹”搜索引擎是基于Web的,面向笔记本电脑品牌的搜索引擎。系统的前端以MVC模式来实现,Spring做中间层,JDBC作后端来开发实现的。本系统分为三个子模块,抓取模块实现的功能为：将web上的海量网页抓取到系统中；该模块使用Heritrix来完成对网页的抓取。处理模块实现的功能为：解析网页,提取其中的有用内容,为网页建立词库,由于笔记本电脑的品牌名在现有词库中不存在,因此要建立其特有的词库文件,对解析网页生成的信息文件进行分词,并建立索引,将索引存入数据库中；该模块通过Lucene的API来实现对网页内容的建索,使用HTMLParser的API实现了对网页内容的解析。用户模块实现的主要功能是：用户模块是系统的用户接口；用户通过此模块完成与系统的交互,当用户在查询界面上输入要检索的品牌信息后,系统将在可以接受的时间内,返回用户所需的结果集；该模块通过DWR封装了AJAX技术,处理用户请求；通过Lucene的API来实现检索。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题背景
• 1.1.1 搜索引擎的发展历史
• 1.2 研究现状
• 1.2.1 搜索引擎的概念
• 1.2.2 搜索引擎的分类
• 1.3 本论文的研究内容
• 1.4 相关技术介绍
• 1.4.1 Heritrix
• 1.4.2 Lucene
• 1.5 论文章节结构
• 第二章 系统需求分析
• 2.1 系统功能需求
• 2.2 系统性能需求
• 2.2.1 抓取模块
• 2.2.2 处理模块
• 2.2.3 用户模块
• 第三章 系统总体设计
• 3.1 搜索引擎的工作原理
• 3.2 "竹竹"搜索引擎的总体架构设计
• 第四章 系统详细设计与实现
• 4.1 系统实现的总体逻辑
• 4.2 抓取模块
• 4.2.1 Heritrix子模块工作流程
• 4.2.2 运行Heritrix子模块
• 4.2.3 分析网页子模块
• 4.3 处理模块
• 4.3.1 解析网页子模块
• 4.3.2 创建词库子模块
• 4.3.3 生成持久化类子模块
• 4.3.4 创建Document子模块
• 4.3.5 存储数据子模块
• 4.4 用户模块
• 4.4.1 搜索页面
• 4.4.2 详细信息页面
• 第五章 系统测试
• 5.1 系统测试的分类
• 5.1.1 线下功能测试
• 5.1.2 线下性能测试
• 5.1.3 线上的功能测试
• 5.1.4 线上的性能测试
• 结论
• 参考文献
• 致谢