基于Lucene的全文搜索系统的研究与实现

论文摘要

随着计算机技术和互联网技术的飞速发展,网络上的数字信息量急剧增长。为了能在浩如烟海的信息中找到自己所需要的信息,人们迫切需要一个高效的检索工具,全文检索技术成为人们关注的热点。全文检索是现代信息检索技术的一个重要分支,它是处理非结构化数据的强大工具,也是搜索引擎的核心技术之一。本文介绍了一种全文检索引擎工具包Lucene,它功能强大,小巧精悍,便于嵌入各种应用。近年来在世界各地被广泛使用。作为一个开源软件,它为我们学习全文搜索引擎的核心技术提供了绝佳的机会,对其进行剖析研究、进行二次开发是一件很值得做的事情。本文通过设计并开发实现一个数码产品全文搜索引擎系统,来研究Lucene在全文搜索引擎领域的应用前景。主要做的工作包括:1.介绍了全文检索的基本概念和原理,分析了Lucene的常用的类的使用以及开源工具DOM4J和HtmlParser的特点。2.利对搜索引擎的三个核心部分即爬虫、索引和搜索进行了实现。爬虫模块采用了开源的web网络爬虫heritrix软件,通过扩展这种软件从网络上抓取需要的资源。索引和搜索部分利用Lucene引擎架构,实现了比Lucene自定义的中文分词更有效的中文分词,还引进了序列化和JavaCC来提高索引效率和开发效率。3.深入分析并实现了运用Lucene实现索引和检索、搜索结果的页面优先度计算等关键技术。

论文目录

• 论文摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景及现状
• 1.2 项目意义
• 1.3 论文主要工作及章节安排
• 1.4 本章小结
• 第2章 全文检索系统概述及开发工具
• 2.1 全文检索系统技术概述
• 2.1.1 全文检索
• 2.1.2 全文检索基本原理
• 2.1.3 全文检索系统总体设计
• 2.2 Lucene简介
• 2.2.1 Lucene的优点
• 2.2.2 Lucene的功能
• 2.2.3 Lucene中主要使用到的类
• 2.3 开发工具简介
• 2.3.1 DOM4J
• 2.2.2 HtmlParser
• 2.3.3 网络爬虫Heritrix
• 2.3.4 DWR
• 2.3.5 Spring框架
• 2.4 本章小结
• 第3章 基于Lucene的搜索引擎实现的关键技术
• 3.1 页面优先度算法
• 3.2 中文分词技术
• 3.3 本章小结
• 第4章 基于Lucene的web搜索引擎的设计与实现
• 4.1 项目简介
• 4.2 系统设计
• 4.2.1 信息抓取模块
• 4.2.2 分词模块
• 4.2.3 数据库处理模块
• 4.2.4 索引模块
• 4.2.5 搜索模块
• 4.2.6 配置文件
• 4.3 本章小结
• 第5章 基于Lucene的搜索引擎系统运行情况
• 5.1 系统运行
• 第6章 总结及展望
• 6.1 论文完成的工作
• 6.2 论文的不足与改进
• 参考文献
• 致谢