基于lucene的搜索引擎

论文摘要

基于Heritrix+Lucene数据库搜索引擎是一种将抓取和索引的技术优势融入到搜索引擎的方法,用户通过查询接口输入关键词,将用户输入字符串根据分词词典进行分词,将根据分词查询索引文件,关联相关的源文档,从而返回查询信息的过程。在服务器安全性、链接有效性以及更新及时性等方面拥有良好的性能。本文分析了基于Heritrix+Lucene数据库搜索引擎在工作原理、关键技术等方面的相关技术,介绍了Lucene建立索引和搜索的原理,并且在构建词库的同时,研究了分词技术,提出了一种优化词表法的分词思想,在Lucene的基础上以决策树和链表的形式将字典中的分词存储在内存中,用最大匹配算法结合决策树将用户输入字符串进行分词,开发了属于自己的中文分词模块,将这种思想加以实现并且通过实验与传统的Lucene自带的分词技术在空间和时间上以及分词的准确性三个方面进行比较。同时也对Lucene自带的相似度计算,用实验数据进行了统计分析,得到对文章的匹配度策略加入权重的参数,使得匹配度相对更准确。最后通过Heritrix与Lucene进行整合,实现了基于数码产品搜索引擎。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究的背景及现状
• 1.2 研究的意义和目的
• 1.3 本文的创新点
• 1.4 本文的组织结构
• 第二章 全文检索系统分析与设计
• 2.1 全文数据库的特点
• 2.2 全文查询与一般查询的比较
• 2.3 全文检索库构成
• 第三章 词表法研究及其优化
• 3.1 全文的索引组织
• 3.1.1 正排与倒排表
• 3.1.2 字表法
• 3.1.3 词表法
• 3.1.4 最大概率切分算法
• 3.1.5 N 元语法统计切分算法
• 3.1.6 词表法的优化
• 3.2 向量空间模型
• 第四章 lucene 全文搜索引擎
• 4.1 lucene 系统结构与源代码组织结构
• 4.2 建立索引
• 4.2.1 索引逻辑结构
• 4.2.2 索引物理结构
• 4.3 lucene 相关搜索类
• 4.4 用户扩充
• 第五章 数码产品搜索引擎构建
• 5.1 Heritrix 网页抓取
• 5.2 处理抓取网页，构建分词词典
• 5.3 分词技术
• 5.4 建立索引文件和相关搜索
• 5.5 数据库交互
• 5.6 Hibernate
• 5.7 DWR
• 5.8 Spring
• 5.9 配置文件web.xml
• 5.10 前台展示jsp 页面
• 第六章 结论
• 6.1 论文的总结和创新点
• 6.2 论文存在的不足和未来研究方向
• 致谢
• 参考文献
• 攻读硕士研究生期间发表的论文及参与的项目