基于Lucene的全文检索研究与应用

论文摘要

广东电信号码百事通平台的质检系统需要实时检索千万级以上的话务数据,基于数据库的实现方式已经无法满足应用的需求,必须采用新的技术来突破系统性能的瓶颈。Lucene作为Apache软件基金会的一个顶级项目,是一个纯Java语言实现的开放源代码的全文检索引擎工具包。虽然Lucene不是一个完整的全文检索引擎,但可以通过遵循Lucene的框架规范,扩展Lucene的功能,即可在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。本文在对Lucene全文检索原理的分析基础上,着重研究了如何提高Lucene对海量索引数据实时检索、更新的性能,并研究如何在内存中实现实时增量索引、对内存索引的实时检索。除此之外,还对如何提高质检系统的可用性和容错性进行了研究,提出了具备一定容错能力的机制。最后,本文给出了新的基于Lucene全文检索的质检系统设计方案和具体实现。

论文目录

• 提要
• 第1章 绪论
• 1.1 工作背景
• 1.2 本文的工作
• 第2章 全文检索简介
• 2.1 全文检索的概念
• 2.2 全文检索与数据库系统之比较
• 2.3 Java 开源搜索引擎简介
• 第3章 Lucene 原理分析
• 3.1 Lucene 简介
• 3.1.1 什么是Lucene
• 3.1.2 Lucene 的特点及优势
• 3.2 Lucene 系统架构分析
• 3.2.1 Lucene 的系统架构
• 3.2.2 Lucene 的源码组织结构
• 3.3 Lucene 索引文件格式分析
• 3.3.1 什么是倒排索引
• 3.3.2 Lucene 的倒排索引机制
• 3.3.3 索引文件概念结构与物理结构
• 第4章 基于Lucene 的应用开发方法
• 4.1 Lucene 常用类的使用与优化
• 4.2 基于Lucene 的应用开发步骤
• 第5章 号码百事通质检系统重构方案设计
• 5.1 基于数据库的质检系统的不足
• 5.2 基于Lucene 重构的可行性分析
• 5.3 重构方案的设计
• 5.3.1 框架设计
• 5.3.2 索引设计
• 5.3.3 查询逻辑与维护逻辑设计
• 5.3.4 系统容错性设计
• 第6章 号码百事通质检系统实现
• 6.1 公共模块的实现
• 6.1.1 对IndexWriter 的封装
• 6.1.2 对IndexWriter 和IndexSearcher 的管理
• 6.1.3 对端质检数据的缓存与同步
• 6.1.4 数据的合并与优化
• 6.2 检索模块的实现
• 6.2.1 过滤器的设计
• 6.2.2 检索的实现
• 6.3 标引模块的实现
• 6.3.1 对话务记录的标引
• 6.3.2 对满意度记录的标引
• 6.3.3 对质检记录的标引
• 6.3.4 内存索引的自动恢复
• 6.4 索引重建模块的实现
• 6.5 对Lucene 的改进
• 6.5.1 对BooleanQuery 的改进
• 6.5.2 前模糊的实现
• 第7章 总结与展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 致谢
• 摘要
• Abstract