基于Lucene和文本图像的全文检索系统的研究与应用

论文摘要

随着互联网的普及以及数字信息的爆炸式增长,人们已经可以足不出户地接触到海量信息。用户需要在浩如烟海的数据中找到自己需要的信息,而不仅仅局限于文本文档。随着多媒体技术的发展,音频文件,图像文件,甚至于视频文件也成为了用户越来越频繁的查询对象。其中随着电子图书馆和办公无纸化的兴起,由于传统的图书和媒介多是纸质的书本或文档,因此对文本图像的处理和检索也成为信息检索系统的一大挑战。全文检索系统是一种对索引写入和读取比较密集的应用,传统的全文检索系统检索对象单一,不能满足用户对多样化的对象的检索需求,而且在倒排索引的构建和查询阶段也有优化的空间。本文以文本图像的全文检索模型为研究对象,并对倒排索引模型的构建和查询优化以及文本图像的预处理和分类进行了研究,设计并实现了一个基于文本图像的全文检索系统。具体工作如下：(1)倒排索引模型的构建介绍和优化本文介绍了几种常见的用于全文检索索引模型,并在第三章着重介绍倒排索引模型的索引构建优化,以及检索过程中的优化方案,提供减小存储空间和优化运行时间的检索性能的改进方案。(2)文本图像的分类研究本文在对文本化处理后的文本图像的残缺文本进行预分类和特征恢复后,通过SVM进行了文本分类,相较于传统分类方法,增加了特征恢复和反馈过程,提高了分类的F1测度。(3)基于Lucene的文本图像全文检索系统的设计与实现本文在上述改进和研究方法的基础上,设计并实现了一个文本图像的全文检索系统。实验结果表明,对文本图像的分类和用户查询预加权可以得到用户更希望的检索结果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题的背景和意义
• 1.2 研究现状
• 1.3 研究内容
• 1.4 论文的组织结构
• 1.5 本章小结
• 第二章 全文检索和文本图像相关技术概述
• 2.1 全文检索技术概述
• 2.1.1 信息检索模型
• 2.1.2 全文检索技术
• 2.1.3 全文检索技术的基本原理
• 2.1.4 Lucene全文检索工具包
• 2.2 全文检索模型介绍
• 2.2.1 位图模型
• 2.2.2 签名文件模型
• 2.2.3 倒排索引模型
• 2.3 文本图像检索技术
• 2.3.1 文本图像
• 2.3.2 文本图像的检索
• 2.4 文本图像的全文检索研究
• 2.4.1 向量空间模型研究
• 2.4.2 倒排索引模型研究
• 2.4.3 文本图像的检索研究
• 2.5 本章小结
• 第三章 倒排索引模型检索效率优化
• 3.1 倒排索引
• 3.1.1 构建倒排索引
• 3.1.2 倒排索引的压缩
• 3.1.3 索引剪枝
• 3.1.4 构建索引前的文档排序
• 3.2 查询优化
• 3.2.1 倒排索引的修订
• 3.2.2 部分结果集检索
• 3.2.3 简化向量空间
• 3.3 本章小结
• 第四章 文本图像的分类研究
• 4.1 文本图像的分类
• 4.2 基于特征恢复的文本分类模型
• 4.2.1 残缺文档的生成
• 4.2.2 残缺文档的特征恢复
• 4.3 实验结果
• 4.3.1 实验数据集
• 4.3.2 实验结果分析
• 4.4 本章小结
• 第五章 基于Lucene的全文检索系统的设计与实现
• 5.1 项目简介
• 5.2 开发环境和工具集
• 5.3 系统设计
• 5.3.1 文本图像预处理模块
• 5.3.2 中文分词模块
• 5.3.3 索引模块
• 5.3.4 检索模块
• 5.3.5 Web服务器模块
• 5.4 本章小结
• 第六章 全文检索系统的运行及分析
• 6.1 客户端和服务器端的设计
• 6.1.1 客户端的设计
• 6.1.2 服务器端的设计
• 6.2 系统性能评价
• 第七章 结论与展望
• 7.1 总结
• 7.2 进一步展望
• 参考文献
• 致谢
• 攻读硕士期间发表的学术论文目录