LUCENE中文分词在科研文档全文检索系统的应用研究

论文摘要

如何快速有效地从海量的信息资源中找到自己所需要的资源,已经成为人们越来越重视的问题。全文检索技术即是可以解决这个问题的主要技术。目前广泛使用的全文检索技术是Lucene工具包。Lucene是一个开源的全文检索引擎组件,在此基础上可以方便地对其进行二次开发来实现全文检索系统。但是Lucene仍有许多不足的地方需要进行改进,特别是在中文分词的处理上。由于中文分词质量的准确与否,将直接影响到用户对搜索结果的满意度,因此中文分词技术在全文检索系统中尤为重要,也是本文研究的关键内容。论文首先阐述了Lucene全文检索的相关技术,阐述了现有的中文分词方法,然后分析了Lucene的两个分析器ChineseAnalyzer和CJKAnalyzer的不足,并提出了基于词典的双向最大匹配分词算法；分析了Lucene对于文档格式支持的局限性,提出了一个通用的文本解析框架。论文的主要工作是分析设计并实现了一个基于Lucene的科研文档全文检索系统。分析了系统的总体架构和功能模块,对系统进行了总体设计和详细设计。针对科研文档格式的多样性,构建了文本解析模块,可以对多格式文档进行解析。系统的中文分析器采用改进的中文分词算法实现。对文本解析模块、中文分析器和系统的性能进行实验分析,通过实验证明,中文分析器的分词效果非常显著,系统的查全率和查准率都达到了用户的满意度。最后,论文对基于Lucene的科研文档全文检索系统进行了分析,总结了本文取得的成果,并对未来进一步的工作内容进行了展望。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 本文主要工作
• 1.3 论文的主要创新
• 1.4 论文结构
• 第二章 相关技术研究
• 2.1 全文检索技术
• 2.1.1 全文检索系统
• 2.1.2 全文检索基本原理
• 2.1.3 全文检索衡量标准
• 2.2 LUCENE全文检索工具包
• 2.2.1 LUCENE系统架构
• 2.2.2 LUCENE数据流
• 2.2.3 LUCENE索引结构
• 2.2.4 LUCENE优势
• 2.3 本章小结
• 第三章 全文检索系统中关键技术研究
• 3.1 中文分词研究与改进
• 3.1.1 中文分词简介
• 3.1.2 现有中文分词方法
• 3.1.3 LUCENE中文分词方法
• 3.1.4 改进的中文分词算法
• 3.2 通用的文档解析框架
• 3.2.1 LUCENE支持的文档格式
• 3.2.2 通用的文档解析框架
• 3.3 本章小结
• 第四章 全文检索系统的分析与设计
• 4.1 系统的需求分析
• 4.2 系统的总体设计
• 4.2.1 总体设计思想
• 4.2.2 系统功能模块图
• 4.3 系统的详细设计
• 4.3.1 系统总体流程图
• 4.3.2 系统用例图
• 4.4 本章小结
• 第五章 检索系统的实现与分析
• 5.1 系统开发环境及主要技术
• 5.1.1 系统开发环境
• 5.1.2 Struts框架
• 5.2 文档解析模块的实现
• 5.2.1 PDF文档解析
• 5.2.2 WORD文档解析
• 5.3 索引模块的实现
• 5.3.1 中文分析器
• 5.3.2 索引的建立
• 5.3.3 索引的优化
• 5.4 检索模块的实现
• 5.5 用户界面模块的实现
• 5.6 实验分析
• 5.6.1 文档解析器分析
• 5.6.2 中文分词性能分析
• 5.6.3 系统性能分析
• 5.7 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 下一步的工作
• 参考文献
• 攻读学位期间的研究成果
• 致谢