企业信息搜索引擎的设计与实现

论文摘要

随着信息化的发展,越来越多的企业建起了自己的企业网站(Intranet)。然而,网站规模的增大,往往伴随着数据的增加,同时,也导致用户选择范围的扩大。因此,在这些数据中找出用户感兴趣的信息,也变得越来越困难。利用Google这样的大型商业搜索引擎提供的站内搜索功能当然也是一个选择,但它毕竟是为了满足绝大多数企业站内搜索的共同需求设计,缺乏个性化,同时还有一些其他缺点,比如：①能够索引的内容有限：搜索引擎并不会将网站所有的内容都索引进去,并且通常只搜集网页信息,而无法搜集文本、pdf、word等数据文件的信息或者数据库数据；②更新慢：搜索引擎针对站点的更新频率也是有一定周期的,需要爬虫的抓取并建立索引,很多内容需要一定时间后才能进入索引；③内容不精确：搜索引擎需要从页面内容提取文本数据,但这种机制很难避免数据的重复。因此,越来越多的企业需要自己的站内搜索引擎来为用户提供更好的服务。本课题正是针对此需要开发的。这里根据已有的技术,构建了企业搜索引擎,对文件系统进行监控,设计了维护模块和查询模块来提供检索查询和索引服务。本论文主要研究成果有以下三个方面：(1)设计了一个企业搜索架构,实现数据库与索引文件的松耦合；(2)采用LINUX内核特性Inotify对系统进行目录的监控,获取文件的变化信息；(3)根据已有的索引技术,实现了满足系统需求的索引服务和查询服务,同时实现了基于属性和关键字的搜索方式,最后,扩展了关键词的搜索方式,添加了同义词搜索服务。

论文目录

• 目录
• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究目的及其意义
• 1.3 本文的章节安排
• 第二章 搜索引擎研究现状
• 2.1 搜索引擎的发展
• 2.2 搜索引擎的分类
• 2.3 企业搜索引擎与互联网搜索引擎的区别
• 2.3.1 搜索对象的数据结构
• 2.3.2 搜索内容的针对性
• 2.3.3 严格的安全搜索
• 2.3.4 高要求的查全率和查准率
• 2.3.5 实时性
• 2.3.6 个性化搜索要求
• 第三章 全文检索引擎
• 3.1 LUCENE的特点
• 3.2 LUCENE的系统结构
• 3.3 LUCENE的索引结构
• 3.4 LUCENE的应用
• 3.5 全文检索技术
• 3.5.1 中文分词
• 3.5.2 文本信息检索技术
• 3.5.3 搜索引擎排序技术
• 3.6 系统索引结构
• 第四章 文本预处理
• 4.1 文本预处理介绍
• 4.2 全角半角转换
• 4.2.1 全角半角介绍
• 4.2.2 全角半角区别
• 4.2.3 全角半角转换实现
• 4.3 编码转换
• 4.4 简繁体字转换
• 4.5 文件类型转换
• 第五章 系统总体架构
• 5.1 系统介绍
• 5.2 逻辑结构
• 5.3 部署关系
• 5.4 系统数据库设计
• 5.4.1 SQLITE数据库
• 5.4.2 文献库表设计
• 5.4.3 支撑表设计
• 5.5 数据采集
• 5.5.1 INOTIFY
• 5.5.2 多层目录数据获取
• 5.6 中文分词设计
• 5.7 字符编码
• 5.8 索引服务设计
• 5.8.1 语义分析
• 5.8.2 索引服务
• 5.9 管理服务设计
• 5.9.1 文献库管理
• 5.9.2 分类管理
• 5.9.3 文件资料管理
• 5.9.4 用户管理
• 第六章 系统实现与展示
• 6.1 系统开发环境
• 6.2 数据采集服务实现
• 6.3 文本预处理
• 6.4 建立索引
• 6.5 查询服务
• 6.5.1 属性搜索与关键字搜索
• 6.5.2 同义词查询
• 6.6 管理服务
• 6.6.1 文件管理
• 6.6.2 用户管理
• 第七章 结论
• 7.1 总结
• 7.2 不足与展望
• 参考文献
• 致谢