论文摘要
随着信息化技术的不断发展,在现代化的企业中,企业内部的信息呈现爆炸式的增长,这些海量的信息导致了企业内部员工在获取信息时变得越来越困难,并在一定程度上降低了员工的工作效率,因此如何检索企业内部的信息成为了一个热门话题。传统的企业全文检索一般采用B/S架构,由于该架构可扩展性低,当企业数据量不断增长时,会遇到计算能力,存储容量和网络带宽的瓶颈。通过对企业实际的需求分析得出,采用分布式的系统架构可以很好的解决该问题。通过对开源搜索引擎Nutch及相关技术的深入研究分析,按照分布式的处理架构设计了一个完整的企业搜索引擎。该系统针对企业内部三类数据源的特征和更新规律,定义了三个爬虫,完成对文档,数据库,站内等数据的抓取。在该系统中,系统的采集解析模块,索引模块和检索模块均按照分布式的处理原理来进行工作。采集解析模块采用MapReduce工作原理,将解析后的信息存入原始数据库中,索引模块读入原始数据库中的信息并为其建立索引,将建好的索引存入索引库中,检索模块查找索引库中索引向用户提交满足要求的查询结果,采集解析,索引和检索模块通过分布式文件系统HDFS来进行数据交互。通过测试表明,该系统可以在分布式的情况下实现对企业内部数据的准实时性检索,满足了实际的应用需求。
论文目录
相关论文文献
- [1].基于搜索引擎日志的关联规则挖掘及统计分析[J]. 电子世界 2020(16)
- [2].人的记忆、搜索引擎与新闻传播学研究——搜索引擎批判[J]. 新闻界 2019(01)
- [3].关于搜索引擎的隐喻及对其内容呈现的反思[J]. 青年记者 2019(22)
- [4].国内社会化搜索引擎发展状况分析[J]. 情报探索 2019(10)
- [5].搜索引擎的广告拍卖平台设计与开发[J]. 电脑与电信 2017(12)
- [6].搜索引擎浅谈[J]. 电信网技术 2018(04)
- [7].搜索引擎的功能及其局域性分析研究[J]. 山东工业技术 2018(22)
- [8].搜索引擎及其教学应用分析[J]. 广西政法管理干部学院学报 2016(03)
- [9].国内两大搜索引擎对修改标题的降权规则[J]. 计算机与网络 2016(23)
- [10].综合搜索引擎与垂直搜索引擎的比较[J]. 通讯世界 2017(06)
- [11].搜索引擎排名的八大优化原则[J]. 计算机与网络 2017(12)
- [12].互联网搜索引擎变革与图书馆服务创新[J]. 重庆科技学院学报(社会科学版) 2017(03)
- [13].监管搜索引擎付费排名的国际经验[J]. 智慧中国 2016(05)
- [14].什么是搜索引擎蜘蛛抓取份额[J]. 计算机与网络 2017(16)
- [15].元搜索中成员搜索引擎的选择问题研究[J]. 计算机科学 2017(10)
- [16].你会对搜索引擎产生依赖吗?[J]. 上海信息化 2017(10)
- [17].搜索引擎依赖对大学生学习的影响及干预措施探讨[J]. 广西教育学院学报 2016(01)
- [18].面向高校学生的搜索引擎评价研究[J]. 电脑知识与技术 2016(03)
- [19].计算机搜索引擎中潜藏的隐私安全问题思考[J]. 电脑知识与技术 2016(07)
- [20].基于多重随机k维树地震搜索引擎的建立[J]. 防灾减灾学报 2014(04)
- [21].搜索引擎的研究与实现[J]. 山东农业工程学院学报 2015(02)
- [22].不同意图类别查询的搜索引擎稳定性分析[J]. 情报杂志 2015(06)
- [23].互联网搜索引擎在翻译课堂上的应用[J]. 文教资料 2020(11)
- [24].离开“搜索引擎”,我们还会思考吗[J]. 教育家 2020(34)
- [25].搜索引擎发展概述[J]. 商业故事 2019(07)
- [26].图解免费搜索引擎(次主流中文篇)[J]. 电脑爱好者(普及版) 2008(11)
- [27].到底谁能搜得更好 主流搜索引擎实用评测[J]. 电脑爱好者 2013(07)
- [28].图解免费搜索引擎(主流综合篇)[J]. 电脑爱好者(普及版) 2008(10)
- [29].搜索引擎也认人?[J]. 电脑爱好者 2009(12)
- [30].像人一样思索的搜索引擎[J]. 电脑爱好者 2009(16)