基于Nutch的企业搜索引擎的研究与实现

基于Nutch的企业搜索引擎的研究与实现

论文摘要

随着信息化技术的不断发展,在现代化的企业中,企业内部的信息呈现爆炸式的增长,这些海量的信息导致了企业内部员工在获取信息时变得越来越困难,并在一定程度上降低了员工的工作效率,因此如何检索企业内部的信息成为了一个热门话题。传统的企业全文检索一般采用B/S架构,由于该架构可扩展性低,当企业数据量不断增长时,会遇到计算能力,存储容量和网络带宽的瓶颈。通过对企业实际的需求分析得出,采用分布式的系统架构可以很好的解决该问题。通过对开源搜索引擎Nutch及相关技术的深入研究分析,按照分布式的处理架构设计了一个完整的企业搜索引擎。该系统针对企业内部三类数据源的特征和更新规律,定义了三个爬虫,完成对文档,数据库,站内等数据的抓取。在该系统中,系统的采集解析模块,索引模块和检索模块均按照分布式的处理原理来进行工作。采集解析模块采用MapReduce工作原理,将解析后的信息存入原始数据库中,索引模块读入原始数据库中的信息并为其建立索引,将建好的索引存入索引库中,检索模块查找索引库中索引向用户提交满足要求的查询结果,采集解析,索引和检索模块通过分布式文件系统HDFS来进行数据交互。通过测试表明,该系统可以在分布式的情况下实现对企业内部数据的准实时性检索,满足了实际的应用需求。

论文目录

  • 摘要
  • Abstract
  • 1 绪论
  • 1.1 选题背景与意义
  • 1.2 国内外研究现状
  • 1.3 研究工作
  • 1.4 论文的组织结构
  • 1.5 课题来源
  • 2 企业搜索研究
  • 2.1 企业搜索引擎的基本需求
  • 2.2 企业搜索引擎的体系结构
  • 2.3 企业搜索相关技术研究
  • 2.4 本章小结
  • 3 系统的详细设计
  • 3.1 系统体系结构
  • 3.2 系统子模块架构方案
  • 3.3 模块说明
  • 3.4 本章小结
  • 4 系统的具体实现
  • 4.1 采集解析模块
  • 4.2 并行索引模块
  • 4.3 分布式检索模块
  • 4.4 系统可靠性保障
  • 4.5 本章小结
  • 5 实验与结果分析
  • 5.1 系统实验
  • 5.2 实验结果分析
  • 5.3 本章小结
  • 6 总结与展望
  • 6.1 总结
  • 6.2 展望
  • 致谢
  • 参考文献
  • 相关论文文献

    • [1].基于搜索引擎日志的关联规则挖掘及统计分析[J]. 电子世界 2020(16)
    • [2].人的记忆、搜索引擎与新闻传播学研究——搜索引擎批判[J]. 新闻界 2019(01)
    • [3].关于搜索引擎的隐喻及对其内容呈现的反思[J]. 青年记者 2019(22)
    • [4].国内社会化搜索引擎发展状况分析[J]. 情报探索 2019(10)
    • [5].搜索引擎的广告拍卖平台设计与开发[J]. 电脑与电信 2017(12)
    • [6].搜索引擎浅谈[J]. 电信网技术 2018(04)
    • [7].搜索引擎的功能及其局域性分析研究[J]. 山东工业技术 2018(22)
    • [8].搜索引擎及其教学应用分析[J]. 广西政法管理干部学院学报 2016(03)
    • [9].国内两大搜索引擎对修改标题的降权规则[J]. 计算机与网络 2016(23)
    • [10].综合搜索引擎与垂直搜索引擎的比较[J]. 通讯世界 2017(06)
    • [11].搜索引擎排名的八大优化原则[J]. 计算机与网络 2017(12)
    • [12].互联网搜索引擎变革与图书馆服务创新[J]. 重庆科技学院学报(社会科学版) 2017(03)
    • [13].监管搜索引擎付费排名的国际经验[J]. 智慧中国 2016(05)
    • [14].什么是搜索引擎蜘蛛抓取份额[J]. 计算机与网络 2017(16)
    • [15].元搜索中成员搜索引擎的选择问题研究[J]. 计算机科学 2017(10)
    • [16].你会对搜索引擎产生依赖吗?[J]. 上海信息化 2017(10)
    • [17].搜索引擎依赖对大学生学习的影响及干预措施探讨[J]. 广西教育学院学报 2016(01)
    • [18].面向高校学生的搜索引擎评价研究[J]. 电脑知识与技术 2016(03)
    • [19].计算机搜索引擎中潜藏的隐私安全问题思考[J]. 电脑知识与技术 2016(07)
    • [20].基于多重随机k维树地震搜索引擎的建立[J]. 防灾减灾学报 2014(04)
    • [21].搜索引擎的研究与实现[J]. 山东农业工程学院学报 2015(02)
    • [22].不同意图类别查询的搜索引擎稳定性分析[J]. 情报杂志 2015(06)
    • [23].互联网搜索引擎在翻译课堂上的应用[J]. 文教资料 2020(11)
    • [24].离开“搜索引擎”,我们还会思考吗[J]. 教育家 2020(34)
    • [25].搜索引擎发展概述[J]. 商业故事 2019(07)
    • [26].图解免费搜索引擎(次主流中文篇)[J]. 电脑爱好者(普及版) 2008(11)
    • [27].到底谁能搜得更好 主流搜索引擎实用评测[J]. 电脑爱好者 2013(07)
    • [28].图解免费搜索引擎(主流综合篇)[J]. 电脑爱好者(普及版) 2008(10)
    • [29].搜索引擎也认人?[J]. 电脑爱好者 2009(12)
    • [30].像人一样思索的搜索引擎[J]. 电脑爱好者 2009(16)

    标签:;  ;  ;  

    基于Nutch的企业搜索引擎的研究与实现
    下载Doc文档

    猜你喜欢