基于Hadoop的机械故障诊断资源分布式信息检索系统的设计与实现

论文摘要

信息检索是从文档集合中返回满足用户需求的相关信息的过程。而搜索引擎是信息检索的一项成功应用,为用户提供快速、准确、全面、时新的海量Web信息导航服务。随着人们对信息在精度、深度和广度上的需求提高,搜索引擎将向精细化、个性化方向发展。当前搜索引擎的研究热点是垂直搜索、社交搜索和移动搜索。本文结合国家自然科学基金项目“基于知识网格的机械故障智能诊断系统的原理与方法研究”与目前互联网和搜索引擎发展的现状、热点,主要研究以下内容:(1)研究了信息检索和搜索引擎的发展现状,机械故障诊断知识管理的现状。研究了网页采集、网页内容分析、索引模块和查询接口等搜索引擎的体系结构和组成;信息检索系统中布尔模型、向量空间模型和概率模型等的定义、主要思想和优缺点;分布式信息检索的架构和分布式信息检索过程。(2)研究了Nutch的工作流程及Nutch的中文分词原理;Hadoop分布计算框架,HDFS的架构和MapReduce的计算流程。提出了基于Hadoop的机械故障诊断资源分布式信息检索系统的模型。(3)利用元搜索的思想设计了针对百度和谷歌的搜索结果获得机械故障诊断资源链接的程序,以插件的方式利用Paoding中文分词组件对系统的中文分词效果作改进,实现了对机械故障诊断资源的垂直搜索功能。实验结果表明,本文实现的系统能实现机械故障诊断资源的搜索,查准率比较好。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 机械故障诊断知识管理的研究现状
• 1.3 信息检索及分布式信息检索的发展现状
• 1.4 搜索引擎的研究热点
• 1.5 本文的主要工作
• 第二章 分布式信息检索相关技术研究
• 2.1 搜索引擎的原理
• 2.2 信息检索模型
• 2.3 分布式信息检索体系结构及检索过程
• 2.3.1 分布式信息检索的架构
• 2.3.2 分布式信息检索的过程
• 2.4 Hadoop 分布式计算框架
• 2.5 Nutch 系统原理
• 2.6 本章小结
• 第三章 基于Hadoop 的机械故障诊断资源分布式信息检索系统模型
• 3.1 系统需求分析
• 3.2 机械故障诊断资源分布式信息检索的系统架构
• 3.3 资源链接获取模块分析及设计
• 3.4 系统中文分词的改进
• 3.5 本章小结
• 第四章 基于Hadoop 的机械故障诊断资源分布式信息检索系统的设计
• 4.1 系统硬件及软件环境
• 4.2 系统环境的建立和配置
• 4.3 实验结果
• 4.3.1 主题资源链接获取
• 4.3.2 分词效果的对比
• 4.3.3 系统分布式与单机情况下抓取性能比较
• 4.3.4 机械故障诊断资源的垂直搜索引擎效果
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 致谢
• 附录A：硕士期间发表的论文和参与的项目