基于云计算的分布式智能语义搜索方法研究

论文摘要

随着互联网技术的迅猛发展,网络中的信息也随之快速地递增。在带给人们更多信息的同时,也大大的增加了互联网企业的运营和管理成本。为了解决这个问题,人们提出了一种新型的IT技术发展、部署以及商业模式,这就是云计算技术。目前,云计算技术已经在网络存储、搜索引擎、分布式计算、电子商务、社交网络等多个领域获得了广泛应用,并且取得了快速发展。但是,云计算还没有一个权威性的定义和统一的标准,各大IT公司都在各自的业务领域独自研究。搜索引擎是互联网行业中进行大规模数据处理的前沿领域,云计算技术在它的发展过程中将会发挥不可替代的作用。同时传统的搜索引擎采用关键字匹配的技术进行检索,不能在真正理解用户查询意图的基础上进行搜索,缺乏语义性。因此,将云计算技术和语言处理技术运用到搜索技术中来,对搜索引擎进行改进,将是一个很好的方法。本课题在介绍研究了云计算和搜索技术的基础上,讨论了传统搜索技术的缺点和不足。从研究和设计的角度出发,研究了一种基于云计算的分布式语义搜索方法,并着重对基于云计算的分布式存储系统(CDSS)进行深入的研究与设计。本课题研究工作的先进性主要体现在以下三个方面:(1).建立了一种基于虚拟环的consistent hashing数据分布和定位算法。利用该算法,系统将加快对数据的存储和访问,同时提高系统的均衡负载能力。(2).提出了全分布式的数据备份方案。通过该方案,系统可以依托DHT网络的优势,实现数据副本的快速同步与更新,提高数据的可用性、可靠性以及安全性。(3).提出了基于CDSS的语义搜索算法。通过在基于云计算的分布式存储系统上覆盖语义层,从而在DHT网络中实现语义搜索。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 选题的背景
• 1.2 搜索技术概述
• 1.2.1 国内外搜索技术研究
• 1.2.2 传统搜索技术存在的问题
• 1.2.3 搜索技术的趋势
• 1.3 研究的内容及意义
• 1.3.1 研究内容及组织结构
• 1.3.2 研究的意义
• 第二章 相关理论与技术
• 2.1 搜索引擎概述
• 2.1.1 理论基础
• 2.1.2 搜索引擎分类及特点
• 2.1.3 搜索引擎的工作原理与数据特点
• 2.2 云计算概述
• 2.2.1 云计算的基本概念
• 2.2.2 云计算平台架构及分类
• 2.2.3 云计算的特点与优势
• 2.3 分布式存储技术
• 2.3.1 基于P2P 的分布式存储
• 2.3.2 基于神经网络的分布式存储
• 2.3.3 Google File System 文件系统
• 2.4 本章小结
• 第三章 CDSS 系统的需求与设计
• 3.1 系统需求分析
• 3.1.1 功能需求
• 3.1.2 非功能需求
• 3.2 通信服务协议
• 3.3 系统的设计
• 3.3.1 数据分配策略
• 3.3.2 副本同步与迁移
• 3.3.3 轻量级的Auxiliary Server
• 3.3.4 路由表
• 3.3.5 容错处理与恢复
• 3.4 系统的不足和需要改进的地方
• 3.5 本章小结
• 第四章 基于CDSS 的分布式语义搜索的研究与设计
• 4.1 搜索技术现状与CDSS 系统的运用
• 4.1.1 搜索技术现状
• 4.1.2 CDSS 在语义搜索引擎中应用场景
• 4.2 主要思想与设计框架
• 4.3 工作流程与算法的设计与细节
• 4.3.1 系统工作流程
• 4.3.2 算法流程
• 4.3.3 算法实现细节
• 4.4 本章小结
• 第五章 模拟实验与分析
• 5.1 实验目的与实验环境
• 5.2 测试的主要功能与实验
• 5.2.1 实验1
• 5.2.2 实验2
• 5.2.3 实验3
• 5.3 本章小结
• 第六章 总结与展望
• 6.1 本文总结
• 6.2 研究展望
• 致谢
• 参考文献
• 攻硕期间参与的科研项目