基于DHT的内容服务技术研究

论文摘要

P2P（Peer-to-Peer）是当今最流行的互联网技术之一。在P2P技术的众多应用中,内容服务应用一直是一个主要的应用领域。通常来讲,内容服务包括内容服务模型的构造,内容发布,内容存储,内容检索和内容下载等关键技术。如何在规模巨大,网络环境复杂的P2P系统实现高效的内容服务具有重大的研究意义,同时又是具有挑战性的研究课题。本文以P2P网络中的内容服务为研究对象,分析了P2P网络的特性以及内容服务技术的研究现状,围绕如何在P2P网络以更贴近自然语义的方式提供高效、可扩展的内容服务,深入研究了P2P网络中提供内容服务的各项关键技术。主要研究工作包括:1)提出了一种基于DHT和资源内容语义的开放式内容服务模型。该模型采用了OpenDHT的网络结构,并以两级发布资源的方式结合了DHT的冗余、高容错、可扩展性及自组织能力和基于内容语义的检索算法能从自然语义角度进行内容筛选的优点,同时具有很好的易用性和对异构网络的利用能力。2)提出了一种适用于混合型DHT的内容存储算法。该算法在对通信节点进行验证和对资源进行分布式存储的基础上,以合理的代价实现了系统对数据完整性和安全性的要求。3)提出了对资源索引和原始文档本身进行两级发布的内容发布算法。该算法使得节点可以根据自身能力和网络情况进行不同方式的内容发布,从而获得最大限度的便利性;另一方面,索引文件的使用有效地限制了网络的信息冗余,为获得良好的搜索效率准备了条件。4)提出了基于DHT和语义矢量投影计算的内容搜索算法。该算法在对词间关系进行考察的基础上,改进了传统的关键词提取算法和文章关键词矢量投影计算方法,使得一方面参与计算的矢量更能体现文章内容语义,另一方面减小了计算量和网络流量,提高了搜索效率。5)针对在混合型P2P网络中实现更好的内容服务进行了一些内容下载机制、用户激励机制和网络安全机制方面的考虑,进一步完善了所提出的系统。

论文目录

• 指导小组成员名单
• 摘要
• Abstract
• 第一章、绪论
• 1.1 研究背景
• 1.2 P2P的基本分类及ODCS
• 1.3 作者的主要工作和研究成果
• 1.4 论文结构
• 第二章、相关研究工作
• 2.1 P2P基本概念及分类
• 2.1.1 P2P的基本概念
• 2.1.2 P2P的基本分类
• 2.2 结构化P2P研究
• 2.2.1 DHT的发展
• 2.2.2 Pastry网络
• 2.2.3 Bamboo DHT
• 2.2.4 OpenDHT网络
• 2.3 基于 DHT的内容服务应用
• 2.3.1 以OceanStore为代表的内容存储应用
• 2.3.2 基于DHT的内容发布和检索应用
• 2.3.3 现有方法的不足
• 2.4 语义检索算法的相关工作研究
• 2.4.1 语义检索的研究现状
• 2.4.2 语义检索与DHT相结合的难点
• 2.5 本章小结
• 第三章、基于 DHT的内容服务模型设计
• 3.1 系统的总体设计目标
• 3.2 基于 DHT的内容服务模型
• 3.2.1 系统的资源存储结构
• 3.2.2 系统的体系结构
• 3.2.3 网络客户端功能模块分析
• 3.2.4 网络核心节点各模块功能分析
• 3.3 本章小结
• 第四章、系统主要算法设计及研究
• 4.1 内容存储算法
• 4.2 语义特征提取及相似度计算方法
• 4.2.1 语义处理算法总体设计
• 4.2.2 改进的关键词提取算法
• 4.2.3 改进的关键词矢量相似度计算方法
• 4.3 基于语义的内容发布算法
• 4.3.1 索引文件设计
• 4.3.2 Key的选取及冗余度控制
• 4.3.3 系统开放性及算法可扩展性设计
• 4.3.4 内容发布的具体流程
• 4.4 基于语义的内容检索算法
• 4.5 查询结果排序算法
• 4.6 内容下载算法及其它
• 4.6.1 内容下载算法
• 4.6.2 网络激励和安全性的考虑
• 4.7 本章小结
• 第五章、基于 DHT的内容服务系统实现
• 5.1 系统结构
• 5.2 系统各功能模块具体实现
• 5.2.1 客户端公共接口
• 5.2.2 语义分析模块
• 5.2.3 内容存储模块
• 5.2.4 内容发布模块
• 5.2.5 内容检索模块
• 5.2.6 内容下载模块
• 5.3 实验网络简介
• 5.4 本章小结
• 第六章、总结和展望
• 6.1 研究成果总结
• 6.2 未来的工作及展望
• 参考文献
• 攻读硕士期间发表论文、专利的申请及参与的科研项目
• 致谢