分布式数据缓存技术的研究与应用

论文摘要

随着互联网的普及,越来越多的用户通过互联网获取信息和服务,在现代企业互联网应用面对大量请求时,为了减少用户请求的延迟等待时间,减轻数据库服务器端的负载,通常引入数据缓存系统。数据缓存系统能够有效减少数据库服务器端的访问负载量,降低用户请求的延迟等待时间,提高应用的整体性能。近年来,出现了很多开源缓存系统,但这些缓存系统在数据冗余备份和失败恢复方面都存在一定的不足,而商用缓存系统不但费用高,而且不透明,不能以最有效率的方式使用。因此,本文结合某机票查询网站项目的实际需求,设计并实现了一个具有数据冗余备份和失败恢复机制的分布式数据缓存系统。首先,本文对分布式缓存技术展开深入的研究,具体包括：缓存拓扑结构、数据分布模式、缓存同步策略、缓存替换算法、以及分布式缓存协议。然后对分布式数据缓存系统的重要部分展开深入分析,通过分析一致性哈希算法,设计了一种基于虚拟节点一致性哈希算法的数据分布模式,并在该数据分布模式下,基于JGroups技术开发了一套通信协议,用于缓存节点间通信；分析影响缓存系统性能的因素和传统的缓存替换算法,针对机票数据信息的特点,设计了一种缓存机票数据时采用的替换算法,通过日志模拟实验,该算法有较高的请求命中率和字节命中率。最后基于对分布式缓存技术的研究,设计并实现了一个具有数据冗余备份和失败恢复机制的分布式数据缓存系统,该系统采用Peer-To-Peer的拓扑结构,主要包括：缓存管理模块、数据分布模块、缓存同步模块、替换算法模块、缓存通信模块和可靠性服务模块。经实验测试,该缓存系统提供了可靠的数据冗余备份和失败恢复机制,系统运行稳定。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题研究背景及意义
• 1.2 国内外研究现状
• 1.3 论文主要研究内容
• 1.4 论文组织结构
• 2 缓存概述
• 2.1 缓存技术基本原理
• 2.2 Web缓存
• 2.2.1 Web访问特性
• 2.2.2 Web缓存分类
• 2.3 数据缓存
• 2.3.1 数据缓存技术概述
• 2.3.2 数据缓存分类
• 2.4 本章小结
• 3 分布式缓存技术研究
• 3.1 拓扑结构
• 3.1.1 Peer-To-Peer拓扑结构
• 3.1.2 Client/Server拓扑结构
• 3.2 数据分布模式
• 3.3 缓存同步策略
• 3.4 缓存替换算法
• 3.5 分布式缓存协议
• 3.6 本章小结
• 4 分布式数据缓存系统的设计
• 4.1 系统设计目标
• 4.2 系统拓扑结构设计
• 4.3 数据分布模式设计
• 4.3.1 一致性哈希算法
• 4.3.2 一致性哈希算法的改进
• 4.3.3 数据分布模式
• 4.4 缓存替换算法设计
• 4.4.1 替换算法NEW
• 4.4.2 评价标准
• 4.4.3 实验结果分析
• 4.5 缓存通信协议设计
• 4.5.1 JGroups技术
• 4.5.2 缓存通信协议
• 4.6 本章小结
• 5 分布式数据缓存系统的实现
• 5.1 系统结构
• 5.2 缓存管理模块
• 5.3 数据分布模块
• 5.4 缓存同步模块
• 5.5 替换算法模块
• 5.6 缓存通信模块
• 5.7 可靠性服务模块
• 5.8 本章小结
• 6 系统测试
• 6.1 功能测试
• 6.2 性能测试
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢