高性能分布式数据缓存系统的研究与实现

论文摘要

对于高性能分布式数据缓存系统的研究，是电信服务提供商和电子商务平台，包括其它业务高速增长的企业都必须面临的问题和挑战，其高并发性和数据服务的低延迟和高效性使得对系统的架构设计、性能指标等各方面都提出了很高的要求。随着互联网技术的发展以及内存等硬件设施越来越廉价，高性能分布式数据缓存系统得到越来越多的关注。本文首先对传统的网络I/O技术做了一定的分析，根据各自的特点以及适用的场合做了对比，为本文所设计的分布式数据缓存系统NuptCache选择了最优和最稳定的epoll模型。接着对NuptCache系统的数据缓存层技术进行了详细的研究，在深入理解缓存层所采用的memcached技术的内存分配和数据删除方式的前提下，针对NuptCache系统的应用，做了定长数据以及命中率的优化，同时指出memcached技术所使用的一致性哈希算法可以有效的解决负载均衡问题，符合其算法的单调性标准。在后端数据库方面，本文分析了mysql数据库优化的目标，以及影响后端数据库性能的主要因素。针对NuptCache系统的要求，进行数据库存储引擎的选择，同时优化其参数以尽量提高系统的性能。最后结合所研究的内容，设计高性能分布式数据缓存系统NuptCache的框架，并描述其实现步骤，在不同的场景来对NuptCache系统进行性能和功能测试。测试结果表面：NuptCache系统性能提高显著，可以为今后的高并发、分布式的数据服务系统的设计提供一个新的思路。

论文目录

• 摘要
• ABSTRACT
• 第一章 概述
• 1.1 课题背景
• 1.2 本文组织及主要工作
• 第二章 分布式数据缓存系统NUPTCACHE 的网络I/O 技术
• 2.1 网络I/O 模型
• 2.2 多路事件分离机制分析
• 2.2.1 传统的事件分派通告机制
• 2.2.2 epoll 模型
• 2.3 NUPTCACHE 采用的多路事件分离机制
• 2.4 本章小结
• 第三章 NUPTCACHE 的分布式数据缓存技术
• 3.1 MEMCACHED 简介
• 3.2 MEMCACHED 的内存存储方式
• 3.2.1 memcached 的内存分配方式
• 3.2.2 memcached 的数据删除方式
• 3.3 MEMCACHED 的分布式算法
• 3.4 MEMCACHED 在NUPTCACHE 中的应用思路
• 3.5 本章小结
• 第四章 NUPTCACHE 系统的数据库性能优化调整
• 4.1 影响数据库性能的主要因素
• 4.2 NUPTCACHE 后端数据库优化目标
• 4.3 针对数据缓存系统NUPTCACHE 的数据库优化
• 4.3.1 NuptCache 系统数据库存储引擎的选择
• 4.3.2 NuptCache 后端数据库server 端参数调整
• 4.4 本章小结
• 第五章 高性能分布式数据缓存系统NUPTCACHE 设计和实现
• 5.1 NUPTCACHE 分布式数据缓存系统模型的总体设计
• 5.2 NUPTCACHE 分布式数据缓存系统模型的详细设计
• 5.2.1 epoll 接口层的详细设计
• 5.2.2 缓存层和数据层的详细设计
• 5.3 NUPTCACHE 系统运行效果及性能测试
• 5.3.1 NuptCache 系统测试环境
• 5.3.2 NuptCache 系统测试步骤
• 5.4 NUPTCACHE 分布式数据缓存系统的应用场景
• 5.5 NUPTCACHE 分布式数据缓存系统模型的创新点
• 5.5.1 NuptCache 的I/O 模型选择
• 5.5.2 NuptCache 系统对定长数据优化
• 5.5.3 NuptCache 系统的命中率优化
• 5.6 本章小结
• 第六章 总结
• 6.1 论文工作总结
• 6.2 需进一步完善的工作
• 参考文献
• 致谢
• 在学期间研究成果