基于MYSQL的分布式数据中间层

论文摘要

近年来,随着移动互联网的高速发展,运营商的用户激增,用户产生的数据也在呈几何级的增长。根据德勤咨询公司发布的研究报告,2012年运营商的用户的存量数据达到了192亿条,总数据容量高达21TB之多。电信企业的核心系统,比如在线交易支持的计费系统和客户关系管理系统等,面临巨大的压力,特别是性能和扩展性。传统的集中式数据库因为扩展性,以及高昂的价格等问题而无法满足业务增长需求。此外,目前具有高性能和高扩展性的云计算系统也主要是针对不支持事务的分析型应用,无法像传统的DBMS那样可以支持在线事务处理。针对该问题,根据XXXX公司对于数据即服务平台的要求,在充分研究了云计算最新技术的基础上,我们设计和初步实现了以分布式数据中间层+MYSQL数据库+PCServer的D AAS平台。我们的系统具有四个基本特征：1)统一访问接口,对数据库应用透明；2)高可用性,消除数据单点故障；3)高伸缩性,可以动态增加、删除数据和存储节点；4)隔离性,数据资源相互隔离。分布式数据中间层经过TPC-C测试,完全支持标准的MYSQL在线事务处理。此外在保证了功能的基础上,分布式数据中间层具有一定的系统扩展性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文选题背景
• 1.2 国内外的研究现状
• 1.3 本文的主要工作
• 1.4 本文的章节安排
• 第二章 数据中间层相关技术
• 2.1 中间件技术
• 2.2 zookeeper分布式技术
• 2.3 XML技术
• 2.4 异步I/O通信技术
• 2.5 本章小结
• 第三章 数据中间层设计与实现
• 3.1 目标
• 3.2 系统架构
• 3.3 模块架构
• 3.3.1 网络通讯模块
• 3.3.2 协议处理模块
• 3.3.3 SQL解析模块
• 3.3.4 数据路由模块
• 3.3.5 结果合并模块
• 3.3.6 连接管理模块
• 3.4 本章小结
• 第四章 数据中间层关键技术实现
• 4.1 分布式查询处理
• 4.1.1 跨数据节点JOIN处理
• 4.1.2 跨数据节点LIMIT处理
• 4.1.3 跨数据节点GROUP BY处理
• 4.2 分布式事务处理
• 4.2.1 两阶段提交协议
• 4.2.2 分布式事务实现
• 4.2.3 分布式事务验证
• 4.3 节点动态扩容处理
• 4.3.1 一致性哈希算法
• 4.3.2 动态扩容策略
• 4.4 本章小结
• 第五章 数据中间层实验与测试
• 5.1 基准性测试
• 5.1.1 事务处理性能测试
• 5.1.2 分布式查询性能测试
• 5.1.3 系统稳定性测试
• 5.2 应用测试
• 5.2.1 应用环境配置
• 5.2.2 应用测试结果
• 5.3 本章小结
• 第六章 总结与展望
• 参考文献
• 致谢