数据库集群系统的关键技术研究

论文摘要

目前大型DBMS在海量数据的OLTP商业应用中已成为制约整个信息系统性能和效率提升的瓶颈,传统的提高单机的硬件配置和优化数据库系统性能参数的方法也只能有限地提高系统性能。因此,基于多机并行处理的数据库集群成为人们关注的热点,它以高性能、高可用性和高可扩展性为目标,在高性能计算、海量数据的存储和处理、Web服务、电子商务等领域有着广泛的应用。围绕数据库集群系统的并行性能,主要从系统结构、全局事务的并发控制、负载平衡以及数据分布等方面解决了集群系统中的一些关键问题。为了将集群技术应用于数据库系统以实现大规模和高并行性能的数据库集群系统,在无共享的数据库集群基础上设计了一种通用的、具有高并行性能的中间件系统,提供单一系统映像结构,采用元数据管理、多线索机制、并行事务预处理等技术,实现了数据库集群的协作与并行处理,能满足对性能要求较高的OLTP商业应用,具有理想的性价比。该系统既保持了集群中局部数据库站点的自治性,又提高了数据库集群系统的并行性能,解决了大型DBMS的性能瓶颈。在并发控制方面,为了保证集群系统中全局事务的并发正确执行,采用基于谓词级的多级粒度冲突检测机制,并通过检测谓词冲突图中是否存在环的方法来避免冲突的全局事务可能会产生的全局死锁,不仅减小了死锁检测粒度而且还提高了全局事务处理的并发度,同时也保持了集群中局部数据库的自治性。此外,还改进了一种以事务提交图为中心的并发事务调度算法来保证全局事务的可串行化提交,实验比较结果表明该算法有效地提高了全局事务执行的并发度,增加了事务吞吐率和减少了响应时间。负载平衡是集群系统获得高并行处理性能和提高资源利用率的有效手段,集群中的负载平衡器根据同构或异构节点上的CPU、内存和磁盘I/O等计算资源在不同负载下的综合利用率来衡量节点的加权负载状态,所提出的基于阈值的动态负载平衡算法不仅考虑了资源的利用率,而且还考虑了负载类型对集群系统性能的影响。实验证实该策略不仅动态地保持了系统的负载平衡,而且还充分发挥了各节点的计算能力,提高了系统中各计算资源的利用率。数据分布平衡是影响数据库集群系统性能的重要因素,现存的一些数据划分方法把关系和数据都均匀地分布到多个处理节点上,而没有考虑异构节点间计算能力的差异,使得数据库集群的并行处理能力没有被充分地发挥,因此,提出了适合于同构及异构集群中数据分布的改进的Range划分方法,根据集群中同构或异构节点的计算能力将数据不均匀地分布各节点上,克服了传统的数据均匀划分的缺点。针对系统负载中发生的数据倾斜,所采用的联机数据迁移算法根据负载访问特点把过载节点上的热点数据迁移到轻负载的节点上以分担系统负载,其优点是不仅有效避免了数据执行倾斜,提高了事务吞吐率,也保持了集群系统的动态平衡。最后,综合分析和评价了同构及异构数据库集群系统的各种并行性能度量指标,TPC-C测试结果表明数据库集群系统在并行OLTP处理中具有良好的可扩展性、次线性的加速比、以及高性价比的并行处理服务,为满足电信、金融等领域大规模OLTP处理的需要打下坚实的基础。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 课题的背景及意义
• 1.2 数据库集群系统的概述
• 1.2.1 数据库集群系统与其他系统的区别
• 1.2.2 数据库集群的并行OLTP 处理优势
• 1.3 数据库集群系统及其关键技术研究概况
• 1.3.1 事务的可串行化
• 1.3.2 负载均衡与资源管理
• 1.3.3 数据的分布及划分
• 1.4 本文的主要工作及组织结构
• 2 数据库集群系统的体系结构
• 2.1 引言
• 2.2 数据库集群系统的框架设计
• 2.3 集群中间件系统的技术特点
• 2.3.1 元数据管理
• 2.3.2 多线索机制
• 2.3.3 并行事务预处理技术
• 2.3.4 异构数据库集成
• 2.4 小结
• 3 数据库集群系统中的并发控制
• 3.1 引言
• 3.2 集群系统中的事务模型
• 3.3 多粒度的并发控制
• 3.3.1 谓词的概念及提取技术
• 3.3.2 基于谓词的冲突判断方法
• 3.3.3 谓词冲突图中的死锁检测
• 3.3.4 实验结论
• 3.4 并发事务调度策略
• 3.4.1 事务提交图分析
• 3.4.2 改进的并发事务调度算法
• 3.4.3 两种调度算法的性能比较
• 3.5 小结
• 4 集群系统的动态负载平衡
• 4.1 引言
• 4.2 动态负载平衡策略
• 4.3 动态负载平衡的性能评价
• 4.4 小结
• 5 数据库集群中的数据分布策略
• 5.1 引言
• 5.2 数据分布的原则和方法
• 5.3 数据分布平衡的策略
• 5.3.1 改进的全局数据分布方法
• 5.3.2 联机数据迁移算法
• 5.4 数据迁移开销分析
• 5.5 小结
• 6 集群系统中的OLTP 性能评价
• 6.1 引言
• 6.2 数据库集群的性能评价指标
• 6.3 OLTP 对集群的性能影响分析
• 6.4 OLTP 测试环境及性能评价
• 6.4.1 同构及异构集群下性能测试
• 6.4.2 系统开销分析
• 6.4.3 集群系统的综合性价比评价
• 6.5 小结
• 7 全文总结及展望
• 7.1 全文总结
• 7.2 研究展望
• 致谢
• 参考文献
• 附录攻读博士学位期间发表论文目录