数据库的负载自动识别及自管理技术研究

论文摘要

随着软硬件费用的下降,DBA费用的上升,以及数据库管理系统复杂性的增强,数据库管理和维护成本,已成为其整体拥有成本的主体,这就使得数据库自管理、自调优技术的发展成为必然。DBA在对数据库进行调优时,负载的类型是要考虑的关键因素之一。不同的负载类型（联机事务处理OLTP和联机分析处理OLAP）需要不同的资源分配策略。另外在系统运行中负载的类型是经常变化的,理想情况下,需要系统能够根据其变化动态地进行自我调优。为了实现这一目标,首先就要进行数据库负载自动识别技术的研究。本文以TPC-C和TPC-H基准测试来模拟OLTP和OLAP类型负载,选取了十二个能区分两种类型负载的属性,从而获得训练样本,通过C4.5算法和Boosting集成学习算法对样本进行学习来获得分类模型,实现了负载的自动识别。通过对算法进行改进,重点解决了负载识别要求识别结果为类别隶属度的问题。三次实验结果表明,该方法在识别准确率、鲁棒性和通用性方面都满足了负载识别的要求,同时也验证了本文所提出的分三步来实现识别结果为类别隶属度的方法的可行性。对于负载呈周期性变化的系统,本文提出了一种负载预测的框架,其主要分为训练数据模型,离线模块和在线模块三部分。通过该框架便可预测出负载发生变化的时刻以及变化类型,并在相应的时间内通过调用负载识别分类模型对预测结果进行验证,从而决定是否对系统进行调优以适应新的负载类型。

论文目录

• 中文摘要
• 英文摘要
• 第1章 前言
• 1.1 课题来源、背景与意义
• 1.2 国内外研究现状
• 1.2.1 负载识别
• 1.2.2 自管理数据库
• 1.3 技术路线与组织结构
• 第2章 数据库负载自动识别
• 2.1 OLTP 与OLAP 的比较
• 2.1.1 不同应用下的数据库参数设置
• 2.2 负载自动识别介绍
• 2.3 样本数据
• 2.3.1 属性的选取
• 2.3.2 样本数据的获取
• 2.4 分类方法
• 2.4.1 主要分类方法介绍
• 2.4.2 C4.5 和Boosting 算法的结合
• 2.4.3 识别结果：类别的隶属度
• 2.5 实验及结果
• 2.5.1 分类模型的生成
• 2.5.2 实验一：识别的准确率
• 2.5.3 实验二：鲁棒性
• 2.5.4 实验三：通用性，TPC-W 测试识别结果
• 2.5.5 数据库负载自动识别系统
• 2.6 本章小结
• 第3章 负载的预测
• 3.1 负载预测的方法
• 3.2 负载预测的框架
• 3.3 训练数据模型
• 3.3.1 可预测性评估
• 3.3.2 模型的合并
• 3.4 离线模块
• 3.4.1 离线模型的生成
• 3.4.2 负载类型转变时刻的预测
• 3.4.3 估计在线监控的起止时间
• 3.5 在线模块
• 3.6 实验
• 3.7 本章小结
• 第4章 总结与展望
• 参考文献
• 附录A：TPC 基准测试
• 附录B：由C4.5 和Boosting 生成的分类模型
• 致谢
• 个人简历、在学期间的研究成果