论文题目: 面向海量数据库的中间层语义缓存技术研究
论文类型: 博士论文
论文专业: 计算机科学与技术
作者: 蔡建宇
导师: 邹鹏
关键词: 海量数据库,语义缓存,查询处理,缓存替换,一致性维护
文献来源: 国防科学技术大学
发表年度: 2005
论文摘要: 随着海量数据库在关键业务领域的应用不断增加，提高查询性能日益成为亟待解决的核心问题。在海量数据库应用中存在大量聚集查询，而对海量数据的聚集查询处理往往非常耗时，所以提高聚集查询的处理效率成为优化海量数据库系统查询性能的关键。语义缓存机制通过重用缓存的查询结果优化查询，是一种提高数据库查询效率的有效手段。随着三层结构的广泛应用，中间层语义缓存机制逐渐成为性能优化研究的热点。但是由于缺乏对聚集查询的有效支持，现有语义缓存机制尚无法满足海量数据库应用对聚集查询处理的性能要求。本文在详细分析语义缓存的研究现状及存在问题的基础上，以海量数据库应用为背景，以建立能够优化聚集查询的中间层语义缓存机制为目标，围绕着基于语义缓存的聚集查询处理、语义缓存的管理和语义缓存的一致性维护等语义缓存的关键问题展开了深入研究，主要工作包括：1．提出了一种面向聚集查询的中间层语义缓存机制。该机制将语义缓存定义为语义缓存项的集合，并将语义缓存部署于中间层，由此结合了传送查询和传送数据的优点，同时通过利用用户查询之间的语义联系有效提高了缓存利用率。2．提出了一种基于语义缓存的聚集查询处理机制。该机制讨论了聚集查询与缓存项的匹配，给出了匹配的定义和相应判定方法，同时研究了不同查询匹配类型的聚集查询处理问题，提出了基于语义缓存的聚集查询处理算法。性能测试表明该机制能够显著提高聚集查询处理的性能。3．提出了一种有效的语义缓存管理机制。首先引入虚拟缓存的概念，将缓存划分为虚拟缓存、易失缓存和持久缓存进行管理，增强了缓存管理的灵活性。然后提出在适当条件下将相关语义缓存项进行合并的处理方法，减少了缓存冗余和维护开销。最后提出了最近周期最少使用替换策略LFURC和基于热区的替换策略RBHR。其中，LFURC通过结合时间因素、访问频率因素以及缓存结构的特点，在替换发生时，淘汰在最近周期内访问频率较低的缓存项；RBHR则基于用户访问存在热区的应用特征，通过综合考虑语义缓存项描述中的多种因素，为语义缓存项设定替换值。性能测试表明，虚拟缓存的引入和语义缓存的合并有效提高了系统性能，LFURC和RBHR与传统的LRU和LRC策略相比具有明显优势。4．提出了一种适用于海量数据库应用的语义缓存的一致性维护策略。首先分析了几种典型的一致性维护策略，然后从缓存项视图增量维护的角度出发研究了缓存的一致性维护，最后针对海量数据库应用的特点，提出了一种定时增量维护的策略以保证缓存的一致性。测试结果表明该策略能够有效维护一致性。5．以国家大型工程－大规模事务处理系统为应用背景，基于本文对语义缓存关键技术的研究成果，以并行数据库中间件StarTPMonitor为基础平台，构造并实现了可配置的中间层语义缓存StarCache。测试和在大规模事务处理系统中的应用表明，StarCache有效优化了海量数据库应用的聚集查询性能，能够满足海量数据库应用对聚集查询处理性能的要求。
论文目录:
摘要
ABSTRACT
第一章 绪论
1.1 研究背景
1.1.1 应用背景
1.1.2 技术背景
1.1.3 研究工作定位
1.2 研究现状
1.2.1 缓存相关工作
1.2.2 其它相关工作
1.2.3 相关工作分析
1.3 本文的工作
1.4 论文结构
第二章 面向聚集查询的中间层语义缓存机制
2.1 缓存的构造
2.1.1 缓存内容
2.1.2 数据分组
2.1.3 缓存的重叠
2.1.4 缓存支持的操作
2.1.5 部分结果的重用
2.2 语义缓存的描述与组织方法
2.2.1 简单描述方法
2.2.2 复杂描述方法
2.3 中间层语义缓存机制
2.3.1 缓存环境及系统假设
2.3.2 基本思想
2.3.3 语义缓存的定义
2.3.4 语义缓存的组织
2.4 小结
第三章 基于语义缓存的聚集查询处理
3.1 引言
3.2 相关工作
3.2.1 基于语义缓存的查询处理
3.2.2 其它相关研究
3.3 查询与语义缓存的匹配
3.3.1 基本原理
3.3.2 查询匹配判定算法
3.4 基于语义缓存的聚集查询处理
3.4.1 基本思想
3.4.2 基于语义缓存的聚集查询处理算法
3.5 性能分析
3.5.1 测试环境
3.5.2 查询匹配测试
3.5.3 基于语义缓存的查询处理测试
3.6 小结
第四章 语义缓存的管理
4.1 引言
4.2 相关工作
4.2.1 语义缓存的合并
4.2.2 缓存的替换管理
4.3 语义缓存的类型
4.4 语义缓存的合并
4.4.1 语义缓存合并的思想
4.4.2 语义缓存合并算法
4.5 语义缓存的替换管理
4.5.1 替换的原则
4.5.2 最近周期最少使用替换策略
4.5.3 基于热区的替换策略
4.6 性能分析
4.6.1 测试环境
4.6.2 虚拟缓存测试
4.6.3 语义缓存合并测试
4.6.4 缓存替换管理测试
4.7 小结
第五章 中间层语义缓存的一致性维护策略
5.1引言
5.2典型的缓存一致性维护策略分析
5.2.1 回调策略
5.2.2 定期传送更新策略
5.2.3 客户轮询策略
5.2.4 TTL策略
5.3 缓存视图维护
5.3.1 维护方法
5.3.2 服务方日志
5.3.3 增量视图维护
5.3.4 分组和聚集操作
5.4 定时增量一致性维护策略
5.4.1 基本思想
5.4.2 定时增量一致性维护策略描述
5.4.3 一致性讨论
5.5 性能分析
5.5.1 测试环境
5.5.2 一致性维护策略对比测试
5.5.3 一致性维护策略极限测试
5.6 小结
第六章 中间层语义缓存StarCache
6.1 StarTPMonitor
6.1.1 StarTPMonitor结构
6.1.2 并行加载服务
6.1.3 并行查询服务
6.2 需求分析
6.3 StaCache的实现
6.3.1 StarCache体系结构
6.3.2 StarCache的存储机制
6.3.3 StarCache的查询处理
6.3.4 StarCache的管理机制
6.3.5 StarCache的一致性维护
6.3.6 StarCache的配置选项
6.3.7 StarCache的部署
6.4 StarCache的测试
6.4.1 测试环境
6.4.2 StarCache的功能测试
6.4.3 StarCache的性能测试
6.5 小结
第七章 结束语
致谢
攻读博士学位期间发表的论文
攻读博士学位期间参加的科研工作
参考文献表
发布时间: 2008-05-12
参考文献
- [1].移动数据库客户语义缓存的研究[D]. 吴婷婷.中国人民解放军国防科学技术大学2002
相关论文
- [1].移动数据库客户语义缓存的研究[D]. 吴婷婷.中国人民解放军国防科学技术大学2002
- [2].主动面向对象数据库的主动机制研究及应用[D]. 李庆忠.中国科学院研究生院（计算技术研究所）2000
- [3].分布式数据库安全框架研究[D]. 刘义理.同济大学2006
- [4].动态数据库增量式挖掘算法及其应用的研究[D]. 董一鸿.浙江大学2007
- [5].关系数据库数据组织中无α环的分解问题的研究[D]. 赵龄强.哈尔滨理工大学2007
- [6].数据库集群系统的关键技术研究[D]. 龚卫华.华中科技大学2006
- [7].数据库推理控制技术研究[D]. 李专.华中科技大学2006
- [8].时空数据库查询处理关键技术研究[D]. 高云君.浙江大学2008
- [9].海量多媒体数据库的高效查询处理[D]. 庄毅.浙江大学2007
- [10].面向数据库的语义查询技术研究[D]. 吴承文.浙江大学2007