大规模事务处理语义缓存管理的研究与实现

论文摘要

随着网络计算的普及,某些业务系统的数据规模已经达到TB级甚至PB级,对海量数据的存储和处理成为影响业务系统正常运转的关键问题,其中对海量数据的统计分析是数据库中非常耗时耗资源的操作,是影响系统性能的重要因素。对统计分析查询进行优化,是提高海量数据库性能的主要途径之一。 本文以一个分布式对象中间件——大规模事务处理系统(Large Transaction Process System简称LTPS)为背景,针对统计分析类查询,研究分布式环境下中间件层语义缓存,提出了一个适合海量数据统计分析处理的中间层语义缓存体系结构以及相关的查询优化和缓存管理技术,并着重设计和实现了其中的缓存管理部分。本文的主要工作包括: 1、本文以LTPS为背景,结合海量数据统计分析特性,提出了一个基于中间层的语义缓存体系结构,该结构能够最大限度地支持缓存共享,有效地提高系统的整体性能。 2、本文提出了强制缓存、临时缓存、虚拟缓存概念,将用户自定义缓存与系统创建缓存接合在一起,既支持用户自己设计缓存,也能够根据对用户的访问请求的分析,自动建立和维护缓存。 3、本文在分析了几种经典缓存维护策略的基础上,针对LTPS特点,提出了基于时间的缓存弱一致性维护策略,根据对查询请求的分析,确定维护周期。 4、本文在强制缓存、临时缓存、虚拟缓存概念基础上,以LTPS为背景,提出了WLFU(weighted Least Frequently Used)语义缓存替换策略。该策略既充分尊重了用户的意志,同时对于不合理的用户自定义缓存,也会进行修改和替换。 5、设计并实现了一个大规模事务处理语义缓存系统,并通过了课题验收时的第三方测试,测试结论为优。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• §1.1 应用背景
• §1.2 研究背景
• §1.3 研究现状
• 1.3.1 数据库相关缓存研究
• 1.3.2 中间层的缓存技术
• 1.3.3 小结
• §1.4 本文的工作
• §1.5 本文的结构
• 第二章 大规模事务处理语义缓存
• §2.1 LTPS的体系结构
• §2.2 LTPS语义缓存机制
• 2.2.1 基本思想
• 2.2.2 可缓存查询
• 2.2.3 缓存组织
• 2.2.4 缓存管理信息的组织
• 第三章 LTPS语义缓存管理机制
• §3.1 缓存队列
• 3.1.1 缓存状态定义
• 3.1.2 缓存状态转换
• §3.2 缓存的添加与删除
• 3.2.1 缓存项的显式添加与删除
• 3.2.2 缓存项的动态添加
• 3.2.3 缓存项匹配
• 3.2.4 缓存项合并
• 第四章 LTPS语义缓存的一致性维护
• §4.1 相关工作
• §4.2 LTPS语义缓存一致性维护的基本思想
• 4.2.1 LTPS语义缓存一致性维护的目标及设计原则
• 4.2.2 相关定义
• 4.2.3 基于时间的弱一致性维护的思路
• 第五章 LTPS语义缓存的替换策略
• §5.1 引言
• §5.2 相关工作
• §5.3 语义缓存替换策略的基本思想
• 5.3.1 替换策略的目标及设计原则
• 5.3.2 语义缓存替换策略思路
• §5.4 LTPS的语义缓存替换策略
• 5.4.1 相关定义
• 5.4.2 缓存项权值的设置
• 5.4.3 替换策略WLFU算法
• 第六章 LTPS语义缓存管理的实现技术
• §6.1 LTPS语义缓存管理服务总体结构
• §6.2 系统实现技术
• 6.2.1 语义缓存项
• 6.2.2 语义缓存队列管理
• 6.2.3 语义缓存维护管理
• 6.2.4 数据字典
• 6.2.5 主要工作流程
• 第七章 系统测试
• §7.1 测试环境
• 7.1.1 硬／软件配置清单
• 7.1.2 AppServer相关设置
• §7.2 测试准备
• §7.2 功能测试
• 7.2.1 测试用例
• 7.2.1 测试结果
• §7.3 性能测试
• 7.3.1 测试方案设计
• 7.3.2 测试过程及测试结论
• 第八章 结束语
• 致谢
• 附录：攻读硕士期间发表的论文
• 参考文献