物化视图及分区技术在贵州地税省级数据集中的应用

论文摘要

当前,数据库的应用越来越广泛,并朝着大型化复杂化的方向发展,对数据库的性能要求也越来越高。如何充分利用现有的软硬件资源,获得最大的数据处理能力成为数据库应用中的一个重要课题。利用物化视图和分区技术提高数据库的性能是本文研究的目标。论文以贵州省地税局省级数据集中项目为研究背景,针对该项目的特点：数据信息量达到了千万以上,例如贵阳市的应征税收表的数据量就有42,066,496,而且数据每月的增长量也在万条以上,仅以六盘水一地的税收业务表为例,2010年6月六盘水地区的入库税收数据为89,755条,应征税收的数据为126,745条；业务系统复杂多变,在省级数据中心上建立的大型应用平台,包括有“基础应用查询”、“规范统计报表”、“决策支持查询”等。其中规范统计报表每月都需要产生近143张业务报表,这些报表都是对各个地州市局税务信息的汇总和比较,能实时为税务局的领导层提供税收信息,并按照业务需求进行统计和比对,由此可见数据库的性能压力是很大的。因此,本文研究的重点是将分区技术与物化视图技术相结合,利用物化视图的分区和多级物化视图对数据库系统进行优化。同时,在省局数据集中项目中,利用物化视图技术对9个地州市局数据信息进行ETL的数据抽取,通过创建多级物化视图实现数据的汇总。研究工作主要涉及以下几个方面：1.本文对物化视图和分区技术作了详细阐述,详细介绍了Oracle llg版本下的物化视图和分区技术实现的机制和原理。2.通过对物化视图和分区技术的深入研究,结合项目的实际需求,提出了建立两级分区和物化视图与分区技术相结合的优化手段,以及利用物化视图实现ETL的数据抽取和通过建立多级物化视图实现数据汇总。3.结合作者参与的贵州地税省级数据集中项目,给出了物化视图和分区技术在实际运用中的策略和实现方式,并测试了使用物化视图和分区技术后对优化数据库性能方面的成效,从而验证了物化视图和分区技术以及这两种技术的结合使用对数据库性能优化方面的可行性和有效性。

论文目录

• 摘要
• Abstract
• 1 引言
• 1.1 选题背景和意义
• 1.1.1 传统数据库应用存在的问题
• 1.1.2 研究物化视图和分区技术的意义
• 1.2 国内外的研究现状
• 1.3 本文工作
• 1.4 论文结构安排
• 2 ORACLE中分区技术的介绍
• 2.1 ORACLE中的分区表
• 2.2 ORACLE分区功能详述
• 2.2.1 范围分区（Range）
• 2.2.2 散列（Hash）分区
• 2.2.3 列表分区（List）
• 2.2.4 组合分区
• 2.2.5 间隔分区（Interval）
• 2.2.6 引用分区
• 2.2.7 虚拟列分区
• 2.2.8 分区表的策略与管理维护
• 2.3 索引分区
• 2.3.1 本地索引分区
• 2.3.2 全局索引分区
• 2.4 小结
• 3 ORACLE中物化视图技术的介绍
• 3.1 物化视图的概念
• 3.2 物化视图的建立
• 3.3 物化视图的参数
• 3.4 ORACLE查询重写
• 3.4.1 查询重写的先决条件
• 3.4.2 保证查询重写有效
• 3.4.3 与查询重写相关的初始化参数
• 3.4.4 控制查询重写及查询重写的完整性
• 3.5 物化视图的刷新
• 3.6 ETL和多维数据库中的物化视图
• 3.6.1 用物化视图实现ETL的数据抽取
• 3.6.2 多维数据库中的物化视图
• 3.7 小结
• 4 物化视图及分区技术在贵州地税省级数据集中的应用
• 4.1 贵州地税省级数据集中项目介绍
• 4.1.1 贵州省地税省级数据集中项目背景
• 4.1.2 贵州省地税省级数据集中项目介绍
• 4.2 分区技术在省局数据集中项目中的应用
• 4.2.1 分区的策略及实现方式
• 4.2.2 二级分区技术的采用及实现
• 4.3 物化视图技术在省局数据集中项目中的应用
• 4.3.1 创建物化视图的策略及实现方式
• 4.3.2 利用物化视图实现贵州省地税省局数据集中ETL的数据抽取
• 4.3.3 利用物化视图实现贵州省地税省局数据集中数据汇总（多级物化视图）
• 4.4 分区技术与物化视图技术在省局数据集中项目中的结合应用
• 4.4.1 创建分区上的物化视图
• 4.4.2 创建物化视图上的分区
• 5 总结与展望
• 参考文献
• 攻读硕士学位期间发表的论文和参与的项目
• 致谢