统计数据处理系统数据库设计与调优

论文摘要

本文的工作是围绕统计数据处理项目展开的,当前的统计应用软件之间的数据交换没有统一的标准,造成了统计数据在存储、应用上难以实现信息共享,同时还给基层统计工作者增加了许多负担,在这样的项目背景下,为避免重复开发、浪费资源,开发统计调查数据处理项目来协调各统计应用之间的数据,最终统一用该数据处理系统来完成各项统计业务,对于这样复杂且需要提供灵活查询的系统,数据库系统的性能至关重要,随着数据量越来越大,数据库系统所受到的压力和瓶颈更多更复杂,性能调优工作就显得尤为重要。如何有效地保证使用数据库系统的应用处于良好的运行状态,已经成为项目是否满足客户要求的最直接的指标之一,因而需要对以下几个方面做调优：数据库设计时调优数据存储结构；开发过程中使用的SQL进行调优；项目实施过程中对硬件规划、操作系统、数据库参数进行调优等；因此,性能调优是一项技术面广、问题复杂且在项目实施的每个阶段都需要重视的工作,本文首先介绍调优工具和调优理论,这是最基本的调优方法,然后以此为基础,对统计数据处理系统进行需求分析后,确定数据存储方案,之后在项目开发和实施过程中,针对统计处理系统中各个功能模块中的性能问题,从磁盘阵列规划、修改数据库参数、缓存大表、各种SQL等方面进行调优,根据项目的实际情况,不断尝试各种调优方案,并以测试用例的方式,和调优之前进行比较,直观的体现出调优的效果,最终通过对比测试用例结果,综合分析后选择最优的方案来保证系统快速有效的运行,达到调优的目的。项目维护过程,实际上也是对调优效果的进行验证过程,如何定位性能瓶颈也是对调优工作的一个考验,本文中对如何确定性能瓶颈列举了一些方法,以便从当前系统运行过程中的各种资源利用情况,快速找出性能的瓶颈,确定引起性能问题的原因,然后做出相应的性能解决方案,这也是发现问题和解决问题的必经之路。本文通过对统计数据处理项目的数据库设计与调优,从项目运行的角度来说,满足了客户对性能的要求,使得项目的实施及维护得以顺利进行,并得到了客户的认可,从技术上说,调优理论在项目调优过程中得到了充分的实践,并结合项目自身的特点,形成一套比较实用的调优方法,尽管调优的工作比较复杂,但万变不离其宗,掌握好了调优技术及分析问题的方法,就可以很好地利用这些技术和经验,不同的项目环境进行调优,达到事半功倍的效果,这也是本文的价值所在!

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题背景
• 1.2 课题任务
• 1.2.1 课题内容
• 1.2.2 本人承担任务
• 1.3 论文结构
• 第二章 优化理论基础及优化工具
• 2.1 优化理论基础
• 2.1.1 SQL语法优化基础知识
• 2.2 优化工具
• 2.2.1 执行计划工具
• 2.2.2 SQL Trace工具
• 2.3 本章小结
• 第三章 统计数据处理系统体系架构及功能模块介绍
• 3.1 数据处理体系架构
• 3.2 数据处理功能模块
• 3.3 本章小结
• 第四章 统计数据处理系统存储设计及实现
• 4.1 业务报表类型说明
• 4.1.1 业务报表类型说明
• 4.2 项目生命周期各阶段优化效果
• 4.3 业务报表数据存储设计POC
• 4.4 业务报表数据存储设计
• 4.4.1 基层表存储设计
• 4.4.2 综合表存储设计
• 4.4.3 业务报表数据库表名设计
• 4.5 本章小结
• 第五章 项目开发维护过程中的数据库性能调优
• 5.1 数据库性能优化技术
• 5.1.1 磁盘阵列规划
• 5.1.2 数据库文件部署
• 5.1.3 Oracle数据库参数
• 5.1.4 缓存大表
• 5.1.5 Oracle数据库SQL调优
• 5.2 查找系统运行的瓶颈
• 5.2.1 10、内存监控
• 5.2.2 查找前10条性能差的SQL
• 5.2.3 查找10较大的正在运行的Session
• 5.2.4 如何对session进行跟踪
• 5.2.5 基于等待事件的性能诊断
• 5.2.6 基于资源限制的性能诊断
• 5.2.7 减少共享池碎片
• 5.2.8 监控表及索引
• 5.2.9 消除TEMP表空间膨胀
• 5.3 使用ORACLE AWR工具监控数据库系统
• 5.3.1 SQL统计
• 5.3.2 参数设置建议
• 5.4 项目维护调优时发现的问题及经验总结
• 5.4.1 SQL*Loader提高导入性能
• 5.4.2 海量数据表创建主键性能差解决办法
• 5.4.3 并发执行insert语句引起的锁表问题
• 5.4.4 Bitmap index引发的锁表问题
• 5.4.5 小数据量表查询加并行性能差
• 5.4.6 绑定变量引起的性能问题
• 5.4.7 并发修改同一条记录引起的行锁问题
• 5.4.8 SQL执行计划不同导致查询性能差异大
• 5.5 本章小结
• 第六章 结束语
• 6.1 论文总结
• 6.2 问题和展望
• 参考文献
• 致谢