森林资源数据库查询优化策略与技术研究

论文摘要

查询是用户从数据库获取信息的唯一方式,也是一般应用系统的主要功能。在森林资源数据库系统中,应用系统的查询效率是衡量其实用性的关键指标。本文结合森林资源数据的特点和实际应用背景,全面探讨了适合于森林资源数据库查询优化的可实现的方法和技术。主要成果如下:（1）森林资源数据的采集、组织、更新及其应用特点表明,森林资源数据库系统属于DSS系统类型。森林资源数据库系主要统涉及四个层次、15个部门用户组和56个功能用户组,各层次的效率、用户的多少以及数据量的大小都与查询效率相关,其中,海量数据、不适当的查询策略是造成查询低效的主要原因;（2）查询优化可以分别从DBMS性能调整、数据优化组织、SQL语句优化等多方面进行,森林资源数据库同样适用于这一基本原则和策略。在以森林资源规划设计调查数据库为代表的森林资源数据库中,来自各种优化策略的优化效果相差较大,除用户设计缓存系统等特殊措施以外,其效果大小依次为数据组织、SQL语句、DBMS;（3）森林资源数据库中数据的组织方式对查询速度有很大影响,面向主题的数据组织方式是提升查询效率的重要措施。本文提出按应用需求进行主题划分的方法,归纳了7类主题及其检索条件;并证明了数据分区和数据降范式处理（非规范化）也是优化查询过程、提高查询速度的有效方法;（4）基于物化视图的查询重写是提高森林资源数据库查询效率的有效方法。本文研究了适合于森林资源数据库查询重写的条件和算法,提出了森林资源数据库物化视图的线性代价模型和应用其模型的参数估计;给出了基于Oracle物化视图技术的森林资源数据库查询重写和优化的具体实现方法,试验中,查询效率提升达118468倍。（5）缓存技术是森林资源数据库查询中适用的重要技术之一。本文在总结分析森林资源数据库和相关技术的前提下,提出了网络环境下基于DBMS的森林资源数据库查询缓存系统的构想,并在VB + Oracle9i中实现其原型。实验表明,其查询效率提升达到3311267倍,对于聚集查询效果优于普通SPJ查询。（6）基于Oracle和ArcSDE进行了空间查询优化的探索,试验比较了一些优化方法。

论文目录

• 摘要
• ABSTRACT
• 1 引言
• 1.1 问题的提出
• 1.2 国内外森林资源数据库的研究历史和现状简述
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 海量森林资源数据库应用特点分析
• 1.3.1 应用需求
• 1.3.2 需求的层次性
• 1.3.3 应用中需要解决的技术问题
• 1.4 国内外数据库查询优化方法的发展和应用概述
• 1.4.1 查询优化的基本概念
• 1.4.2 查询优化的分类
• 1.4.3 查询优化研究的主要内容
• 1.4.4 查询优化的几个主流技术
• 1.4.4.1 基于物化视图的查询重写的研究现状
• 1.4.4.2 基于缓存技术的查询优化研究现状
• 1.4.4.3 空间数据查询优化研究现状
• 1.5 本研究的技术路线
• 1.6 本文的内容安排
• 2 数据库查询优化的基本理论与方法
• 2.1 SQL 查询处理过程及查询优化
• 2.1.1 查询处理过程
• 2.1.2 查询优化的目标
• 2.1.3 查询优化涉及的主要问题
• 2.1.3.1 查询优化方法
• 2.1.3.2 查询算法
• 2.1.3.3 查询操作方式
• 2.2 森林资源数据库系统查询的特点分析
• 2.2.1 基本模式
• 2.2.2 应用类型
• 2.2.3 查询特点
• 2.2.3.1 基本特征
• 2.2.3.2 森林资源数据库系统中的主要SQL 语句类型
• 2.3 影响森林资源数据库查询效率的因素分析
• 2.3.1 DBMS 参数配置
• 2.3.2 数据库设计
• 2.3.3 应用程序及SQL 语句优化
• 2.3.3.1 应用程序
• 2.3.3.2 SQL 语句
• 2.3.3.3 索引
• 2.3.3.4 计算策略
• 2.3.4 数据库统计概貌信息
• 2.4 森林资源数据库查询优化的主要策略
• 2.4.1 调整DBMS 环境
• 2.4.2 准确提供数据库统计概貌信息
• 2.4.3 优化应用求解方案
• 2.4.4 优化SQL 语句
• 2.4.5 充分使用索引
• 2.4.6 充分利用数据库系统内存区
• 2.4.7 调整和优化数据库模式
• 2.4.7.1 根据应用需求确定模式
• 2.4.7.2 灵活运用范式规则
• 2.4.7.3 数据分区
• 2.4.7.4 使用临时表
• 2.5 本章小结
• 3 海量森林资源数据组织优化研究
• 3.1 面向主题的森林资源数据组织
• 3.2 森林资源数据主题分析
• 3.2.1 主题和主题划分方法
• 3.2.2 面向管理信息查询的主题问题
• 3.2.3 面向主题查询的检索条件
• 3.3 面向主题的森林资源数据存储的优化
• 3.3.1 存储模式的选择
• 3.3.2 存储粒度选择
• 3.4 森林资源数据的数据分割方法的研究
• 3.4.1 数据分割方法
• 3.4.2 数据水平分割方法应用实例
• 3.5 森林资源数据库的数据非规范化方法的研究
• 3.5.1 数据非规范化的原则
• 3.5.2 非规范化方法的应用实例
• 3.6 本章小结
• 4 基于查询重写的森林资源数据库查询优化技术研究
• 4.1 物化视图与查询重写
• 4.2 视图物化的选择策略的研究
• 4.2.1 问题的提出
• 4.2.2 视图物化的选择方法
• 4.2.3 森林资源数据库物化视图的代价模型
• 4.3 利用物化视图重写查询的方法研究
• 4.3.1 查询重写采用的符号和列映射
• 4.3.2 用SPJ 物化视图重写查询
• 4.3.3 用聚集物化视图重写查询
• 4.4 基于物化视图的查询重写技术的实现
• 4.4.1 森林资源数据库物化视图设计
• 4.4.1.1 设计原则
• 4.4.1.2 查询模式
• 4.4.1.3 基于物化视图的统计查询效果
• 4.5 本章小结
• 5 基于缓存的森林资源海量数据查询优化技术的研究
• 5.1 数据缓存技术概述
• 5.1.1 存储器缓存技术
• 5.1.2 缓存区的设置
• 5.1.2.1 缓存区大小
• 5.1.2.2 缓存区层次结构
• 5.1.3 替换算法
• 5.1.3.1 随机算法（Rand replacement，RR）
• 5.1.3.2 先进先出算法（First In First Out, FIFO）
• 5.1.3.3 最少经常使用算法（Least Frequently Used, LFU）
• 5.1.3.4 最少重载时间优先算法（Lowest Latency First, LLF）
• 5.1.3.5 最近最少使用算法（Least Recently Used, LRU）
• 5.1.4 更新算法
• 5.2 森林资源数据库缓存体系的结构设计
• 5.2.1 网络缓存的建模
• 5.2.2 缓存区的内部结构
• 5.3 森林资源数据库缓存算法的研究
• 5.3.1 数据访问算法
• 5.3.1.1 查询对缓存的访问过程
• 5.3.1.2 数据访问策略
• 5.3.1.3 查询语句分析与模式匹配
• 5.3.1.4 缓存表设计
• 5.3.2 数据维护算法
• 5.3.2.1 SQL 查询语句维护（替换算法）
• 5.3.2.2 查询语句相关数据维护
• 5.3.2.3 缓存数据更新
• 5.4 森林资源数据库缓存系统的实现
• 5.4.1 系统和数据环境
• 5.4.2 查询界面设计
• 5.4.3 结果比较
• 5.4.3 查询效益分析
• 5.5 本章小结
• 6 基于ARCSDE 的海量森林资源数据库系统优化
• 6.1 空间数据查询系统分析
• 6.1.1 查询体系结构
• 6.1.2 空间操作
• 6.1.3 空间数据优化
• 6.2 基于ORACLE 和ARCSDE 的海量森林资源空间数据库系统
• 6.2.1 系统结构
• 6.2.2 森林资源数据库内容
• 6.2.2.1 空间数据库
• 6.2.2.2 属性数据库
• 6.2.3 ArcSDE 的工作机制
• 6.2.4 栅格数据的存储
• 6.2.5 矢量数据的存储
• 6.3 空间查询优化
• 6.3.1 数据库服务器的优化
• 6.3.2 ArcSDE 的优化
• 6.4 本章小结
• 7 结论与展望
• 7.1 结论
• 7.2 展望
• 附件I 基于ORACLE 物化视图的森林资源数据查询重写的实现
• 1.1 ORACLE 中的物化视图技术
• 1.1.1 参数设置
• 1.1.2 Oracle 物化视图的建立
• 1.2 基于ORACLE 物化视图的查询优化的实现
• 1.2.1 查询模式
• 1.2.2 基于物化视图的统计查询语句优化
• 附件II 缓存界面
• 博硕士论文同意发表的声明