气象数据仓库设计与实现

气象数据仓库设计与实现

论文摘要

本文是一个数据仓库工程项目,文中集中讨论了一个气象数据仓库的设计和实现过程。本文的数据仓库设计和实现都基于ORACLE 10g的数据库服务器和OWB(ORACLE Warehouse Builder)。文中首先讨论了气象雷达扫描数据和地面自动站测量数据的数据结构。然后给出了气象数据仓库的设计和实现过程。项目的主要工作集中在数据的抽取、转换、加载的过程(ETL)上。在数据清洗阶段采用了空间插值的方法,并给出了距离权重反比法进行空间插值的一个改进方法,使这种方法可以处理具有空间特征的空间数据,实践证明该方法对雷达数据的处理具有较好的适应性和精确度。在雷达数据的异常数据检测中给出了一种基于规则引擎的方法,改进了已有方法的每次处理一条记录而不能处理位置相关性很强的空间数据的缺点。在数据转换阶段采用pl/sql存储过程和JAVA语言结合编程的方式,立足于工程的需要,着重处理数据的时空一致性,完成了数据的转换和加载。最后,对建成的数据仓库进行了存储优化和查询优化,使新建成的数据仓库成为一个实用、高效的系统。为项目后续进行数据的OLAP分析和数据挖掘提供了一个基础数据平台。

论文目录

  • 摘要
  • Abstract
  • 第一章 源数据分析
  • 1. 项目背景
  • 2. 源数据结构分析
  • 2.1 地面自动站数据资料——A文件
  • 2.2. 雷达扫描数据资料
  • 第二章 气象数据仓库逻辑设计
  • 1. 为什么需要气象数据仓库
  • 2. 逆规范化理论
  • 2.1 问题的提出
  • 2.2 逆规范化理论的主要内容
  • 3. 星型模式设计
  • 3.1 设计主题
  • 3.2 气象数据仓库的体系结构
  • 第三章 气象数据仓库物理实现
  • 1. ETL过程
  • 1.1 如何确定ETL的范围
  • 1.2 ORACLE WAREHOUSE BUILDER——OWB
  • 2. 数据抽取
  • 3. 数据清洗
  • 3.1 雷达数据缺测值的处理
  • 3.2 雷达数据异常值的处理策略
  • 3.3 地面自动站数据
  • 4. 数据转换
  • 4.1 数据转换概述
  • 4.2 项目数据转换分析以实现
  • 5 元数据管理
  • 5.1 概述
  • 5.2 ETL过程与元数据的关系
  • 5.3 元数据管理的CWM标准
  • 5.4 气象数据仓库中的元数据管理
  • 第四章 气象数据仓库查询与存储优化
  • 1. 共享池
  • 2. 索引机制
  • 3. 其他优化措施
  • 3.1 基于表空间的优化
  • 3.2 只读表空间
  • 3.3 临时表空间
  • 3.4 散列连接处理
  • 3.5 主管程序
  • 4. 并行性
  • 5. 数据分区
  • 6. 备份与恢复
  • 6.1 概述
  • 6.2 具体备份策略
  • 第五章 结论与未来工作
  • 1. 结论
  • 2. 未来工作
  • 2.1 ORACLE数据挖掘
  • 2.2 决策树算法
  • 参考文献
  • 致谢
  • 相关论文文献

    • [1].保险业呼叫中心的数据仓库设计与实现[J]. 电脑知识与技术 2017(03)
    • [2].一种评估数据仓库设计质量的方法[J]. 计算机技术与发展 2012(09)
    • [3].面向对象的数据仓库设计[J]. 计算机与网络 2011(07)
    • [4].商业银行绩效考核系统的数据仓库设计[J]. 信息与电脑(理论版) 2010(22)
    • [5].高校资助管理系统的数据仓库设计研究[J]. 信息与电脑(理论版) 2020(05)
    • [6].数据仓库安全模型研究与设计[J]. 铁路计算机应用 2016(09)
    • [7].高校数据仓库数据模型设计研究[J]. 信息与电脑(理论版) 2009(14)
    • [8].基于数据仓库的毕业生就业预测系统设计和实现[J]. 楚雄师范学院学报 2009(03)
    • [9].车间辅助决策数据仓库设计与实现[J]. 机械科学与技术 2009(10)
    • [10].企业数据整合与数据仓库设计[J]. 电脑编程技巧与维护 2012(14)
    • [11].电信数据仓库设计[J]. 微计算机信息 2009(06)
    • [12].面向商业智能的物流企业数据仓库设计[J]. 铁路采购与物流 2011(10)
    • [13].港口数据仓库设计及其应用研究[J]. 交通与计算机 2008(05)
    • [14].某银行的企业级数据仓库设计探究[J]. 电子技术与软件工程 2014(05)
    • [15].门诊收入构成智能监测系统数据仓库设计[J]. 电脑编程技巧与维护 2018(01)
    • [16].高速公路联网收费数据仓库设计[J]. 交通科技 2012(05)
    • [17].基于经营分析系统的数据仓库设计方案[J]. 广西通信技术 2008(04)
    • [18].杭州电信数据仓库设计[J]. 浙江理工大学学报 2008(06)
    • [19].交通管理数据仓库设计与实现[J]. 信息与电脑(理论版) 2015(02)
    • [20].高校档案数据仓库设计[J]. 山东工业技术 2014(23)
    • [21].如何实现Qlikview的增量数据加载[J]. 通讯世界 2015(17)
    • [22].招标代理企业大数据分析——数据仓库设计[J]. 中国招标 2019(03)
    • [23].高校管理信息系统数据仓库设计研究[J]. 科技通报 2012(02)
    • [24].发电企业数据仓库的设计与实践[J]. 电脑知识与技术 2015(05)
    • [25].社保系统数据模型设计[J]. 牡丹江大学学报 2011(03)
    • [26].基于DM技术的电子商务CRM系统的研究[J]. 企业科技与发展 2016(08)
    • [27].区域航空收益管理数据仓库设计与实现[J]. 情报杂志 2009(12)
    • [28].课堂教学评价分析系统的数据仓库设计[J]. 广西轻工业 2008(05)
    • [29].基于HIS的医院数据仓库设计与实现[J]. 福建电脑 2015(11)
    • [30].基于Oracle的人事科研数据仓库设计与实现[J]. 安阳师范学院学报 2013(02)

    标签:;  ;  ;  ;  ;  

    气象数据仓库设计与实现
    下载Doc文档

    猜你喜欢