数据挖掘技术在气象资料分析中应用研究

论文摘要

气象资料的容量和领域随时间的推移不断增长和拓宽,形成了资料山和资料迷宫。如何有效地利用这些资料是气象领域工作者面临的一个大问题。传统的计算机领域中的处理方法是很难处理这样大规模的数据集,因此必须借助于数据挖掘技术。本文首先综述了目前国内外数据挖掘技术在气象资料分析中的研究和应用现状,阐述了数据挖掘技术应用于气象资料分析中取得的成果和不足。其次,对包头市连续3年逐小时的气象数据建立多维数据集,利用数据清洗、数据集成、数据转换和数据消减四种主要的数据处理方法对气象资料多维数据集进行数据预处理,以提高数据挖掘对象的质量,并最终达到提高数据挖掘所获模式、知识、规则等质量的目的。然后,本文主要研究了以下四种主要的数据挖掘技术在气象资料分析中的应用：利用孤立点分析技术分析气象资料库中出现的异常记录集,发掘了一些异常气象维度值和异常记录集；采用决策树模型建立了降雨预测模型和污染因子浓度值是否超标模型,挖掘出了诸如在何种气象条件下,污染物的浓度会超标等这类规则；采用聚类分析对气象资料进行分组,以便于发现各类气象特征,提出了一种基于类轮廓的层次聚类方法,并利用基于类轮廓的层次聚类方法对气象数据进行了聚类分析,证明了算法的可行性、有效性和准确性；利用关联规则分析技术研究气象资料间频繁相关的气象现象。最后采用SPSS Clementine主流数据挖掘软件和经典数据挖掘模型对包头市气象资料库进行挖掘。在以上研究的基础上,本文探讨了数据挖掘主流技术应用在气象资料分析中的重大理论意义和实用价值,并通过对包头市气象资料的挖掘得出了一些隐藏的、有用的模式、规则和知识。

论文目录

• 摘要
• Abstract
• 引言
• 1 数据挖掘技术
• 1.1 数据挖掘方法
• 1.2 数据挖掘流程
• 1.3 数据挖掘功能和任务
• 1.4 数据挖掘技术应用
• 1.5 论文结构和组织
• 2 气象资料预处理
• 2.1 气象资料特点
• 2.2 预处理概述
• 2.2.1 数据清洗
• 2.2.2 数据集成
• 2.2.3 数据转换
• 2.2.4 数据消减
• 2.3 气象资料的预处理
• 3 气象资料的孤立点分析
• 3.1 孤立点分析主要技术
• 3.2 气象数据孤立点分析
• 3.2.1 箱线图
• 3.2.2 异常个案分析
• 4 气象资料的分类研究
• 4.1 C5.0算法概述
• 4.2 决策树—降雨预测
• 4.2.1 建模分析
• 4.2.2 规则验证
• 4.3 决策树—污染因子浓度预测
• 5 气象资料聚类分析
• 5.1 类轮廓的定义和求解
• 5.1.1 类边界点和类轮廓定义
• 5.1.2 类轮廓完整的求解方法
• 5.2 基于类轮廓层次聚类算法的设计
• 5.2.1 类与类之间的聚类
• 5.2.2 簇与孤立点的聚类
• 5.2.3 算法流程
• 5.3 实验分析
• 5.4 基于类轮廓层次聚类的分析
• 6 气象资料关联规则挖掘
• 6.1 关联规则挖掘及算法
• 6.2 Apriori算法
• 6.3 数据预处理
• 6.4 关联规则建模
• 6.5 结果分析
• 结论
• 参考文献
• 在学研究成果
• 致谢