数据流离群数据挖掘的研究与应用

数据流离群数据挖掘的研究与应用

论文摘要

离群数据可能隐藏着一些真实的、而又出乎人们意料的知识,需要研究人员认真地对待。数据流由一系列有序到达的、趋于无限的、动态的数据组成。在数据流上进行离群数据挖掘则是数据挖掘的一个新兴课题,在日常工作中有广泛的应用。目前由于众多应用领域的需求,数据流挖掘正逐渐成为数据库、机器学习、统计学等领域的研究热点,并已成为许多研究领域的有用工具。当数据流这一数据模型在商业和个人信息中被广泛使用时,一些现有的应用软件需要对快速变化的数据流进行在线分析和处理。而现有数据流系统的局限性以及数据流的单遍特性,导致很难有效地在海量的流数据中提取有用数据,并对其进行进一步操作。传统数据挖掘算法在支持数据流挖掘时所表现出来的局限性已被广泛认识,这也促进了对改进现有数据挖掘算法和构建新的数据流挖掘算法的研究。本文共分为六章。第一章“前言”简单介绍了数据流的基本概念、原理和处理技术特点等,以及数据挖掘的基本概念、方法和分类等。第二章“离群数据挖掘概述”是关于离群数据挖掘以及常用离群数据挖掘方法的介绍。在第三章“数据流聚类分析”中,介绍了主要的数据流聚类方法及其与数据流离群数据挖掘的紧密联系。第四章“基于分布式反向k近邻算法的数据流离群数据挖掘研究”是运用CluStream算法的结构提出一种适用于数据流离群数据挖掘的算法,并将算法扩展到了分布式环境中进行数据流数据离群数据的挖掘,最后描述了实验过程和实验结果。第五章“基于数据流离群数据挖掘技术的农业气象灾害实时预警系统”将前几章的研究内容应用到了农业气象领域,并设计了一个农业气象灾害实时预警系统,详细分析了系统的体系结构和系统运行流程。最后一章是对全文工作的总结以及对今后研究工作的展望。

论文目录

  • 摘要
  • Abstract
  • 致谢
  • 第一章 前言
  • 1.1 数据流概述
  • 1.1.1 数据流研究现状
  • 1.1.2 数据流模型
  • 1.1.3 数据流处理技术及其特点
  • 1.2 数据挖掘的研究背景
  • 1.2.1 数据挖掘定义
  • 1.2.2 数据挖掘的分类与方法
  • 1.2.3 数据挖掘的应用
  • 1.2.4 知识发现的基本步骤
  • 1.3 数据流离群数据挖掘
  • 1.3.1 数据流离群数据挖掘的研究背景
  • 1.3.2 数据流数据挖掘的重要方法
  • 1.4 本文组织及内容安排
  • 第二章 离群数据挖掘概述
  • 2.1 离群数据的定义
  • 2.2 离群数据挖掘的定义
  • 2.3 离群数据挖掘的重要方法
  • 2.3.1 基于统计的离群数据的发现方法
  • 2.3.2 基于距离的离群数据的发现方法
  • 2.3.3 基于偏离的离群数据的发现方法
  • 2.3.4 基于规则的离群数据的发现方法
  • 2.3.5 基于聚类算法的离群数据发现方法
  • 2.3.6 基于相似系数的离群数据发现方法
  • 2.4 离群数据分析
  • 2.5 本章小结
  • 第三章 数据流聚类分析
  • 3.1 聚类分析的概念
  • 3.2 主要数据流聚类方法
  • 3.2.1 一趟聚类算法
  • 3.2.2 进化数据流聚类算法
  • 3.3 离群数据挖掘与聚类的关系
  • 3.4 本章小结
  • 第四章 基于分布式反向k近邻算法的数据流离群数据挖掘研究
  • 4.1 分布式数据挖掘综述
  • 4.1.1 分布式数据挖掘概念
  • 4.1.2 分布式数据挖掘体系结构
  • 4.1.3 分布式数据挖掘面临的问题
  • 4.2 反向k近邻算法与离群数据挖掘
  • 4.2.1 反向k近邻与离群数据挖掘
  • 4.2.2 反向k近邻求解算法
  • 4.3 M-CluStream算法
  • 4.3.1 算法描述
  • 4.3.2 性能分析
  • 4.4 基于分布式反向k近邻算法的数据流离群数据挖掘
  • 4.4.1 局部数据流离群数据聚类集的生成
  • 4.4.2 全局数据流离群数据的生成
  • 4.4.3 基于分布式反向k近邻算法的数据流离群数据挖掘存在的问题
  • 4.5 本章小结
  • 第五章 基于数据流离群数据挖掘技术的农业气象灾害实时预警系统
  • 5.1 研究背景及问题提出
  • 5.2 农业气象实时数据的采集与处理
  • 5.2.1 农业气象实时数据的采集
  • 5.2.2 农业气象实时数据的处理
  • 5.3 农业气象灾害实时预警系统
  • 5.3.1 农业气象灾害实时预警数据库的建立
  • 5.3.2 农业气象灾害实时预警系统的结构与流程
  • 5.4 本章小结
  • 第六章 结束语
  • 6.1 本文工作总结
  • 6.2 进一步工作展望
  • 参考文献
  • 攻读硕士学位期间的科研工作和发表论文
  • 相关论文文献

    • [1].线指数特征空间内恒星光谱离群数据挖掘与分析[J]. 光谱学与光谱分析 2016(10)
    • [2].一种改进的局部离群数据检测算法[J]. 黑龙江大学自然科学学报 2017(04)
    • [3].一种基于离群数据检测和线性回归的压装质量智能预警方法(英文)[J]. Transactions of Nanjing University of Aeronautics and Astronautics 2020(04)
    • [4].基于免疫聚类算法的离群数据挖掘[J]. 系统工程 2009(03)
    • [5].基于群体智能的离群数据挖掘[J]. 计算机工程与应用 2008(23)
    • [6].基于置信区间的偏离群数据检测方法[J]. 计算机工程 2008(21)
    • [7].常规挖掘算法在离群数据检测中的应用[J]. 计算机工程与应用 2008(16)
    • [8].机械绿色再制造中工件表面缺陷离群数据挖掘[J]. 机械工程师 2014(07)
    • [9].基于滑动窗口的时间序列离群数据挖掘[J]. 燕山大学学报 2008(06)
    • [10].基于特征赋权的离群数据再聚类算法[J]. 兰州交通大学学报 2008(01)
    • [11].基于密度的局部离群数据挖掘方法的改进[J]. 计算机应用研究 2014(06)
    • [12].离群数据关键域子空间快速搜索技术[J]. 计算机工程与应用 2011(17)
    • [13].基于层次化深度学习的医疗数据库离群数据检测算法[J]. 计算机系统应用 2020(03)
    • [14].一种面向枢纽现象的离群数据检测算法[J]. 小型微型计算机系统 2020(05)
    • [15].基于核密度估计的离群数据挖掘[J]. 太原科技大学学报 2020(06)
    • [16].基于大数据的异常检测方法研究[J]. 计算机工程与科学 2018(07)
    • [17].基于双曲方程特征分解的水生态数据挖掘[J]. 控制工程 2014(04)
    • [18].NJW在离群数据挖掘中的应用研究[J]. 计算机工程与应用 2010(07)
    • [19].基于客户资产离群数据分析的客户分类[J]. 统计与信息论坛 2018(10)
    • [20].高斯混合模型下的相关子空间与离群数据挖掘[J]. 小型微型计算机系统 2018(11)
    • [21].基于MapReduce与距离的离群数据并行挖掘算法[J]. 计算机系统应用 2018(02)
    • [22].一种修正的模糊极限学习机[J]. 计算机应用与软件 2017(05)
    • [23].基于改进的OPTICS聚类和LOPW的离群数据检测算法[J]. 计算机工程与科学 2019(05)
    • [24].离群数据规则挖掘的决策树构造方法[J]. 计算机工程与设计 2011(05)
    • [25].基于聚类高维空间算法的离群数据挖掘技术研究[J]. 计算机技术与发展 2010(01)
    • [26].基于密度的局部离群数据挖掘算法研究[J]. 山东理工大学学报(自然科学版) 2016(06)
    • [27].离群数据挖掘方法在电力负荷预测中的应用[J]. 计算机工程与应用 2010(21)
    • [28].基于混合遗传算法的高维离群数据检测[J]. 赤峰学院学报(自然科学版) 2016(20)
    • [29].基于余弦角距离的主成分分析与核主成分分析[J]. 计算机工程与应用 2011(03)
    • [30].基于决策树与相异度的离群数据挖掘方法[J]. 微计算机信息 2009(21)

    标签:;  ;  ;  ;  

    数据流离群数据挖掘的研究与应用
    下载Doc文档

    猜你喜欢