基于粗糙集理论的数据预处理研究

论文摘要

随着数据库技术的成熟,数据应用的普及,以及互联网的高速发展,人类积累的数据量正在以指数级速度迅速增长。传统的数据分析和查询方法己不能满足人们对隐藏在数据背后的知识的迫切需要,在这种社会需求的强劲推动下,知识发现和数据挖掘应运而生,而粗糙集理论作为一门新的数学工具,凭借它不需要附加任何外界信息或先验知识这一特点,突破了其它数据分析工具的局限,避免了人的主观因素对数据挖掘结果的影响,逐渐成为了研究知识发现的重要的数学工具之一。由于数据预处理是KDD处理步骤中非常重要的一环,其结果将直接影响到KDD的效率、准确度以及最终模式的有效性。而经典的粗糙集理论不能处理原始数据资料中的遗漏信息以及值域为实数的数据,需要经过数据预处理,包括数据补齐和离散化处理后才能进行知识获取,因此如何有效地进行数据预处理具有非常重要的现实意义。本文主要围绕基于粗糙集的数据预处理中数据补齐和连续属性离散化展开讨论。首先,综述了粗糙集理论的研究现状,分析和归纳了与数据不完备性相关的重要问题以及处理缺失值的各种方法;在此基础上,分析了当前主要的数据补齐算法的特点和不足,指出了数据补齐的原则和目标,并针对己有的基于粗糙集不完备信息系统补齐算法的缺陷,提出了基于量化相似关系模型,以使更多的缺损数据得到科学的填补,尽量避免因采用其它方法可能导致的决策规则矛盾的问题。然后,对目前流行的离散化算法进行了详细的分析和评价,指出了离散化的方向和目标,并提出了基于粗糙信息熵的离散化算法,以便在保证划分后决策表相容性的前提下,获得比较合理的划分点。最后,指出本文创新之处以及存在的问题和努力的方向。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 知识发现的背景
• 1.1.1 知识发现的兴起
• 1.1.2 知识发现的研究内容和过程
• 1.2 粗糙集理论
• 1.2.1 粗糙集理论的产生和发展
• 1.2.2 粗糙集理论的特点
• 1.2.3 粗糙集理论的研究现状
• 1.3 数据预处理研究的意义和目的
• 1.4 本文的主要研究内容
• 第2章 粗糙集的基本理论
• 2.1 粗糙集理论的一些基本概念
• 2.1.1 知识与分类
• 2.1.2 不可分辨关系
• 2.1.3 集合的下近似、上近似及边界区域
• 2.1.4 非精确数字特征
• 2.1.5 知识约简
• 2.1.6 知识的依赖性
• 2.1.7 知识表达系统
• 2.1.8 决策表
• 2.2 粗糙集模型概述
• 2.2.1 概率粗糙集模型
• 2.2.2 模糊粗糙集模型
• 2.2.3 基于近似随机集的粗糙集模型
• 2.2.4 变精度粗糙集模型
• 2.2.5 相似关系模型
• 2.3 本章小结
• 第3章 不完备信息系统的数据补齐
• 3.1 不完备信息系统简介
• 3.1.1 定义
• 3.1.2 造成数据缺失的原因
• 3.1.3 数据缺失机制和空值语义
• 3.2 几种数据补齐算法
• 3.2.1 非粗糙集的数据补齐算法
• 3.2.2 基于粗糙集理论的不完备数据补齐算法（ROUSTIDA）
• 3.3 基于量化相似关系模型的数据补齐
• 3.3.1 算法处理流程
• 3.3.2 实例分析
• 3.4 本章小结
• 第4章 连续属性的离散化研究
• 4.1 引言
• 4.2 连续属性的离散化方法
• 4.2.1 离散化问题的描述
• 4.2.2 连续属性的离散化方法的分类
• 4.2.3 几种属性离散化算法
• 4.3 基于粗糙熵的离散化算法
• 4.3.1 粗糙熵的相关概念
• 4.3.2 算法处理流程
• 4.3.3 实例分析
• 4.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间所发表的学术论文
• 致谢