基于信息熵的数据约简算法

论文摘要

随着数据库技术的迅速发展以及数据库管理系统的广泛应用,人们积累的数据越来越多,而大量激增的数据背后隐藏着许多重要的信息。数据挖掘,就是从大量数据中提取或“挖掘”隐含的、事先未知的、潜在有用的信息。粗糙集理论是一种新的处理模糊和不确定知识的数学工具。该理论的特点是不需要任何先验知识,或任何附加信息,能有效地分析和处理不精确、不完整和不一致等各种不完备信息,并从中发现隐含知识,揭示潜在规律。它是一种新的数据挖掘技术。属性约简是粗糙集理论的核心内容之一。本文把信息熵理论中的互信息作为启发信息,得出两种新的属性约简算法。第一个算法是以互信息作为启发信息,对于能够直接决策的对象直接列出决策结果,然后再对其余的对象进行决策,这样做减少了不必要的重复。这里注意的是同一路径上的属性是不能重复的,这也是决策树的一种剪枝方法。第二个算法以空集作为约简的起点开始搜索,采用回溯的分析方法,减少了搜索空间,提高了算法的效率。这两种算法都可以减小搜索的次数,从而减少了搜索空间。最后分别用实例验证了这两种算法的正确性和高效性。经典的粗糙集理论主要用于离散特征值的情形,信息熵也主要用于离散值信息系统,而实际的数据不仅有离散的也有连续的情形。最后介绍了模糊粗糙集信息熵的基本理论,并将其应用到连续值评估模型中,提出了一种基于模糊熵的评估模型的属性约简算法,并且用实例验证了算法的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的研究背景与意义
• 1.2 粗糙集的研究现状及在数据挖掘中的应用现状
• 1.3 论文内容及结构介绍
• 第2章 数据挖掘概述
• 2.1 数据挖掘与知识发现的概述
• 2.2 数据挖掘的定义
• 2.2.1 数据挖掘的技术定义
• 2.2.2 数据挖掘的商业定义
• 2.3 数据挖掘的过程
• 2.4 数据挖掘分类方法
• 2.5 数据挖掘常用工具
• 2.6 本章小结
• 第3章 粗糙集理论基础
• 3.1 粗糙集理论基本概念
• 3.2 信息系统理论基本概念
• 3.3 本章小结
• 第4章 几种常见的约简算法
• 4.1 几种常见的约简算法
• 4.1.1 一般约简算法
• 4.1.2 值约简算法
• 4.1.3 基于可辨识矩阵的基本属性约简算法
• 4.1.4 基于可辨识矩阵的属性频度约简算法
• 4.2 基于可辨识矩阵的约简算法的改进算法
• 4.2.1 对算法4.4的分析
• 4.2.2 基于可辨识矩阵的改进算法
• 4.2.3 实例分析
• 4.3 本章小结
• 第5章 基于信息熵的约简算法
• 5.1 信息熵基础知识
• 5.2 基于互信息的相对约简算法
• 5.3 基于信息熵与决策树的规则提取算法
• 5.3.1 决策树
• 5.3.2 基于互信息与决策树的规则提取算法
• 5.3.3 实例分析
• 5.4 基于信息熵和回溯算法的约简算法
• 5.4.1 回溯算法的主要思想
• 5.4.2 算法具体步骤及程序
• 5.4.3 实例分析
• 5.5 本章小结
• 第6章 基于模糊熵的评估模型的属性约简
• 6.1 模糊粗糙集的基本概念
• 6.2 模糊粗糙集的信息熵
• 6.3 评估决策的基本思想
• 6.4 基于模糊熵的评估模型的属性约简
• 6.5 实例分析
• 6.6 本章小结
• 第7章 结论与展望
• 参考文献
• 致谢