数据挖掘中属性离散化方法研究

论文摘要

随着计算机技术以及网络化和数字化技术的发展,信息的增长速度和传播速度越来越快,数据信息量以指数形式增长。数据挖掘成为了人们研究的热点。数据挖掘是从海量的复杂数据集中提取出有价值、有意义的知识。因为从现实世界中直接采集到的数据通常都包含噪声数据,而且通常包含有连续值属性,而多数数据挖掘方法只能处理离散属性,所以通过连续属性离散化和数据约简对数据进行预处理具有非常重要的意义。粗糙集是一种刻画不完整性和不确定性的数学工具,它所固有的特点使得粗糙集适用于信息系统的数据分析和知识提取。本文的主要研究内容和成果如下：（1）本文对连续属性离散化Chi2及其相关算法进行了分析,其中Rectified Chi2算法是对Chi2的一种改进。结合粗糙集理论对Rectified Chi2算法离散后的数据进行属性约简和规则约简提出一种新的数据约简方法即RS-D （Rough Sets-Discretization）方法。对数据约简结果用C4.5和SVM进行分类预测验证。（2）通过对Chi2系列算法自由度K的分析,提出一种改进自由度的离散化算法,并且用C4.5对离散化结果进行了验证。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.1.1 数据库知识发现
• 1.1.2 数据挖掘
• 1.2 研究意义
• 1.3 连续属性离散化研究的发展和现状
• 1.4 主要研究内容
• 1.5 论文的组织结构
• 2 粗糙集理论及其应用
• 2.1 粗糙集理论的提出和基本思想以及应用
• 2.1.1 粗糙集理论的提出
• 2.1.2 粗糙集理论的基本思想
• 2.1.3 粗糙集理论特点及应用
• 2.2 粗糙集相关定义介绍
• 2.3 知识约简
• 2.4 决策表
• 3 连续属性离散化
• 3.1 连续属性离散化的任务和问题描述
• 3.1.1 连续属性离散化的任务
• 3.1.2 连续属性离散化的问题描述
• 3.2 离散化结果评价标准
• 3.3 离散化算法分类
• 3.4 几种主要的离散化算法
• 4 一种基于连续属性离散化和粗糙集理论的数据约简方法
• 4.1 引言
• 4.2 知识表达系统
• 4.3 不一致率
• 4.4 粗糙集相关概念
• 4.5 Chi2相关算法基础知识
• 4.6 Rectified Chi2算法
• 4.7 改进的数据约简方法（RS-D）
• 4.7.1 属性约简
• 4.7.2 RS-D数据约简方法
• 4.8 实验与结果分析
• 4.8.1 实验中用到的分类工具C4.5和SVM介绍
• 4.8.2 实验与结果分析
• 5 一种基于改进自由度的离散化方法
• 5.1 卡方分布
• 5.2 Extended Chi2算法
• 5.3 对自由度的改进
• 5.4 实验与结果分析
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢