粗糙集与支持向量机结合的方法在连续属性离散化中的应用

论文摘要

粗糙集和支持向量机都是为了从数据中提取固定模式而提出的数据挖掘方法。粗糙集理论适用于海量数据,支持向量机是在统计学习理论基础上提出的分类方法,它的结构风险最小化准则和核函数理论,避免了“维数灾难”和“过学习”等传统方法的缺点。本文将粗糙集和支持向量机相结合,利用两种方法的优越性,提出了一种先用粗糙集进行预处理,再用支持向量机精确分类的方法。本文首先介绍了粗糙集和支持向量机的基本理论,对粗糙集的下近似、上近似、决策规则以及支持向量机的结构风险最小化原则、核函数等理论做了简要的回顾,分析了两种方法在数据挖掘领域的优势和局限性。然后,针对以往连续属性离散化方法分类规则复杂、会丢失大量信息的问题,提出了基于粗糙集下近似理论的离散化方法。这种方法可以对海量数据进行预处理,将根据粗糙集理论肯定属于某一类别的样本提出,并删除样本数据中可能的噪音数据,得到部分决策规则。这种方法不会破坏原数据集的不可分辨关系,而且得到的分类规则简洁。接着,利用支持向量机方法只与支持向量有关的特点和能够精确分类的优势,将经过粗糙集预处理的数据用支持向量机方法精确分类。最后,仿真实验表明,该方法在缩短训练时间的基础上,保留了支持向量机方法所需的分类信息,去除了样本数据中的噪音数据,提高了分类精度,克服了SVM算法的应用瓶颈。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景和意义
• 1.1.1 课题研究的背景
• 1.1.2 课题研究的意义
• 1.2 粗糙集理论和支持向量机的发展及国内外现状
• 1.2.1 粗糙集理论发展现状
• 1.2.2 支持向量机发展现状
• 1.2.3 论文的主要内容
• 1.2.4 论文结构安排
• 第2章 粗糙集理论基础
• 2.1 粗糙集理论的基本概念
• 2.1.1 知识的分类表达形式
• 2.1.2 不可分辨关系
• 2.1.3 粗糙集及其下近似、上近似、边界区
• 2.1.4 近似精度与粗糙度
• 2.2 信息系统与属性特征
• 2.2.1 信息系统
• 2.2.2 约简与知识的依赖性
• 第3章 统计学习理论相支持向量机
• 3.1 统计学习理论
• 3.1.1 机器学习的表示
• 3.1.2 经验风险最小化原则
• 3.1.3 VC维理论
• 3.1.4 推广性的界
• 3.1.5 结构风险最小化原则
• 3.2 支持向量机
• 3.2.1 线性可分问题
• 3.2.2 近似线性可分问题
• 3.2.3 线性不可分问题
• 3.2.4 核函数
• 3.2.5 支持向量机的优点
• 第4章 连续属性离散化
• 4.1 离散化问题的描述
• 4.2 离散化方法的分类原则
• 4.3 连续属性的无监督离散化方法
• 4.3.1 等宽度离散化方法
• 4.3.2 等频率离散化方法
• 4.4 连续属性的有监督离散化方法
• 4.4.1 基于熵的离散化方法
• 4.4.2 基于聚类的算法
• 4.4.3 贪心算法
• 4.5 本章小结
• 第5章 基于粗糙集理论的SVM分类方法
• 5.1 NaiveScaler离散化方法及其局限性
• 5.1.1 NaiveScaler离散化方法
• 5.1.2 NaiveScaler离散化方法的局限性
• 5.2 基于粗糙集下近似理论的离散化方法
• 5.3 基于粗糙集理论的SVM分类方法
• 5.3.1 支持向量机方法的优点
• 5.3.2 基于粗糙集理论的SVM分类方法
• 5.4 本章小结
• 第6章 仿真实验
• 6.1 实验数据
• 6.2 数据预处理
• 6.3 支持向量机分类
• 6.4 本章小结
• 第7章 总结与展望
• 参考文献
• 致谢
• 攻读硕士期间发表的论文