决策树分类算法的改进及其应用研究

论文摘要

随着人们对数据挖掘理论的不断探讨和研究,数据挖掘技术在各行各业中的应用日趋广泛和成熟。在诸多的数据挖掘技术和方法中,决策树方法是用于数据分类和预测领域的重要方法之一,它是一种以实例为基础的归纳式学习算法,从一组无次序、无规则的实例中推理出决策树形式的分类规则,进而预测未知数据。ID3算法是决策树构造方法中最为常用的实现方法,它在数据分类和预测领域得到广泛应用,然而,在实际应用中,发现ID3算法存在很多不足之处。因此,本文重点研究决策树方法中的ID3算法,分析ID3及其改进算法的优缺点,给出合理的优化方案,以完善ID3算法,使其具有更好地分类效果。具体的优化方案主要体现在以下两个方面:第一,简化ID3算法的启发式函数。本文通过近似值的方法,对ID3算法的信息增益公式进行近似推导,消除其中复杂的对数运算,最终得到适用于多类的、具有通用性和一般性的简化启发式函数。新的ID3简化算法选择信息增益最小的属性作为测试属性,在计算信息增益时,避免了对数运算,只包含计算机较易处理的基本运算符号,所以,在一定程度上减少了选取最优属性的计算量,提高了算法的执行效率。第二,解决ID3算法的多值偏向问题。本文引入权值函数的概念从根本上克服ID3算法的多值偏向问题。其核心思想是:通过引入基于属性取值个数的单调权值函数,为不同属性自动分配不同权值,以权衡属性取值个数与信息增益之间的关系,进而得到新的最优属性选取标准。通过实例分析和算法比较,改进后的ID3算法选取的测试属性更为合理,进而从形成的决策树中提取的规则更为符合人们的实际需求。最后,本文通过一个实例实现了ID3优化算法在学员续费决策问题中的应用。根据学员分类应用流程,将学员基本信息表和学员反馈信息表整合而成的新数据集作为ID3优化算法的挖掘样本集合,最终形成决策树,并从中提取出知识规则。利用从大量学员相关数据背后挖掘出的知识规则可以辅助企业管理者更准确的做出判断和决策,提高了企业效益。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 第一节 课题研究背景
• 第二节 国内外相关课题研究现状
• 一、国外决策树方法发展历程
• 二、国内决策树方法研究现状
• 第三节 课题研究内容及意义
• 第四节 论文组织结构
• 第二章 数据挖掘与决策树方法
• 第一节 数据挖掘综述
• 一、数据挖掘的概念
• 二、数据挖掘的分类
• 三、数据挖掘的特点
• 四、数据挖掘的步骤
• 五、数据挖掘技术和方法
• 第二节 决策树方法
• 一、决策树的基本概念
• 二、决策树的表示形式
• 三、决策树的生成原理
• 四、决策树的剪枝处理
• 五、提取决策规则
• 第三节 本章小结
• 第三章 ID3 算法的研究与优化方案
• 第一节 ID3 算法的研究
• 一、ID3 算法的基本原理
• 二、ID3 算法描述
• 三、ID3 算法实例
• 第二节 ID3 算法的分析
• 一、ID3 算法的优缺点
• 二、ID3 改进算法分析
• 第三节 ID3 算法的优化方案
• 第四节 本章小结
• 第四章 ID3 算法的优化
• 第一节 优化算法的理论支持
• 一、简化算法理论基础
• 二、多值偏向理论分析
• 第二节 ID3 优化算法研究
• 一、ID3 简化算法
• 二、ID3 改进算法
• 第三节 ID3 优化算法实例分析
• 一、ID3 简化算法分析
• 二、ID3 改进算法分析
• 第四节 本章小结
• 第五章 ID3 优化算法在学员续费决策问题中的应用
• 第一节 需求分析
• 第二节 问题定义
• 第三节 数据准备工作
• 第四节 建立分类模型
• 第五节 提取规则和预测未来
• 第六节 本章小结
• 第六章 总结与展望
• 第一节 论文工作总结
• 第二节 后续工作展望
• 参考文献
• 致谢
• 本人在读期间发表的研究成果