数据流频繁模式和分类挖掘算法研究

论文摘要

近年来，数据流广泛出现在多种应用领域中，如传感器网络、股票分析、网络故障监测等，与传统数据不同，数据流具有大量、快速连续到达、要求快速响应、一次扫描等特点，因此传统的数据挖掘技术不能直接应用到数据流上。利用有限系统资源对数据流进行快速处理以获取有用信息，为数据挖掘及其应用研究带来了新的机遇和挑战。本文主要对滑动窗口模型下的数据流中频繁模式和分类挖掘算法进行了研究。首先，对传统的数据挖掘相关理论和经典算法进行了深入分析，尤其是频繁模式挖掘算法Apriori、FP-Growth算法和决策树分类ID3算法，并取其之长运用到数据流相关任务的挖掘上，并一一编程实现，深化对算法的认识。然后，对数据流的特点及其三种模型进行系统研究，其中滑动窗口模型最符合真实应用，并在静态挖掘算法的基础上加以吸收创新，设计并实现滑动窗口模型下适合数据流的单遍扫描算法—频繁模式挖掘算法SOA、SFP和分类算法SDT、SFPC。最后，本文设计并实现B／S结构的挖掘平台，在这个平台上对以上几种封装后的算法进行测试，实验表明各算法都具有较高的准确性和时间效率。此外，本文还分别分析了频繁模式和分类挖掘在网络监控中的实际应用问题。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题的背景和意义
• 1.2 国内外研究现状
• 1.3 研究内容及主要成果
• 1.4 本文的组织结构
• 第二章 数据挖掘相关理论
• 2.1 数据挖掘
• 2.1.1 数据挖掘产生
• 2.1.2 数据挖掘定义
• 2.1.3 数据挖掘功能
• 2.2 关联规则挖掘
• 2.2.1 关联规则概述
• 2.2.2 关联规则基本术语和相关概念
• 2.2.3 关联规则挖掘Apriori算法
• 2.2.4 关联规则挖掘FP-Growth算法
• 2.3 分类挖掘
• 2.3.1 分类的概念和技术
• 2.3.2 决策树分类算法
• 2.3.3 决策树剪枝
• 2.3.4 决策树分类算法的进一步加强
• 2.4 数据流
• 2.4.1 数据流的定义与特点
• 2.4.2 数据流的广泛应用
• 2.4.3 数据流模型
• 2.4.4 数据流管理系统
• 第三章 基于滑动窗口的数据流频繁模式挖掘算法
• 3.1 基于FP-Growth的数据流挖掘算法SFP
• 3.1.1 引言
• 3.1.2 定义和分析
• 3.1.3 算法描述
• 3.1.4 算法实现
• 3.1.5 算法的实验结果
• 3.2 基于Apriori的数据流挖掘算法SOA
• 3.2.1 引言
• 3.2.2 算法描述
• 3.2.3 算法实现
• 3.2.4 算法的实验结果
• 第四章 基于滑动窗口的数据流分类算法
• 4.1 基于ID3的数据流分类算法 SDT
• 4.1.1 引言
• 4.1.2 定义和分析
• 4.1.3 算法描述
• 4.1.4 算法实现
• 4.1.5 算法的实验结果
• 4.2 基于 SFP的数据流分类算法SFPC
• 4.2.1 引言
• 4.2.2 定义和分析
• 4.2.3 算法描述
• 4.2.4 算法实现
• 4.2.5 算法的实验结果
• 第五章 数据流挖掘系统原型SMINER的分析与设计
• 5.1 系统的体系和功能结构
• 5.2 系统的实现
• 第六章 数据流挖掘在网络监控中的应用
• 6.1 引言
• 6.2 频繁模式挖掘在解决网络拥挤中的应用
• 6.2.1 应用背景
• 6.2.2 应用策略
• 6.3 分类在入侵检测中的应用
• 6.3.1 应用背景
• 6.3.2 应用策略
• 第七章 总结与展望
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢