基于移动Agent的数据挖掘技术研究

论文摘要

计算机技术、网络技术、Internet技术的进步,带来了数据挖掘技术的迅速发展。该技术主要是以从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的、以及最终可理解的模式为目标,实现寻找模式的决策支持。实际工程中,数据集大部分都按地理位置分布于多个场所,若把这些数据重新收集到一个集中的地方(如数据仓库),这要求有高的数据通讯网络,并且会导致响应时间变长和数据私有性和安全性被破坏。分布式数据挖掘技术很好地解决了以上的问题,在分布式数据挖掘系统下,用户、数据、硬件资源以及挖掘需要的软件资源在物理上都可以使分布的。为了提高分布式数据挖掘系统的通信效率、平台兼容性并解决数据传输等方面存在的安全性问题,本论文围绕研究将移动Agent技术应用到分布式数据挖掘中,构建远程交互、平台无关、节约网络带宽且具有较高可维护性和灵活性的分布式数据挖掘系统,以重庆交通大学研究生教育创新基金项目“网络工程系统‘亚健康’状态诊断及智能维护决策机制研究”为背景,对移动Agent技术在分布式数据挖掘方面的应用进行了深入的研究与讨论。论文主要研究成果包括:(1)对移动Agent做了深入的理解和掌握,深入分析了移动Agent模型的特征、系统结构等。剖析了其它一些分布式计算模型的优缺点,在此基础上提出了一个基于移动Agent的分布式数据挖掘模型。在分析影响分布式数据挖掘性能的因素的基础上,建立了几种典型的分布式数据挖掘模型的通信代价模型。(2)利用移动Agent平台Aglet,设计并实现一个基于Aglet的分布式数据挖掘原型系统,该系统利用移动Agent的移动性、反应性、自主性等特征,主控站点派遣Aglet迁徙到远程站点去执行挖掘任务,并将局部挖掘结果返回主控站点。只须移动的仅仅是Aglet本身少量的代码、局部挖掘结果和Aglet本身的状态,减少了通信量。(3)在研究了关联规则挖掘理论和各种分布式关联规则挖掘算法的基础上,对分布式关联规则挖掘算法FDM算法进行了改进,得出了DDM_AR_BA算法。该算法中,由于移动Agent的介入,彻底改变了分布式环境中各站点间的通信方式,理论分析表明,Aglet只需两次往返于主控站点和目的主机之间(两次往返的Aglet是具有不同挖掘任务的Aglet),即可得到远程站点的局部挖掘结果,提高了挖掘效率。对UCI数据集,运用该算法进行实验,证明了DDM_AR_BA算法的有效性和较之Aprior算法的挖掘效率的优势,特别是对于海量数据集来说,挖掘效率优势愈加明显。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究的背景和意义
• 1.2 分布式数据挖掘的研究现状
• 1.3 论文的研究内容
• 1.4 论文的创新点
• 1.5 论文的组织结构
• 第二章 数据挖掘理论和分布式数据挖掘理论
• 2.1 数据挖掘原理
• 2.1.1 数据挖掘基本概念
• 2.1.2 数据挖掘流程
• 2.1.3 数据挖掘系统的体系结构
• 2.1.4 数据挖掘研究面临的主要问题
• 2.2 分布式数据挖掘原理
• 2.2.1 分布式数据挖掘的关键技术
• 2.2.2 分布式数据挖掘算法原理
• 2.2.3 分布式数据挖掘的研究现状
• 2.3 本章小结
• 第三章 分布式数据挖掘系统
• 3.1 移动Agent 概述
• 3.1.1 移动 Agent 定义
• 3.1.2 移动 Agent 特征
• 3.1.3 移动 Agent 体系结构
• 3.2 分布式数据挖掘系统结构
• 3.2.1 Client/Server 模型
• 3.2.2 Multi-Agents 模型
• 3.2.3 移动 Agent 模型
• 3.3 影响分布式数据挖掘性能的因素分析
• 3.4 分布式数据挖掘系统时间代价模型
• 3.4.1 Client/Server 挖掘时间代价模型
• 3.4.2 Multi-Agents 挖掘时间代价模型
• 3.4.3 移动 Agent 挖掘时间代价模型
• 3.5 本章小节
• 第四章 基于 Aglet 的分布式数据挖掘原型系统设计
• 4.1 Aglet 移动 Agent 平台
• 4.1.1 Aglet 系统框架
• 4.1.2 Aglet 生命周期及行为方式
• 4.2 原型系统分析与设计
• 4.2.1 原型系统总体分析和设计
• 4.2.2 原型系统模块设计与实现
• 4.2.3 原型系统中Aglets 任务实现方式分析
• 4.2.4 原型系统中Aglet 之间的通信分析
• 4.2.5 系统工作过程分析
• 4.3 本章小节
• AR_BA 算法'>第五章 FDM 算法的改进算法-DDM_AR_BA 算法
• 5.1 关联规则算法分析
• 5.1.1 基本概念
• 5.1.2 对以往关联规则算法的分析
• AR_BA 算法'>5.2 DDM_AR_BA 算法
• AR_BA 算法的总体架构'>5.2.1 DDM_AR_BA 算法的总体架构
• AR_BA 算法描述'>5.2.2 DDM_AR_BA 算法描述
• AR_BA 算法分析'>5.2.3 DDM_AR_BA 算法分析
• AR_BA 对FDM 的改进分析'>5.2.4 DDM_AR_BA 对FDM 的改进分析
• AR_BA 算法性能实验'>5.3 DDM_AR_BA 算法性能实验
• 5.3.1 实验数据集与预处理
• 5.3.2 实验环境
• 5.3.3 性能比较实验
• 5.3.4 实验结果分析
• 5.4 本章小节
• 第六章 工作总结和展望
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论著及取得的科研成果