数据挖掘云服务系统支撑框架关键技术研究与实现

论文摘要

随着云计算技术、数据挖掘技术在不同应用领域的不断发展,分析、设计与实现一个数据挖掘云服务系统需要应对各种各样新的要求。具体而言,不同数据挖掘应用领域的数据迅速增长,需要分布式存储数据；数据分布式存储的特点,数据挖掘算法需要采用分布式计算模型来实现；实际应用的数据挖掘应用不能由单一的步骤完成,数据挖掘服务系统需要提供一系列的步骤来完成复杂的任务；对于同一应用目标的数据服务的不同用户有着不同的数据服务需求,数据挖掘服务系统需要根据用户的特点提供按需定制的数据挖掘服务；数据挖掘服务系统本身涉及底层平台、任务执行、多种算法属性以及系统性能要求等多方面。数据挖掘云服务系统的总体目标是在基于云计算环境下的数据挖掘应用领域中,通过分析并识别数据挖掘云服务系统的各种需求,设计数据挖掘云服务系统的整体结构及组成部分,探索数据挖掘服务系统需要的关键技术并最终实现系统。为了有效解决数据挖掘云服务系统遇到的问题,本文从自适应软件系统的角度出发,借鉴了云计算、数据挖掘技术及按需服务等相关技术,结合自适应软件系统的相关理论和解决方法（包括控制结构以及自适应策略等）,提出了一种数据挖掘云服务系统支撑框架-CloudDMinerSF,并探讨了以下几个方面的关键技术：1.自适应需求获取以及系统控制结构方面。从自适应软件系统的定义出发,从内外部分析得到数据挖掘云服务系统的自适应要求,认为数据挖掘云服务系统属于自适应软件系统。在自适应软件系统控制结构的基础上,设计出支撑框架CloudDMinerSF双闭环的控制结构和主要组件。2.系统知识抽象与策略表示方面。从知识抽象与策略表示在自适应软件系统的必要性出发,在支撑框架CloudDMinerSF中引入了知识库,并为CloudDMinerSF知识库设计了专门的描述语言,用于自适应需求描述、自适应策略表达、领域知识的表示等。3.运行机制方面。在CloudDMinerSF知识库的基础上,提供了智能决策和调度执行两类运行机制,体现了支撑框架CloudDMinerSF的双闭环控制结构。其中,智能决策机制主要将人工智能技术引入到系统运行中,包括推理、规划和反馈学习三种,不仅满足了两类自适应需求,而且考虑了运行机制实现的效率。调度执行机制在智能决策机制的基础上,提供面向多用户并发任务请求的调度与执行,包括任务控制动作以及任务状态管理。最后,本文介绍了CloudDMinerSF的参考实现,包括系统的各个组成部分,各部分的核心算法实现以及系统的用户交互界面等,并通过实例应用进行展示。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 研究背景
• 1.2.1 云计算
• 1.2.2 数据挖掘
• 1.2.3 按需服务
• 1.3 数据挖掘云服务系统目标
• 1.3.1 现有技术
• 1.3.2 系统目标
• 1.3.3 待解决的问题
• 1.4 本文工作
• 1.4.1 系统需求识别与控制结构方面
• 1.4.2 系统知识抽象与策略表示方面
• 1.4.3 系统运行机制方面
• 1.4.4 系统整合与实现方面
• 1.5 本文组织
• 第二章 相关技术
• 2.1 云计算
• 2.1.1 计算概述
• 2.1.2 Apache Hadoop
• 2.2 数据挖掘
• 2.2.1 数据挖掘概述
• 2.2.2 基于云计算的数据挖掘
• 2.2.3 Apache Mahout
• 2.3 按需服务
• 2.3.1 按需服务概述
• 2.3.2 服务组合与工作流
• 2.3.3 Apache Oozie
• 2.4 本章小结
• 第三章 需求识别与控制结构
• 3.1 数据挖掘云服务系统与自适应软件系统
• 3.1.1 自适应软件系统
• 3.1.2 数据挖掘云服务系统的自适应要求
• 3.2 CloudDMinerSF的自适应需求识别
• 3.2.1 自适应需求的分析与识别方法
• 3.2.2 CloudDMinerSF的自适应需求分析与识别
• 3.3 CloudDMinerSF的控制结构
• 3.3.1 自适应软件系统现有控制结构
• 3.3.2 CloudDMinerSF的控制结构及运行流程
• 3.3.3 CloudDMinerSF的控制结构的优势
• 3.4 本章小结
• 第四章 知识抽象与策略表示
• 4.1 CloudDMinerSF知识抽象与策略表示
• 4.1.1 自适应软件系统中的知识抽象与策略表示
• 4.1.2 CloudDMinerSF知识库
• 4.2 CloudDMinerSF策略语言
• 4.2.1 Operators
• 4.2.2 Tactics
• 4.2.3 Strategies
• 4.2.4 Tasks
• 4.3 本章小结
• 第五章 运行机制
• 5.1 CloudDMinerSF智能决策引擎
• 5.1.1 智能决策引擎与知识库
• 5.1.2 推理机制
• 5.1.3 规划机制
• 5.1.4 反馈机制
• 5.2 CloudDMinerSF调度执行引擎
• 5.2.1 调度执行引擎与智能决策引擎
• 5.2.2 FIFO调度执行机制
• 5.3 本章小结
• 第六章 参考实现与实例分析
• 6.1 开发过程
• 6.1.1 参考实现分析与设计
• 6.1.2 参考实现部署图与模块划分
• 6.2 主要模块类实现
• 6.2.1 知识库及智能决策引擎
• 6.2.2 执行器调度执行引擎
• 6.2.3 知识库编辑工具
• 6.2.4 应用服务平台
• 6.3 部署运行
• 6.3.1 系统要求和必要软件
• 6.3.2 源码获取
• 6.3.3 部署流程
• 6.4 实例分析
• 6.4.1 实例简述
• 6.4.2 知识库编写
• 6.4.3 平台使用
• 6.5 本章小结
• 第七章 总结与展望
• 7.1 工作总结
• 7.2 未来工作展望
• 参考文献
• 附录
• 致谢