基于EJB的数据分析助理系统的研究与设计

论文摘要

数据挖掘在各个领域中有着广泛的应用前景,是进行数据分析的重要工具。 企业在使用数据挖掘时,面临应用的分布性和对大数据集的挖掘需求这两个应用方面的问题。此外,还有企业本身的软硬件环境的限制。如何充分利用企业现有的软硬件资源,既能利用好数据挖掘这个强大的分析工具,满足应用需求,又能方便管理和节约成本,已成为亟需解决的问题。 本文提出了构建适应企业环境的通用型数据挖掘系统的解决方案。该方案包括近似挖掘技术的应用,以适应对大数据集挖掘进行的需求。设计和实现了基于EJB的数据分析助理DAA(Data Analysis Assistant)原型系统,并在该系统中进行挖掘实践。 在企业实际应用中,挖掘系统对大数据集挖掘的支持是必要的。本文通过理论分析和模拟实验,探讨了使用近似挖掘技术进行大数据集挖掘的途径,最后归纳出实现近似挖掘的三个要点,即算法、挖掘框架和挖掘思路应用。 原型系统DAA的功能涉及浏览、统计和数据挖掘等方面,其核心功能是数据挖掘。本文对DAA系统设计的论述包含基本功能的实现和系统性能的优化两个方面内容。 设计工作主要包括挖掘系统体系结构设计、挖掘服务器端设计和客户端设计。体系结构设计包括多层服务的划分和EJB体系的选择。服务器端设计是工作重点,包括EJB服务设计和Web服务设计。客户端设计涉及界面设计、任务描述和模型描述等内容。 在系统性能优化方面,结合了几个旨在提高系统性能的解决方案和技术。包括粗粒度访问方案、中间数据管理技术、挖掘的异步通信技术等内容。 最后给出一个典型的应用实例,即DAA在银行贷款系统的应用,包括分析人员进行建模和客户应用模型两个方面。同时给出了近似挖掘技术在挖掘实践过程中的应用实例。

论文目录

• 第一章 绪论
• 1.1 数据挖掘的应用现状
• 1.2 企业的具体问题和解决方案
• 1.2.1 具体问题分析
• 1.2.2 解决方案
• 1.3 本文的主要工作和创新之处
• 1.3.1 主要工作
• 1.3.2 创新之处
• 1.4 论文的组织结构
• 第二章 近似挖掘的研究
• 2.1 引言
• 2.2 大数据集的挖掘
• 2.2.1 大数据集挖掘
• 2.2.2 可伸缩性问题
• 2.2.3 解决方案概览
• 2.3 近似挖掘技术
• 2.3.1 近似挖掘的相关理论
• 2.3.2 决策树分类C4.5算法
• 2.3.3 属性选择
• 2.3.4 实例选择
• 2.3.5 实现近似挖掘的要点
• 第三章 DAA系统的设计
• 3.1 需求分析与设计任务
• 3.1.1 挖掘系统需求分析
• 3.1.2 设计任务的内容
• 3.2 体系结构
• 3.2.1 EJB组件技术
• 3.2.2 多层体系
• 3.2.3 半紧耦合结构
• 3.3 EJB服务设计
• 3.3.1 功能包设计
• 3.3.2 EJB封装设计
• 3.4 Web服务设计
• 3.4.1 MVC模式
• 3.4.2 JSP调用EJB服务的方法
• 3.5 客户端设计
• 3.5.1 界面设计
• 3.5.2 基于XML的任务描述
• 3.5.3 基于XML的模型描述
• 第四章 DAA系统的优化
• 4.1 引言
• 4.2 粗粒度访问方案
• 4.2.1 设计模式
• 4.2.2 DAA系统的粗粒度访问方案
• 4.3 中间数据管理技术
• 4.3.1 问题的提出
• 4.3.2 挖掘过程的中间数据
• 4.3.3 DAA系统的中间数据管理策略
• 4.4 挖掘的异步通信技术
• 4.4.1 采用异步通信的必要性
• 4.4.2 EJB环境下的异步通信机制
• 4.4.3 DAA系统的异步通信
• 第五章 DAA系统的应用
• 5.1 应用环境配置
• 5.2 应用实例
• 5.2.1 银行贷款系统实例
• 5.2.2 近似挖掘的实践
• 第六章 结束语
• 6.1 工作总结
• 6.2 未来研究方向和工作重点
• 参考文献
• 致谢
• 附录：攻读硕士学位期间发表的论文