ICA-EJB构件在数据挖掘框架中的应用研究

论文摘要

近年来,伴随盲信号分离问题产生的独立分量分析（Independent ComponentAnalysis,简称为ICA）理论已逐渐成为统计信号处理中的一个研究热点,并正迅速成为多维数据分析的一个有力工具。独立分量分析是通过分析多维观测数据之间的高阶统计相关性,找出相互独立的隐含信息成份,从而可以去除分量间的高阶冗余以及提取独立的信源。独立分量分析与其他方法相比较（如PCA）,突出的特点是:它以分量间相互独立为分离准则,在源数据和混合方式均未知的前提下,尽可能无失真的从观测数据中分离出隐含的独立信源。这一特点使得独立分量分析方法在图像特征提取,模式识别和数据挖掘等领域中有着广泛的应用前景。数据挖掘是近年来计算机领域的研究热点。它是一个非平凡的模式辨识过程,它从大量的数据中寻求正确的、新颖的、具有内在价值的、和最终可解释的模式。海量科学数据不但数量巨大,而且特征复杂、维数高,向传统的数据挖掘预处理技术提出了挑战。复杂数据的出现迫切要求新的特征处理技术,而数据挖掘书中却常将降维技术忽略。在介绍了智能计算的概念及发展现状之后,简介了ICA/PCA算法;对软件构件、EJB和数据挖掘进行了概述,设计了数据挖掘系统框架,并设计了两个EJB容器,这两个容器基于数据挖掘系统框架的数据预处理和知识发现;另外,详述了基于ICA的多种算法,并将这些算法进行了对比,对牛顿迭代法进行两种修正,提出了一种改进Fast ICA算法,并设计出一套适合进行数据预处理的ICA算法,该算法为基于负熵的Fast ICA方法;设计并实现了基于数据挖掘框架的ICA-EJB构件,详述了其工作原理,并用Java语言完成了Bean类代码的实现,该类可以实现对输入固定数值进行计算;完成了EJB部署文件的编写;最后通过分析并运行一个算例,验证了该构件的实用性。

论文目录

• 摘要
• Abstract
• 引言
• 1 智能计算及ICA的简介
• 1.1 智能计算
• 1.2 ICA/PCA简介
• 1.2.1 PCA简介
• 1.2.2 ICA简介
• 2 基于计算构件的数据挖掘框架设计
• 2.1 软件构件和EJB
• 2.1.1 软件构件简介
• 2.1.2 EJB简介
• 2.2 数据挖掘简介
• 2.2.1 数据挖掘概述
• 2.2.2 特征选择和组合优化
• 2.3 基于数据挖掘系统框架的EJB容器设计
• 2.3.1 科学数据挖掘系统概述
• 2.3.2 系统框架及EJB容器设计
• 2.3.3 系统功能说明
• 3 基于ICA算法的构件模型的研究
• 3.1 ICA算法详述
• 3.1.1 独立性测度
• 3.1.2 ICA的基本算法
• 3.1.3 数据的预处理
• 3.1.4 Fast ICA算法
• 3.1.5 本文中改进的Fast ICA算法
• 3.1.6 仿真实验与算法分析
• 3.2 ICA-EJB构件的设计
• 4 基于数据挖掘框架的ICA-EJB容器的实现
• 4.1 ICA-EJB构件的实现
• 4.1.1 约简属性EJB功能描述
• 4.1.2 ICA-EJB特征提取过程描述
• 4.2 ICA-EJB构件中Bean类的实现
• 5 计算应用
• 5.1 构件的部署与访问
• 5.2 执行构件的计算结果展示
• 结论
• 参考文献
• 附录A 矩阵基本算法代码
• 附录B EJB部署文件编写
• 攻读硕士学位期间发表学术论文情况
• 致谢