天文光谱分类算法在分布式环境下的应用研究

论文摘要

天体光谱蕴含着天体重要的物理信息,通过光谱的研究,人们可以测定天体的成分,确定天体的表面温度,光度,直径,质量等信息。因此,光谱分析在天体和物理学中占有重要地位。LAMOST望远镜建成以后,每个观测夜都将产生上万条光谱。如何处理这些海量光谱从而及时获得所需的科学信息成为一项重要的议题。数据挖掘技术正在众多领域中得到广泛的应用,它是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。运用数据挖掘技术可以实现相关性预测,分类,聚类,孤立点发现,时间序列分析等等功能,面对海量的光谱数据,数据挖掘技术正好可以为解决光谱数据的分类,参数测量等工作提供很好的支持。天文光谱数据具有海量及分布式存储等特点,其相关的处理需要分布式环境及数据挖掘算法的支持。本文主要研究分布式环境下天文光谱数据挖掘的并行和分布式挖掘算法。以分布式存储的光谱多属性数据集为基础,利用主从模式的并行程序模式,对光谱进行快速并可扩展性的分布式并行处理,并减少冗余计算及节点间的通信量,避免了不必要的网络负载和网络竞争的产生,解决并行分类算法性能的负载均衡问题,以期提高天文光谱处理的效率。结果表明,不仅有利于减少通信机进行I/O的开销,并能根据统计信息和网络状态、通信代价,考虑到任务均衡,合理分配任务,有利于提高算法的并行度和执行效率。本论文的主要工作包括:(1)建立分布式运行环境,搭建基于MPI的并行计算环境,进行分布式分类挖掘算法的研究。(2)提出考虑负载平衡的分布式并行挖掘系统,提出在分类算法任务分配时,根据网络负载和计算节点负载情况合理分配任务,达到并行挖掘效率的最大化。(3)按照数据挖掘的一般流程,对晚型星和类星体两类星体的的光谱数据进行特征提取,主要利用PCA方法进行降维处理,以适应分类需要。(4)研究SPRINT算法,将SPRINT算法并行化实现,并对并行SPRINT算法进行了改进,对降维后的光谱数据在分布式环境下进行分类处理。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 引言
• 1.2 LAMOST项目
• 1.2.1 LAMOST简介
• 1.2.2 LAMOST的意义和科学目标
• 1.2.3 LAMOST光谱处理综述
• 1.3 天体光谱分类
• 1.3.1 天体辐射与天体分类
• 1.3.2 天体光谱分类
• 1.4 研究现状和本文组织结构
• 第2章 分布式数据挖掘技术
• 2.1 引言
• 2.2 数据挖掘技术
• 2.2.1 概念
• 2.2.2 数据挖掘的步骤
• 2.2.3 数据挖掘系统
• 2.3 数据挖掘分类方法
• 2.4 分类算法与分类器构造方法
• 2.4.1 分类算法
• 2.4.2 分类器
• 2.4.3 构造方法
• 2.4.4 决策树分类方法
• 2.5 分布式挖掘
• 2.6 本章小结
• 第3章 分布式并行挖掘系统调度策略设计
• 3.1 系统结构概述
• 3.2 系统构成
• 3.3 负荷均衡处理策略
• 3.3.1 负载均衡
• 3.3.2 分布式挖掘结构
• 3.3.3 权值计算
• 3.4 任务分配过程
• 3.5 本章小结
• 第4章 并行分类算法SPRINT算法及改进
• 4.1 概述
• 4.2 SPRINT串行算法
• 4.2.1 数据结构
• 4.2.2 分割阈值
• 4.2.3 SPRINT基本算法
• 4.3 SPRINT并行算法
• 4.3.1 概述
• 4.3.2 分类并行化的研究改进
• 4.4 本章小结
• 第5章 分布式分类算法的应用
• 5.1 引言
• 5.2 类星体和晚型星
• 5.3 MPI概念
• 5.3.1 MPI基本概念
• 5.3.2 MPI并行进程的实现
• 5.4 系统设计
• 5.4.1 分类挖掘流程
• 5.4.2 功能模块介绍
• 5.5 实验环境及数据
• 5.5.1 实验环境及数据
• 5.5.2 结果分析
• 5.6 本章小结
• 第6章 总结
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录
• 学位论文评阅及答辩情况表