云计算在电信行业经营分析系统中对海量数据处理的研究

论文摘要

云计算作为一种能提供动态资源池、虚拟化和高可用性的计算平台，具有规模化、高可靠性、通用性、硬件廉价性等特征。电信经营分析系统面临着为日益增长的海量数据和复杂业务提供强大计算和存储能力的挑战，海量数据的高效处理成了制约业务发展的瓶颈。云计算将极大地改变电信运营商的服务模式和商业模式，为解决电信业务中出现的海量数据处理低效、业务系统繁多和数据孤岛等问题提供有效的途径。本文着重探讨了云计算在通信领域的应用现状和前景，针对当前电信业务量猛增、数据量级别几何化增大、现有的电信经营分析系统（BASS）已面临发展瓶颈等的现状，提出了基于云平台构建BASS的方案，并针对该系统下的海量数据处理进行了着重探讨。论文阐述了云计算的研究及应用现状，在对比云计算与网格计算之间差异的基础上，归纳出云计算方法的技术优势，分析了云计算技术给电信运营商带来的机遇和挑战。提出了基于云计算平台构建电信经营分析系统的设计方案，对方案中的关键技术做了详细的介绍。在分析总结移动BASS中海量数据的产生原因和类型的基础上，针对移动BASS现有ETL处理算法的不足，对移动BASS现有ETL处理流程进行了优化，设计了基于拆分机制的海量数据处理（简称SMB-DP）算法；结合云计算技术中的映射/归并Map/Reduce任务调度模型，针对基于贪婪算法的ETL调度方法的不足，根据移动BASS的特点，引入了任务优先级概念；在考虑了任务运行时间和任务优先级等前提下，提出了改进的基于贪婪算法的ETL任务调度（简称AGB-ETL）算法，形成基于拆分机制并行处理实现海量数据高效处理的方法。借鉴中国移动“BigCloud”云计算平台架构设计思想，搭建了CB-BASS测试平台，并选取移动BASS计费账务类的清单数据作为测试数据，验证了论文所提算法的可行性和高效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的研究背景
• 1.2 国内外研究现状
• 1.3 研究内容与结构
• 1.4 论文的创新之处
• 第2章 云计算相关概念
• 2.1 云计算基本概念
• 2.1.1 云计算的定义
• 2.1.2 “云”的分类
• 2.1.3 云计算的特点
• 2.2 云计算体系架构
• 2.2.1 云计算的层次结构
• 2.2.2 云计算的体系结构
• 2.3 云计算关键技术
• 2.3.1 体系结构特征
• 2.3.2 资源监控
• 2.3.3 自动化部署
• 2.3.4 虚拟化
• 2.3.5 海量数据的存储和并行处理
• 2.4 云计算与网格计算的比较
• 2.5 本章小结
• 第3章 基于云平台的电信经营分析系统设计
• 3.1 电信经营分析系统概述
• 3.1.1 电信 BASS 的系统架构
• 3.1.2 电信 BASS 的功能架构
• 3.1.3 电信 BASS 的特点
• 3.1.4 电信 BASS 面临的挑战
• 3.2 基于云平台的经营分析系统（CB-BASS）
• 3.2.1 现有云平台简介
• 3.2.2 基于云平台的经营分析系统架构
• 3.3 基于云平台的经营分析系统关键技术分析
• 3.3.1 基于云平台构建经营分析系统的可行性分析
• 3.3.2 基于云平台构建经营分析系统的关键技术分析
• 3.4 本章小结
• 第4章 CB-BASS 中的海量数据处理
• 4.1 传统电信海量数据的产生与处理
• 4.1.1 海量数据的产生
• 4.1.2 海量数据的处理
• 4.2 CB-BASS 中的海量数据
• 4.2.1 CB-BASS 中的海量数据分析
• 4.3 CB-BASS 中的海量数据处理
• 4.3.1 问题的提出
• 4.3.2 问题的解决
• 4.4 关键技术解析
• 4.4.1 拆分机制的剖析
• 4.4.2 基于改进的贪婪算法的 ETL 任务调度算法
• 4.5 本章小结
• 第5章 测试与验证
• 5.1 CB-BASS 测试平台的搭建
• 5.1.1 CB-BASS 测试平台的部署设计
• 5.1.2 CB-BASS 测试平台的基础类设计
• 5.2 测试场景的设计
• 5.2.1 测试场景一的设计
• 5.2.2 测试场景二的设计
• 5.3 测试结果与分析
• 5.3.1 SMB-DP 算法的测试结果与分析
• 5.3.2 AGB-ETL 算法的测试结果与分析
• 5.4 本章小结
• 总结与展望
• 参考文献
• 致谢