彩铃平台中经营分析系统抽取转换子系统的设计与实现

论文摘要

彩铃业务是“个性化多彩回铃音业务”(Color Ring Back Tone)的简称，是一项由被叫用户定制，为主叫用户提供一段悦耳的音乐或一句问候语来替代普通回铃音的业务。彩铃业务以其新颖、个性化的特点，在国内得到了迅速发展。经营分析系统负责抽取电信运营商各运营系统的基础数据，通过数据清洗、转换和加载，形成面向主题的数据仓库，然后通过前台展现工具呈现灵活多样的报表，从而可以多角度、综合、高效地对数据进行分析，最终为市场决策管理和市场经营工作提供及时、准确、科学的辅助决策依据。彩铃业务已经成为电信运营商ARPU(Average Revenue Per User)值的重要贡献力量和新的利润增长点，引起了运营商的极大重视。同时，随着彩铃业务逐渐被用户所熟悉，广大用户对彩铃业务逐渐失去了新鲜感，出现了彩铃业务发展速度减慢、用户更换彩铃频率降低、对彩铃业务的关注下降等问题。彩铃业务应用的良好发展前景以及目前遇到的问题，都迫切需要进行用户群细分、用户行为分析、针对性营销等活动，诸多方面因素使得运营商迫切希望将彩铃业务纳入经营分析范畴。本论文提出了在彩铃平台中实现经营分析系统抽取和转换子系统实现的方案，详细说明了原始数据抽取和目标数据生成的全过程，并说明了实现过程中的改进过程。论文组织结构如下：第一章，彩铃业务和经营分析系统介绍，说明了彩铃业务海量数据等特点，引出了数据抽取转换子系统的设计；第二章给出了在彩铃平台侧实现子系统的总体方案，引入了接口系统，在接口系统实现数据抽取和转换的全过程；在第三章，详细设计并实现了原始数据抽取模块，并比较了三种实现方案；第四章，详细设计并实现了目标数据生成模块，围绕灵活性和效率两个原则，分别从数据表预处理、数据抽取和过滤、数据转换、文件生成等方面说明了设计实现的过程，并给出了使用Hash表提高数据库表连接效率，从而提高整个系统效率的过程。第五章，对主要的设计实现工作做了总结，并对需要进一步研究的工作进行了探讨。

论文目录

• 摘要
• ABSTRACT
• 引言
• 第1章 彩铃业务和经营分析系统简介
• 1.1 彩铃业务简介
• 1.1.1 彩铃业务基本功能
• 1.1.2 彩铃业务增强功能
• 1.1.3 彩铃组网及其分布式数据库
• 1.2 彩铃业务现状
• 1.2.1 彩铃业务发展情况
• 1.2.2 彩铃发展存在问题
• 1.3 经营分析系统简介
• 1.3.1 经营分析系统概述
• 1.3.2 经营分析系统技术体系
• 1.4 问题的引入
• 1.4.1 经营分析系统的需求
• 1.4.2 彩铃业务的源数据特点
• 1.4.3 其他平台对彩铃源数据的需求
• 1.4.4 数据抽取转换子系统的引入
• 第2章 总体实现方案
• 2.1 详细需求分析
• 2.2 总体设计方案
• 2.2.1 设计目标
• 2.2.2 系统总体方案
• 2.2.3 接口系统的数据流
• 2.2.4 接口系统的执行流
• 2.3 本章小结
• 第3章 原始数据抽取模块的设计与实现
• 3.1 总体设计
• 3.2 详细实现过程及方法比较
• 3.2.1 存储过程实现数据抽取
• 3.2.2 编程实现C/S结构的抽取程序
• 3.2.3 DSEN实现准实时数据同步
• 3.3 简单测试及比较
• 第4章 目标数据生成模块的设计与实现
• 4.1 总体设计
• 4.2 数据表预处理
• 4.2.1 使用临时表
• 4.2.2 使用索引
• 4.3 数据抽取和过滤
• 4.3.1 简单流程
• 4.3.2 优化查询SQL
• 4.3.3 数据过滤
• 4.4 数据转换
• 4.4.1 数据转换规则
• 4.4.2 配置文件
• 4.4.3 目标文件生成
• 4.5 基于HASH表的抽取转换过程改进
• 4.5.1 Hash表的理论
• 4.5.2 基于Hash表的两表连接数学依据
• 4.5.3 实际简化的连接算法
• 4.5.4 关键数据结构
• 4.5.5 简单测试及结论
• 第5章 总结和展望
• 5.1 总结
• 5.1.1 主要设计工作
• 5.1.2 需要进一步研究的问题
• 5.2 对彩铃业务和经营分析系统的展望
• 结束语
• 参考文献
• 致谢