电信企业经营分析系统建设

论文摘要

目前,国内的数据仓库应用已经比较普及,从电信、银行、证券,到汽车、税务等行业领域。山东网通是北方网通的龙头老大,作为国内电信行业的一个重要组成部分,数据仓库建设还没有正式开始。 本课题针对企业发展的需要,将数据仓库技术应用于山东网通的经营分析系统的建设中,力求提供一套可行的解决方案。我们试图完成的这个数据仓库模型,可以分为ETL(数据抽取(Extract)、转换(Transform)、清洗(cleaning)和转载(Loading)的过程)、DW(数据仓库)、OLAP分析等几个部分。 本文首先对企业的业务需求进行了探讨,然后对原始数据进行分析,由于关系型数据库在数据分析层面已经不能适应企业业务发展的需要,因此我们可以通过建立数据仓库,并结合OLAP分析技术,从大量的数据中发现有利于企业发展的知识信息,同时保证对业务数据的便捷访问,以更快更好的方式回答复杂的问题。 需求分析已经确定了用户业务分析所需要的数据,模型设计阶段将确定数据仓库系统将来的蓝图。该阶段的主要任务是进行数据仓库的逻辑设计,包括选择合适的主题、确定事实表、相关的维、属性,设计正确的表结构和主、外键关系等。 数据采集和数据处理是建设数据仓库不可或缺的步骤之一。在数据抽取、清洗、转载过程中,数据质量问题凸现出来。对数据进行检验和整理,确保数据仓库中数据的一致性,还要对部分数据进行聚集操作,提高数据仓库的查询、分析速度,然后这些完整的、一致的、细节的和综合的数据才可以进入数据仓库。对ETL数据清洗转换进行了介绍,主要阐述了数据质量问题在数据仓库解决方案中的重要地位、数据质量的分类,同时对本课题中的ETL的设计和实现进行了描述。 本论文还对项目采用的OLAP分析工具MicroStrategy进行了介绍,并使用MicroStrategy进行了简单的OLAP分析。然后对本课题进行过程中形成的一些经验进行了总结,并展望了今后的工作方向。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题背景及研究对象
• 1.2 国内外研究现状
• 1.3 本课题研究的意义及论文结构
• 1.4 术语定义
• 第2章 山东网通经营分析系统的数据仓库解决方案
• 2.1 经营分析系统框架
• 2.2 经营分析系统数据源
• 2.3 系统需求定义
• 2.4 系统功能
• 2.4.1 分析展现
• 2.4.2 采集管理
• 2.4.3 数据处理
• 2.4.4 数据查询
• 2.4.5 权限管理
• 2.4.6 数据仓库管理
• 2.4.7 其他功能
• 第3章 山东网通数据仓库建设
• 3.1 数据仓库建模分析
• 3.1.1 模式选择
• 3.1.2 确定主题
• 3.1.3 维度表
• 3.1.4 事实表
• 3.2 ETL——数据采集模块总体设计
• 3.2.1 数据质量问题
• 3.2.2 数据清洗问题现状
• 3.2.3 本课题中的ETL设计
• 第4章 利用MicroStrategy实现数据仓库和OLAP分析
• 4.1 MicroStrategy功能介绍
• 4.2 对多维数据的访问
• 4.2.1 OLAP分析的基本操作
• 4.2.2 模型分析方式
• 4.2.3 OLAP分析举例
• 第5章 总结和展望
• 5.1 经营分析系统建设和数据仓库建设经验总结
• 5.1.1 经营分析系统应该架构在数据仓库基础之上
• 5.1.2 数据仓库模型采用双重粒度级组织方式
• 5.1.3 数据质量保证手段
• 5.1.4 大数据量下系统性能的保障手段
• 5.1.5 重视业务支撑系统数据源接口的开发
• 5.1.6 对系统建设的认识
• 5.2 本文主要贡献
• 参考文献
• 致谢