数据清洗及其在宝钢计划值系统中的应用

论文摘要

随着企业信息化的进程逐步加快,企业经营数据的管理呈现越来越多的困难。根据“进去的是垃圾,出来的也是垃圾”这条原理,为了支持正确决策,就要求管理的数据必须可靠,没有错误,准确反映企业的实际情况。因此,企业数据质量的管理受到越来越多的关注,本文主要从数据清洗的角度进行探讨。 宝钢集团实施的计划值系统通过对基础数据(包括历史值和当前值)的整理分析,结合实际预测未来值(即计划值的预计值),在跟踪分析实际值与预计值的差异原因的基础上,找出改进管理的方向,实施管理循环。因此,计划值管理为各项管理提供了完善管理的手段,是提高各项基础管理的有效方法,也是实施例外管理的很好平台。但其所依赖的基础数据存在精度过粗的问题,影响系统的正常运行,必须应用数据清洗技术对其基础数据进行清洗处理,以解决大量脏数据存在的问题。 本文主要从以下四个方面对数据清洗技术及其在宝钢计划值系统中的应用做了详细的分析和研究。 第一是对数据清洗技术进行了概述,阐述了数据清洗的

论文目录

• 第一章 引言
• 1.1 项目背景
• 1.2 数据清洗的研究现状
• 1.3 论文研究的意义
• 1.4 论文工作介绍
• 1.5 论文的组织
• 第二章 数据清洗技术
• 2.1 数据清洗的来源
• 2.2 数据清洗的定义
• 2.3 数据质量问题
• 2.3.1 单数据源问题
• 2.3.2 多数据源问题
• 2.3.3 检测错误数据的方法
• 2.4 数据清洗的过程
• 2.5 一种基于N-Gram的聚类算法
• 2.6 小结
• 第三章 宝钢计划值系统及SAS8.2
• 3.1 计划值管理制度
• 3.1.1 计划值管理回顾
• 3.1.2 现状及存在的问题
• 3.2 新计划值系统的发展方向
• 3.2.1 计划值工作的定位
• 3.2.2 项目体系
• 3.2.3 分析方法
• 3.2.4 编制周期
• 3.2.5 工作重点
• 3.2.6 发展前景
• 3.3 新计划值系统基本设计
• 3.3.1 系统功能设计
• 3.3.2 数据库物理设计
• 3.4 数据清洗任务
• 3.5 SAS8.2与数据仓库
• 3.5.1 利用SAS技术构建数据仓库
• 3.5.2 SAS数据仓库的组成
• 3.6 小结
• 第四章 数据清洗在计划值系统中的应用
• 4.1 计划值系统数据流程
• 4.2 计划值系统中的数据清洗任务
• 4.2.1 定义时间范围
• 4.2.2 抽取合格的日数据
• 4.2.3 其它具体的清洗任务
• 4.2.3.1 计划值机组投入量下移
• 4.2.3.2 完善线材原料重量差异
• 4.2.3.3 C109／C209取数逻辑完善
• 4.2.3.4 确定班别／班次
• 4.3 数据清洗任务的实现结果
• 4.4 小结
• 第五章 一种基于欧氏距离的聚类算法
• 5.1 聚类分析的方法
• 5.3 样品间的距离
• 5.4 聚类算法及其实现
• 5.4.1 聚类算法的具体过程
• 5.4.2 聚类算法的实现
• 5.5 小结
• 第六章 总结
• 6.1 数据清洗技术研究方向
• 6.2 论文工作总结
• 6.3 论文的创新点
• 6.4 进一步工作
• 参考文献
• 附录1 数据清洗相关实现代码
• 附录2 SAS编程语言简介
• 攻读学位期间发表的学术论文目录
• 致谢