陈伟孙晓君张波
国网山西省电力公司信息通信分公司山西太原030001
摘要:近年来,随着电力信息化建设的发展,对于电力企业来说,企业数据量逐年增加,多种数据规范化管理成为系统信息共享,整合的重要条件,实时数据库在海量数据中心中的应用成为当前信息化建设的重要内容。本文我们设计了基于实时数据库的海量数据中心,该平台能够进行信息储存、数据共享、分析海量数据,通过某电力公司的推广应用证明该实时数据库能够提升海量数据检索效率,为企业业务分析决策提供有效的支持。
关键字:实时数据库;电网;海量数据中心;应用
近年来,随着电网建设的发展,大量的数据应运而生,包括调度系统中的电网运行关口电量等实时数据,这些海量数据是实现公司数据精细化分析管理的重要前提,因此,对于电网公司来说是要建立实时的海量数据中心,实现对海量数据进行有效储存、共享、整合以及标准访问的要求,以满足业务应用的数据访问需要。构建基于实时数据库的海量数据中心是一项系统性较强,技术性复杂的综合工程,按照国家有关规定和项目管理办法,对设计原则和思路、架构和技术实现等环节进行有效管理,我们借鉴其他行业经验,并且结合国内某电力企业的实际运营情况设计了基于实时数据库的海量数据中心,同时可以提供标准统一数据访问服务。
一、设计原则及思路
基于实时数据库的海量数据中心,可以从多方面实现各业务应用和电网公司海量数据中心之间数据交互。首先,该平台是电力生产过程中各业务应用需求所产生海量数据的集中共享、储存的重要场所,能够提供数据访问;其次海量数据中心是由海量的量测数据,模型数据共同构成,实时数据库是数据中心重要组成核心,能够规范海量数据的访问、标准储存、查询和统计,该平台可以提供跨专业,跨部门的多维度辅助,以满足客户的不同数据访问需求,能够为企业制定决策提供依据。
从业务模型上来看,该实时数据库能够实现海量数据的共享性以及有效管理,可以支持不同部门,不同专业对历史数据的分析挖掘以及状态监测等服务,包括实时数据的分析、运用、监控和数据储存。采集数据储存。实时数据库可以实现对用电信息,电能质量监测,客户用能服务管理等系统数据接入及数据存储实时数据的监测,可以将海量的实时数据叠加在信息管理系统中,实现可视化,同时可以显示电力系统中不同状态参数的数据,以便于后期进行状态监测、辅助分析。该实时数据库可以为不同专业,不同部门分析辅助决策提供技术支持,比如可以挖掘一些变电设备历史状态信息以及与故障之间的关联性,综合分析历史数据,设备本地的监测数据,进而能够准确判断和预测故障发生位点,及时进行故障维修。从应用架构上来看,海量数据的应用架构可以包括几个部分,分别是平台元数据,数据接入,数据处理,访问服务,数据加工,支持工具等,其中在数据接入方面,主要包括横、纵向业务生成的海量数据接入以及内容定义以及在信息出现异常状态过程下进行的处理。在数据处理上主要负责对所采集到的数据进行预处理,包括数据整合、过滤、合理性检验等一些内容,同时还可以对一些不合理的数据进行报警,以提醒相关工作人员。数据处理过程中还需要包含数据的同步处理,进而能够确保这些数据与业务应用元数据保持一致。元数据管理。主要运用于数据测点以及维护,历史数据模型的管理。海量数据中心的实时数据库采用群集架构方式的监测管理,包含一些平台权限管理,群集管理,主备冗余切换,平台配置,管理数据备份恢复等。从技术架构角度上来看包括三个部分,分别是物理储存、服务、安全,且在整个逻辑结构过程中,安全架构贯穿其中,能够确保系统的安全性。首先,在物理结构上,该实时数据平台的硬件包括:信息基础设施以及相关的拓扑结构信息的硬件基础设施,包括主机和网络储存设备。从储存架构上来看,该实时数据平台能够提供储存方式,包括群集数据库和载体储存这两种方式。从服务架构上来看包括数据访问接入,支持工具服务,可以通过这些服务来对实时信息进行数据库访问,并对这些大量数据进行综合分析处理。安全架构是确保平台安全性以及软件硬件方面的重要安全技术保障。
二、设计技术难点
该实时数据库具备较高的数据处理能力,数据压缩比以及检索速度,并且被称为是一种时序性较强的海量生产数据,因此在很多领域上,包括电力,冶金,自动化领域上得到了广泛应用。依靠实时数据库能够实现对海量实时数据的有效处理,对于海量数据可以利用实时数据库进行收集信息,使用实时数据库提供的分析工具即可完成实时数据分析处理。除此之外,在实时数据库建立之后,可以对这些数据进行管理和重新配置,可以将信息储存于特定的存储空间,并可以将数据转移到海量数据中心中。海量数据中心不需要单独进行设置服务器或者其他的关系数据库,而只需要利用现有数据中心软件和硬件设施,通过关系数据库中某些特定用户和角色,便可以进行使用,从一定程度上能够节约储存空间,这种基于实时数据库的海量数据中心可以采用压缩方式对海量的数据信息进行储存,能够提高数据访问的速度以及数据检索效率。
三、实施及实现
接入电力基础数据。在该基于实时数据库的海量数据中心的构建过程中,工作人员需要积极与电力公司相关业务部门进行沟通,确保数据的接入方式和范围,将意见形成文件的方式提出针对性的意见,确保实时数据可以接入平台中。业务系统支持。在了解该电力公司的业务部门需求之后,需要根据现有平台的数据功能进行应用维度的挖掘,拓宽其功能,平台部署以及系统测试。需要按照前期制定的方案,对调试运行、问题管理等方面进行规范化管理,为基于实时数据库的海量数据中心稳定运行奠定基础人员管理。需要对参与操作的工作人员进行操作和维护培训,提高工作人员对该平台的操作技能,进一步提升管理的规范化和标准化。需要严格按照国家电网相关行业标准的要求进行功能划分。硬件和软件架构需要根据行业标准以及客户的具体需求进行规范化的设计,以实现技术和业务的规范化,标准化。根据电网公司对界面友好性的要求,在平台界面上实现人机互动,可视化展示,能够直观将海量实时数据进行展示,便于操作。
四、应用成效
我们按照电力公司的相关建设要求,目前海量数据中心已经完成了用电信息采集,输电自动化,电能计量等相关信息的接入,能够为电能营销,监控,输变电状态监测以及准确计算提供可靠的实时数据支持。除此之外,利用该实时数据库能够实现海量数据的高效储存、整合和信息共享,是实现电网海量实时数据精细化管理的有效方法,能够提升海量数据的检索效率,以及储存速度和压缩比,能够将实时数据接入系统中以满足不同业务部门的数据应用需求,可以对这些数据实现实时性访问和精细化的数据分析。
小结
总而言之,在开展海量数据管理过程中,可以将基于实时数据库构建的海量数据中心进行推广应用,可以解决海量数据储存与访问过程中存在的很多问题。通过系统试运行以及不断的更新完善,逐渐能够实现海量信息数据统一化、规范化管理,并且能够为相关部门提供精细化的数据管理,以及可靠的实时数据支持,从一定程度上来看,对企业依靠数据驱动发展起着十分重要的作用。
参考文献:
[1]吴秋莉,郭丽娟,吕泽承.智能电网海量数据实时搜索技术研究[J].电力信息与通信技术,2016(12):42-49.
[2]喻宜,吕志来,齐国印.分布式海量时序数据管理平台研究[J].电力系统保护与控制,2016,44(17).
[3]王向阳,魏丽雅,郑勇,谭邦虹,胡璟懿,匡尧,付秋琳,吉强,张路,彭涛,李浩尘.数字化共享审计模式在电网企业防范风险中的应用[J].中国内部审计,2018,(12):12-18.