国网长治供电公司,山西长治046000
摘要:依据电力行业中信息通信技术的相关知识特点,对于当前存在的主要问题,对于信息通信运行状况的故障检测和风险预警技术进行相关研究,进行大数据关联技术,数据挖掘技术和状态评估技术的相关分析运用,对于信息通信的风险进行全面的感知和数据的分析和实时预警,整体上提升信息通信的故障检测和进行风险预警的相关能力,以保障电力系统的安全平稳运行。最终我们可以通过电力行业中的通信的流量数据进行相关危险预警和算法的相关检验,以此来对平台架构和算法的合理进行有效验证。
关键词:大数据;电力信息通信;预警技术
前言:
目前电网信息通信技术快速发展的条件下,对于信息系统的服务能力进行提升,合理有效的进行信息化建设和运维投入是当前阶段需要解决的重点问题。本文对于大数据基础上的通信风险预警架构与算法进行了研究,通过综合运用相关大数据的处理技术,对运维系统的数据进行了挖掘分析处理,可以帮助运维人员通过运维数据发现系统的潜在问题,对于风险进行实时的预警和趋势分析,达到相关的运维工作效果,把工作重心转向风险分析和故障处理的相关方面,有效规避风险,提升相关运维人员的工作效率,提升公司的整体通信故障监测和风险预警能力。
1电网信息系统架构
电力信息通信网作为电力系统的专用网络,作为支撑电力系统的“三大支柱”之一,保障着电力系统生产的安全、稳定运行。在电力信息通信行业中,故障风险发生具有强耦合性,当某个信息设备或者系统受到的故障破坏、恶意攻击时,会使得大量终端设备的采集功能、监测能力受到影响,进而造成电力系统物理空间设备无法正常运行。
虽然目前电力信息通信技术发展迅速,近年来建设了多个电力信息运维监测和管理系统,为电力系统运维工作提供了强大的支撑,但电力信息通信网络中的运行数据采集缺乏统一有效的手段,数据全面性、准确性以及效率都有很多不足,并且各种监控告警信息非常分散,导致信息通信运行中发生的问题往往只能被动响应,无法通过基于业务系统基础架构、信息系统实时运行状况和历史运行状况的信息系统风险预警模型进行运行故障的全面监测与趋势预测,严重影响了业务的正常开展。
在大数据时代,随着电网信息系统架构的不断扩展,IT设备的数量越来越多,网络也变得更加复杂,信息通信系统中的状态数据、运行数据以及故障数据等体量越来越大,且具有典型的大数据特征,如果数据未经过处理,则对运维没有任何意义和价值。综合运用大数据采集技术、实时数据流处理技术、关联分析挖掘技术、状态评估技术、趋势预测及风险评估技术,建立科学的分析模型,实现信息通信风险态势全面感知、运维数据全面分析、运维风险实时预警,达到在故障发生前解决问题的主动运维效果,有助于提升信息通信故障监测和风险预警能力,对提高信息通信系统的安全性、稳定性及其服务能力具有重要的理论价值和实际意义。
2国内外信息通信数据智能分析技术研究现状
在学术界,近年来信息通信数据智能分析方面已有很多相关研究成果:文献[1]从在控制与监控方面入手建立了功能失效模型,提高了电力通信网络的可靠性;文献[2]、文献[3]分别从业务和通道段业务的风险度角度出发,构建了基于电力通信网业务风险均衡度的评估模型和相应的评估指标,以提高业务系统的可靠性。上述文献对传统网络或电力信息通信网络的风险评估、可靠性进行了研究,但均未从大数据的角度对信息通信网络风险、预警技术进行研究,该方面的研究在国内外均处于起步阶段。本文主要对电力信息通信网络风险、预警技术进行研究,结合先进的大数据相关技术,设计了一套大数据信息通信预警平台、风险预警和数据处理架构,并利用电力行业各单位之间的通信流量数据进行危险预警架构合理性及算法有效性验证。在应用界,国外对信息通信数据智能分析的研究起步较早,包括很多行业规范和技术都是起源于各厂商。国内虽然对信息通信技术的研究起步较晚,但是由于国内软件技术水平的飞速发展和技术资源的开放性越来越高,为国内的信息通信数据管理技术发展带来了生机和活力。基于现代大数据分析技术、自动测量技术、自动控制技术、计算机应用技术及相关的专用分析软件形成的信息管理技术已经广泛应用于各行各业。目前国内比较成熟的产品包括北塔、东华、神州泰岳、摩卡、泰豪等公司的IT运维监控管理系统,其对数据中心涉及的应用服务器等设备进行数据采集和监控,结合一些安全阈值实现故障的告警。不足之处是均为被动的告警运维,缺乏主动预警效果,不满足智能电网的发展需求。
3大数据基础上的信息通信风险预警架构模式研究
3.1对于大数据基础上的通信风险分析和预警架构
HADOOP和SPARK作为开源的两大数据处理平台,在近些年中得到快速发展,同时产生了许多应用和相关的解决方案,HADOOP支持大规模的集群操作行为,在集群上多至上千个节点可以进行并行计算的相关工作,计算速度会随着集群数量同比的增长,对于传统日志分析系统处理海量数据的问题可以进行有效的解决,但HADOOP并不擅长实时运用的处理工作。SPARK是和HADOOP相似的通用并行计算的架构,是对HADOOP功能上的补充,它采用内存并行计算和流式处理的相关技术,实时应用处理方面会做的更加出色。本文针对电力通信特点所设计的大数据分析平台架构采用了SPARK的并行计算及流处理技术。
3.2大数据基础上的信息通信数据的相关处理
在数据处理框架中对各类日志进行集中的分析处理和管理工作,其中日志收集来自不同系统的日志、网络和防火墙日志等,采用Hive建立业务相关的分析模型,对日志的进行多维度的智能查询,进行数据的初步清洗工作。在数据存储层完成对数据的进一步清洗和转换,进行数据的分类处理,存储于HDFS中,利用SQOOP工具将数据从HDFS中导出到Oracle中。为了实现对客服工单数据的统计分析和文本挖掘,帮助用户进行决策,采取大数据的可视化工具Tableau进行数据处理分析工作,并对通信系统进行相应数据分析的页面设计,实现数据分析结果的视化展示,全面的分析项目的相关数据,为领导决策提供科学、严谨的依据,减少决策失败的风险程度。
4结语
随着国家电网公司SG186、SG-ERP、三集五大等信息化建设的不断深化,电力业务越来越依赖于信息通信系统。如何提升信息系统的服务能力,让信息化建设和运维投入更加有效和合理成为当前亟需解决的问题。本文主要研究了基于大数据的信息通信风险预警架构与算法,并设计了基于提出的架构及算法的信息通信风险预警系统,通过综合运用大数据关联分析技术、信息通信状态评估技术、信息通信趋势预测技术,实现对运维数据的分析和挖掘,帮助运维人员根据大量运维数据发现系统的潜在问题,实现风险实时预警和趋势准确预测,达到变被动维护为主动预防的运维效果,将工作重心转向风险分析和故障处理方面,有效规避风险,提高运维人员的工作效率,提升公司的整体信息通信故障监测和风险预警能力。
参考文献
[1]江三锋,王元亮.基于Hive的海量Web日志分析系统设计研究[J].软件,2015,36(4):93-96.
[2]赵子岩,刘建明.基于业务风险均衡度的电力通信网可靠性评估算法[J].电网技术,2011,35(10):209-213.
[3]赵璟.基于业务可靠性的电力通信网规划算法的设计及应用[D].北京:北京邮电大学,2015.