云南公路联网收费管理有限公司云南昆明650051
摘要:随着交通行业的不断发展,高速公路成为人们出行的首选方式之一。在此基础上,车流量的不断增加,国家的运行和维护的要求也在不断地提升。高速公路大数据技术的应用,可以为高速公路的决策制定、市场监督、出行服务以及交通安全应急等方面提供数据支持,不断提升高速公路的管理水平以及运营效率。本文基于此,首先分析了高速公路中大数据技术应用的特点,进而探讨大数据在高速公路中的应用现状,同时建立了高速公路通行量监测分析系统,以便更好地为高速公路运营管理提供数据支持。
关键词:大数据;高速公路;通行量;监测
引言
随着我国高速公路的里程正日益增加,我国的车流量也在此过程中不断地得以增加。在我国建设的过程中,势必对高速公路的运营和维护提出更高的要求。而如何在此过程中通过更好地提高管理的效率来降低运营的成本,并在此过程中从根本上减轻劳动者的管理强度,从而有效地缩短应急响应,目前已经成了大家都急需要解决的问题。随着科技发展的进步,大数据技术也逐渐应用于高速公路管理中。在本文中,基于此探讨大数据在高速公路中的应用,然后建立高速公路通行量监测系统,更好的对高速公路车辆运行数据采集分析,从而为高速公路管理及决策提供数据依据。
1高速公路大数据的特点
1.1处理速度快
相对于传统的数据挖掘,大数据技术最明显的优势是处理速度快。高速公路管理对数据的处理速度要求比较高,收费系统中的费用数据需要快速传输到结算中心。当遇到恶劣天气时也需要及时获得高速公路信息数据,并且以此对高速公路路况进行分析,将数据发布和传达出去,缩短信息的处理时间。
1.2价值密度低
数据体系中,数据价值密度的高低通常与数据总量的大小成反比关系。如在高速公路视频监控系统中,需要实时监控全天往来车辆的情况,获取静态图像和动态图像,这样就会产生大量的数据信息。当出现交通意外等情况时,有效数据通常在几分钟内。高速公路中,需要庞大的信息数据检测、存储和采集,通过数据发现高速公路中存在的异常情况。
1.3数据类型繁多
大数据的类型一般可以分为结构化数据和非结构化数据。结构化数据主要是传统的文本类型数据;非结构化数据主要是图片信息、地理位置、视频音频、网络日志等。高速公路中的数据主要有收费系统产生的结构化数据,以及视频监控系统产生的静态车牌图片信息、视频音频数据等非结构化数据。高速公路管理部门需要定期发布交通管制、特殊事件、路况环境以及站点状态等信息,甚至还有天气信息、地质灾害等数据。这些繁多的数据类型对高速公路的数据处理能力提出了更高的要求。
2高速公路通行量监测分析系统业务流程
目前我省已经有44条路段已经实现每月的高速公路收费明细数据上报,上报数据指标数量为22个,数据总量已达到228亿条,每月新增数据约7亿。
高速公路通行量监测分析系统业务流程主要包括原始数据的上报、审核、清洗、存储、计算。最终实现对数据的分析,查询以及可视化的展示。
数据上报:数据上报是指各省市高速公路管理部门利用自己的业务系统,按指标体系采集明细数据,将明细数据上传至高速公路通行量监侧分析系统数据库。
数据审核:因为各业务系统产生的数据是平台不可控的,所以对于数据的质量无法保证,本文建立数据审核机制,并将不准确的数据在入库前进行数据清理,以满足数据分析需要。
分析测算:分析测算是指按照业务需求,将审核通过的数据进行分类计算的过程,为系统提供计算结果,用于查询以及可视化展示。
可视化展示:将分析结果以图形图像的方式表现出来,包括电子地图、信号灯、统计图、数据表、仪表盘、雷达图等多种丰富的数据展现形式。
3高速公路通行量监测分析系统分析
在对各省及各部级单位进行充分调研的基础上,根据业务需求,基于大数据技术,建立了高速公路通行量监测分析系统,系统主要分为四层:数据源层、数据存储层、数据处理层、数据应用层。
3.1数据源层
数据源层包括本系统所需的数据资源,主要包括各省高速公路联网收费系统、各省公路交通监测系统等。
3.2数据存储层
数据存储层采用混合式数据存储模型,使用Hadoop系统所提供的HBase和HDFS存储海量的交通监测大数据;对于小型的数据关系复杂或查询响应实时性要求较高的结构化数据,存储到关系数据库中;对于一些查询分析响应性能要求极高的数据查询分析应用,系统基于现有的Hadoop并行计算集群构建一个纯内存的分布式数据库系统,可以把一些性能要求极高、且规模较大的数据存放在这种基于内存的分布式数据库中,然后与Hadoop并行程序集成完成较大数据量的快速分析处理。
3.3数据处理层
数据处理层重点实现典型的交通运输监测大数据的采集、处理、提取,以及大数据技术下数据处理必须的任务调度和数据质量管理。
数据采集通过接口适配和采集适配实现数据采集的可配置、可扩展;数据处理对典型的交通运输监测大数据进行数据清洗、维度汇总和挖掘分析;数据提取主要针对HDFS/HBase数据库中的数据,由于直接检索HDFS/HBase的数据不方便,因此要提供HDFS/HBase数据库中数据的调用接口,便于数据提取使用;任务调度主要在Hadoop体系下,对数据存储和计算任务进行任务调度,合理安排各任务的执行顺序;数据质量管理是大数据应用非常重要的内容,主要实现大数据应用下的数据质量检查和过程管控,从而确保数据质量。数据处理层以SQL/JDBC/Thrift接口等多种形式将数据提供给应用层使用。
3.4数据应用层
数据应用层主要直接提供给原型平台用户使用,主要用多种可视化的方式展现后台数据处理的结果,重点以电子地图、信号灯、统计图、数据表、仪表盘、雷达图等多种丰富的数据展现形式,向用户解释隐藏在数据背后的含义和价值。
4应用价值
实现44条高速公路明细数据的存储统一化,提升统计效率,为政府决策提供数据支撑。目前已经有44条路段已经实现每月的明细数据上报,上报数据指标数量为22个,截至2016年11月,上报数据量已达到228亿条,每月新增数据约7亿。本文实现了各路段数据的存储统一化.实现了44条高速公路数据的统一管理、信息共享,为数据统计工作提供了便利,从而提升了统计效率,并为政府决策提供了良好的数据支撑。
构建基于大数据的高速公路通行量监测分析系统,为行业用户提供信息服务。本文根据业务需求,基于大数据技术,建立交通运输监测分析系统,最终实现对海量交通数据的快速挖掘,分析处理以及可视化展示。目前该系统已正式运行,为行业用户提供了信息服务,实现数据监控和专题分析,增强交通运输运行管理的预测能力和分析能力。
5结束语
随着互联网技术的发展迅速,大数据在此背景下应用越来越广泛。高速公路作为城市发展与建设的重要组成,其发展对于人民出行具有重要意义。在高速公路发展过程中,大数据技术应用于高速公路管理中,通过数据采集、分析、处理可以为高速公路的决策管理提供数据支持,具有重要作用。
因此,本文根据业务需求,基于大数据技术,建立了高速公路通行量监测分析系统,最终实现对海量交通数据的快速挖掘,分析处理,以数据归类分析的方式提高了高速公路管理系统数据分析效率,减轻了工作人员的压力,为高速公路未来发展创造了更多机会。
参考文献
[1]李伟.交通大数据在智能高速公路中的应用探讨[J].城市建设理论研究(电子版),2017(02).
[2]侯园园陈剑.大数据背景下高速公路收费系统数据的设计与实现[J].城市建筑,2016(26).
[3]王超陈乐言.交通大数据在智能高速公路中的应用分析[J]电子元器件与信息技术,2018(10).
[4]韩子颖.基于大数据的节假日高速公路预测及运行分析研究[J].科技传播,2018(08).