智慧交通大数据平台建设方案
1
目录
1 智慧交通大数据及支撑平台方案 .................................... 4
1.1 总体设计 ........................................................................................................................... 4
1.1.1 系统概述..........................................................................................................................4
1.1.2 系统设计原则..................................................................................................................5
1.1.3 系统框架..........................................................................................................................6
1.1.4 系统的实现技术............................................................................................................10
1.2 交通大数据采集子系统...................................................................................................10
1.2.1 前端采集技术................................................................................................................10
1.2.2 数据共享和交换平台....................................................................................................12
1.2.3 框架支撑平台................................................................................................................12
1.3 大数据资源整合存储子系统 ........................................................................................... 39
1.3.1 基础交通数据................................................................................................................39
1.3.2 实时采集数据................................................................................................................67
1.3.3 实时计算数据................................................................................................................67
1.4 大数据清洗子系统...........................................................................................................73
1.4.1 概述................................................................................................................................73
1.4.2 数据清洗方法................................................................................................................78
1.5 大数据融合分析子系统................................................................................................. 118
1.5.1 交通调查指标数据计算..............................................................................................118
1.5.2 交通运行指数计算......................................................................................................126
1.5.3 信号优化......................................................................................................................132
1.5.4 基于大数据的OD 分析...............................................................................................168
1.5.5 基于车辆识别的大数据套牌车分析..........................................................................208
1.5.6 尾气排放分析..............................................................................................................218
1.5.7 交通信息发布系统......................................................................................................224
1.6 统一消息服务子系统 .....................................................................................................229
1.6.1 概述..............................................................................................................................230
1.6.2 服务接口......................................................................................................................230
1.7 三维 GIS 平台子系统.................................................................................................... 235
1.7.1 概述..............................................................................................................................235
1.7.2 三维系统平台介绍......................................................................................................238
1.7.3 三维地图模型设计与建设..........................................................................................240
1.8 系统规划和平台建设 .....................................................................................................251
1.8.1 存储规划......................................................................................................................251
1.8.2 数据库规划..................................................................................................................261
1.8.3 主机规划......................................................................................................................267
1.8.4 云平台建设..................................................................................................................270
2
1.9 大数据支撑平台系统的性能设计要求 .......................................................................... 280
1.9.1 系统的处理能力..........................................................................................................281
1.9.2 系统的可用性..............................................................................................................281
1.9.3 系统的安全性..............................................................................................................281
3
1 智慧交通大数据及支撑平台方案
1.1 总体设计
1.1.1 系统概述
城市交通服务提供全面的路况,需要交通监测网对城市道路交通状况、交通
流信息、交通违法行为等的全面监测,采集、处理及分析大量的实时监测数据,
具有数据量巨大的特点;随着城市机动车保有量不断提高,城市道路交通状况日
趋复杂化,交通流特性呈现随时间变化大、区域关联性强的特点,需要根据实时
的交通流数据及时全面采集、处理和分析等,因此具有系统负载时变性高、波动
大的特点应支持低延迟、高并发事务;公众出行服务对交通信息发布的时效性要
求高,需将准确的信息及时提供给不同的需求主体,信息处理、分析时效性要求
高,这给交通大数据支撑平台提出了挑战。
交通大数据支撑平台面对海量数据,系统不能仅依靠少数几台机器的升级满
足数据量的增长,必须做到横向可扩展,既满足性能的要求,也满足存储的要求;
由于服务需求的多样化,平台既要支持交通数据流的实时分析与处理又要支持复
杂查询与深度分析所需的高性能、低延迟需求。平台需具有高度容错性,大数据
的容错性要求在作业执行的过程中,一个参与节点失效不需要重做整个作业。另
外平台应支持异构环境,交通大数据平台的建设是分步骤的,分阶段进行的。
大数据支撑平台囊括了城市交通运行的基本数据,大数据支撑平台系统的设
计、实施,按照一切从实际出发,遵循经济实用的原则,对于整个城市交通运行
状态检测的整个过程可以分为确定数据采集目标、采集数据、分析数据和功能实
现四个阶段。
第一阶段,确定数据采集目标。目标就是监测的对象,首先要定义哪些对象
是城市交通运行需要检测采集数据的,从社会经济、城市基础设施和人民生活等
多个方面进行考虑。
第二阶段,采集数据。确定好城市交通运行需要检测采集的数据目标之后,
4
可以从相关部门或者采用相关仪器设备及手段进行数据采集。
第三阶段,分析数据。城市交通运行特征处于“常态”和“非常态”,需要对采
集的数据进行全方位的分析,由“常态”到“非常态”的一个动态过程,包括很多特
殊情况的孕育、发展、扩大和爆发。通过对采集到的数据进行建模等方式来统计
分析其诱发因素,以各相关管理部门、工作人员能迅速清晰掌握了解情况的方式
进行展现。
第四阶段,功能实现。展示城市运行实时监测状况,显示各项数据分析结果,
及多种系统功能。
交通大数据支撑平台应具有如下的特性:
高度可扩展性,横向大规模可扩展,大规模并行处理;
实时性,对交通数据流,事件的实时处理;
高性能、低延迟分析,快速响应复杂查询和深度分析、实时分析结果;
高度容错性,系统在硬件级、软件级实现容错;
可用性,系统具有相当高的可用性;
支持异构环境,对硬件平台一致性不高,适应能力强;
开放性、易用性,系统之间可实现数据共享,服务集成;
较低成本,较高的性价比。
1.1.2 系统设计原则
1)安全性原则
本系统要实现基于大型数据中心、强大信息处理环境和高速网络为一体,可
为交通信息管理的获取、共享和处理服务,支持实时网上数据信息处理,支持协
同工作及虚拟办公环境的新一代信息基础设施支撑平台。由于整个系统涉及大量
的保密数据,而且部分数据共享基于网络环境,在设计过程中,必须考虑信息安
全及保密措施,确保系统中的信息资源不被非法窃取和篡改,数据中心不被破坏,
同时还要保证用户能够正常使用系统中的共享资源,提供应有的信息服务。为了
确保该系统的安全性,在建立健全安全管理制度基础上,还必须采用有效的安全
保密技术。本系统采用一整套科学、便利的安全管理模式,系统对终端用户的权
限严格界定,终端用户的权限细化到每一个模块的每一个功能,在此基础上系统
5
灵活地使用组的管理方式,很大程度上简化了系统管理人员的工作复杂度。
2)集成统一性、开放性和标准化原则
各个不同方面的机房需求应组成一个完整的机房信息系统。并在系统安全性、
资源共享、工作协同和系统管理及其开销、系统升级等方面进行规划和设计,所
以系统必须具有开放性,标准化。系统的开放性是关系到系统生命周期长短重要
问题,只有开放的系统才能满足互操作性、可移植性以及可伸缩性的要求,不断
为系统的扩展、升级创造条件。
3)先进性和实用性原则
系统设计立足于高起点,采用国际先进、成熟和实用的技术,构建合理并适
当超前的技术体系架构,用以确保长时间的技术领先。各系统通过集成,实现资
源和信息共享。系统软、硬件配置采用模块化、开放式结构,以适应系统灵活组
织、扩展和系统集成整体提升的需要。
4)经济性、投资保护性原则
应以较高的性能价格比建设整个系统,使资金的产出投入比达到最大值。能
以较低的成本、较少的人员投入来维持系统运转,提供高效能与高效益。尽可能
保留并延长已有系统的投资,充分利用以往在资金与技术、设备方面的投入。
1.1.3 系统框架
大数据支撑平台框架图如下所示,主要由如下几个子系统组成:
6
图 6.1 大数据及支撑平台框架
交通大数据采集子系统
交通大数据采集子系统基于基础网络服务平台,采集前端感知设备传输的信
息,通过统一的采集服务将数据接入到大数据支撑平台,进行后续的分析处理,
基础网络服务平台可满足各种数据接入,同时支持大量客户端的并行处理。
交通大数据资源整合存储子系统
交通大数据资源整合子系统整合了整个交通相关的数据,包括前端采集的实
时交通数据、路网数据、公交车数据、交警数据中心、交通运输管理数据中心和
城市管理数据中心的数据通过数据交换平台也整合到该系统中。
交通大数据清洗子系统
交通大数据清洗子系统负责交通数据清洗和规整,剔除无用、错误和冗余的
数据,保证数据的质量。
大数据融合分析子系统
7
大数据计算是整个系统的核心,基于 Hadoop 分布式计算以及基于 Strom 流
式计算可满足不同的计算需求。
统一消息服务子系统
统一消息服务子系统为各种综合应用提供服务接口,可满足各种系统的接入
查询。
三维 GIS 平台子系统
三维 GIS 系统是用于空间基础信息三维数据浏览显示与查询分析的应用系
统,三维 GIS 系统为用户提供了一个三维可视化的数据浏览、查询的信息平台,
通过三维 GIS 系统可以浏览和查询平台基础信息数据库中的 DEM、城市景观、
遥感影像、城市绿化、城市公共设施分布等数据。系统可以导入各种常用的二维
以及三维地理信息数据文件,兼容大多数开放的标准格式。
系统数据流图如下:
图 6.2 大数据及支撑平台数据流
1、前端感知设备采集的交通数据通过专网发送到大数据及支撑平台采集主
机,采集子系统将处理后的数据一部分发给 hadoop 集群主机,一部分发给计算
8