大数据给交通行业带来的五大变革 | 交通数据的深度应用

喜欢ヅ旅行 2022-05-20 06:55 419阅读 0赞

2017年9月20日，由广东省智能交通协会和赛文交通网联合主办的第三届（2017）华南智能交通论坛在广州召开，在“2017年智慧路网技术与应用发展”分论坛上，广东利通科技投资有限公司副董事长戴连贵就交通数据深度应用探索为主题做了发言，从大数据与交通、大数据应用分析方法、高速公路大数据应用、高速公路大数据发展方向等四个方面做了分析。

以下为戴连贵演讲实录（内容有删减）。

首先和大家一起回顾一下大数据和交通的关系，接下来谈一下大数据分析的方法，这也是我的学习体会，最后分享几个大数据应用案例和应用方向探讨。

一、大数据与交通

大数据的本质就是一大堆结构化的和非结构化的数据。因为数据量太大，你没办法使用，你需要从中抓取出有价值的内容或你想要的数据，这就是大数据应用。

从技术层面说，大数据和以前的数据时代的最大差异在于： 以前是数据找应用、算法的过程，偏重于用抽样推测全局,从抽样数据中分析，没有采集到的样本所对应的相关规律。

而大数据时代的重要技术特征之一，是应用、算法去找数据的过程，因为数据规模变成了技术上最大的挑战，我们更关注每一个个体的微观表现。

大数据应用经历近十年的发展，目前的状况怎么样呢？

> 第一，很多国家（包括我国）已经上升到国策化，已成为国家战略。
> 
> 第二，国内与国外差距已经不大。
> 
> 第三，有赖于机器学习和人工智能的底层支撑，大数据和机器学习已经是一对孪生兄弟。AI为大数据应用提供高效的手段，大数据为AI提供了海量的学习素材。
> 
> 第四，大数据应用的标准化问题已经迫在眉睫，专业化势在必行，工具化正在普及。

![84c5ee185c51432b952dd5cd3fdf8eea.jpeg][]

大数据究竟能做什么事呢？

你在京东买了奶瓶又搜索过奶粉，那京东的大数据就预测到你可能有小宝宝了，接下来一大堆和婴儿有关的东西都推荐给你。你可能说这就是大数据啊，也太简单了。其实如果京东仅服务你一个人，那简单，但是京东对几亿用户都能做这个推广，就不简单。

有人说，预测从古代就做了，大数据做预测的核心是全样本，多个维度的全样本，交叉确认，人会说谎，在社交场合会隐藏部分内心，但这部分内心在日积月累的互联网上总有丝竹马迹会留下来，所以，越来越多的数据模型和数据会给出无限接近感知的结果。也就是可以

大数据可以让计算机具有学习能力，机器学习就是设计一个一些让计算机可以自动学习的算法，人工智能的核心是什么？归根到底是“计算机用大数据在代替人脑来思考；计算机可能比人脑思考的更全面和迅速。”

对企业经营来讲，具体可以解决以下问题：

![bd6d154cea39460babfdccfc9cae5099.png][]

事实上大数据在交通中的应用已经给行业带来巨大的变革，主要体现在五个方面。

> 第一，为用户提供服务内容越来越精准。有赖于基于大数据的交通路网动态分析，为用户提供了出行的实时方案选择。
> 
> 第二，交通通行效率越来越高。这也有赖于各种各样的互联网感知器，对复杂天气、事故、各种突发事件的实时分析，使得交通管理部门掌握了更多的交通状况，及时做出反应。
> 
> 第三，现场人工执法越来越少。有赖于基于大数据的行为分析，交通执法的事情都变成一个事后的非现场的执法。
> 
> 第四，交通服务自动化程度越来越高。移动支付和各种自动化设备的应用，自助服务和无感服务普遍应用。
> 
> 第五，交通主管部门的决策越来越科学。政府对重大政策的制定和推出越来越依赖于对交通行为的分析，最典型的就是广州限外地牌照这件事情，专业机构通过数据分析发现广州道路拥堵的症结。

二、大数据分析方法

各行各业都讲大数据，各级政府和各个行业都推出大数据战略。那么如何开展大数据应用呢？如果我们把大数据比作含有金属的矿石。

大数据应用有两个方向：一个是如何把金矿石找到，集中，存储；另一个是如何从矿石中提取金属。

我们通常也把第二件事情叫做大数据分析（挖掘），事实上大数据分析是一个很专业的事情，他的专业性和计算机软件类似。

计算机是一个工具，计算机很重要，各个行业都用计算机，但是，不是各个行业都要自己开发计算机系统和软件。

归根到底大数据就是含有金属的矿石，矿石很重要，各行各业都有大量矿石，但是，不是各个行业都要自己造工具和设备来冶炼提取金属。我们公司有团队做大数据分析服务，所以今天在这里就大数据分析发发进行交流。

大数据分析是需要场景设定的，由要解决的问题驱动，离开用户需求和应用场景谈大数据分析，是忽悠是空谈。

大数据是因为对它的分析使用，找到其中蕴藏的金子或其他金属，才产生和体现它的价值，而不是因为其有多少多少数据和用到了NB的技术和算法才体现了它的价值。

所以大数据应用的本质就是从一大堆矿石中用各种设备和工艺，不断地去实验，找到我们没有预料到的稀有金属，也就是大数据应用的核心是大数据分析。我司是专门做大数据分析服务的，所以在这里和大家分享一下大数据分析方面的体会。

大数据分析就是一个选矿的过程，有了大数据就是有了一大堆矿石，矿石中除了含有金，还有没有银？用什么样的工具，什么样的方法，去提炼金或其他未知金属，就是一个大数据分析项目要回答的这问题。

所以大数据分析项目具有探索性，并不是每一个项目都是成功的，也并不是每一个项目都能找到新的稀有金属，一个成功的大数据项目需要多个角色参与：

> 业务用户：该角色对业务领域非常了解，是分析结果的受益人。
> 
> 项目发起人：负责项目的发起工作，通常我们称的业主的角色，提供项目资金。
> 
> 项目经理：负责项目进度质量，确保项目达到预期目标。
> 
> 商业智能分析师：提供业务领域的专业知识和技能。
> 
> 数据库管理员（DBA)：负责提供和配置数据库环境，支持团队的分析需求。
> 
> 数据工程师：负责执行具体的数据提取工作和数据操作。确保以正确的方式生成用作分析的数据。
> 
> 数据科学家：负责数据建模，选择有效的分析工具，设计和执行分析方案。确保整体分析目标实现。

从方法论角度，一个大数据分析项目是可以遵循一些已有的模型的，这些模型在过去统计分析时代就已经诞生了。下面我们以EMC公司的大数据分析模型来了解一下大数据分析项目的六个阶段：

EMC模型有以下六个阶段：

发现(目标定义）：把业务问题转化为分析目标，制定初始假设。

数据准备：准备好分析沙盘，对分析沙盘中的数据执行ETL或ELT，转化成使用和分析的格式，逐步治理数据

规划模型：了解数据之间的关系，确定模型的关键变量，和合适的分析模型

模型建立：创建测试数据集，学习数据集，和生产数据集。运行模型，修正参数，测试模型的可用性，和对运行环境的要求

沟通结果：评判是否达到第一阶段的目标，是否满足业主的要求，是否可以上线运行。

实施：在生产环境部署和实施一个试点项目，应用项目模型。

三、高速公路大数据应用案例

第一个案例：广东省高速公路省监控大数据综合分析展示。项目目标是对政府和营运管理单位关心的主要指标数据进行分析展示，让管理者及时、直观地了解高速公路的运营管理情况。

这个项目利用了省级联网收费运营管理平台和省级监控平台上的全省的高速公路收费数据和监控数据。

![da60706f8c534467bf25014be1f3b2b3.jpeg][]

这是我们的部分分析成果：全省交通事件、交通事故的数据展示，包括最近30天交通事件类型组成、最近30天交通事件/交通事故情况、环比、最近90天发生交通事故的前十区间。

![4d1e69463b004173b1b375aa43a00894.jpeg][]

第二个案例：深汕西保畅通高峰车流预警预测系统。

广东省深汕西高速公路做的大数据分析项目，目标是：预测路上的关键断面预测30分钟后的车流量。

利用的数据：实时采集路面上和服务区进出口的高清卡口截面车流量采用的模型是时间序列ARIMA 模型，车流量超过设定阀值的，进行预警。

通过这个预测，可以让运营单位提前做好高峰车流的保畅通措施，提升交通服务质量。

![5e91506a433b416d99236382e7a7907f.jpeg][]

第三个案例： 广东省高速公路货运情况的大数据分析项目。

业主是：广东省大数据局；

目标是：预测广东省经济景气情况；

利用的数据是：广东高速公路实现了全计重收费和全国ETC联网，在高速公路出口可以较为准确采集到货车载重量数据。

模型是：构建了高速公路运输景气指数（ETBI）。

![4e6275c048ed442897352b2c9533a884.jpeg][]

四、高速公路大数据应用展望

收费业务数据有DB44为标准，但是监控、路政、养护数据是没有行业标准或地方标准的，收费、监控、路政、养护等各个不同业务域的数据和数据之间要想对话，那必须有一个标准，遵循了这个标准，不同主体共享出来的数据才可以进行融合。

[84c5ee185c51432b952dd5cd3fdf8eea.jpeg]: /images/20220520/f96d19dbb8c54f36827b7f1b01f20614.png
[bd6d154cea39460babfdccfc9cae5099.png]: /images/20220520/889c1a21854b4fe49354e397f216e4e3.png
[da60706f8c534467bf25014be1f3b2b3.jpeg]: /images/20220520/d5a2b9be4cb24b11868156089a22db39.png
[4d1e69463b004173b1b375aa43a00894.jpeg]: /images/20220520/1d312abc194d4995a27cb38c7b78c052.png
[5e91506a433b416d99236382e7a7907f.jpeg]: /images/20220520/3827e5cdf6fa45219fb894a85f6c3609.png
[4e6275c048ed442897352b2c9533a884.jpeg]: /images/20220520/538d1c175c61449ebeaf64eaba32ae50.png