为何全视觉方案无法实现真正的自动驾驶

r囧r小猫 2022-08-28 00:48 160阅读 0赞

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

![52bfe35d8723b71d4305ef0b78db179d.png][]

**作者 |** Aimee

**出品 |** 焉知智能汽车

当前，主流的自动驾驶Tier1和主机厂都趋向于设计更加先进的传感器架构将传感器的探测能力提升到最大值。其中，不乏有类似特斯拉、小鹏这样趋向于推进视觉感知架构设计的主机厂，也不乏有类似博世、大陆这类传统趋向于推进雷达感知为主的供应商。也有在传感器架构中趋向于设计全传感冗余方案的主机厂，如蔚来、waymo、百度等不差钱的主机厂。从量产的角度出发，我们在设计传感架构时更多的是追求所谓的性价比，也即用最少的传感器设计最优的系统架构。

**什么是最优？需要满足如下三个条件：**

1）确保传感器的探测能力能够覆盖整个车端实体及周边环境，尽量不会出现感知盲区；

2）确保设计最高级自动驾驶系统时，需要充分考虑系统在某些失效情况下，其传感器能够也能做相应的降级处理；

3）整个传感器布置尽量不要出项重复或探测能力的过冗余，这可能导致系统的整个经费较高，无法满足高性价比的要求。

![51144d6a842b4b1e17f29e3ec184613f.png][]

前段时间特斯拉宣布后续将会朝着全视觉方案方向发展的策略，由于当前特斯拉的方案在某种程度上仍旧采用了雷达目标的探测情况。全视觉方案旨在通过视觉探测逐渐替代有雷达探测所带来的诸如距离、速度、加速度等实体目标中的优势。**但是，笔者认为全视觉方案在如下一些极端的场景中是无法满足对于感知探测能力的KPI指标的。**主要体现在如下几个大的方面：

1）天气环境因素造成的视觉传感器致盲（如逆光炫目、沙尘暴遮挡等）；

2）小目标物体在中低分辨率视觉感知系统中可能造成的目标晚识别（如减速带、小动物、锥桶等）；

3）异形目标由于未经训练可能造成无法匹配，最终被漏识别（道路落石、前车掉落轮胎等）；

4）视觉传感器本身的识别要理要求对于视觉识别结果具有较高的算力需求。

![5c0b5c49a67317cca0605fa510edda08.png][]

从如上说明中不难看出，视觉感知能力往往无法满足性能需求。而真正实现优化的感知能力模型，必须结合毫米波雷达或激光雷达做优势互补才能实现。本文将从雷达实现原理角度触发针对性的讲解下一代自动驾驶系统使用的4D毫米波雷达结合激光雷达的所能解决的驾驶边缘场景。

**先进的4D毫米波雷达对感知的提升策略**

毫米波雷达以其距离和速度识别精度高，识别距离远，穿透力强，性能稳定，不易受天气影响，性价比高等优势，在智能驾驶领域得到了广泛应用。早期Level 2级及以下驾驶辅助功能，多采用单前向毫米波雷达方案，以及前向毫米波雷达和前视多功能摄像头融合的方案，有部分目标融合与控制算法通常集成在雷达ECU控制软件中。

毫米波雷达的关键参数算法模型如下：

![455997eadc7a6de3c1637adc37f9aba1.png][]

随着驾驶辅助功能向着Level 2+ 级及以上更高阶智能驾驶的发展，传统毫米波雷达较弱感知能力的短板凸显，极大的限制了其在智能驾驶开发过程中的应用。毫米波雷达技术经过数十年的发展，无论硬件设计加工，还是软件算法，通过长期积累，都已成为相当成熟的产品。目前具备成像能力的4D成像毫米波雷达成为了各个雷达供应商的研究重点，众多厂商也相继发布了其4D成像雷达方案。

如下表示了一种典型的4D毫米波雷达内部结构图。不难看出，其采用了更高算力的芯片设计，且加装的收发天线也是传统毫米波雷达的数倍。同时可以兼容车载以太网，CANFD等大数据通信结构，其设计的独立IMU也可为后续定位建图及识别精准性矫正提供相应的支撑。

![4cf5e9c022b67df46219e616819a3d92.png][]

**通用的毫米波雷达系统架构**

对于4D成像毫米波雷达而言，其相对于传统毫米波雷达而言，具备更高空间分辨率，更远探测距离，更强目标分类能力。同时，由于其能够提供更多更高质量的点云，从而极大得扩展了毫米波的应用范围，其点云致密度为环境信息探测能力提供了高度信息。在各种天气和能见度条件下保持鲁棒性，并在方位角和仰角上都能达到1度角分辨率。

总体来看，高分辨率4D毫米波雷达主要可以提供如下多方面的感知能力，从而可解决当前多方面的感知场景局限。

**1）环向感知能力**

4D毫米波雷达实现了四个维度的环境感知，包括距离、水平和垂直定位以及速度。这种感知能力我们称之为其具备多维环向感知能力。

**2）环境建模（Freespace）**

4D毫米波雷达可以通过生成的较多点云提供更多的目标识别反馈信息，从而进行有效的环境目标建模，这个过程类似于激光雷达的点云信息建模。这种打点聚类的方式，可以轻易的识别出物体的类型信息。

![a37455b4c9581b7fefcd8bf3b1666756.png][]

*环境信息建模*

*图片来源：博世激光雷达环境感知团队*

**3）自动泊车的辅助应用**

APS这类应用，对于毫米波雷达来说是典型的短程雷达的应用。。也就是说，速度较低，探测距离较近，但对分辨率的要求较高。传统的毫米波雷达由于其检测能力的限制通常情况无法直接用于泊车场景，而4D毫米波雷达可以实现低速近距离场景下的信息有效探测和分辨，这就可以很好的将超声波雷达所生成的信息进行有效的感知识别。

![0e72baa7830f23181bee69fa343587b5.png][]

*毫米波雷达车身布置与泊车应用*

毫米波雷达在泊车市场中的布局已经凸显的越来越明显，有些厂家已经开始思索是否可以直接利用毫米波雷达直接代替超声波雷达进行泊车控制。特斯拉在某些车型上搭载基于毫米波雷达方案的自动泊车系统，加之小鹏以及吉利和长安等越来越多国产车企的陆续推进，相信这种APS功能竞争全面升级的态势有望加速业界在APS专用市场出现越来越多的毫米波雷达方案提供商。

**4）目标分类（Classification）**

4D毫米波雷达又称为成像雷达。相对于传统的毫米波雷达所具有较高的速度和距离分辨率，能够很容易地识别和区分运动物体，且在静态物体上的探测能力也得到了极大的提升，可以轻松的区分横向（与车辆行驶方向垂直）移动物体的探测。

4D毫米波雷达可以提供更多的点云信息，且由于点云的致密度也是相对更多，使得其对于不同的目标进行聚类的结果，可以提供包含原始横向目标的感知及分辨能力，也能提供原始纵向目标的感知及分辨能力。这一优势对于一些特殊异形车辆的感知效果无非是一大亮点。比如能够感知一些特殊货车的加长车位，并对其高度进行有效的分辨。亦或者针对交通拥堵的场景也能够很轻易的分辨出不同方位和角度的车辆信息。且其位置、速度和方位信息比摄像头识别结果好很多。

![16cf71776af8ea047e11dd3340be8c52.png][]

*毫米波雷达的横纵向及高差检测能力*

**5）局部定位建图（Localization）**

4D毫米波雷达可用于低速无人驾驶场景，使用RF CMOS技术和2D的MIMO技术，可以把水平、垂直角度检测精度做得非常好。可以输出可比拟激光雷达的致密点云信息，清晰勾勒出周边建筑物轮廓，从而实现基于雷达点云的高精度定位。

![5f58245705eb3494171de440c94e1621.png][]

*基于毫米波雷达的定位建图*

此外，从智能驾驶是产品设计角度说，基于Autosar架构进行设计的4D毫米波雷达其具备如下多个方面较好的产品特点：

1）具备测高能力，井盖和天桥检测误报极大程度减小。这一点相对于传统摄像头来说是较大的优势的，如果从功能角度上说可以减少很多情况下的误报。

2）特殊波形设计，抗干扰能力极大增强，后续加装毫米波雷达的车型将越来越多，车型之间难免会有相互干扰的情况，4D毫米波雷达因其发射波形的不同，导致其检测具备较高的分辨能力。

3）4D毫米波雷达的高性能也就意味着其在功能安全设计能力得到极大提升，有些可提高至ASIL B以上。

**先进的激光****雷达对感知的提升策略**

激光雷达在高性能智能驾驶中的探测优势已经在很多方面得到证实，原因是因为其通过建立数量较多的点云数据可以通过聚类实现很好的场景重建。从智能驾驶的角度上说可以通过激光雷达解决如下一些极端场景：

![2701b8ee8b07675d46a401ba3b9b58df.png][]

**总结**

从如上表的总结中不难看出，对于激光雷达所能解决的自动驾驶边缘场景是不言而喻的，纯视觉派的特斯拉方案在未来自动驾驶设计过程中是无法保证其性能和效果的。相应的提升方案肯定是结合视觉的雷达融合方案。

当然本章重点还是介绍了毫米波雷达的感知原理及性能，未来如果是大域控方案的实施策略时，难免不会考虑利用毫米波输入的原始点云数据进行综合处理。这一过程类似于激光雷达的点云处理，这又涉及多方面的因素。如传输带宽，点云建模模型以及域控制器综合处理算法。**在纵向感知方面，毫米波最强；横向方面，激光最强。**丰田和本田的方案，都是激光作为独立感知，结果再跟摄像头融合，最后得出最终目标。

本文仅做学术分享，如有侵权，请联系删文。

**3D视觉精品课程推荐：**

[1.面向自动驾驶领域的多传感器数据融合技术][1.]

[2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)][2._3D]  
[3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进][3.]  
[4.国内首个面向工业级实战的点云处理课程][4.]  
[5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解][5._-_-IMU-GPS_SLAM]  
[6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦][6._-_SLAM_VINS-Fusion]  
[7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化][7._LOAM_3D_SLAM_]  
[8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)][8._SLAM_cartographer_LOAM _LIO-SAM]

[9.从零搭建一套结构光3D重建系统\[理论+源码+实践\]][9._3D]

[10.单目深度估计方法：算法梳理与代码实现][10.]

##  ##

**重磅！****3DCVer-****学术论文写作投稿** **交流群****已成立**

扫码添加小助手微信，可**申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。**

**同时**也可申请加入我们的细分方向交流群，目前主要有**3D视觉**、**CV&深度学习**、**SLAM**、**三维重建**、**点云后处理**、**自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计**等微信群。

一定要备注：**研究方向+学校/公司+昵称**，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。**原创投稿**也请联系。

![3344f8cc9e09d2a4dbe9a3fd6dbe2c42.png][]

▲长按加微信群或投稿

![93bf784417ae5a0c4cd0765381cd66cd.png][]

▲长按关注公众号

##  ##

**3D视觉从入门到精通知识星球**：针对3D视觉领域的**视频课****程（[三维重建系列][Link 1][三维点云系列][Link 2][结构光系列][Link 3]、[手眼标定][Link 4]、[相机标定][Link 5]、****激光/视觉SLAM****、****自动****驾驶等****）、****知识点汇总、入门进阶学习路线、最新paper分享、疑问解答**五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

##  ##

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

![c944676353ebe33241557d30d784cbc6.png][]

圈里有高质量教程资料、答疑解惑、助你高效解决问题

**觉得有用，麻烦给个赞和在看~**

[52bfe35d8723b71d4305ef0b78db179d.png]: /images/20220828/055855dcbf534f148ea415d4b95975d9.png
[51144d6a842b4b1e17f29e3ec184613f.png]: /images/20220828/f12079b2350c4116b9f14d39de7ea369.png
[5c0b5c49a67317cca0605fa510edda08.png]: /images/20220828/3f9c4fb72595494a85f3b08dab160044.png
[455997eadc7a6de3c1637adc37f9aba1.png]: /images/20220828/211bb47d275a4069b0bdec1f2f97cd77.png
[4cf5e9c022b67df46219e616819a3d92.png]: /images/20220828/4f1e46dd730a4a4b8cdbab0569344b0f.png
[a37455b4c9581b7fefcd8bf3b1666756.png]: /images/20220828/ce8e2e118af241e993857e12ec25a954.png
[0e72baa7830f23181bee69fa343587b5.png]: /images/20220828/e9e2528aeb7942a4bb6aecbc6b06c06b.png
[16cf71776af8ea047e11dd3340be8c52.png]: /images/20220828/0466207a12d842bb8886861ae0bfc636.png
[5f58245705eb3494171de440c94e1621.png]: /images/20220828/0487fecc5d6c4d44967109af20822020.png
[2701b8ee8b07675d46a401ba3b9b58df.png]: /images/20220828/773c3eb4ff2145d482efbfdd4f0a8765.png
[1.]: https://blog.csdn.net/Yong_Qi2015/article/details/119284035
[2._3D]: https://blog.csdn.net/Yong_Qi2015/article/details/120775705
[3.]: https://blog.csdn.net/Yong_Qi2015/article/details/117828998
[4.]: https://blog.csdn.net/Yong_Qi2015/article/details/118643696
[5._-_-IMU-GPS_SLAM]: https://blog.csdn.net/Yong_Qi2015/article/details/119975746
[6._-_SLAM_VINS-Fusion]: https://blog.csdn.net/Yong_Qi2015/article/details/119047545
[7._LOAM_3D_SLAM_]: https://blog.csdn.net/qq_29462849/article/details/118448408
[8._SLAM_cartographer_LOAM _LIO-SAM]: https://blog.csdn.net/Yong_Qi2015/article/details/120328880
[9._3D]: https://blog.csdn.net/biaoshu2/article/details/106665145
[10.]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247582082&idx=2&sn=cc10291ddfdf6b05bdae71887c7c819c&chksm=fbfdaab6cc8a23a020a7359eae081f06c24572a12975bfd90396ac583a0081750f489db89b49&scene=21#wechat_redirect
[3344f8cc9e09d2a4dbe9a3fd6dbe2c42.png]: /images/20220828/0cf4a71bbddc4d599553d3f611014f4b.png
[93bf784417ae5a0c4cd0765381cd66cd.png]: /images/20220828/73b48eacdf02482f8f739f671f414627.png
[Link 1]: https://blog.csdn.net/DDWDDZY/article/details/105608179
[Link 2]: https://blog.csdn.net/pikachu_777/article/details/82992991
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247546284&idx=2&sn=d067a98047192a04f21489aca338a5d6&chksm=fbfc1e98cc8b978e5fb6b2afd1a473c89e2861374542421b9972f87a6fdfcd47eb50c443042e&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247554670&idx=2&sn=cf3323178d5d1960476208e6303a8479&chksm=fbfc3d5acc8bb44c184084dcf447a5981d297815d62bef699129338d99a0472c622f96ee71d8&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247486422&idx=1&sn=381ab793959aed0eb6f01019dea522d4&chksm=fbff20e2cc88a9f456b80e23d2482fb319b08e89da071b39597bc51942a6aa7b756a6749856c&scene=21#wechat_redirect
[c944676353ebe33241557d30d784cbc6.png]: /images/20220828/190c657cc9054b94ae74b4df6ffd7c8e.png