【自动驾驶】视觉与毫米波雷达数据融合技术

Myth丶恋晨 2022-08-31 11:25 640阅读 0赞

### 文章目录 ###

*   *  一、相机介绍
     *  二、毫米波雷达介绍
     *  三、为什么要做传感器融合
     *  四、相机与毫米波雷达的融合方式
     *  五、雷达与相机联合标定
     *   *  （1）毫米波雷达坐标系至世界坐标系
         *  （2）世界坐标系至图像像素坐标系
     *  六、毫米波雷达与相机时间同步
     *  七、毫米波雷达与图像数据信息关联

## 一、相机介绍 ##

视觉传感器就像人类的眼睛可以感知丰富的交通环境信息，同时具有价格便宜的优点，因此在智能驾驶领域得到广泛地运用。但是单独的视觉处理很容易受光照条件的影响，比如在夜间的检测效果就不是很好。同时容易受到天气条件的影响，比如雾霾天，雷雨天。除此之外，使用单个相机无法对目标距离进行精确的估算。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70_pic_center]

## 二、毫米波雷达介绍 ##

毫米波雷达是工作在毫米波波段，工作频率在30～100GHz，波长在1～10mm之间的电磁波，通过向障碍物发射电磁波并接收回波来精确探测目标的方向和距离。

**工作原理**  
当目标向雷达天线靠近时，反射信号频率将高于发射机频率；反之，当目标远离天线而去时，反射信号频率将低于发射机率。由多普勒效应所形成的频率变化叫做多普勒频移，它与相对速度V成正比，与振动的频率成反比。

如此，通过检测这个频率差，可以测得目标相对于雷达的移动速度，也就是目标与雷达的相对速度。根据发射脉冲和接收的时间差，可以测出目标的距离。

**毫米波雷达优点**  
抗杂波干扰能力强，有一定的绕射能力，穿透能力越强，对烟雾灰尘具有更好的穿透性、受光照和天气因素影响较小，所以具有全天候的工作能力。

![在这里插入图片描述][816f746e871846bb86ec1e3a20c624b4.jpg_pic_center]

## 三、为什么要做传感器融合 ##

单一的视觉相机传感器检测识别精度不够高，稳定性也比较差，检测纵向距离范围也比较近，相机容易受到光线、天气等因素的影响，尤其在晚上，下雨天。

毫米波雷达受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远，但是目前毫米波雷达分辨比较低，对金属比较敏感，进而识别性能比较差，并且不能够识别目标的特征信息。

**所以单一的传感器是不能够解决所有问题的，毫米波雷达与相机的融合也必然是一种趋势。**

相比于毫米波雷达，激光雷达虽然能探测到3D信息，准确率更高，但是容易受到下雨天，雾霾天气环境的约束，成本非常高，还容易损坏，平均寿命也就2～3年，所以车厂跟容易青睐毫米波雷达。

![在这里插入图片描述][cdd035a3b4cf4081baa71c3c87fe6657.png_pic_center]

## 四、相机与毫米波雷达的融合方式 ##

相机与毫米波雷达的的融合方式主要有三种：原始数据级融合， 特征级别融合， 目标级融合。

**原始数据积融合**  
原始数据积融合，就是雷达点云与图像像素的匹配。将雷达的点云数据坐标投影到图像像素上，与图像像素联合标定匹配。缺点是： 雷达分辨率较低，点云数量极少，且噪声较大，很难与图像匹配。

**特征级融合**  
这种融合方式主要是雷达辅助图像。基本的思路是将雷达的点目标投影到图像上，围绕该点我们生成一个矩阵的感兴趣区域，然后我们只对该区域内进行搜索，搜索到以后跟雷达点目标进行匹配。它的优点是可以迅速地排除大量不会有车辆的区域，极大地提高识别速度。而且呢，可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性。

缺点： 首先，这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确，再加上摄像头标定的误差，导致雷达的投影点对车的偏离可能比较严重。我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。

**目标级融合**  
这种融合方法主要是根据图像检测的目标结果与雷达探测的目标结果，进行有效融合。缺点是：单目相机识别的纵向距离不准确，在障碍物比较多的情况下，很难匹配准确。还有可能雷达识别到了，单目相机却没有识别到。

**融合关键点**  
要实现相机与毫米波雷达的精确融合，需要满足两个条件：空间上同步（联合标定解决），时间上同步（时间戳解决）。

## 五、雷达与相机联合标定 ##

建立精确的毫米波雷达坐标系、三维世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。毫米波雷达与视觉传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。

传感器之间的标定问题，就是要将毫米波检测的目标转换到图像上。具体分为以下两个个步骤：

*  将毫米波雷达坐标系的坐标转换到世界坐标系
 *  将世界坐标系的坐标转换到图像像素坐标系

### （1）毫米波雷达坐标系至世界坐标系 ###

毫米波雷达检测扫射平面为二维平面，可以得到目标的x,y坐标信息，没有目标的高度z坐标信息。以雷达平面建立坐标系，可以将毫米波坐标系  O r O\_r Or 到世界坐标系  O w O\_w Ow 的转换看做二维X-Y坐标系的转换， O r O\_r Or 和  O w O\_w Ow 之间的关系不外乎平移和旋转，如下图所示：  
![59690412de49ec3b365ab02b75d09c4c.png][]  
雷达坐标系转化为以相机为中心的世界坐标系  
![93aff7002760f5f7ccf47d3936c2a0db.png][]

### （2）世界坐标系至图像像素坐标系 ###

图像平面坐标系转化为像素坐标系  
![bb8a9acd8a4efd094dbb4b7a4935d904.png][]  
相机坐标系转化为图像坐标系  
![8cd9426dace37e346e0deb1860a48daa.png][]  
世界坐标系转化为相机坐标系  
![26606c3c7fbfe4e1e9079d37ddc51245.png][]  
世界坐标系转化为像素坐标系  
![ebcefdc9bc2ca7eb964f60e03cb6d6d3.png][]

## 六、毫米波雷达与相机时间同步 ##

传感器需要在时间同步，采集雷达与相机获取数据的频率，以频率最低的传感器为时间基准为主（Radar传感器采样时间慢，以Radar为准）。  
![d8b98f80010325ef76089d0565961ef2.png][]

## 七、毫米波雷达与图像数据信息关联 ##

毫米波和图像两者传感器数据相互关联配对，实体A1 ，A2 ， 观测量 Z1，Z2，Z3。  
![cdc96fe48f21dc0f7b7d4e9b2e299461.png][]

**数据关联步骤**：

*  建立关联门，确定关联门限：矩形关联门，椭圆关联门。
 *  门限过滤：设置边界条件，将测量Z1过滤掉。
 *  确定相似性度量方法：比如根据欧式距离建立目标代价函数。
 *  建立关联矩阵，如下所示：  
    ![1c7ddf4350be792fb664b0932ecb196b.png][]
 *  确定关联判定准则：代价值最小，形成关联对。

**最终模拟结果：**

Z2 —>A1 ，Z3 —>A2， Z1被过滤掉。

--------------------

本文参考：

*  https://blog.csdn.net/m0\_37794494/article/details/97391258
 *  《毫米波雷达与视觉融合的车辆目标检测系统》

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/5a3415a3604345f093a0089144750984.png
[816f746e871846bb86ec1e3a20c624b4.jpg_pic_center]: /images/20220829/af8ac93ab4bf4e9d939c3a73da891f1e.png
[cdd035a3b4cf4081baa71c3c87fe6657.png_pic_center]: /images/20220829/0534ffc08f644f98994932edf91a0b9d.png
[59690412de49ec3b365ab02b75d09c4c.png]: /images/20220829/a6721e4294384d7a9d29d28c1790f19d.png
[93aff7002760f5f7ccf47d3936c2a0db.png]: /images/20220829/579747c528c84d95a0b04e93cef24f7f.png
[bb8a9acd8a4efd094dbb4b7a4935d904.png]: /images/20220829/cdcd0c55d179411a9b67b60f5982d119.png
[8cd9426dace37e346e0deb1860a48daa.png]: /images/20220829/e9e04564ddee4e1983f37293c2b12a81.png
[26606c3c7fbfe4e1e9079d37ddc51245.png]: /images/20220829/ec0191f8ff3b4bb1a44867fe5a4c0682.png
[ebcefdc9bc2ca7eb964f60e03cb6d6d3.png]: /images/20220829/c065c4e7271e496a9d017596e90c805e.png
[d8b98f80010325ef76089d0565961ef2.png]: /images/20220829/ee70f7fb7db04e64bb444e4b261599ba.png
[cdc96fe48f21dc0f7b7d4e9b2e299461.png]: /images/20220829/d1cb5448900043cf85bd853996742a8c.png
[1c7ddf4350be792fb664b0932ecb196b.png]: /images/20220829/24590ba580b445fb92016a0c34f9a8a0.png