【论文解读】F-PointNet 使用RGB图像和Depth点云深度数据的3D目标检测

爱被打了一巴掌 2022-08-31 04:49 497阅读 0赞

## 前言 ##

F-PointNet 提出了**直接处理点云数据**的方案，但这种方式面临着挑战，比如：如何有效地在三维空间中定位目标的可能位置，即如何产生 3D 候选框，假如全局搜索将会耗费大量算力与时间。

F-PointNet是在进行点云处理之前，先使用图像信息得到一些先验搜索范围，这样既能提高效率，又能增加准确率。

论文地址：[Frustum PointNets for 3D Object Detection from RGB-D Data][]

开源代码：[https://github.com/charlesq34/frustum-pointnets][https_github.com_charlesq34_frustum-pointnets]

**目录**

一、基本思路

二、模型框架

三、基于图像生成锥体区域

四、 在锥体内进行点云实例分割

五、生成精确边界框

六、PointNet关键点

6.1 F-PointNet使用2D RGB图像

6.2 锥体框生成

七、实验结果

八、优点

九、模型代码

--------------------

## 一、**基本思路**  ##

首先使用在 RGB 图像上运行的 2D 检测器，其中每个2D边界框定义一个3D锥体区域。然后基于这些视锥区域中的 3D 点云，我们使用 PointNet/PointNet++ 网络实现了 3D实例分割和非模态 3D 边界框估计。总结一下思路，如下：

1.  基于图像2D目标检测。
2.  基于图像生成锥体区域。
3.  在锥体内，使用 PointNet/PointNet++ 网络进行点云实例分割。

它是在进行点云处理之前，先使用图像信息得到一些先验搜索范围，这样既能提高效率，又能增加准确率。先看看下面这张图：

在这张图里，左上角的意思是先把图像和点云信息标定好（这个属于传感器的外参标定，在感知之前进行；获取两个传感器之间旋转矩阵和平移向量，就可以得到相互的位置关系）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70][]

左下角是用目标检测算法检测出物体的边界框（BoundingBox），有了边界框之后，以相机为原点，沿边界框方向延伸过去就会形成一个锥体（上图的右半部分），该论文题目里frustum这个词就是锥体的意思。

然后用点云对该物体进行识别的时候，只需要在这个锥体内识别就行了，大大减小了搜索范围。

## 二、模型框架 ##

模型结构如下：（可以点击图片放大查看）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 1][]

网络共分为三部分，第一部分是使用图像进行目标检测并生成锥体区域，第二部分是在锥体内的点云实例分割，第三部分是点云物体边界框的回归。

## 三、**基于图像生成锥体**区域 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 2][]

由于检测到的目标不一定在图像的正中心，所以生成的锥体的轴心就不一定和相机的坐标轴重合，如下图中(a)所示。为了使网络具有更好的旋转不变性，我们需要做一次旋转，使相机的Z轴和锥体的轴心重合。如下图中（b）所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 3][]

## 四、** 在锥体内进行点云实例分割** ##

实例分割使用PointNet。一个锥体内只提取一个物体，因为这个锥体是图像中的边界框产生的，一个边界框内也只有一个完整物体。

在生成锥体的时候提到了旋转不变性，此处完成分割这一步之后，还需要考虑平移不变性，因为点云分割之后，分割的物体的原点和相机的原点必不重合，而我们处理的对象是点云，所以应该把原点平移到物体中去，如下图中（c）所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 4][]

## 五、**生成精确边界框** ##

生成精确边界框的网络结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 5][]

从这个结构里可以看出，在生成边界框之前，需要经过一个T-Net，这个东西的作用是生成一个平移量，之所以要做这一步，是因为在上一步得到的物体中心并不完全准确，所以为了更精确地估计边界框，在此处对物体的质心做进一步的调整，如下图中（d）所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 6][]

下面就是边界框回归了，对一个边界框来讲，一共有七个参数，包括：

![20210722222358654.png][]

最后总的残差就是以上目标检测、T-Net和边界框残差之和，可以据此构建损失函数。

![20210722222426910.png][]

## 六、PointNet关键点 ##

### 6.1 F-PointNet使用2D RGB图像 ###

原因是

1.  当时基于纯3D点云数据的3D目标检测对小目标检测效果不佳。所以F-PointNet先基于2D RGB做2D的目标检测来定位目标，再基于2d目标检测结果用其对应的点云数据视锥进行bbox回归的方法来实现3D目标检测。
2.  使用纯3D的点云数据，计算量也会特别大，效率也是这个方法的优点之一。

使用成熟的2D CNN目标检测器（Mask RCNN）生成2D检测框，并输出one-hot 分类向量（即基于2D RGB图像的分类）。

### 6.2 **锥体**框生成 ###

2D检测框结合深度信息，找到最近和最远的包含检测框的平面来定义3D视锥区域frustum proposal。然后在该frustum proposal里收集所有的3D点来组成视锥点云（frustum point cloud）。

## 七、实验结果  ##

与其他模型对比：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 7][]

模型效果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 8][]

## 八、优点 ##

（1）**舍弃了global fusion**，提高了检测效率；并且通过2D detector和3D Instance Segmentation PointNet对3D proposal实现了逐维(2D-3D)的精准定位，大大**缩短**了对点云的**搜索时间**。下图是通过3d instance segmentation将搜索范围从9m~55m缩减到12m~16m。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 9][]

（2）相比于在**BEV**(Bird's Eye view)中进行3D detection，F-PointNet直接处理raw point cloud，没有任何维度的**信息损失**，使用PointNet能够学习更全面的**空间几何信息**，特别是在**小物体**的检测上有很好的表现。下图是来自**[Hao Su][]** 2018年初的**[课程][Link 1]**，现在的**[KITTI][]**榜有细微的变动。

（3）利用成熟的2D detector对proposal进行分类（**one-hot class vector**，打标签），起到了一定的**指导作用**，能够大大降低PointNet对三维空间物体的**学习难度**。

## 九、模型代码 ##

开源代码：[GitHub - charlesq34/frustum-pointnets: Frustum PointNets for 3D Object Detection from RGB-D Data][https_github.com_charlesq34_frustum-pointnets]

作者代码的运行环境：

**系统**：Ubuntu 14.04 或 Ubuntu 16.04

**深度框架**：TensorFlow1.2（GPU 版本）或 TensorFlow1.4（GPU 版本）

**其他依赖库**：cv2、mayavi等。

代码支持 Frustum PointNets 模型的训练和测试，以及基于预先计算的 2D 检测器输出（kitti/rgb\_detections）评估 3D 目标检测结果。

参考：[F-PointNet: 以二维图像驱动三维点云中的物体检测\_理想三旬-CSDN博客][F-PointNet_ _-CSDN]

[自动驾驶|3D目标检测：F-PointNet(一) - 知乎][3D_F-PointNet_ -]、[论文概述F-PointNet (2018) | 码农家园][F-PointNet _2018_ _]

--------------------

![20210722182045513.png][]

论文地址：[Frustum PointNets for 3D Object Detection from RGB-D Data][]

开源代码：[https://github.com/charlesq34/frustum-pointnets][https_github.com_charlesq34_frustum-pointnets]

本文只提供参考学习，谢谢。

[Frustum PointNets for 3D Object Detection from RGB-D Data]: https://arxiv.org/abs/1711.08488
[https_github.com_charlesq34_frustum-pointnets]: https://github.com/charlesq34/frustum-pointnets
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70]: /images/20220829/8e4cc0b7bea6439e9be5ed8cb68137d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 1]: /images/20220829/79d891769a9142ea8419db01a63e837c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 2]: /images/20220829/5089ee43ba6a428994cf0c4582835640.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 3]: /images/20220829/9be968cbebbf440e8a7068729d5196a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 4]: /images/20220829/2f51feb788894944bb254101a007afba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 5]: /images/20220829/0781e15053c44bf393e004b6606e8eee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 6]: /images/20220829/a88f0216bcda4c8ab79d441e5e7db233.png
[20210722222358654.png]: /images/20220829/507301496bd94bafbee9d4dd167b41f2.png
[20210722222426910.png]: /images/20220829/6e8af5e8bd114f7abb678a44a8a79d73.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70]: /images/20220829/2bb2f1c268374681b7f534e2abcd77ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 7]: /images/20220829/89b787f4e0e44da6982fdfce02f55e3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 8]: /images/20220829/1050d7159e3645d2aaedd2e4d2d9ef91.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 9]: /images/20220829/a2e07a53a3124029bf776fc89b2c428a.png
[Hao Su]: https://link.zhihu.com/?target=http%3A//cseweb.ucsd.edu/~haosu/
[Link 1]: https://link.zhihu.com/?target=https%3A//cse291-i.github.io/schedule.html
[KITTI]: https://link.zhihu.com/?target=http%3A//www.cvlibs.net/datasets/kitti/eval_object.php%3Fobj_benchmark%3D3d
[F-PointNet_ _-CSDN]: https://blog.csdn.net/congxing9333/article/details/109710411
[3D_F-PointNet_ -]: https://zhuanlan.zhihu.com/p/87283846
[F-PointNet _2018_ _]: https://www.codenong.com/cs105519981/
[20210722182045513.png]: /images/20220829/148dedbb635440e78b3ac49cf15e2c09.png