论文笔记_S2D.05-2012-ECCV-从立体图像中提取与场景一致的三维对象和深度

素颜马尾好姑娘i 2022-11-27 00:51 173阅读 0赞

# Extracting 3D Scene-consistent Object Proposals and Depth from Stereo Images #

*  从立体图像中提取3D场景一致的对象提议和深度
 *  Michael Bleyer1, Christoph Rhemann1;2, and Carsten Rother2
 *  1 Vienna University of Technology, Vienna, Austria
 *  2 Microsoft Research Cambridge, Cambridge, UK

## 摘要 ##

这项工作结合了计算机视觉研究的两个活跃领域：从单个图像中进行**无监督的对象提取**，以及从立体图像对中进行**深度估计**。无监督对象提取的最新成功趋势是利用所谓的“ **3D场景一致性**”，即强制对象遵守3D场景的基本**物理约束**，例如3D空间的占用和对象的重力。我们的主要贡献是**将3D场景一致性的概念引入立体匹配**中，我们证明了该概念对两项任务，对象提取和深度估计均有益。特别是，我们证明了我们的方法能够，通过改变对象先验的数量，创建一个大的3D场景一致性对象提议集合。我们通过实验表明，与使用立体或单眼图像的最新技术相比，我们的结果与真值更加接近。设想我们的方法将为未来的**立体图像对象识别**系统构建前端。

## 介绍 ##

在过去的几年中，可以捕获3D信息的相机的使用已大大增加，并在计算机视觉，机器人技术，人机交互（例如\[2\]和其他领域。在这项工作中，我们假设我们从**被动式立体相机**（例如商用FujiFilm FinePix 3D或新型LG Optimus手机）拍摄的单张照片作为输入。这项工作的目的是**自动提取场景深度**以及**场景中存在的所有对象**。然后可以将这样的输出馈送到其他系统，例如用于对象识别或增强现实，如稍后所述。此外，我们不假定图像是在特定环境（例如室内或室外）中拍摄的。我们唯一的假设是场景是由对象组成的。

解决类似问题的工作量很大。如果对象类是已知的，例如行人或汽车，已经建立了令人印象深刻的检测系统。如果已知对象（或对象类别）的（近似）**2D或3D形状的先验知识**，则此类系统的性能会进一步提高。对于从立体图像进行类独立对象检测的任务，我们仅了解一些工作。最接近我们的方法是对象立体化\[1\]，稍后我们将对其进行详细讨论。物体立体化共同估计深度和物体，据我们所知，这是唯一在两个任务之间显示出协同效应的作品。在这种情况下，Lubor等文献\[3\]显示了**深度估计**和**对象类提取**之间的协同作用，但是这依赖于**先验定义的对象类**。不同的研究方向是分别解决这两个任务，即根据预先计算的深度图像提取对象。例如在\[4\]中，开发了一种用于在立体图像中进行**交互式前景提取**的系统。在机器人技术方面，Borkman和Kragic \[5，6\]最近提出了一种通过**结合颜色**和**立体**提示来自动提取前景的系统。与我们的工作一样，他们执行一定数量的**3D推理**，例如通过了解平面**3D支撑表面**的知识，以及物体的尺寸约为3D。尽管这些系统是迈向3D推理的重要一步，但我们认为它们尚未充分发挥其潜力。我们工作的主要灵感来自从**单个图像中提取对象**的最新进展，例如\[ 7，9\] 。研究表明，当推理不是以2D而是以3D进行时，即对象生活在3D空间中并且必须服从隐式的物理约束和作用力时，结果将得到显着改善。“**3D场景一致性**”（3D scene consistency），我们稍后将对其进行正式定义。尽管利用“3D场景一致性”概念从单个图像提取对象的工作量很大，但有关立体图像的工作很少，例如\[5，6，1\]。这是令人惊讶的，因为立体图像提供了近似的深度，因此是理想的输入。

在下文中，我们将详细审查与对象立体化（object stereo）\[1\]的关系，该关系最接近我们的工作。请注意，\[1\]中的重点是表明可以通过引入**对象**的概念来改善深度估计。相反，这项工作的主要重点是对象的提取。在这种关注下，人们不得不问一个问题：检索到的对象将用于什么目的？我们受到\[10\]的工作的启发，这是在过去三年中赢得PASCAL识别和细分挑战的系统的前端，另请参见\[11，8\]。这项工作以及相关工作\[12\]提出了以下3个步骤的流程（pipeline）：

*  1）生成大量的对象提议(a large pool of object proposals)；
 *  2）根据学习的客观评分对提案进行排名；
 *  3）对排名最高的对象提案进行对象识别。

我们的想法是遵循这一**研究路线**，但要建立其流程的新步骤 1），该步骤将**立体图像**而不是单个图像作为**输入**。考虑图 1.给定立体图像（a）的**目标是**估计所谓的“场景提案”池(scene proposals)。场景提案由（1）视差图和（2）将每个像素分配给对象的对象图组成图1（c）和（d）可视化了两个示例对象图。（b）中显示了（c）中对象图的相应深度图（为了显示深度图，我们从一个新颖的视点渲染了场景，并且恢复的对象用3D边界框标记）。与\[10\]中一样，我们没有对最佳解决方案做出艰难的决定，但我们返回了一个场景建议池，然后可以将其用于其他任务实际上，我们对从场景提案中提取的所有对象，应用了\[10\]的自动排名技术（第2步），并且发现我们的性能，在分割精度上大大优于所有使用单目或立体图像的技术。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

让我们回到与对象立体(object stereo)\[1\]的比较。 \[1\]的结果在图1（f）示出。注意\[1\]没有引入**计算对象映射池（**computing a pool of object maps**）**的概念。我们工作的主要区别在于，\[1\]中的对象是由平坦的2D平面近似的，没有任何3D范围。相反，我们通过使用**封闭的3D边界框**为对象提供第3维。这样，我们可以**引入和利用物理上的约束**，这在\[1\]的平面“billboard“世界中是不可能的。注意，这与\[7\]讨论的2D图像的情况类似：将典型的基于表面的表示更改为3D是很重要的。图1（b）展示了我们为（c）中的对象图恢复的3D边界框。让我们更详细地讨论特定的对象。在图1（f；左箭头）中无法用扁平的2D平面表示，因此\[1\]与我们的结果（c，d）相反，无法将其检测为一个物体。关于在3D空间中占用的原因，即边界框在3D空间中不应（大面积的）重叠请考虑图1（f，右箭头），其中对象立体将罐的顶部和底部分配给同一对象，而中间部分分配给了另一个对象，这种体积相交在物理上是非常不可能的。 （c，d）在身体上是合理的。我们添加的另一个物理约束是重力，它不能通过基于表面的表示来实现\[1\]。

参考：

1. Bleyer, M., Rother, C., Kohli, P., Scharstein, D., Sinha, S.: Object stereo - joint stereo matching and object segmentation. (In: CVPR ’11)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221124/ed8bc4861bbb4b479790e3b938ba2c3b.png