论文笔记_S2D.44_自监督的从稀疏到稠密：用激光雷达和单目摄像机进行自监督深度补全

本是古典何须时尚 2022-11-21 15:15 168阅读 0赞

# 基本情况 #

*  题目：**Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera**
 *  出处：Ma, F., Cavalheiro, G. V., & Karaman, S. (2019, May). Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera. In *2019 International Conference on Robotics and Automation (ICRA)* (pp. 3288-3295). IEEE.
 *  开源代码：[https://github.com/fangchangma/self-supervised-depth-completion][https_github.com_fangchangma_self-supervised-depth-completion]

# 摘要 #

深度补全，即从稀疏深度测量中估计出密集深度图像的技术，在机器人技术和自动驾驶中有多种应用。然而，深度补全面临着3个主要的挑战:

*  稀疏深度输入中的**不规则间隔模式**，
 *  处理**多传感器模式**(当有彩色图像时)的困难，
 *  以及缺乏密集的、像素级的**真值深度标签**用于训练。

在这项工作中，我们应对所有这些挑战。

*  具体来说，我们开发了一个**深度回归模型**来学习从**稀疏深度**(和**彩色图像**)输入到稠密深度预测的直接映射。
 *  我们还提出了一个**自监督的训练框架**，它只需要彩色和稀**疏的深度图像序列**，而不需要密集的深度标签。

我们的实验证明，自监督框架的性能优于许多现有的用半密集注释训练的解决方案。  
此外，通过半密集注释的训练，我们的网络获得了最先进的精确度，在提交时的KITTI深度完成基准测试中是获胜的方法。

## 思想： ##

网络输入rgb1 & depth1 map获取pred depth map。为了进行孔洞的填充，随机选取rgb1附近的rgb2，使用pnp & RANSAC获取相对位姿，并根据pred depth map & rgb2进行重投影获取warped rgb1。对于存在深度值的区域计算depth与pred depth的L1或L2损失，对于孔洞区域计算冲投影的光度误差，进行优化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

图1. 我们开发一个深度补全的深度回归网络: 给定(a)稀疏激光雷达扫描，(b)一个可能的彩色图像，估计(d)一个密集的深度图像。(d)和(e)所示的半密集深度标签通常很难获得，因此我们开发了一个高度可扩展的、自我监督的框架来训练这类网络。这里使用彩色图像方便观看效果。

# 网络结构 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

# 自监督训练网络结构 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

# 试验结果比较 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

[https_github.com_fangchangma_self-supervised-depth-completion]: https://github.com/fangchangma/self-supervised-depth-completion
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221120/5dfb89637fa1407e8fb450325607e006.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221120/0f95775999964842875a792919d82a90.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20221120/a00ebbd173ea43ceaba2005bae54009b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: /images/20221120/5078cfaa87874b778da9189409df2083.png