深度图补全-depth inpainting

布满荆棘的人生 2022-11-21 11:21 284阅读 0赞

# **1. [Deep Depth Completion of a single RGB-D Image][]** #

状态：开源，pytorch，matlab，C++

下载地址: [https://github.com/yindaz/DeepCompletionRelease][https_github.com_yindaz_DeepCompletionRelease]

思路：目前效果最好(截止至2019. 06)，耗时长。使用rgb image作为输入预测物体表面稠密法线及遮挡区域的边缘信息。使用这些预测结果与原始的depth图像结合，通过全局优化，对原始图像中像素缺失问题进行解决。由于现有数据集中ground truth的depth图像也存在孔洞现象，为了得到ground truth，其使用数据集进行重建，渲染，然后得到获取补全后的depth图像作为真值。

# **2. [Self-Supervised Sparse-to-Dense: Self-Supervised Depth Completion from LiDAR and Monocular Camera][Self-Supervised Sparse-to-Dense_ Self-Supervised Depth Completion from LiDAR and Monocular Camera]** #

状态：开源

下载地址: [https://github.com/fangchangma/self-supervised-depth-completion][https_github.com_fangchangma_self-supervised-depth-completion]

思路：网络输入rgb1 & depth1 map获取pred depth map。为了进行孔洞的填充，随机选取rgb1附近的rgb2，使用pnp & RANSAC获取相对位姿，并根据pred depth map & rgb2进行重投影获取warped rgb1。对于存在深度值的区域计算depth与pred depth的L1或L2损失，对于孔洞区域计算冲投影的光度误差，进行优化。

# **3. [DfuseNet: Deep Fusion of RGB and Sparse Depth Information for Image Guided Dense Depth Completion][DfuseNet_ Deep Fusion of RGB and Sparse Depth Information for Image Guided Dense Depth Completion]** #

状态：开源

下载地址: [https://github.com/ShreyasSkandanS/DFuseNet][https_github.com_ShreyasSkandanS_DFuseNet]

思路：网络模型中主要包括另个独立的分支分别对depth & color map记性处理，学习局部到全局的纹理信息。在编码过程中使用空间金字塔池化块（SPP BLOCK）学习由粗到细的特征表示，连接两个分支获取的特征信息，送入解码网络获取最终的pred depth image。

# **4. DepthComp: Real-time Depth Image Completion Based on Prior Semantic Scene Segmentation** #

状态：开源，C++

下载地址: [https://github.com/atapour/depthComp][https_github.com_atapour_depthComp]

思路：将孔洞区域分为12中情况，使用**semantic map**指导**孔洞的填充**

# **5. [In Defense of Classical Image Processing: Fast Depth Completion on the CPU][In Defense of Classical Image Processing_ Fast Depth Completion on the CPU]** #

状态：开源，python

下载地址: [https://github.com/kujason/ip\_basic][https_github.com_kujason_ip_basic]

思路：使用传统的图像处理方法对kitti 激光雷达数据进行填充。使不同形状和大小的核对图像进行膨胀处理，同时对获取的结果进行模糊处理，减小噪声的影响。

# **6. High-Quality 3D Reconstruction With Depth Super-Resolution and Completion** #

**出处：**Li, J., Gao, W., & Wu, Y. (2019). High-Quality 3D Reconstruction With Depth Super-Resolution and Completion. *IEEE Access*, *7*, 19370-19381.

状态：未开源

思路：在Deep Depth Completion of a single RGB-D Image的基础上获取超分辨率的图像进行3D重建。使用DlapSRN 将低分辨率depth map进行处理，获取高分辨率depth map。使用BTBNet对高分辨率的color map进行处理获取模糊度，同时使用两个FCN network获取color map对应的normal & boundary image。进行优化获取补全的depth map。

# **7. Generative adversarial framework for depth filling via Wasserstein metric, cosine transform and domain transfer** #

状态：未开源

思路：由于缺乏depth真值，该论文先训练孔洞生成网络，对虚拟数据集depth处理，获取有孔洞的数据，为了提高生成depth清晰度，网络损失添加了离散预先变换损失。最后为了适应真实场景图像，网络添加domain transfer loss使得模型既适应虚拟场景，同时适应真实场景。

# **8. GeoNet: Geometric Neural Network for Joint Depth and Surface Normal Estimation** #

状态：未开源

思路：分别使用Depth FCN & Normal对color map进行处理获取对应的depth & normal初值。并将获取的depth & normal初值分别送入Depth-to-Normal和Normal-to-Depth network获取refined normal & refined depth。

# **9. Kinect Depth Recovery via the Cooperative Profit Random Forest Algorithm** #

状态：未开源

思路：主要使用Cooperative Profit Random Forest训练模型，输入rgb image和depth image，不断迭代，直至空洞完全消失为止。

# **10. ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems** #

状态：未开源

思路：主要针对active stereo system使用自监督学习的方式，产生1/30亚像素精度的depth数据，同时克服过度平滑问题，能够有效处理遮挡且保留了边缘。该文提出的**重构损失**对噪声，无纹理区域及光照更加鲁棒，其主要使用基于窗口的**自适应权重**进行优化，该方法能够很好的**保持边缘同时**平滑**损失函数**。其网络主要基于StereoNet的网络结构分两个阶段进行训练：a. 进行低分辨率的训练获取视差；b. 进行双线性上采样，并输入残差网络获取最终的视差图。

# **11. Kinect Depth Map Inpainting using a Mutil-Scale Deep Convolutional Neural Network** #

状态：未开源

思路：a. 进行depth & color map的对齐处理，同时对depth map进行JBF滤波处理；b. 将depth map，color map， fcrn result送入多尺度网络进行学习获取pred depth map，进行depth map补全。首先，输入depth map，color map， fcrn result到coarse-scale network获取coarse result；其次，输入coarse result和color map到fine-scale network，获取 pred depth map；c. 将pred depth map和原始depth map融合，并进行中值滤波，获取最终结果。

[Deep Depth Completion of a single RGB-D Image]: https://blog.csdn.net/shyjhyp11/article/details/109444991
[https_github.com_yindaz_DeepCompletionRelease]: https://github.com/yindaz/DeepCompletionRelease
[Self-Supervised Sparse-to-Dense_ Self-Supervised Depth Completion from LiDAR and Monocular Camera]: https://blog.csdn.net/shyjhyp11/article/details/109450458
[https_github.com_fangchangma_self-supervised-depth-completion]: https://github.com/fangchangma/self-supervised-depth-completion
[DfuseNet_ Deep Fusion of RGB and Sparse Depth Information for Image Guided Dense Depth Completion]: https://blog.csdn.net/shyjhyp11/article/details/108420508
[https_github.com_ShreyasSkandanS_DFuseNet]: https://github.com/ShreyasSkandanS/DFuseNet
[https_github.com_atapour_depthComp]: https://github.com/atapour/depthComp
[In Defense of Classical Image Processing_ Fast Depth Completion on the CPU]: https://blog.csdn.net/shyjhyp11/article/details/109444258
[https_github.com_kujason_ip_basic]: https://github.com/kujason/ip_basic