SVO深度解析(三)之深度滤波(建图部分)

刺骨的言语ヽ痛彻心扉 2022-12-20 13:59 3阅读 0赞

**目录**

3.1深度滤波简介

3.2 深度滤波分步骤详细介绍

3.2.1 计算极线

3.2.2 计算仿射矩阵

3.2.3 搜索匹配

3.2.4三角测量恢复深度以及匹配不确定性的计算

3.2.5 深度融合

3.2.6 平滑去噪

--------------------

# 基本情况 #

题目：REMODE: Probabilistic, Monocular Dense Reconstruction in Real Time

出处：2014 ICRA

实验室主页：[http://rpg.ifi.uzh.ch/research\_dense.html][http_rpg.ifi.uzh.ch_research_dense.html]

开源代码：[https://github.com/uzh-rpg/rpg\_open\_remode][https_github.com_uzh-rpg_rpg_open_remode]

视频演示：[https://www.youtube.com/watch?v=QTKd5UWCG0Q&feature=youtu.be][https_www.youtube.com_watch_v_QTKd5UWCG0Q_feature_youtu.be] 或者 [https://www.bilibili.com/video/BV1Ty4y167Dk/][https_www.bilibili.com_video_BV1Ty4y167Dk]

# **3.1深度滤波简介** #

SVO在建图部分采用的是**深度滤波器**，论文中并没有详细的介绍。深度滤波在SVO作者写的另一篇叫REMODE\[1\]的文章里，介绍了深度滤波的每一个步骤。REMODE\[1\]这篇文章讲的是利用svo提供的位姿，进行三维重建，属于渐进式三维重建。其过程和SVO深度滤波一样，只不过在REMODE里，实现用GPU进行了加速处理。

SVO深度滤波是利用**一系列**的**前后**帧，完成对指定帧上像素深度的求取。用一些列帧，来求取指定帧上每个像素深度的原因是，在计算像素点深度时，单次匹配恢复的深度有误差，需要依靠多次深度测量值的融合，来恢复误差较小的深度值。SVO把像素的深度误差模型看做概率分布，有**两个属性**，一个是深度值服从高斯分布，另一个是局外点的概率服从Beta分布，同时融合这两种属性。

SVO深度滤波对深度进行渐进式融合（动态融合）。其过程可表述如下：

关键帧上选取像素点(SVO是fast角点，REMODE是梯度点)，作为种子（**seed，种子就是深度未收敛的像素点**），每来一帧图像，融合更新一下之前提取的种子，直至种子的深度收敛，这是个动态过程，类似于滤波，大概这就是叫深度滤波的原因吧。如果新的一帧是关键帧，那么再次提取新的像素点作为种子。

就这样旧的种子不断收敛，新的种子不断增加，不断进行下去。

下面来探讨一下深度滤波的整个过程。

# 3.2 深度滤波分步骤详细介绍 #

对于一个种子，其每一次深度滤波（也叫深度融合，利用新的一帧来更新种子的深度值），都行需要经以下过程。

![Center][]

## 3.2.1 计算极线 ##

关于极线的基本知识，本文不做介绍。对于每个种子，在当前帧计算极线的条件是：

<1>已知种子所在帧与当前帧的相对位姿

<2>已知种子的初始深度

**条件<1>的作用是用来做匹配，由VO提供。**

**条件<2>的作用是缩小找匹配的搜索量。**当种子新提取时，这个时候还没有深度值，用场景平均深度初始。

本文用z表示种子的深度，sigma2表示深度方差，sigma表示深度标准差。

极线的计算方法如下：

step1：

在深度延长线上，构造两个三维点P1，P2，这两个三维点来源同一个像素，唯一的不同就是深度，

分别为 P1(x,y，z- n\*sigma)，P2(x,y，z+ n\*sigma)，这里n可以调节，一般选择n=1,2,3（3sigma原则）。

Step2：

将P1，P2利用帧间位姿，投影至当前帧，投影点为u1，u2，连接u1，u2就是我们所要计算的极线。

SVO工程里，实现在Matcher.cpp里的findEpipolarMatchDirect()函数里。

![Center 1][]

REMODE工程里，实现在epipolar.cpp seedEpipolarMatchKernel()函数里。

![Center 2][]

## 3.2.2 计算仿射矩阵 ##

**为什么要计算仿射矩阵？**

我们知道，同一张图像在经过旋转平移后，同一个场景在图像上的成像位置就发生了变换。

在像素做匹配时，我们需要用像素周围的信息（一般是矩形窗口）来描述本像素的特征。

设想一下，如果帧间图像发生了旋转，我们还用同样的窗口（当前帧的窗口坐标和种子所在帧窗口坐标一样）

来描述搜索点，是不是不太合适？

![Center 3][]

如上图，描述p的窗口w1在后帧上投影点为p’,我们在匹配p和p’时，**是用蓝色窗口来描述p’呢，还是用红色窗口**？

答案肯定是红色窗口，那既然是红窗口，红色窗口怎么计算呢？

这就会用到仿射矩阵，SVO仿射矩阵是这样的计算的。

**计算窗口的思路**是先利用三点法计算出tk和tn两时刻图像的仿射变换矩阵，

然后再把窗口w1里的像素坐标逐一映射到图像tn里，这样映射的所有坐标就组成了窗口w2。

实现代码

![Center 4][]

## **3.2.3 搜索匹配** ##

跟踪部分的匹配，是靠特征对齐完成的，不需要极线搜索，这是因为在深度和位姿都比较准确的情况下，

用特征对齐可以完成匹配。

**但是，深度估计却不能这样干，它需要极线搜索，因为深度未知或者深度不确定性太大。**

SVO选用ZMSSD，通过8\*8矩形patch来描述像素，用于计算种子和当前帧搜索点的相似性。

实际上，在svo搜索匹配过程中，当计算的极线小于两个像素时，直接采用图像对齐，

因为这个时候深度不确定较小（可以通过极线的计算方式想一下为什么）。

否则，沿极线以为**一个像素为****步进单位**搜索匹配。代码在findEpipolarMatchDirect（）里，

![Center 5][]

## 3.2.4三角测量恢复深度以及匹配不确定性的计算 ##

经过搜索匹配后，能够得到种子p以及种子p在当前帧上的匹配像素点p’，

通过三角测量，就可以恢复种字p的深度。

**原理可以参考** http://blog.csdn.net/zhubaohua\_bupt/article/details/74926111

实现部分：

![Center 6][]

多次三角测量的深度是为了，融合得到种子较准确的深。那么既然有融合，不同测量值肯定有不同权重。

不确定性就是用来计算权重的。在SVO中，深度的不确定被认为是，

在匹配时，误匹配一个像素所带来的最大深度误差。

![Center 7][]

其计算很简单，可以直接看论文。

## 3.2.5 深度融合 ##

SVO的融合是不断利用最新时刻深度的观测值，来融合上一时刻深度最优值，直至深度收敛。如下图

![Center 8][]

深度数据具体融合过程的过程如下，

![Center 9][]![Center 10][]

![Center 11][]

## 3.2.6 平滑去噪 ##

这一步在SVO里没有，在REMODE里，作者加上这一步骤，对深度图有不错的去噪平滑效果，如下图。

![Center 12][]

这个就不细说了，因为这一步骤本身与SVO无关，有兴趣的话可以看一下论文\[1\],作者通过构造一个能量函数，

然后迭代优化能量函数，当能量函数最小时，就完成平滑去噪。

至此，我们探讨了SVO整个深度滤波。

REMODE论文：

\[1\] MatiaPizzoli,Christian Forster, and Davide Scaramuzza. REMODE: Probabilistic,monocular densereconstruction in real time. In International Conference onRobotics andAutomation (ICRA), pages 2609–2616, Hong Kong,China, June 2014.

[http_rpg.ifi.uzh.ch_research_dense.html]: http://rpg.ifi.uzh.ch/research_dense.html
[https_github.com_uzh-rpg_rpg_open_remode]: https://github.com/uzh-rpg/rpg_open_remode
[https_www.youtube.com_watch_v_QTKd5UWCG0Q_feature_youtu.be]: https://www.youtube.com/watch?v=QTKd5UWCG0Q&feature=youtu.be
[https_www.bilibili.com_video_BV1Ty4y167Dk]: https://www.bilibili.com/video/BV1Ty4y167Dk/
[Center]: /images/20221120/ee7b0ae25af14a129488fe101c4d55c7.png
[Center 1]: /images/20221120/4fb27b1d2135408ca324e3bd9b80bf93.png
[Center 2]: /images/20221120/100d3974cff84a17be637e53eed46b4a.png
[Center 3]: /images/20221120/cb5a864f1ea3439a93d358af1580b7bd.png
[Center 4]: /images/20221120/1233bed415644655ac1a40c94c7bef96.png
[Center 5]: /images/20221120/4cc88bfaa26c4d2ba26dc329b09885f5.png
[Center 6]: /images/20221120/269bff6585b2435c941d5e249667df6f.png
[Center 7]: /images/20221120/2ef6e4a281bc48adb18d82bfb010641a.png
[Center 8]: /images/20221120/f577efc6a0754a179641e38b53ad0bcb.png
[Center 9]: https://img-blog.csdn.net/20170710164942106?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvemh1YmFvaHVhX2J1cHQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 10]: /images/20221120/08a7255fece34c11ac28920359e37a48.png
[Center 11]: /images/20221120/954a1abcb3c44761a354c5b9abdf982a.png
[Center 12]: /images/20221120/7a4efe7665b741db9b21cb25ac8ce232.png