立体匹配算法-初步了解

淡淡的烟草味﹌ 2022-09-04 00:49 182阅读 0赞

双目立体匹配一直是双目视觉的研究热点，双目相机拍摄同一场景的左、右两幅视点图像，运用立体匹配匹配算法获取视差图，进而获取深度图。而深度图的应用范围非常广泛，由于其能够记录场景中物体距离摄像机的距离，可以用以测量、三维重建、以及虚拟视点的合成等。

主要分四个部分讲解：

*  **摄像机标定（包括内参和外参）**
 *  **双目图像的校正（包括畸变校正和立体校正）**
 *  **立体匹配算法获取视差图，以及深度图**
 *  **利用视差图，或者深度图进行虚拟视点的合成**

**来源：**[https://www.cnblogs.com/riddick/p/8486223.html][https_www.cnblogs.com_riddick_p_8486223.html]

\-----------------------------------------------------------------------------------------------------

**KITTI数据集概述**

KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断。整个数据集由389对立体图像和光流图，39.2 km视觉测距序列以及超过200k 3D标注物体的图像组成\[1\] ，以10Hz的频率采样及同步。总体上看，原始数据集被分类为’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。对于3D物体检测，label细分为car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc组成。

KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne 64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。

原文链接：https://blog.csdn.net/Solomon1558/article/details/70173223

\-----------------------------------------------------------------------------------------------------

立体匹配也称 视差估计、 双目深度估计

*  **输入**：一对在同一时刻捕捉的，经过 极线校正 的左右图像 `Il`和 `Ir`
 *  **输出**：参考图像(一般选为左图)每个像素对应的视差值对应的视差图`d`
 *  根据公式 `z = b*f / d`可获得深度图
    
     *  `b`: 两相机光心距离
     *  `f`: 相机光心到成像平面的焦距
     *  `d`: 两相机的视差

**来源：**[https://zhuanlan.zhihu.com/p/339950957][https_zhuanlan.zhihu.com_p_339950957]

\-----------------------------------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o_size_16_color_FFFFFF_t_70][]

![20210809152309842.png][]

![f3f10a572a4f47411d5ab9740769bb70.png][]

立体匹配可划分为四个步骤：**匹配代价计算、代价聚合、视差计算和视差优化**

匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。

每个像素在搜索同名点之前，往往会指定一个视差搜索范围D（Dmin ~ Dmax）,视差搜索时将范围限定在D内，用一个大小为W×H×D（W为影像宽度，H为影像高度）的三维矩阵C来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵C通常称为DSI（Disparity Space Image）。

匹配代价计算的方法有很多，传统的摄影测量中，使用灰度绝对值差（AD，Absolute Differences）1、灰度绝对值差之和（SAD，Sum of Absolute Differences）、归一化相关系数（NCC，Normalized Cross-correlation）等方法来计算两个像素的匹配代价；计算机视觉中，多使用互信息（MI，Mutual Information）法2 3、Census变换（CT，Census Transform）法4 5、Rank变换（RT, Rank Transform）法6 7、BT（Birchfield and Tomasi）法8 等作为匹配代价的计算方法。不同的代价计算算法都有各自的特点，对各类数据的表现也不尽相同，选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤。

代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑**局部信息**，通过**两个像素邻域内一定大小的窗口内的像素信息来计算代价值**，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映像素之间的相关性，直接表现就是真实同名点的代价值非最小。

视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值，通常使用赢家通吃算法（WTA，Winner-Takes-All）来计算，视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值，通常使用赢家通吃算法（WTA，Winner-Takes-All）来计算，

视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误视差、适当平滑以及子像素精度优化等步骤，一般采用左右一致性检查（Left-Right Check）算法剔除因为遮挡和噪声而导致的错误视差；采用剔除小连通区域算法来剔除孤立异常点；采用中值滤波（Median Filter）、双边滤波（Bilateral Filter）等平滑算法对视差图进行平滑；另外还有一些有效提高视差图质量的方法如鲁棒平面拟合（Robust Plane Fitting）、亮度一致性约束（Intensity Consistent）、局部一致性约束（Locally Consistent）等也常被使用。

**来源：**[https://zhuanlan.zhihu.com/p/161276985][https_zhuanlan.zhihu.com_p_161276985]

[https_www.cnblogs.com_riddick_p_8486223.html]: https://www.cnblogs.com/riddick/p/8486223.html
[https_zhuanlan.zhihu.com_p_339950957]: https://zhuanlan.zhihu.com/p/339950957
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o_size_16_color_FFFFFF_t_70]: /images/20220829/d05d507ee445441989b532186f8dc7be.png
[20210809152309842.png]: /images/20220829/1f21d1bda6894ca89cc34bc69b44f113.png
[f3f10a572a4f47411d5ab9740769bb70.png]: /images/20220829/dcbda747f75b426cbea358b50b25ff90.png
[https_zhuanlan.zhihu.com_p_161276985]: https://zhuanlan.zhihu.com/p/161276985