三维重建_基于图像的三维模型重建_稠密点云重建

布满荆棘的人生 2023-01-15 12:29 170阅读 0赞

**目录**

一、稠密点云的获取方式

二、基础知识

1.极线搜索：

2.光度一致性假设 photo-consistency

3.可视性约束

三、多视角立体技术

1.基于体素的方法

2. 基于空间patch扩散的方法

3.基于深度图融合的方法\[4\]

参考

--------------------

# 一、稠密点云的获取方式 #

*  Lidar扫描：精度高(毫米级别)，效率高，有效范围几米到几百米，价格昂贵；高反光，玻璃表面，吸收表面

![b8ac4beedd8d09d95acf62db31d5acc2.png][]

*  Kinect：使用方便、价格适中、速度较快；精度较低、有效距离短

![8515a8d4dceffa54784613306f37457d.png][]

*  结构光：高精度、高效率、近距离数据获取

![6e1e858b46da08cd42969a8766e417a5.png][]

*  基于图像的方法：multi-view stereo，无源被动式、成本低、图像来源广、计算速度慢、精度较高

![3df55a640ede6e88eaa91beea6652d56.png][]

# 二、基础知识 #

## 1.极线搜索： ##

参考图像中的一点对应另一幅图像中的一条线段

*  ![20210422171745138.png][]

![b4344c4d5b7d55bc4dbf176fcda15108.png][]

## 2.光度一致性假设 photo-consistency ##

*  **同一空间的点**在**不同视角**的投影应当具有**相同的光度**，重建的核心在于恢复空间中具有**光度一致性的点**
 *  朗伯反射假设：

![7a98794c9f76b401095a3d4c352f5d51.png][]

*  常用的计算**区域光度一致性**的度量方式：
    
     *  Sum of Squared Differences (SSD)
     *  Sum of Absolute Differences (SAD)
     *  Normalized Cross Correlation(NCC)
     *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

## 3.可视性约束 ##

*  图像中出现的点不能被遮挡
 *  重建的点前面不能出现点
 *  不能出现在物体内部

![8e808ad3912c07e9cf581cd0b5f9b2e0.png][]

# 三、多视角立体技术 #

## 1.基于体素的方法 ##

*  规则的划分[\[1\]][1]：等价于3D空间Voxel标记的问题

![62346e846ff358b79ea9dd653f992641.png][]

*  不规则的划分[\[2\]][2]：等价于3D空间四面体标记的问题

![955124de54af3702139162e5e706a4ae.png][]

*  图像上的约束——剪影约束

![9467def34a6b6680a0e2e71bc395de45.png][]

*  图像上的约束——光度一致性约束

![b03da0a4a1695b2accfa11b00a4897cb.png][]

*  常用的优化模型[\[3\]][3]——典型的MRF离散优化问题
    
     *  参考图像上每个像素分配一个标签（内部或者外部） ![20210422171915888.png][]
     *  数据项-光度一致性假设
     *  平滑项-邻域假设
     *  可视项-可视性约束

![58729eaf6ea3b37306035ed4ec4a217b.png][]

*  优缺点
    
     *  优点
        
         *  生成规则的点云
         *  便于提取物体的平面
     *  缺点
        
         *  精度受到空间划分分辨率的影响
         *  难以处理精度高、规模大的场景

## 2. 基于空间patch扩散的方法 ##

*  方法
    
     *  假设空间中的3D 矩形patch
     *  通过一定规则的扩张方法，使得patch覆盖物体表面
     *  PMVS [http://www.di.ens.fr/pmvs/][http_www.di.ens.fr_pmvs]

![68b6a577358976724545f14381217fe6.png][]

![98398a36d938be3aa2af5963033e0fa1.png][]

*  流程

![b4efa8ef32601eaf6a4b77d8f6f02dc0.png][]

*  初始3D patch的生成

![6225667eab5dd80465fe5b79ce027200.png][]

*  patch扩张

![a9fcf0b8da01ee744ea11d70b840f74c.png][]

*  patch滤波

![8cf32cf89fe63b097b4c3821e114d9fd.png][]

*  特性

![4f123e255acca0da67bc8085de24d0aa.png][]

![7fc2d52d533f25f7b3a60f0debfe075f.png][]

![999f9cdfd848a6aed0e383828fd49725.png][]

## 3.基于深度图融合的方法[\[4\]][4] ##

*  人的左右眼立体视觉和深度图

![029d14f4158421c4ec583782348e20c6.png][]

*  基本流程
    
     *  1. 为每一幅图像选择邻域图像构成立体图像对
     *  2. 计算每一幅图像的深度图
     *  3. 进行深度图融合
 *  视角选择

![6ade7b24acb8d5438d7f28ca64178501.png][]

*  邻域的选择——全局视角选择
    
     *  1. 图像具有相同的内容、外观和尺度
     *  2.图像具有足够大的时差（宽基线）

![330cc09f8258bda4fcbf3142d97e5b69.png][]

![c86c8546deb62321da6765480b257a27.png][]

*  图像尺度的估计——用于衡量图像的分辨率
    
     *  图像上1个像素的宽度对应的三维空间中的物体尺寸

![a81c3dc049c50306997ddff66b5165c6.png][]

*  相关视角的选择——局部视角选择
    
     *  1.NCC值确定候选视角
     *  2.实现要足够分散（不共面）

![241a1f3a6312708a10b3f83b87aafe75.png][]

![fb69551ebe911c9a87144ee0699ba4d5.png][]

*  区域生长法扩张
    
     *  重建的置信度建立优先级队列
     *  从初始的稀疏特征点开始深度估计
     *  对每个种子点进行非线性深度优化
     *  每次优化完后判断以下两种情况，将邻域像素添加到队列中: 1)邻域没有深度值 2) 当前像素的置信度值高于邻域像素一定范围

![a44b39e9d39fec4425a5fb5ffe54e48b.png][]

*  深度值非线性优化

![e494108679a93843dc5c7574ed31919d.png][]

*  深度值非线性优化

![ddd44ad0448d8d87ebbdffca8764c315.png][]

*  非线性优化的数学模型

![6f9891c184744e09c4c5711246f8ad1c.png][]

*  颜色尺度的优化

![c67ac89145af5b335618a1d6c58fa497.png][]

最小二乘法

![fe89b2a18826e75585dfdae6b3771d90.png][]

*  ![20210422172407105.png][]的优化-梯度下降法

![36816fa001219aa1dc0e26fa0d968cdb.png][]

![e56f24e2ae5cb4231afb6cd29fd0a215.png][]

*  深度值非线性优化——整体框架
    
     *  只进行深度h(s,t)的优化(迭代4次)
     *  While (迭代次数< 20)
     *  每间隔5次迭代，进行 h(s,t), hs, ht的优化,否则仅优化深度
     *  优化完成后跟踪判断每个视角的置信度
     *  如果视角的**置信度**太小，或者超过迭代14次尚未收敛，则从局部视角中移除该视角，并重新进行视角选择
 *  深度估计结果

![4760ad169fb225f8303d544b50b66cc0.png][]

*  深度融合

![7fda6ca8073a814eadb293910f9844a6.png][]

*  深度融合——一致性约束

![fb7344d25624ac43360ab3b1c5d6077b.png][]

![38ffa98b6968ac77aa5f4fa3baafeccd.png][]

*  深度融合——可视性约束

![95982dd8c42d96da5db0c755836a9710.png][]

*  总结：
    
     *  邻域视角选择使得深度估计准确度提升
     *  原理简单，只用到光度一致性约束和可视性约束，适用的场景广泛

![b1daaa67b0081c3e9f901611666debaf.png][]

# 参考 #

1.  [^][Link 1]S.M. Seitz and C.R. Dyer. Photorealistic scene reconstruction by voxel coloring. International Journal of Computer Vision, 35(2):1–23, November 1999.
2.  [^][Link 2]Sinha S N, Mordohai P, Pollefeys M. Multi-View Stereo via Graph Cuts on the Dual of an Adaptive Tetrahedral Mesh\[C\]// IEEE, International Conference on Computer Vision. IEEE, 2007:1-8.
3.  [^][Link 3]V. Kolmogorov and R. Zabih. Multi-camera scene reconstruction via graph cuts. In European Conference on Computer Vision (ECCV), 2002.
4.  [^][Link 4]M. Goesele, N. Snavely, B. Curless, H. Hoppe, and S. Seitz. Multi-view stereo for community photo collections. In IEEE International Conference on Computer Vision (ICCV),2007.

[b8ac4beedd8d09d95acf62db31d5acc2.png]: /images/20221022/b631dc005e3343a79ccc5333ff40921f.png
[8515a8d4dceffa54784613306f37457d.png]: /images/20221022/209cbe4ecad441a9be03b789cd864d56.png
[6e1e858b46da08cd42969a8766e417a5.png]: /images/20221022/802d1737aa19413cb8b446169f44621b.png
[3df55a640ede6e88eaa91beea6652d56.png]: /images/20221022/9cbf9961a55042f8bb2085c1345fc046.png
[20210422171745138.png]: /images/20221022/2567457eced340c0b7b48115c0eabe10.png
[b4344c4d5b7d55bc4dbf176fcda15108.png]: /images/20221022/dc0978cb90f045ecb2d30c86f6171cab.png
[7a98794c9f76b401095a3d4c352f5d51.png]: /images/20221022/51dce1a948e341b9b28de4477e7b1dab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221022/22dea42db00c4b4e8eadf87147f0821e.png
[8e808ad3912c07e9cf581cd0b5f9b2e0.png]: /images/20221022/b47cefca1eac437e93036e0dc71fc86c.png
[1]: https://zhuanlan.zhihu.com/p/131590433#ref_1
[62346e846ff358b79ea9dd653f992641.png]: /images/20221022/fe5c02c416b64ea49cdf7fc1ccab3c36.png
[2]: https://zhuanlan.zhihu.com/p/131590433#ref_2
[955124de54af3702139162e5e706a4ae.png]: /images/20221022/13e06cc3742645eb8609ecc8a48980f8.png
[9467def34a6b6680a0e2e71bc395de45.png]: /images/20221022/921b27b1547748c39852e5ea1f35cec6.png
[b03da0a4a1695b2accfa11b00a4897cb.png]: /images/20221022/2a876bbbeec741de97a6b56fe7fb4bb7.png
[3]: https://zhuanlan.zhihu.com/p/131590433#ref_3
[20210422171915888.png]: /images/20221022/e3303f849b8245c8a6eaa60e8add8a02.png
[58729eaf6ea3b37306035ed4ec4a217b.png]: /images/20221022/f7c854578df14927a4613003339a3a98.png
[http_www.di.ens.fr_pmvs]: https://link.zhihu.com/?target=http%3A//www.di.ens.fr/pmvs/
[68b6a577358976724545f14381217fe6.png]: /images/20221022/8d1c480106b149fab0243d5d45f1c224.png
[98398a36d938be3aa2af5963033e0fa1.png]: /images/20221022/baf5fa2a76b74bfdb34369d5e5ea1974.png
[b4efa8ef32601eaf6a4b77d8f6f02dc0.png]: /images/20221022/f1ed399c50bf4d2bbffeec16724814e2.png
[6225667eab5dd80465fe5b79ce027200.png]: /images/20221022/045060b1b0f94a9b90fbd91932820d09.png
[a9fcf0b8da01ee744ea11d70b840f74c.png]: /images/20221022/c065ccce6c204a73b58a89f251d23f71.png
[8cf32cf89fe63b097b4c3821e114d9fd.png]: /images/20221022/e419d86c6d76472f832cb6faa9904677.png
[4f123e255acca0da67bc8085de24d0aa.png]: /images/20221022/ad364e01b91448a0a153fdd25bd88ec5.png
[7fc2d52d533f25f7b3a60f0debfe075f.png]: /images/20221022/a7ca9c1e13054404be174467d3a51f92.png
[999f9cdfd848a6aed0e383828fd49725.png]: /images/20221022/7c3667454f254cd59679043ea6da91b5.png
[4]: https://zhuanlan.zhihu.com/p/131590433#ref_4
[029d14f4158421c4ec583782348e20c6.png]: /images/20221022/73ca4244e6f746839520515340c8ec41.png
[6ade7b24acb8d5438d7f28ca64178501.png]: /images/20221022/977664b3b37c4b97870e130039e07b01.png
[330cc09f8258bda4fcbf3142d97e5b69.png]: /images/20221022/47cc726ab9f74e9d82012f5826ab8525.png
[c86c8546deb62321da6765480b257a27.png]: /images/20221022/c88ffccd229641e1bf56ba1fcc07fb28.png
[a81c3dc049c50306997ddff66b5165c6.png]: /images/20221022/1406678158534cda9da27e3d74c3578a.png
[241a1f3a6312708a10b3f83b87aafe75.png]: /images/20221022/de7e8e64059a48129dbf1392963e0472.png
[fb69551ebe911c9a87144ee0699ba4d5.png]: /images/20221022/e4300db07ecd4938adf5462836634773.png
[a44b39e9d39fec4425a5fb5ffe54e48b.png]: /images/20221022/1fa94f966fda4c1182ba7f6b6a1de585.png
[e494108679a93843dc5c7574ed31919d.png]: /images/20221022/8794482ad24e4a6d87001437e4c00420.png
[ddd44ad0448d8d87ebbdffca8764c315.png]: /images/20221022/316fb3f9f8ae4ebf839138306532ba10.png
[6f9891c184744e09c4c5711246f8ad1c.png]: /images/20221022/322b9f600ae546a888b4ebb2f7e38f51.png
[c67ac89145af5b335618a1d6c58fa497.png]: /images/20221022/456c54ba565945e181b8ffc1d7e4502d.png
[fe89b2a18826e75585dfdae6b3771d90.png]: /images/20221022/1c3f938f23fa4ec48dfd8fd623cbb4bd.png
[20210422172407105.png]: /images/20221022/1d86ae27b09546ccb9f75d76a80d75ba.png
[36816fa001219aa1dc0e26fa0d968cdb.png]: /images/20221022/c6e8b073ddf74bacadc3de56ee0abecd.png
[e56f24e2ae5cb4231afb6cd29fd0a215.png]: /images/20221022/8094f29a21e845f582ccb940be4b7a0b.png
[4760ad169fb225f8303d544b50b66cc0.png]: /images/20221022/3f2c3884ff3046b4baac43d2b90ea76d.png
[7fda6ca8073a814eadb293910f9844a6.png]: /images/20221022/021092f3f35840898e3c6340d943629f.png
[fb7344d25624ac43360ab3b1c5d6077b.png]: /images/20221022/6384d62155a44a36ba73cf28fc9d7d2e.png
[38ffa98b6968ac77aa5f4fa3baafeccd.png]: /images/20221022/dd34c161c8c74ed3a9f5efaa59bb97a1.png
[95982dd8c42d96da5db0c755836a9710.png]: /images/20221022/e21ce9604866497f83c15bdf210b36e2.png
[b1daaa67b0081c3e9f901611666debaf.png]: /images/20221022/cb0278bdbb3b46498ccf5c3cb7272fc1.png
[Link 1]: https://zhuanlan.zhihu.com/p/131590433#ref_1_0
[Link 2]: https://zhuanlan.zhihu.com/p/131590433#ref_2_0
[Link 3]: https://zhuanlan.zhihu.com/p/131590433#ref_3_0
[Link 4]: https://zhuanlan.zhihu.com/p/131590433#ref_4_0