图像去模糊之初探--Single Image Motion Deblurring

客官°小女子只卖身不卖艺 2022-07-12 16:06 174阅读 0赞

曾经很长一段时间， 对图像去模糊都有一种偏见， 认为这是一个灌水的领域， 没有什么实用价值，要到这样的文章，不管是多高的档次， 直接pass。 最近在调研最近几年的关于Computational Photography的一些研究热点时， 发现图像去模糊这个领域非常活跃， 一些效果图还是蛮有意思的。 于是大概浏览了其中的几篇文章， 慢慢地我的这种偏见也消失了。 当数码消费电子日益普及的时候， 这项技术确实非常有用。 它能挽救相当一批由于曝光时间过长或者拍摄 时手的抖动造成的模糊照片。

图像的模糊按照模糊核的性质来分类可分为： Blind image deconvolution（BID 芒去卷积）和Non-blind image deconvolution（NBID 非芒去卷积）。BID就是在模糊核未知的情况下恢复出清晰的图像。在这种情况下， 除了采集到的图像， 其他的没有任何任何信息。 NBID是在模糊核已知的情况下恢复出清晰的原始图像。 因为有了模糊核这个非常重要的信息， 去卷积的工作就相对来说容易多了， 主要任务就是如何在保持细节的情况下抑制噪声。过去三四十年， 很多研究都集中在这个领域， 也有了不少很实用的方法，比如维纳滤波， Richardson-Lucy方法。后来有些方法是基于去噪方法的， 比如傅立叶，小波，Curvelet，和TV方法。 一般来说， NBID是BID的基础。 一旦模糊核估计出来， 所有的NBID方法都可以在BID中使用。

按照模糊的区域来划分， 又可分为： 全局模糊和局部模糊。 全局的模糊主要是由于拍摄设备的运动造成的， 而局部模糊是由于单个物体的 运动造成的。 从实用性来说， 全局模糊要好于局部模糊。 理由有三： （1）全局模糊可以用一个模糊核来恢复， 因此最主要的任务就是PSF的估计， 而局部模糊的模糊核是随位置变化的， 难道要大很多，结果也就不稳定很多。（2）造成全局模糊的原因是手持拍摄设备在曝光时间比较长的情况下进行拍摄，在拍摄过程中经常能遇到。而局部模糊仅仅限于对运动物体的拍摄， 比如运动的汽车或者行走中的人， 一般说来， 拍摄这些场景的机会比较有限， 实用性也不大。（3）全局模糊在绝大部分情况下都是不期望的效果， 而局部模糊在很多时候是不需要去除的，甚至是刻 意追求的一种效果。

按信息源分类可分为：单幅图像去模糊和带辅助信息的图像去模糊。 单幅图像去模糊顾名思义， 输入只有一幅图像， 没有别的任 何信息。 这也是最常见的去模糊场景。 带辅助信息的图像去模糊除了有一幅待出来的图像以外， 还有其他的一些辅助信息用来估 算模糊核。 这里的辅助信息包括：（1）连续两帧图像 （2）一帧不模糊单噪声比较大的图像 （3）不同曝光时间的三幅或者n幅图 像（4）一段低分辨率视频（5）对曝光时间的编码（6）对镜头的改造（7）。。。虽然每一个作者都强调这些辅助设备比较廉价，辅助信息比较容易获得。但对非专业的普通用户来说， 要得到这些辅助信息是不大现实的。

综合这些因素考虑， 我个人认为目前最有实用价值的仍然是single image blind motion deblurring。 这方面， Rob Fergus等在2006 年的siggraph上发表了一篇文章非常有新意，效果也还不错。 难能可贵的是， 这篇文章留下了很多漏洞， 能让后人在此基础上对 这项工作有所完。 果不其然，在随后几年的cvpr， siggraph， iccv， eccv上， 几乎每届都有更好的结果涌现。这里主要介绍 2006年的这篇“ Siggraph Removing Camera Shake From a Single Photograph”。

以 往的芒去卷积方法要么对卷积核有很强的先验假设， 要么对图像有一定的先验假设， 或者两者都有。 而且， 这些方法往往不大适合较大的模糊核。 Fergus等提出的方法完全抛弃了这些束缚， 实现了真正意义上的实用的BID。 在此文中， 图像去模糊主要被划分成了两步：卷积核的估计和去模糊。 其中去模糊可以采用任何一种现有的算法， 因此此文的重点集中在了模糊核的估计上。 基于对图像模型统计特性的分析， 此文深入研究了模糊图像和非模糊图像的梯度分布， 提出了一种基于梯度分布模型的去模糊算法。自然的清晰的图像满足特定的heavy-tailed distribution， 而模糊图像的梯度分布则想去甚远。 因此Fergus等基于这种特性构造了在已知观测图像情况下原始图像和模糊核的联合后验概率， 后验概率最大化对应的原始图像和卷 积核的组合就是所要的答案。 然而直接解这个MAP（Maximum a Posterior）问题， 却得不到正确的答案。 因此作者采用了一种学习的方 法， 即MISKIN和MACKAY,在Ensemble Learning for Blind Image Separation and Deconvolution中提到的方法。这也是作者认为的两大贡献。

Fergus在paper和ppt中都给出了一些结果，其实结果都不能完全令人满意， 有的恢复的效果不够好， 有的噪声实在太大。 但作者也说他的paper有不少可改进的地方， 言外之意就是此文只是提出了一种思想， 效果有待完善。 这也让本文留下了不少可研究的空间， 个人认为有以下三个方面可以改进：（1）图像模型的选择。梯度模型只是选取了相邻的两个点的统计特性， 有点过于简单。 清晰图像有很大可能满足作者采用的heavy-tailed distribution， 但满足这种分布的一定是效果比较好的清晰图像吗？ Gibbs效应如何克服？此文并没有深入研究 （2）MAP算法的优化 （3）本文采用的R-L这个经典古老的算法， 肯定有其他更好的算法能改善图像质量。简单来说， 就是作者挖了个坑， 自己并不想填， 让别人慢慢去填。也许不远的某一天，我也会在这里填一个坑， Maybe。

下面是我自己搜集的最近几年关于deblur的一些论文列表，在网上都可以找到。

2004 PAMI Motion-based motion deblurring  
2006 NIPS Blind motion deblurring using image statistics  
2006 Siggraph Coded Exposure Photography Motion Deblurring using Fluttered Shutter  
2006 Siggraph Removing Camera Shake From a Single Photograph  
2007 CVPR Resolving Objects at Higher Resolution from a Single Motion-blurred Image  
2007 CVPR Single Image Motion Deblurring Using Transparency  
2007 CVPR What makes a good model of natural images  
2007 Siggraph Image Deblurring with BlurredNoisy Image Pairs  
2008 CVPR ImageVideo Deblurring using a Hybrid Camera  
2008 CVPR Motion from Blur  
2008 CVPR PSF Estimation using Sharp Edge Prediction  
2008 CVPR Roubust Dual Motion Deblurring  
2008 Siggraph High-Quality Motion Deblurring From a Single Image  
2008 Siggraph Motion-invariant photography  
2009 CVPR High-quality curvelet-based motion deblurring using an image pair  
2009 CVPR Image Deblurring and Denoising using Color Priors  
2009 CVPR Understanding and evaluating blind deconvolution algorithms  
2009 ICCP Image Destabilization Programmable Defocus using Lens and Sensor Motion  
2009 ICCP What are Good Apertures for Defocus Deblurring  
2009 ICCV Time-Constrained Photography  
2010 CVPR Deconvolutional Networks  
2010 CVPR Denoising vs. Deblurring HDR Imaging Techniques Using Moving Cameras  
2010 CVPR Non-uniform Deblurring for Shaken Images  
2010 ECCV Single Image Deblurring Using Motion Density Functions  
2010 ECCV Two-Phase Kernel Estimation for Robust Motion Deblurring  
2010 ICCP Motion blur removal with orthogonal parabolic exposures  
2010 Siggraph Image Deblurring using Inertial Measurement Sensors  
2010 TPAMI Correction of Spatially Varying Image and Video Motion Blur Using a Hybrid Camera

以下两幅图摘自jiaya jia研究小组的结果[http://www.cse.cuhk.edu.hk/~leojia/projects/robust\_deblur/index.html][http_www.cse.cuhk.edu.hk_leojia_projects_robust_deblur_index.html] ， 个人觉得这是目前最好的结果了， 效果还是很吸引人的。

输入图像：

![0_1283147327nSfa.gif][]

输出图像：

![0_1283147377Y30U.gif][]

[http_www.cse.cuhk.edu.hk_leojia_projects_robust_deblur_index.html]: http://www.cse.cuhk.edu.hk/~leojia/projects/robust_deblur/index.html
[0_1283147327nSfa.gif]: /images/20220709/09bead8571e44ac6bcdc407d5629e6d8.png
[0_1283147377Y30U.gif]: /images/20220709/49844535c40644c9b7d3a06d483040f3.png