CVPR 2021 论文大盘点-图像视频去雨篇

女爷i 2022-09-12 12:41 230阅读 0赞

#     #

# 本文继续总结图像处理相关论文，关注一类特殊的图像修补任务——视频、图像去雨，共计 10 篇。    #

大家可以在：

https://openaccess.thecvf.com/CVPR2021?day=all

按照题目下载这些论文。

如果想要下载所有CVPR 2021论文，请点击这里：

[CVPR 2021 论文开放下载了！][CVPR 2021]

## 视频去雨 ##

Self-Aligned Video Deraining with Transmission-Depth Consistency

文中介绍一种在一个端到端框架内可以同时去除 rain streaks 和 rain accumulation 的视频去雨方法。并且这也是在处理 rain streaks 和 rain accumulation 的视频去雨方面的首次尝试：一种基于视频的、具有特征级对齐的去雨方法。与现有的许多去雨方法都是使用光流，但由于输入视频的降质而带来许多问题不同。本次所提出方法通过在编码器中使用可变形卷积层，避免了使用光流。然后提出一个结合 depth, transmission map 和 camera pose 的少数损失来处理 rain accumulation。深度和相机姿态的使用使该方法能够处理深度和水滴的模糊性问题，从而提高结果。

实验结果表明，所提出方法能有效地去除 rain streaks 和 rain accumulation，在数量上和质量上都超过了最先进的方法。

作者 | Wending Yan、Robby T. Tan、Wenhan Yang、Dengxin Dai

单位 | 新加坡国立大学；

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Yan\_Self-Aligned\_Video\_Deraining\_With\_Transmission-Depth\_Consistency\_CVPR\_2021\_paper.pdf

![eb3d1a6106a72759aee33c35ddd7fbc5.png][]

# Semi-Supervised Video Deraining with Dynamical Rain Generator #

半监督视频去雨

作者 | Zongsheng Yue, Jianwen Xie, Qian Zhao, Deyu Meng

单位 | 西安交通大学；百度；澳门科技大学

论文 | https://arxiv.org/abs/2103.07939

代码 | https://github.com/zsyOAOA/S2VD

![27c0959d54581c7c54524ae77fbb9ed5.png][]

## 图像去雨 ##

# Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation #

文章中提出一种新的图像去雨算法，该算法在一个统一的框架内联合学习雨的生成（forward）和雨的去除（inverse）。与手工制作的雨水生成模型相比，从真实的雨天图像中学习物理降质的过程可以以隐方式提供对真实雨水的更好的近似。此外，雨的生成和去除将彼此受益，从而提高对真实雨天图像的概括性。

采用 disentanglement 策略，其中一致的背景被 self-consistency 损失和对抗性损失很好地保留下来。与以往直接将模拟雨景图像转换为真实雨景图像的方法相比，所提出的方法摆脱了一致背景，而集中于更简单的雨景层转换，大大缓解了真实雨景与模拟雨景图像之间的不一致问题。

在合成数据集和真实世界数据集上进行了广泛的实验，其表现优于最先进的方法，并在真实世界的有雨图像上始终保持优势。

作者 | Yuntong Ye, Yi Chang, Hanyu Zhou, Luxin Yan

单位 | 华中科技大学；鹏城实验室

论文 | https://arxiv.org/abs/2103.13660

![2f00b64a1914b6e25a918bb0b1f4d64f.png][]

# Robust Representation Learning with Feedback for Single Image Deraining #

去雨网络可以被解释为一个条件发生器，它的目的是去除图像中的 rain streaks。大多数现有的图像去雨方法都忽略了由不确定性引起的模型错误，因此降低了最终质量。

与现有的将低质量特征直接嵌入模型的图像去雨方法不同，作者用隐高质量特征取代低质量特征。是一个提高去雨性能的新视角。

在基准数据集以及特定的真实数据集上进行的广泛实验表明，所提出的方法优于近期最先进的方法。

作者 | Chenghao Chen, Hao Li

单位 | 上海交通大学；SPEIT

论文 | https://arxiv.org/abs/2101.12463

代码 | https://github.com/LI-Hao-SJTU/DerainRLNet

![c0efca22a777b6d2ea47d53be6be5a05.png][]

Multi-Decoding Deraining Network and Quasi-Sparsity Based Training

本次工作，旨在利用雨水图像的内在先验，开发 intrinsic 损失函数以促进训练去雨网络，该网络将雨天图像分解为无雨背景层和包含完整雨痕的雨水层。

为此，引入 quasi-sparsity prior 来训练网络，以生成两个具有不同物体的完整纹理的稀疏层。然后，探讨 low-value prior 来补偿稀疏性，使所有的 rain streaks 进入一个层，而非雨水内容进入另一个层以恢复图像细节。引入一个多解码结构，专门监督多类型去雨特征的生成。有助于学习在各自空间中最有贡献的特征。

此外，该模型通过信息共享来稳定来自多空间的特征值，减轻隐藏伪影，也加快运行速度。

广泛的实验表明，所提出的去雨方法在有效性和效率方面优于最先进的方法。

作者 | Yinglong Wang、Chao Ma、Bing Zeng

单位 | 电子科技大学；上海交通大学

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Wang\_Multi-Decoding\_Deraining\_Network\_and\_Quasi-Sparsity\_Based\_Training\_CVPR\_2021\_paper.pdf

![1f47b89a1e1d7e47a0bc3475c3004fbd.png][]

Image De-raining via Continual Learning

作者称这是首次尝试处理图像去雨的灾难性遗忘问题。作者引入了持续学习方案，用一个单一的模型处理不同类型的 rain streaks。提出 PIGWM，参数重要性引导的权重修改方法，以克服图像去雨的灾难性遗忘。并且可以很容易地以即插即用的方式扩展到其他计算机视觉任务。在多种类型的 rain streak 基准上进行的广泛实验验证了所提出方法的卓越性能。

作者 | Man Zhou、Jie Xiao、Yifan Chang、Xueyang Fu、Aiping Liu、 Jinshan Pan、Zheng-Jun Zha

单位 | 中国科学技术大学；南京理工大学

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhou\_Image\_De-Raining\_via\_Continual\_Learning\_CVPR\_2021\_paper.pdf

![ae805e3f173a7bea0c4551d8cbe06bfd.png][]

#     #

# From Rain Generation to Rain Removal #

本文探讨了雨的生成机制，构建一个完整的贝叶斯模型，从代表物理结构雨因素（如方向、规模和厚度）的隐藏因素生成雨。为了解决这个问题，提出variational rain generation network（VRGNet），它以数据驱动的方式隐含地推断出雨量的一般统计分布。从学习到的生成器中，可以自动生成 rain patches 来模拟不同的训练样本，有利于增强和丰富现有的基准数据集。

综合实验证明，所提出的模型能够很好的提取复杂的雨量分布，不仅有助于显著提高当前深度单幅图像的提取性能，而且在很大程度上减轻了 SIRR 去雨任务对大量训练样本预收集的要求。

作者 | Hong Wang, Zongsheng Yue, Qi Xie, Qian Zhao, Yefeng Zheng, Deyu Meng

单位 | 西安交通大学；腾讯天衍实验室

论文 | https://arxiv.org/abs/2008.03580

代码 | https://github.com/hongwang01/VRGNet

![9eda811e369043f0d4890d2544b82d68.png][]

## 半监督图像去雨 ##

Memory Oriented Transfer Learning for Semi-Supervised Image Deraining

文章提出新的 memory-oriented 半监督方法，用于单图像去雨。试图从有标签的合成数据和无标签的真实世界数据中学习雨的降质过程。开发一个编码器-解码器网络，并增加了一个自监督的记忆模块来恢复无雨背景。记忆模块可以探索和利用各种雨水降质情况，而不需要 ground-truth 图像。此外，还提出一种自训练机制，以迁移有监督的雨水去除的知识。

由于图像去雨是一项特殊的修复任务，与其他低级别的视觉任务有许多相似之处，该方法也有望扩展到其他各种任务，以促进现实世界的应用。

作者 | Huaibo Huang 、Aijing 、Yu Ran He

单位 | 中科院；国科大

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Huang\_Memory\_Oriented\_Transfer\_Learning\_for\_Semi-Supervised\_Image\_Deraining\_CVPR\_2021\_paper.pdf

![1f8780fbfe07520183a1597c63246162.png][]

Removing Raindrops and Rain Streaks in One Go

文章中提出 complementary cascaded network（CCN）架构，在一个统一的框架内去除 rain streaks 和 raindrops。利用神经架构搜索和专门设计的去雨搜索空间的优势，实现一个有效的去雨网络来去除各种类型的雨。又构建一个新的真实世界雨水数据集 RainDS，以弥补真实和合成雨水之间的领域差距。RainDS 为评估 CCN 方法在现实世界中的去雨性能提供了一个理想的测试平台。

在 RainDS 上进行的大量实验证明了该统一降雨网络的有效性和优越性。

作者 | Ruijie Quan、Xin Yu、Yuanzhi Liang、Yi Yang

单位 | 百度；悉尼科技大学

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Quan\_Removing\_Raindrops\_and\_Rain\_Streaks\_in\_One\_Go\_CVPR\_2021\_paper.pdf

![d4f422faf3029f54a53d89f96ce8a7d9.png][]

Controlling the Rain: from Removal to Rendering

文中提出一个雨量控制网络，以双向方式连续控制雨水生成，并保留特定场景的雨水特征。引入 histogram of oriented gradient loss（方向梯度直方图）和 autocorrelation loss（自相关损失）来保留 rain streaks 的方向并抑制重复的 rain streaks 。进一步设计递减训练策略，以提高性能并加快收敛速度。在合成的雨水数据集和真实的雨水图像上进行了广泛的实验、证实了所提出方法的有效性。

作者 | Siqi Ni, Xueyun Cao, Tao Yue, Xuemei Hu

单位 | 南京大学

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Ni\_Controlling\_the\_Rain\_From\_Removal\_to\_Rendering\_CVPR\_2021\_paper.pdf

![67d2282740c7bf4d496cc65a8fd30518.png][]

\- END -

编辑：CV君

转载请联系本公众号授权

![80076680f5196e2d6fa68bdbe5e58dc4.png][]

**备注：去雨**

![e943130cae9feddbb81b97e9722ee398.png][]

**图像增强与质量评价交流群**

图像增强、去雾、去雨、图像修补、图像恢复等技术，

若已为CV君其他账号好友请直接私信。

在看，让更多人看到 ![749fecebfc079a076183523b44c8748f.gif][]

[CVPR 2021]: http://mp.weixin.qq.com/s?__biz=MzIwMTE1NjQxMQ==&mid=2247569262&idx=3&sn=1665c6049b0a3087cde699c5ec8ab3bb&chksm=96f1bd3aa186342cd199293cb522e468858fbed2f33b7d3f5912080c57847b003d1cf39a4d09&scene=21#wechat_redirect
[eb3d1a6106a72759aee33c35ddd7fbc5.png]: /images/20220828/debf2a521a8045a092bfe8822e1f27a6.png
[27c0959d54581c7c54524ae77fbb9ed5.png]: /images/20220828/66a620681dfd493abcba81725ac8f2e8.png
[2f00b64a1914b6e25a918bb0b1f4d64f.png]: /images/20220828/889a26260a934c26ba0ca1de732afe7d.png
[c0efca22a777b6d2ea47d53be6be5a05.png]: /images/20220828/0d21fac27d8b4608bed10a8bc622ffed.png
[1f47b89a1e1d7e47a0bc3475c3004fbd.png]: /images/20220828/28c04403df2f4d5db6c67b46dcf01f04.png
[ae805e3f173a7bea0c4551d8cbe06bfd.png]: /images/20220828/817a71ada4bb449ea9e34ba56e594d99.png
[9eda811e369043f0d4890d2544b82d68.png]: /images/20220828/745c5d005db249ac83a26b1cfb55ae36.png
[1f8780fbfe07520183a1597c63246162.png]: /images/20220828/5e94676738534a97b388c8105ab7be3e.png
[d4f422faf3029f54a53d89f96ce8a7d9.png]: /images/20220828/d41c58906a8c4611822259b7de4cc0b3.png
[67d2282740c7bf4d496cc65a8fd30518.png]: /images/20220828/8987fbdbf1414a918238fbb57ed6b0f3.png
[80076680f5196e2d6fa68bdbe5e58dc4.png]: /images/20220828/dd059bd343774a128bfd5a58dc1b8ec4.png
[e943130cae9feddbb81b97e9722ee398.png]: /images/20220828/5b9afe9457ce44509c16c72f90b1b79d.png
[749fecebfc079a076183523b44c8748f.gif]: /images/20220828/a68def92483d458598d85debd112a7c3.png