图像去雨RESCAN论文笔记

Myth丶恋晨 2023-01-12 11:49 105阅读 0赞

#### 论文题目：Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining ####

#### 作者：Xia Li.et ####

#### 发表会议：2018 ECCV ####

#### Introduction ####

> 雨水条纹会严重降低能见度，导致许多当前的计算机视觉算法无法工作。因此在某些场景下有必要去除图像中的雨水，比如自动驾驶。他们提出了一种基于深度卷积和递归神经网络的新型深度网络体系结构，用于单图像去雨。由于背景信息对于雨水位置定位非常重要，因此首先采用扩张卷积神经网络来获取更大的感受野(receptive  
> field) 。为了更好地适应去雨任务，还修改了扩张卷积网络。
> 
> 在大雨中，雨水条纹有各种方向和形状，可以看作是多个雨水层的积累。通过结合 squeeze-and-excitation  
> 块，根据强度和透明度为不同的雨条纹层分配不同的 α 值。由于雨水条纹层彼此重叠，因此在一个 stage  
> 中不容易完全去除雨水。因此他们进一步将雨水分解分为多个 stage 。结合递归神经网络以保留先前阶段中的有用信息并有利于后期的去雨。

#### Background ####

作者指出基于视频的方法可以通过分析相邻帧之间的差异来利用时间信息，因此较容易的可以去除雨纹。  
常用的雨模型，用于将观测到的雨图像分解为无雨背景场景和雨带层的线性组合:  
![在这里插入图片描述][20210128143033522.png]  
进一步考虑大气光照将成像模型扩展为：  
![在这里插入图片描述][20210128143406248.png]  
A代表大气光强度，α0代表传输率，αn代表不同雨层的亮度

#### Proposed Method ####

SCAN网络结构  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]

逐步消除雨带。在每个阶段，我们使用带有se块的上下文聚合网络来消除雨条纹。

##### SCAN #####

RESCAN的基本模型是一个无递归的正向网络。我们通过用挤压和激励块扩展上下文聚合连接来实现它，并将其命名为上下文聚合连接网络。  
设置DF的数值以扩大网络的感受野。对于特征图，我们把它们的每个通道看作是一个雨带层的嵌入。我们给不同的训练雨层分配不同的α值  
为了明确地为每个图像导入每个网络层上的权重，我们用SE块，它为每个项目的每个通道计算归一化的阿尔法值。

#### Recurrent SE Context Aggregation Net 递归SE上下文聚合网络 ####

因为有不同的雨层重叠，不可能通过一步就简单的将所有的雨层去除掉，因此设计递归网络逐步去除。用如下公式表述：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]  
递归结构只能被视为同一网络的简单级联。之前的工作只是将上一阶段的输出图像作为当前阶段的输入，而没有考虑这些阶段之间的特征联系。研究不同标记的特征之间的循环联系比只使用当前的结构更有意义。我们在RNN建立了一个具有记忆单元的网络(31)，以便更好地利用前一阶段的信息，并在后一阶段指导特征学习。将上述第二个公式改成如下形式：  
![在这里插入图片描述][20210128145926673.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 2]  
两种不同的预测方式：  
Additive Prediction在每个阶段，网络只预测先前预测和ground truth之间的残差。它结合了以前的要素图和预测作为输入  
![在这里插入图片描述][20210128150401660.png]  
![在这里插入图片描述][20210128150412300.png]  
Full Prediction完全预测完全预测意味着在每个阶段，我们预测整个雨带  
![在这里插入图片描述][20210128150455963.png]  
![在这里插入图片描述][20210128150500799.png]  
评估指标PSNR和SSIM  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 3]

作者通过实验比较Full predication 框架结果更好一些。

##### Discussion #####

对于SE 模块的实现需要根据代码学习一下实现细节

#### 附：作者在相关工作中指出下面两篇参考文献提出了联合检测雨纹和去雨的网络可以之后读一下 ####

Yang et al. \[26,9\] design a deep recurrent dilated network to jointly detect and remove rain streaks.  
【26】Yang, W., Tan, R.T., Feng, J., Liu, J., Guo, Z., Yan, S.: Joint rain detection and  
removal via iterative region dependent multi-task learning. CoRR, abs/1609.07769  
(2016)  
【9】Yang, W., Tan, R.T., Feng, J., Liu, J., Guo, Z., Yan, S.: Deepjoint rain detection  
and removal from a single image. In: IEEE CVPR. (2017) 1357–1366

[20210128143033522.png]: /images/20221119/8cac650570174853a94cf0701f5d3009.png
[20210128143406248.png]: /images/20221119/d08ce03ea6a546ef923d22a2555037dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]: /images/20221119/00b2727600014b7292a481f28c890ce2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]: /images/20221119/7bb7068bcf794a75886021d26b03ebe7.png
[20210128145926673.png]: /images/20221119/3d2c2ce6c35e44fcbc2a234544f54ef0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 2]: /images/20221119/208f8bb311544f00b86189e1a8d169d7.png
[20210128150401660.png]: /images/20221119/6d125dc7e8904ffcb699b0e0ddf576e6.png
[20210128150412300.png]: /images/20221119/9d65f93ff4ad494b91b1eba3f23f012c.png
[20210128150455963.png]: /images/20221119/b3063ffdfe46488eb9087d682d2d962c.png
[20210128150500799.png]: /images/20221119/9d06c17faa624799af31985281c2334f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 3]: /images/20221119/18d2ec49a2194dbfaf13c72c306aa537.png