图像去雨DRD-Net论文笔记

分手后的思念是犯贱 2023-01-10 14:38 98阅读 0赞

##### 论文题目：DRD-Net: Detail-recovery Image Deraining via Context Aggregation Networks #####

##### 发表会议：CVPR2020 #####

##### 作者：Sen Deng, Mingqiang Wei, Jun Wang, Luming Liang, Haoran Xie, and Meng Wang #####

##### 1、目的 #####

图像去雨，作者指出现有的去雨的方法在去雨的过程中尤其是暴雨天气会容易将雨纹和图像的细节一同去除，效果并不好，**雨条纹和图像细节本质上都是高频信息**。因此作者指出自己的提出的方法在去雨子网络的squeeze和excitation操作以及基于上下文聚合模块细节恢复的子网络使得DRD-Net在去雨方面十分有效并且避免了细节丢失和颜色失真。

##### 2、背景 #####

雨天成像的模型公式  
![在这里插入图片描述][20210125151621687.png]  
其中n是代表的某一个雨层，Ri代表相同方向的第i个雨层  
为模拟真实的多雨环境提出了改进雨模型：  
![在这里插入图片描述][20210125151825434.png]  
α是大气传输率，A是大气光强

##### 3、方法 #####

网络整体结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]

###### 3.1 雨残差网络 ######

该网络的目的是学习函数f，该函数将雨图像映射到雨条纹，通过最小化如下损失函数  
![在这里插入图片描述][20210125152901166.png]  
雨残差模块用公式表示为：  
SE和RES代表挤压激励操作和残差模块  
![在这里插入图片描述][20210125153657951.png]  
![在这里插入图片描述][20210125153816562.png]  
雨残差网络及SE模块结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]  
在传统的卷积运算中同一层的不同特征通道几乎是独立的，我们通过SE模块为具有更多上下文信息的的特征通道赋予更大的权重。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 2]

###### 3.2 细节恢复网络 ######

既然图像去雨会不可避免的导致图像细节丢失或细节退化，我们可以训练额外的几何恢复网络补充丢失的细节部分。  
对于细节恢复网络我们期望学习到函数g，I代表初步去雨的图像，O是雨图，后面的I是ground truth

![在这里插入图片描述][20210125155455939.png]  
SDCAB网络结构，使用三个同向卷积层聚合上下文信息，具有较大的接受域：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][20210125160416243.png]

##### 4、结果 #####

作者通过消融实验证明了SE和SDCAB模块的重要作用。并指出本文的方法在去雨的效果还是很不错的，但是同时减少噪声和保留细节需要更多的参数和训练时间这是一个不足之处

##### 5、讨论 #####

[论文代码][Link 1]之后试着跑一下看一下代码细节

[20210125151621687.png]: /images/20221119/8d9f20d3aa6b49aab757300c6f19da84.png
[20210125151825434.png]: https://img-blog.csdnimg.cn/20210125151825434.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210125153003578.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ==,size_16,color_FFFFFF,t_70
[20210125152901166.png]: https://img-blog.csdnimg.cn/20210125152901166.png
[20210125153657951.png]: https://img-blog.csdnimg.cn/20210125153657951.png
[20210125153816562.png]: https://img-blog.csdnimg.cn/20210125153816562.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210125153551467.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210125154606629.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ==,size_16,color_FFFFFF,t_70
[20210125155455939.png]: https://img-blog.csdnimg.cn/20210125155455939.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210125155728999.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ==,size_16,color_FFFFFF,t_70
[20210125160416243.png]: https://img-blog.csdnimg.cn/20210125160416243.png
[Link 1]: https://github.com/Dengsgithub/DRD-Net