论文笔记（IQA）：Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment

Bertha 。 2022-05-12 10:08 209阅读 0赞

@article{Bosse2017Deep,
      title={Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment},
      author={Bosse, S. and Maniry, D. and Muller, K. R. and Wiegand, T. and Samek, W.},
      journal={IEEE Transactions on Image Processing},
      volume={27},
      number={1},
      pages={206-219},
      month={Jan.},
      year={2018},
    }

`[arxiv]: http://arxiv.org/abs/1612.01697`

这是2018年的一篇 TIP 文章，在 LIVE，CISQ，TID2013和Wild Image Quality Challenge数据库上进行了性能比较。这篇文章包括了一个FR-IQA和一个NR-IQA。这篇文章是纯数据驱动，没有依靠任何的手工操作或者NSS的先验知识。该论文的网络是端到端的训练网络，包括10个卷积层，5个pooling 层用于特征提取，以及2个fully-connected层用于回归。

**注：数据驱动是通过移动互联网或者其他的相关软件为手段采集海量的数据，将数据进行组织形成信息，之后对相关的信息进行整合和提炼，在数据的基础上经过训练和拟合形成自动化的决策模型。当新的情况发生，新数据输入的时候，系统可以用前面建立的模型以人工智能的方式直接进行决策。**

（1）FR-IQA Model

下图是FR-IQA Model框架：

![70][] WaDIQaM-FR 或 DIQaM-FR

图一： Deep neural network model for FR IQA. Features are extracted from the distorted patch and the reference patch by a CNN and fused as difference,concatenation or concatenation supplementary with the difference vector. The fused feature vector is regressed to a patchwise quality estimate. The dashed-boxed branch of the network indicates an optional regression of the feature vector to a patchwise weight estimate that allows for pooling by weighted average patch aggregation.

### (a)特征提取： ###

在FR-IQA 模型中，使用了孪生卷积神经网络（Siamese CNN ：该网络可以实现权值共享且结构相同），该论文在特征提取过程中，使用了一系列的conv3-32，conv3-32， maxpool， conv3-64， conv3-64， maxpool， conv3-128，conv3-128， maxpool， conv3-256， conv3-256， maxpool， conv3-512， conv3-512， maxpool layers。在特征融合后，使用一个FC-512和一个FC-1 layer用于回归。这大约有520万可训练的网络参数。所有卷积层都应用3×3像素大小的卷积核，并通过ReLU激活函数![g = max(0, \\sum\_i w\_i a\_i)][g _ max_0_ _sum_i w_i a_i]激活，其中![g,w\_i][g_w_i]和![a\_i][a_i]分别表示输出，权重和ReLU的输入。为了获得与输入相同大小的输出，应用零填充来应用卷积。所有的max-pool layers都是2×2像素大小的内核。为了防止过拟合，对于fully-connected layer应用比率为0.5的 Dropout Regularization。论文中的输入是32×32的图像块，整幅图像的视觉视觉质量的评估是基于简单的平均加权或者weighted average patch aggregation。

### (b)特征融合： ###

输入参考图像和失真图像，通过Siamese networks分别直接处理，可以得到参考图像的特征向量（![f\_r][f_r]）和失真图像的特征向量（![f\_d][f_d]），然后进行特征融合，简单的concat(![f\_r,f\_d][f_r_f_d])，由于![f\_r][f_r]和![f\_d][f_d]的spatial 空间是一致的，这使得![f\_r-f\_d][f_r-f_d]的差值能够有效地表示特征空间上的距离。为了简化回归任务，显式的加上![f\_r-f\_d][f_r-f_d]，即，concat(![f\_r,f\_d,f\_r-f\_d][f_r_f_d_f_r-f_d])。

### (c)加权： ###

1) 简单平均加权：如果是对图像的patch 的质量进行平均的话，那么需要对每个patch的质量回归，最后得到整幅图像的视觉质量，计算方式如下（![N\_p][N_p]是图像块的数量，![y\_i][y_i]是每个patch的质量）。

![\\hat q = \\frac\{1\}\{N\_p\} \\sum\_i^\{N\_p\} y\_i][hat q _ _frac_1_N_p_ _sum_i_N_p_ y_i]

在回归过程中，使用mean absolute error (MAE)代替MSE，这是因为MAE是 less outlier sensitive alternative to MSE。则在优化过程中，loss function的定义为：

![E\_\{simple\}=\\frac\{1\}\{N\_p\} |y\_i-q\_t|][E_simple_frac_1_N_p_ _y_i-q_t]

2) Pooling by weighted average patch aggregation：图像的局部区域的感知质量不一定能够由图像的全局感知质量反映，反之亦然，例如， 由于空间非均匀分布的失真，求和或显着效应或这些影响因素的组合。在上面描述的按平均值计算的方法中，这仅通过选择较少的离群值敏感的损失函数来非常粗略地解释。 然而，通过简单的平均加权策略并没有充分考虑不同图像块的感知质量的相对影响（即，每个patch的感知质量对人眼的视觉感知影响不同（个人愚见））。

如果要加权平均的话，同时还要对权重进行回归。然后做一个spatial pooling，得到最终的image quality。

文章中通过将第二个（图一的虚线部分）分支集成到网络的回归模块中来解决相对图像质量的空间变化，该回归模块与补丁质量回归分支并行运行并共享相同的维度。对于图像块![i][]，该分支的输出是![\\alpha \_i][alpha _i]。 通过ReLU激活![\\alpha \_i][alpha _i]并添加一个 a small stability term ![\\epsilon][epsilon]：

![70 1][]

权重归一化操作：

![70 2][]

整幅图像的质量![\\hat q][hat q]计算如下：

![70 3][]

那么对于联合端到端训练，则要使损失函数最小化：

![E\_\{weighted\}=|\\hat q-q\_t|][E_weighted_hat q-q_t]

（2）NR-IQA Model

下图是NR-IQA Model框架：

![70 4][] WaDIQaM-NR 或 DIQaM-NR

图二： Deep neural network for NR IQA. Features are extracted from the distorted patch by a CNN. The feature vector f d is regressed to a patchwise quality estimate. Patchwise estimates are aggregated to a global image quality estimate. The dashed-boxed branch of the network indicates an optional regression of the feature vector to a patchwise weight estimate that allows for pooling by weighted average patch aggregation.

NR-IQA Model是基于FR-IQA Model进行删减，将参考图像的分支去除，其他的与FR-IQA Model中Distorted Patch分支一样。具体如图二所示。

[70]: /images/20220512/b99cf8d226484b3b8563339be0cce211.png
[g _ max_0_ _sum_i w_i a_i]: https://private.codecogs.com/gif.latex?g%20%3D%20max%280%2C%20%5Csum_i%20w_i%20a_i%29
[g_w_i]: https://private.codecogs.com/gif.latex?g%2Cw_i
[a_i]: https://private.codecogs.com/gif.latex?a_i
[f_r]: https://private.codecogs.com/gif.latex?f_r
[f_d]: https://private.codecogs.com/gif.latex?f_d
[f_r_f_d]: https://private.codecogs.com/gif.latex?f_r%2Cf_d
[f_r-f_d]: https://private.codecogs.com/gif.latex?f_r-f_d
[f_r_f_d_f_r-f_d]: https://private.codecogs.com/gif.latex?f_r%2Cf_d%2Cf_r-f_d
[N_p]: https://private.codecogs.com/gif.latex?N_p
[y_i]: https://private.codecogs.com/gif.latex?y_i
[hat q _ _frac_1_N_p_ _sum_i_N_p_ y_i]: https://private.codecogs.com/gif.latex?%5Chat%20q%20%3D%20%5Cfrac%7B1%7D%7BN_p%7D%20%5Csum_i%5E%7BN_p%7D%20y_i
[E_simple_frac_1_N_p_ _y_i-q_t]: https://private.codecogs.com/gif.latex?E_%7Bsimple%7D%3D%5Cfrac%7B1%7D%7BN_p%7D%20%7Cy_i-q_t%7C
[i]: https://private.codecogs.com/gif.latex?i
[alpha _i]: https://private.codecogs.com/gif.latex?%5Calpha%20_i
[epsilon]: https://private.codecogs.com/gif.latex?%5Cepsilon
[70 1]: /images/20220512/eb73eaa155de48f6b88efa2e777ada94.png
[70 2]: /images/20220512/ef210039899e4a64944682ace4c458e5.png
[hat q]: https://private.codecogs.com/gif.latex?%5Chat%20q
[70 3]: /images/20220512/381c35508f2f46978db4e6e5a6f03b32.png
[E_weighted_hat q-q_t]: https://private.codecogs.com/gif.latex?E_%7Bweighted%7D%3D%7C%5Chat%20q-q_t%7C
[70 4]: /images/20220512/d9f3e23a81e842ce824931299b6443fb.png