图像质量评价综述：美学+客观（原创）

亦凉 2022-02-24 12:56 989阅读 0赞

**目录**

一、背景介绍

1.1 分类以及各自的局限

1.2 图像库

1.3 评价图像质量的指标

二、客观质量评估

2.1 传统算法评估FR、RR、BR/NR

2.1.1 FR-IQA

2.1.2 RR-IQA

2.1.3 NR-IQA

2.2 深度学习算法

2.3 实验结果

2.4 RankIQA介绍

2.4.1 算法流程

2.4.2 资源汇总

三、美学质量评估

3.1 目前现状

3.2 算法1：NIMA，2017，google

3.3 算法2：ILGNet，2016，北京电子科技学院

--------------------

# 一、背景介绍 #

## 1.1 分类以及各自的局限 ##

根据评价的内容分为：客观质量评价，美学评价

根据评价训练时用到的参考图像信息多少分为：全参考、半参考、无参考

（高质量--低质量）

全参考的限制在于图像库，高质量和低质量图像库，以及打分。

无参考不需要参考图像，是目前主要的研究方向。

美学评价，不存在参考的问题，目前主要是看成分类或者分类的问题。

## 1.2 图像库 ##

（1）客观评价图像库

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 1][]

（2）美学评价图像库

AVA（2012）：255530幅，1-10分。每幅图被评分的人数范围为78-539，平均210。

200多篇论文引用

AADB（2016）：8种美学因素（平衡、颜色和谐型、趣味、景深、光照、主体、三分、颜色丰富性）的二值分类评价（在单个美学因素上的“好”与“不好”）。因素评价太多简单。

PCCD（2017）：评分+分布+多人语言评论，但太少4307幅

AROD（2018）：38万幅，图像查看和点赞次数计算得到美学评分

## 1.3 评价图像质量的指标 ##

通常比较模型客观值与观测的主观值之间的差异和相关性。常见的2种评估指标是线性相关系数（Linear Correlation Coefficient, LCC）和Spearman秩相关系数（Spearman's Rank Order Correlation Coefficient, SROCC）。

（1）LCC

LCC也叫Pearson相关系数（PLCC），描述了主、客观评估之间的线性相关性

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 2][]

（2）SROCC

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 3][]

（3）KROCC，RMSE

Kendall秩相关系数（Kendall Rank Order Correlation Coefficient，KROCC）、均方根误差（Root Mean Square Error， RMSE）等评估指标。KROCC的性质和SROCC一样，也衡量了算法预测的单调性。RMSE计算MOS与算法预测值之间的绝对误差，衡量算法预测的准确性。

# 二、客观质量评估 #

## 2.1 传统算法评估FR、RR、BR/NR ##

由于FR全参考需要有参考图像的全部信息，不实用。目前最实用的是无参考图像评价，NR/BR。RR一般不用，所以就不介绍了。

###    2.1.1 FR-IQA ###

提取参考图像和低质图像的如下特征，进行归类预测 。

PSNR

SSIM

VIF

FSIM

GMSD

### 2.1.2 RR-IQA ###

一般不用，所以不做介绍了。

### 2.1.3 NR-IQA ###

有针对具体失真类型的：比如模糊、块效应、jpeg压缩、噪声等

基于通用类型的：转化为分类或者回归问题，使用特定的特征进行训练。特征要么统计提取，要么通过机器学习或深度学习发现。

（1）有基于SVM的方法，提取图像空间域/变换域特征，再基于SVM等模型。

代表算法：BIQI，DIIVINE，BRISQUE

（2）概率模型

代表算法：BLIINDS，NIQE

（3）基于码本的方法

代表算法：CORNIA

## 2.2 深度学习算法 ##

主要介绍用于NR-IQA的深度学习训练

（1）2014：5层神经网络：输入32\*32图像，SVR损失函数

L. Kang, P. Ye, Y. Li, and D. Doermann. Convolutional neural networks for no-reference image quality assessment. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1733–1740, 2014.

（2）2014：提取3000个特征训练自动编码器，用编码器初始化3层DNN

介绍了一种新的基于深度学习的图像质量指数（Deep learning based Image Quality Index， DIQI）来评估无参考图像质量

K. Gu, G. Zhai, X. Yang, and W. Zhang. Deep learning network for blind image quality assessment. In Image Processing (ICIP), 2014 IEEE International Conference on, pages 511–515. IEEE, 2014.

（3）2018：VGG修改网络

S. Bosse, D. Maniry, K.-R. Müller, T. Wiegand, and W. Samek. Deep neural networks for no-reference and full-reference image quality assessment. IEEE Transactions on Image Processing, 27(1):206–219, 2018.

（4）2016：DeepBIQ

S. Bianco, L. Celona, P. Napoletano, and R. Schettini. On the use of deep learning for blind image quality assessment. arXiv preprint arXiv:1602.05531, 2016.

（5）RankIQA，能解决图像集少的问题

RankIQA: Learning from Rankings for No-reference Image Quality Assessment. [https://xialeiliu.github.io/RankIQA][https_xialeiliu.github.io_RankIQA].

## 2.3 实验结果 ##

统计了一些FR和BR的算法在LIVE数据集上的结果

![20190404102101139.jpg][]

## 2.4 RankIQA介绍 ##

### 2.4.1 算法流程 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 4][]

BR-IQA得到图像的绝对评价很难，但是两张图比较相对值却比较容易。

\--将图像根据一系列失真方法得到失真图像，这样得到不同程序大量失真的照片。

\--对同一张图片，由它产生出来的一系列失真图片的rank是已知的

\--先对rankings进行学习

\--将rankings形成两两组合，传入孪生网络（比如CNN），得到特征（可认为是quality score）

\--图片x1得到质量特征y1，图片x2得到质量特征y2，如果y1和y2的比较结果与rank一致则损失为0，否则为1。

\--模型训练好后，取孪生模型的其中一个，作为初始化模型

\--将IQA数据集传入模型，根据图片的真实分数进行回归，微调模型参数

好处是：可以自己生成图像训练，图像质量评估综述中最后一段有提到。

[https://zhuanlan.zhihu.com/p/32553977][https_zhuanlan.zhihu.com_p_32553977]

### 2.4.2 资源汇总 ###

论文：

[http://openaccess.thecvf.com/content\_ICCV\_2017/papers/Liu\_RankIQA\_Learning\_From\_ICCV\_2017\_paper.pdf][http_openaccess.thecvf.com_content_ICCV_2017_papers_Liu_RankIQA_Learning_From_ICCV_2017_paper.pdf]

Github资源：

[https://xialeiliu.github.io/RankIQA/][https_xialeiliu.github.io_RankIQA 1]

论文简述：  
[https://xialeiliu.github.io/RankIQA/pdf/poster\_ICCV\_2017.pdf][https_xialeiliu.github.io_RankIQA_pdf_poster_ICCV_2017.pdf]

# 三、美学质量评估 #

## 3.1 目前现状 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 5][]

## 3.2 算法1：NIMA，2017，google ##

（1）算法流程

基础算法：mobilenet，vgg16，inceptionv2；nasnet

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 6][]

（2）资源集合

论文： [https://arxiv.org/pdf/1709.05424.pdf][https_arxiv.org_pdf_1709.05424.pdf]

github资源：

[https://github.com/titu1994/neural-image-assessment][https_github.com_titu1994_neural-image-assessment] 最推荐：NasNet

[https://github.com/tfriedel/neural-image-assessment][https_github.com_tfriedel_neural-image-assessment]

[https://github.com/idealo/image-quality-assessment/tree/master/models/MobileNet][https_github.com_idealo_image-quality-assessment_tree_master_models_MobileNet]

分析：

[https://blog.csdn.net/qq\_22194315/article/details/82713283][https_blog.csdn.net_qq_22194315_article_details_82713283]

[http://server.chinabyte.com/125/14395125.shtml?S=9rrf3v9huog][http_server.chinabyte.com_125_14395125.shtml_S_9rrf3v9huog]

[https://cloud.tencent.com/developer/news/49602][https_cloud.tencent.com_developer_news_49602]

[https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/78849545][https_blog.csdn.net_yH0VLDe8VG8ep9VGe_article_details_78849545]

[https://blog.csdn.net/qq\_22194315/article/details/82713283][https_blog.csdn.net_qq_22194315_article_details_82713283]

[https://zhuanlan.zhihu.com/p/33194024][https_zhuanlan.zhihu.com_p_33194024]

## 3.3 算法2：ILGNet，2016，北京电子科技学院 ##

（1）算法流程

基于googlenet，看成分类问题。

（2）资源集合

论文：

[http://jinxin.me/downloads/papers/019-WCSP2016a/ILGNet-Final.pdf][http_jinxin.me_downloads_papers_019-WCSP2016a_ILGNet-Final.pdf]

github资源：

[https://github.com/BestiVictory/ILGnet][https_github.com_BestiVictory_ILGnet]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70]: /images/20220224/1a41789c696a4675bd36243b161fb7f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 1]: /images/20220224/bbf6b436b61e4c5987c49f42e436005b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 2]: /images/20220224/53a0ece354554a70bd548fdbba3077f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 3]: /images/20220224/40f4f451022146ef8312b0f5de90b7b7.png
[https_xialeiliu.github.io_RankIQA]: http://link.zhihu.com/?target=https%3A//xialeiliu.github.io/RankIQA
[20190404102101139.jpg]: /images/20220224/be1bb207b56940ba99532dc421ce5f2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 4]: /images/20220224/d32f39ae185e4218909eb5f6c8df51db.png
[https_zhuanlan.zhihu.com_p_32553977]: https://zhuanlan.zhihu.com/p/32553977
[http_openaccess.thecvf.com_content_ICCV_2017_papers_Liu_RankIQA_Learning_From_ICCV_2017_paper.pdf]: http://openaccess.thecvf.com/content_ICCV_2017/papers/Liu_RankIQA_Learning_From_ICCV_2017_paper.pdf
[https_xialeiliu.github.io_RankIQA 1]: https://xialeiliu.github.io/RankIQA/
[https_xialeiliu.github.io_RankIQA_pdf_poster_ICCV_2017.pdf]: https://xialeiliu.github.io/RankIQA/pdf/poster_ICCV_2017.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 5]: /images/20220224/22b67976b7c1451f94f67c8246ca120e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 6]: /images/20220224/5fa88a0607bd48be89c874858598e1fd.png
[https_arxiv.org_pdf_1709.05424.pdf]: https://arxiv.org/pdf/1709.05424.pdf
[https_github.com_titu1994_neural-image-assessment]: https://github.com/titu1994/neural-image-assessment
[https_github.com_tfriedel_neural-image-assessment]: https://github.com/tfriedel/neural-image-assessment
[https_github.com_idealo_image-quality-assessment_tree_master_models_MobileNet]: https://github.com/idealo/image-quality-assessment/tree/master/models/MobileNet
[https_blog.csdn.net_qq_22194315_article_details_82713283]: https://blog.csdn.net/qq_22194315/article/details/82713283
[http_server.chinabyte.com_125_14395125.shtml_S_9rrf3v9huog]: http://server.chinabyte.com/125/14395125.shtml?S=9rrf3v9huog
[https_cloud.tencent.com_developer_news_49602]: https://cloud.tencent.com/developer/news/49602
[https_blog.csdn.net_yH0VLDe8VG8ep9VGe_article_details_78849545]: https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/78849545
[https_zhuanlan.zhihu.com_p_33194024]: https://zhuanlan.zhihu.com/p/33194024
[http_jinxin.me_downloads_papers_019-WCSP2016a_ILGNet-Final.pdf]: http://jinxin.me/downloads/papers/019-WCSP2016a/ILGNet-Final.pdf
[https_github.com_BestiVictory_ILGnet]: https://github.com/BestiVictory/ILGnet