视频质量评估算法 DVQA 正式开源

末蓝、 2023-07-13 03:32 51阅读 0赞

DVQA是腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法。在整个视频链路中，我们可以量化大部分模块，如采集，上传，预处理，转码，分发。我们最未知的却恰恰是最关键的部分，即用户的视频观看体验。DVQA适用于在源参考视频可用的场景下，精确衡量视频内容的人眼感知质量。

DVQA包含多个质量评估算法模型，本次开源的算法为C3DVQA。本项目使用Python开发，深度学习模块使用PyTorch。代码使用模块化设计，方便集成较新的深度学习技术，灵活的自定义模型，训练和测试新的数据集。

**算法设计**

C3DVQA所使用的网络结构如下图所示。其输入为损伤视频和残差视频。网络包含两层二维卷积来逐帧提取空域特征。级联后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了视频的时空掩盖效应，我们使用它来模拟人眼对视频残差的感知情况：掩盖效应弱的地方，残差更容易被感知；掩盖效应强的地方，复杂的背景更能掩盖画面失真。

![format_png][]

网络最后是池化层和全连接层。池化层的输入为残差帧经掩盖效应处理后的结果，它代表了人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。

**评测效果**

我们在LIVE和CSIQ两个视频质量数据集上对所提出算法的性能进行验证。并使用标准的PLCC和SROCC作为质量准则来比较不同算法的性能。我们所提出的C3DVQA与常用的全参考质量评估算法进行了对比，包括PSNR，MOVIE，ST-MAD，VMAF和DeepVQA，结果如下表所示。

<table> 
 <tbody> 
 <tr> 
 <td>方法</td> 
 <td>PLCC (LIVE)</td> 
 <td>SROCC (LIVE)</td> 
 <td>PLCC (CSIQ)</td> 
 <td>SROCC (CSIQ)</td> 
 </tr> 
 <tr> 
 <td>PSNR</td> 
 <td>0.7271</td> 
 <td>0.7398</td> 
 <td>0.5988</td> 
 <td>0.6106</td> 
 </tr> 
 <tr> 
 <td>MOVIE</td> 
 <td>0.8609</td> 
 <td>0.8481</td> 
 <td>0.6295</td> 
 <td>0.6247</td> 
 </tr> 
 <tr> 
 <td>ST-MAD</td> 
 <td>0.8570</td> 
 <td>0.8386</td> 
 <td>0.7674</td> 
 <td>0.7766</td> 
 </tr> 
 <tr> 
 <td>VMAF</td> 
 <td>0.8115</td> 
 <td>0.8163</td> 
 <td>0.6570</td> 
 <td>0.6377</td> 
 </tr> 
 <tr> 
 <td>DeepVQA</td> 
 <td>0.8952</td> 
 <td>0.9152</td> 
 <td>0.9135</td> 
 <td>0.9123</td> 
 </tr> 
 <tr> 
 <td>C3DVQA</td> 
 <td>0.9122</td> 
 <td>0.9261</td> 
 <td>0.9043</td> 
 <td>0.9152</td> 
 </tr> 
 </tbody> 
</table>

（LIVE和CSIQ两个数据库上不同全参考算法性能比较）

**真诚开源**

我们希望DVQA能够帮助解决视频感知质量评估的业务痛点，无论是使用现有模型还是使用自己的数据库来训练新模型。我们也欢迎任何形式的协同开发，不管是贡献数据库，还是贡献预训练模型，甚至是抛出业务场景中所遇到的问题。下一步计划中，我们会：

1.  进一步优化算法性能，降低复杂度
2.  更详细的benchmark
3.  拓展算法至UGC视频场景

如果你对这个算法感到兴趣，还请给这个项目一个 Star，欢迎提出你的 issue 和 PR！

**DVQA 正式开源！**

https://github.com/Tencent/DVQA

（点击文末阅读原文直接访问）

请给项目 一个 Star !

欢迎提出你的 issue 和 PR！

国内镜像地址：

https://git.code.tencent.com/Tencent\_Open\_Source/DVQA

（登录后才能访问公开项目）

![format_png 1][]

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

![format_png 2][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9XN1c5SWdBUm1HOTlTZlo4Q3U1aWF1VDFtcWRybEptaWJtaHhCamZNa0FYUEt3aWMwVmpFZnpWN0F1UE92aWJKcERydUM1bER2ZU5HQ3RXcEpLRFRjZEt1QXcvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9XN1c5SWdBUm1HaWJpYU4ycllTcjdaZVZUcGlibmJzSWFyajFMWmR3M3B1UUpKOG5KdFdMZkFWVXY1eW8zUlRlV0tqelhwRWo0bXNrMTNpYWtKWnhrVXI2SXcvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9XN1c5SWdBUm1HOWxjMmliYzFXa1ZNeUpiRm81MXY5S3RIeEpweFREZ29tejg4bFNabGVZa2liZTVocGliMHNSVUN2dWJUWGp6S0c0QWVQdW9lSGlhRVhveWcvNjQw?x-oss-process=image/format,png