（还可以2DASL）论文笔记

旧城等待， 2022-08-31 04:41 79阅读 0赞

原文链接：[https://blog.csdn.net/lailuosanjiao/article/details/93857367][https_blog.csdn.net_lailuosanjiao_article_details_93857367]

文章：《Joint 3D Face Reconstruction and Dense Face Alignment from A Single Image with 2D-Assisted Self-Supervised Learning》

概述：由于缺乏三维标注的训练数据，基于CNN学习三维人脸模型的方法的性能被大大的限制。为缓解这一问题，文章提出一种新的二维辅助自监督学习（2DASL）方法，该方法可以有效的利用带噪声特征点信息的野性二维人脸图像，大幅提高三维人脸模型的学习效果。具体而言，将稀疏的二维人脸特征点作为附加信息，2DASL引入四种新的自监督方案，将二维特征点和三维特征点预测视为一种自映射过程，包括二维和三维特征点自预测一致性、二维地标周期预测一致性和基于特征点的3DMM预测系数自评。利用这四种自监督方案和改进的传统3D监督，2DASL方法显著降低了传统2D-to-3D配对标注的要求，在不需要额外3D标注的情况下，提供了高质量3D人脸模型。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhaWx1b3NhbmppYW8_size_16_color_FFFFFF_t_70][]

网络构成：CNN Regressor为ResNet-50，Encoder包含6个卷积层，每个卷积层后面是ReLU和最大池化层。critic由4个完全连接层构成，分别由512、1024、1024、1个神经元组成，接着一个softmax层，获得输入对的一致性程度得分。

输入：CNN Regressor采用4通道张量作为输入，连接3通道RGB人脸图像和1通道2D人脸特征点图（FLM，一个二值图像，与人脸特征点对应取1，其他位置取-1）。输入图像裁剪为120×120。

输出：*f*尺度因子，t平移向量，Π由9个参数构成的投影矩阵，*α**s*∈*R**40*人脸形状表示参数，*α**exp*∈*R**10*人脸表情参数，共62个参数。

![2019062711083478.png][]

![20190627110839214.png][]

其中，V是存储3D顶点投影到2D平面的2D坐标，*Pr*正交投影矩阵。

损失函数：

![20190627110846932.png][]

![20190627110852374.png][]

![20190627110859585.png][]

![2019062711090861.png][]

![201906271109123.png][]

![20190627110916777.png][]

![20190627110927190.png][]

训练流程（个人设想）：

1.  使用总损失L来训练模型

上层路径通过3D标注监督对模型进行训练。底层路径通过基于二维人脸图

像的自评价监督训练模型。特别的，二维图像由编码器转换为潜在表示，自评模块以ground truth对为参考，评估预测系数是否与潜在表示一致。

每个iteration中：

1.  从有3D注释的数据集中采样m个样本，损失函数：*L**3d**,**L**cyc**,**L**2d-con**,**L**3d-con*，训练Regressor。
2.  从仅有2D特征点的数据集中采样m个样本，加上（1）中的m个样本，由Encoder生成相应结果。以此为输入，损失函数：*L**sc*，训练Disc。

（1），（2）重复训练多次。？（对应GAN，G不应训练多次）

1.  再有3D注释的数据集中采样m个样本和仅有2D特征点的数据集中各采样m个样本，固定Disc，损失函数：*L**sc**,**L**cyc**,**L**2d-con**,**L**3d-con*，训练Regressor。
2.  用（3）中从仅有2D特征点的数据集中采样的m个样本，固定Disc，损失函数：*1**m**i=1**m*log⁡*(1-**D**(**…**))*，训练Encoder。

1.  使用顶点距离代价对模型进行微调，遵循《Face alignment across large poses:

A 3d solution》

训练设置：CNN regressor采用SGD optimizer，学习率由5×*10**-**5*开始以指数衰减。Discriminator 采用Adam为optimizer，固定学习率1×*10**-**4*。Batch size设为32。*λ**1*，*λ**2**，**λ**3**，**λ**4*=0.005，0.005，1，0.005。

数据集：

1.  训练数据集：
    
    1.  300W-LP：包含超过60K带3DMM注释的人脸图像。
    2.  UMDFaces：包含8277主题共367888个静止人脸图像。

采用先进的二维人脸特征点检测器（《How far are we from solving the 2d & 3d face alignment problem?(and a dataset of 230,000 3d facial landmarks)》）检测所有人脸图像的二维人脸特征点。

1.  测试数据集：
    
    1.  AFLW2000-3D：由采集自AFLW的头2000个图片构成。每个人脸图片带有相应3DMM系数和68个3D人脸特征点注释。文章使用此数据集评估该三维人脸重建和稠密人脸对齐方法。
    2.  AFLW-LFPA：是AFLW的另一个拓展。其根据姿态从AFLW提取图像构造。它包含1299张测试图像，具有平衡的偏航角度。每张图片都附有34个面部特征点。文章使用这个数据集评估稠密人脸对齐任务的性能。这34个特征点作为ground truth来衡量文章结果的准确性。

[https_blog.csdn.net_lailuosanjiao_article_details_93857367]: https://blog.csdn.net/lailuosanjiao/article/details/93857367
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhaWx1b3NhbmppYW8_size_16_color_FFFFFF_t_70]: /images/20220829/f2fd4c742fc94b96aafe0b58981262f9.png
[2019062711083478.png]: /images/20220829/b15a19322b4f49a0b74f1172a4e3296e.png
[20190627110839214.png]: /images/20220829/77eec148fd664377bece14e8bfd9bb00.png
[20190627110846932.png]: /images/20220829/6a946f1cf5354dfe8e5689468026bae5.png
[20190627110852374.png]: /images/20220829/9312dda5bd5543c9a3d7a90cf885e25c.png
[20190627110859585.png]: /images/20220829/5a80c605770744eb8f4262011b2259e4.png
[2019062711090861.png]: /images/20220829/2a87ed1e29b44955bd7fc0a249d87c37.png
[201906271109123.png]: /images/20220829/877b02b004c249a999a3d86f9429bfa5.png
[20190627110916777.png]: /images/20220829/66889765f32840ba8dc80cde6accf02d.png
[20190627110927190.png]: /images/20220829/fb4e30e391a0480aabbee24f0273788a.png