2019.08_【FSGAN】_Subject Agnostic Face Swapping and Reenactment 论文翻译

迷南。 2022-09-09 00:17 13阅读 0赞

原文链接：[https://blog.csdn.net/mzj15101229871/article/details/109442181][https_blog.csdn.net_mzj15101229871_article_details_109442181]

## 论文原文： [FSGAN: Subject Agnostic Face Swapping and Reenactment][FSGAN_ Subject Agnostic Face Swapping and Reenactment] ##

## 论文解读推荐：https://zhuanlan.zhihu.com/p/138042376 ##

> 图1：人脸交换和表情迁移。 左：源面交换到目标上。 右：用于控制源图像中出现的人脸表情的目标视频。 在这两种情况下，我们的结果都出现在中间。  
> 欲知详情，请浏览本网站：https://nirkin.com/fsgan

## 摘要： ##

*  我们介绍了人脸交换GAN(FSGAN)用于人脸交换和表情迁移。 与以前的工作不同，FSGAN是主题不可知的，可以应用于对脸，而不需要训练这些脸。 为此，我们介绍了一些技术贡献。 `我们导出了一种新的基于循环神经网络(RNN)的人脸重构方法，它可以调整姿态和表达的变化，并可应用于单个图像或视频序列。` 对于视频序列，我们介绍了`基于重构、狄洛尼三角剖分和重心坐标`的人脸视图的连续插值。 闭塞的人脸区域由人脸网络处理。 最后，我们使用一个人脸混合网络，`在保持目标肤色和照明条件的同时，对两个人脸进行无缝混合。` 该网络采用了一种将泊松优化与感知损失相结合的`新型泊松混合损失`。 我们将我们的方法与现有的最先进的系统进行了比较，并表明我们的结果在质量和数量上都是优越的。

> **循环神经网络**：以往的神经网络都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。所以要用到RNN。
> 
> **Delaunay Triangulation**：不论是对face进行morph，还是swap，Delaunay Triangulation都是一个重要基础。其道理是，替换、变形等说到底是重新绘制，即将source的某部分经过变形绘制到target上来。就人脸来说，当然不能整个的复制过来，那样会造成图像的扭曲和失真。 Delaunay Triangulation就对人脸进行了切分，切分后形成了一个个对应的无重叠的三角区域，然后在每对之间基于仿射变换去做一些有趣的事情。  
> **泊松融合**是图像处理领域非常著名的图像融合算法，自从2003年在论文 Poisson Image Editing 中提出以后，取得了极大的成功，并且在此基础上进行许多改进的研究。

## 1、引言 ##

*  人脸交换是将人脸从源图像到目标图像的任务，使其无缝地替换出现在目标中的人脸，并产生真实的结果(图左1)。 人脸重构利用目标人脸在一个视频中的面部运动和表情变形来指导视频或图像中出现的人脸的运动和变形(图 1右)。 这两项任务都因其在娱乐\[1,21,48\]、隐私\[6,26,32\]和培训数据生成中的应用而引起了大量的研究关注。
 *  以前的工作提出了人脸交换或重新实现的方法，但很少两者兼而有之。 `早期的方法依赖于底层的3D人脸表示[46]来转移或控制面部外观。` 人脸形状要么是从输入图像\[44,42,35\]中估计出来的，要么是固定的\[35\]。 然后将三维形状与输入图像对齐\[10\]并用作传递强度（交换)或控制面部表情和视点时的代理）。**【早期方法不能兼顾换脸和视频换脸】**
 *  最近，提出了基于深度网络的人脸操纵任务方法。 例如，生成对抗性网络(GANs)\[13\]被证明能够成功地生成假面孔的真实图像。 条件GANs(cGANs)\[31,17,47\]被用来将描述真实数据的图像从一个域转换到另一个域，并\[37,50,40\]激发多个人脸重构方案。 最后，`DeepFakes项目[12]利用cGANs在视频中进行面部交换，`使普通人也可以换脸，并受到公众的重大关注。 这些方法能够通过替换经典的图形管道生成真实的人脸图像。 然而，它们仍然隐式地使用3D人脸表示。**【这些方法虽然使用的GAN，但是还是隐式地使用了3D人脸表示】**
 *  `一些方法依赖于潜在特征空间域分离`\[45,34,33\]。 这些方法将人脸的身份成分从剩余的特征中分解出来，并将身份编码为潜在特征向量的表现形式，导致显著的`信息丢失和合成图像的质量较差`。 目标确定的方法\[42,12,50,22\]必须为每个目标进行训练，因此`需要大量的目标特定数据`【通常是数千张人脸图像】以获得合理的结果，限制了它们的潜在用途。 最后，以前的人脸合成方案，特别是基于3D的方法，共同关心的一个主要问题是，它们在处理部分遮挡的人脸时都需要特别小心。**【依赖于潜在特征空间分离的方法会导致显著的信息丢失和较差的图像质量。基于3D的方法对于遮挡人脸的处理需要特别小心】**
 *  我们提出了一种基于深度学习的方法来处理图像和视频中的人脸交换和重构。 与以前的工作不同，我们的方法是目标未知：`它可以应用于不同目标的面孔，而不需要特定的学科训练`。 我们的脸交换GAN(FSGAN)是端到端可训练的，并产生照片真实，时间相干的结果。 我们做出以下贡献：
    
     *  **目标未知的换脸和重现**：据我们所知，我们的方法是第一个同时操纵姿势、表达和身份，而不需要特定于人或对特定的训练，同时产生高质量和时间连贯的结果。
     *  **多视图插值：** 我们提供了一种新的方案，以连续的方式在同一人脸的多个视图之间进行插值，基于重构、DelaunayTriangulation和重心坐标。
     *  **新的损失函数：**。 我们提出了两个新的损失：逐步一致性损失，用于在小步骤中逐步训练人脸重构，以及泊松混合损失，以训练人脸混合网络将源人脸无缝集成到其新环境中。
 *  我们广泛地测试我们的方法，报告定性和定量融合结果，并与最先进的技术进行比较。 我们的结果质量超过了现有的工作，即使没有对主题特定的图像进行培训。**【自己的技术很牛】**

## Related work ##

*  操纵面部图像的方法，特别是面部交换和再现的方法，有着悠久的历史，可以追溯到近二十年。 这些方法最初是由于隐私问题而提出的\[6,26,32\]尽管它们越来越多地被用于娱乐\[21\]或娱乐（例如\[1,48\]）。
 *  **基于3D的方法**。 最早的交换方法需要人工参与\[6\]。 几年后，\[4\]提出了一种自动方法。 最近，Face2Face将表情从源脸转移到目标脸\[44\]。 转移是通过拟合一个三维变形脸模型(3DMM)\[5,7,11\]到两个脸，然后将一个脸的表情成分应用到另一个脸上。
 *  **Suwajanakorn等人的表情迁移方法**。 \[42\]使用重建的奥巴马的3D模型，在面部地标的指导下，合成了面部的口腔部分，并使用类似的策略填充面部内部，如`Face2Face`。脸部的表情是由AverbuchElor等人操纵的。 \[3\]**通过使用2D包装和面部地标将口腔内部从源转移到目标图像。**【**没懂**】
 *  最后，Nirkin等人。 \[35\]提出了一种人脸交换方法，表明三维人脸形状估计对于真实的人脸交换是不必要的。 相反，他们使用固定的3D人脸形状作为代理\[14,29\]。 与我们一样，他们提出了一种人脸分割方法，尽管他们的工作不是端到端的训练，需要特别注意遮挡。 我们的结果比他们的好。【**我们的效果比Nirkin等人的3D效果好**】
 *  **基于GAN的方法**。 `GANs[13]被证明可以生成与目标域具有相同分布的假图像。` 虽然成功地生成真实的外观，但训练GANS可能是不稳定的，并限制了它们在低分辨率图像中的应用。 然而，随后的方法提高了训练过程\[28,2\]的稳定性。 `Karras等人。 [20]使用一种渐进的多尺度方案来训练GAN，从低分辨率到高分辨率。` `CycleGAN[52]提出了一个周期一致性损失`，允许训练不同领域之间的无监督泛型转换。 Isola等人借鉴了pix2pix方法应用L1损失的cGAN。 \[17\]，并被证明产生了吸引人的合成结果，如将边缘转换为面。
 *  **使用GAN进行面部操作**。 Pix2pix HD\[47\]通过应用多尺度cGAN体系结构和添加感知损失\[18\]，使用GANs进行高分辨率图像到图像的转换。 GANimation\[37\]提出了一个双生成器cGAN条件下的情绪动作单元，产生一个 attention map。 这张地图被用来在重新编辑的图像和原始图像之间进行插值，以保持背景。 GANimation\[40\]提出了由面部地标驱动的深层面部重构。 它使用三重一致性损失逐步生成图像：它`首先使用地标正面化图像，然后处理正面脸`。
 *  Kim等人 \[22\]最近提出了一种混合三维方法。 他们用一个经典的图形方法渲染一个特定脸部的重建**3DMM**。 然后，渲染的图像被一个生成器网络处理，该网络被训练成将每个目标的合成视图映射到照片真实图像。
 *  最后，提出了特征分解作为人脸操纵的一种手段。 **RSGAN**\[34\]分解面部和头发的潜在表征，而**FSNet**\[33\]提出了一个潜在空间，它将身份和几何成分，如面部姿势和表情分开。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center]

> 图2：拟议的FSGAN方法概述。
> 
> (a)循环重构生成器Gr和分割生成器Gs。 Gr估计重构后的人脸Fr及其分割Sr，而Gs估计目标图像的人脸和头发分割掩膜St。  
> (b)修复生成器Gc根据St对F˜r缺失部分进行油漆，以估计完整的再反应面Fc。  
> （c）融合生成器Gb使用分割掩码St混合Fc和Ft。

## 3.Face swapping GAN ##

*  在本工作中，我们介绍了人脸交换GAN(FSGAN)，如图2所示。 设Is是源图像，并且It是目标图像。Fs是属于Is，Ft属于It。 我们的目标是创建一个基于It的新图像，其中Ft被Fs替换，同时保持姿势表情不变。 【**换脸**：源脸只提供面部信息，其余特征全是来自目标图像（包括表情、光照、背景等信息）】
 *  FSGAN由`三个主要部件`组成。 第一个，详见SEC 3.2(图 2(a)，由重构生成器Gr和分割CNN Gs组成。 Gr给出了一种编码Ft`（目标面部）`面部地标的热图，并生成了重新编辑的图像Ir`（脸部交换结果）`，使Fr`（结果脸部）`在Ft`（目标脸部）`的相同姿态和表情下描绘了Fs`（源脸部）`。 它还计算了Sr`（结果脸部的掩码）`：Fr的分割掩码。 组件Gs计算了Ft`（FACEtarget）`的面部和头发分割。**【Ir是生成后的人脸，Fr就是生成后的人脸部分】**
 *  重新编辑的图像Ir可能包含丢失的面部部分，如图2所示和图 2(b)。 因此，我们应用人脸修复网络Gc，详见SEC3.4。使用分割St估计丢失的像素。 最后部分的FSGAN是将完成的人脸Fc混合到目标图像中，得到最终的人脸交换结果。
 *  我们的人脸分割网络Gs的体系结构是`基于U-Net`\[38\]，采用`双线性插值进行上采样`。 我们所有的其他生成器Gr、Gc和Gb都是基于`pix2pix HD`\[47\]使用的生成器【有精细生成器和多尺度判别器】。 与pix2pixHD不同，我们的全局生成器使用带有瓶颈块的U-Net体系结构\[15\]而不是简单的卷积和求和，也不是级联。 与分割网络一样，我们在全局生成器和增强器中都使用双线性插值进行上采样。 生成器之间的实际层数不同。**【pix2pixHD是产生高分辨率的图像的方法】**
 *  其他与\[50\]内容相似，训练主题不可知的面部再现是非凡的，如果应用于与大姿势相关的未见的面部图像，可能会失败。 为了应对这一挑战，我们建议将大的姿态变化分解为小的可管理步骤，并在与目标姿态对应的最近可用的源映像之间进行插值。 以下各节将解释这些步骤。**【大的姿势变换和未见的面部转换，将其转换为小的步骤解决】**

## 3.1训练损失 ##

*  **域特定的感知损失**。 为了捕捉精细的面部细节，我们采用了`感知损失`\[18\]，广泛应用于最近的`面部合成`\[40\]、`户外场景`\[47\]和`超分辨率`\[25\]。 感知损失使用预先训练的`VGG`网络的特征映射，使用`欧氏距离`比较高频细节。 我们发现使用在通用数据集上预先训练的网络如ImageNet很难完全捕获人脸图像固有的细节 。 所以，我们的网络是在目标域上训练的：因此，我们训练多个VGG-19网络\[41\]，用于人脸识别和人脸属性分类。 让Fi ∈ RCi×Hi×Wi是我们网络的第一层的特征映射，感知损失是由以下公式定义：【`使用在通用数据集上的训练的网络很难捕获人脸原有细节，所以我们在目标域上训练多个VGG-19网络】`
 *  ![在这里插入图片描述][20201109164402955.png_pic_center]
 *  **重建损失**公式1中的感知损失可以很好地捕捉细节，但是只使用感知损失训练的生成器对低频图像内容的重建时经常产生颜色不准确的图像。 因此，我们还对生成器应用了像素级L1损失：**【只用感知损失会导致重建图像颜色不准确，所以引入重建损失】**  
    ![在这里插入图片描述][20201109170541924.png_pic_center]  
    然后给出总体损失：  
    ![在这里插入图片描述][20201109170641940.png_pic_center]我们的所有生成器中都使用公式3中的损失函数。
 *  **对抗性损失**。 为了进一步提高我们生成的图像的真实性，我们使用了对抗性损失\[47\]。 我们使用了一个由多个鉴别器组成的多尺度鉴别器，D1、D2、…、Dn，每一个都在不同的图像分辨率上工作。 对于生成器G和多尺度鉴别器D，我们的对抗性损失由：**【为了提高真实性，采用对抗损失】**  
    ![在这里插入图片描述][20201109171024194.png_pic_center]  
    其中LGAN(G，D)定义为：  
    ![在这里插入图片描述][20201109171055449.png_pic_center]

## 3.2. 人脸重构与分割 ##

*  给定一个图像I∈R3×H×W和一个面部地标的热图表示H§∈R70×H×W，p∈R70×2，我们定义了人脸重构生成器Gr，作为映射Gr：\{R3×H×W，R70×H×W \}—>R3×H×W。
 *  让vs，vt∈R70×3和es，et∈R3，是对应于Fs和Ft的三维地标和欧拉角。我们通过在es和et之间进行插值，生成中间的2D地标位置pj，使用我们投影到Is的中间点生成vs和vt的质心。 我们递归地定义每次迭代1≤j≤n的重构输出：  
    ![在这里插入图片描述][20201109171655111.png_pic_center]
 *  其他与\[37\]相似，全局生成器的最后一层和Gr中的每个增强子被分成两部分：`第一个产生重新编辑的图像，第二个产生分割掩码`。 与其他\[37\]使用的二进制掩码相比，我们分别考虑面部和头发区域。 由重构网络隐式学习的二进制掩码捕获了大多数头部，包括头发，我们分别对其进行分割。 此外，额外的头发分割也提高了人脸分割的准确性。 人脸分割生成器GS定义为Gr：R3×H×W→R3×H×W，其中给定RGB图像，输出一个由背景、人脸区域和头发区域组成的3通道的分割掩码图像。如下图所示：  
    ![在这里插入图片描述][20201109172150309.png_pic_center]
 *  **训练** ，在三重一致性损失\[40\]的启发下，我们提出了一个逐步一致性损失。 给定来自视频序列的同一主题的图像对(Is，It)，让Irn是n次迭代后的重构结果，It，Irn是相同的图像分别使用分割掩码St和Srj删除背景之后的结果。 逐步一致性损失定义为：Lrec(Irn，It)。 最终的生成器损失是：  
    ![在这里插入图片描述][202011091727597.png_pic_center]  
    对于Gs我们使用标准的交叉熵损失Lce，并从Gr获得额外的指导：  
    ![在这里插入图片描述][2020110917291553.png_pic_center]  
    其中Str是Gr(IT；H(Pt)的分割掩码结果，pt是与其对应的二维地标。
 *  我们将Gr和Gs一起训练，以交错的方式进行。 我们从训练Gs开始一个时期，然后再训练Gr一个额外的时期，随着训练的进展而增加λreenactment。 我们发现，训练Gr和Gs一起有助于过滤从粗糙的面部和头发分割标签中学习到的噪声。**【交替训练生成器和辨别器】**

## 3.3 人脸视图插值 ##

*  标准的计算机图形方法将纹理网格多边形投影到平面上，以便进行无缝渲染\[16\]。 我们`提出了一种新的、替代的人脸视图之间连续插值方案`。 这一步是我们方法的一个基本阶段，因为它允许使用整个源视频序列，而不需要在特定的视频帧上训练我们的模型，使它成为不可知的对象。
 *  给定一组源图像\{Is1，…，Isn\}的脸部图像\{Fs1，…，Fsn\}和欧拉角\{e1，…，en\}，我们构造了源主体的外观图，如图3(a)。 这个外观图嵌入了头部姿态在一个三角平面，允许头部姿态遵循连续的路径。  
    
    
    > 图 3：人脸视图插值。  
    > (a)显示源主体的外观图示例（唐纳德·特朗普）。 绿色点表示源主体的不同视图，蓝线表示这些视图的DelaunayTriangulation，红色X表示当前目标姿态的位置。  
    > (b)与选定三角形的顶点（用黄点表示)相关的插值视图）。  
    > ©重新制作结果和当前目标图像。
    
     *  我们首先将欧拉角\{e1，…，en\}投影到平面上，通过降低滚动角。 使用k-d树数据结构\[16\]，我们删除角域中彼此太近的点，对相应的欧拉角具有更接近于零的滚动角的点进行排序。 我们进一步去除运动模糊图像。 利用剩余点\{x1，…，xm\}和四个边界点易∈\[\[75,75\]×\[\[75,75\]，我们用DelaunayTriangulation在角域中建立了一个网格M。
     *  对于一个面Ft的查询欧拉角et及其相应的投影点xt，我们找到包含xt的三角形T∈M。 设xi1、xi2、xi3为T和Isi1的顶点，isi2、isi3为相应的人脸视图。 我们计算了xt的重心坐标，λ1，λ2，λ3，对于xi1, xi2, xi3， 插值结果Ir为：  
        ![在这里插入图片描述][20201109203129156.png_pic_center]
     *  其中pt是Ft的二维地标。 如果三角形的任何顶点都是边界点，我们将它们排除在插值之外，并将权重λi归一化为一。 人脸视图查询如图 3(b，c)。 为了提高插值精度，当外观图相对于偏航尺寸是片面的时，我们使用水平翻转来填充视图，当外观图太稀疏时，我们使用Gr生成人工视图。
    
    ## 3.4面部修复 ##
    
     *  源脸部中的遮挡区域不能在目标面部上呈现。 Ft.Nirkin\[35\]等人使用Fs和Ft的分割来删除遮挡区域，只渲染（交换）在源面和目标面中可见的区域。 大的遮挡和不同的面部纹理会在产生的图像中引起明显的伪影。
     *  为了缓解这些问题，我们应用了一个人脸修复生成器Gc(图2(b))。 Gc渲染人脸图像Fs，使所产生的人脸渲染˜Ir覆盖整个分割掩码St(Ft)，从而解决这种遮挡。
     *  考虑到重构结果，Ir，其相应的分割，Sr，和目标图像与它的背景被移除，˜It，所有都来自于相同的身份，我们首先通过模拟常见的由于头发造成的面部遮挡，通过从Sr的边界随机删除在不同的大小和纵横比的椭圆形状的部分，让Ir与它的背景被移除，使用Sr的增强版本Ic完成了在˜Ir上应用Gc的结果。 我们对修复生成器的函数定义如下：  
        ![\-][-]  
        其中Lrec和Ladv是sec3.1的重建损失和对抗损失。
    
    ## 3.5面部混合 ##
    
     *  所提出的人脸交换方案的最后一步是将完成的人脸Fc与其目标人脸Ft混合(图2©)。 任何混合必须考虑到，`不同的肤色和照明条件`。 受以前使用泊松混合进行修复\[51\]和混合\[49\]的启发，我们提出了一种新的泊松混合损失。
     *  设It是目标图像，它是被重新处理的人脸的图像转移到目标图像上，并标记转移像素的分割掩码。 在\[36\]之后，我们将泊松混合优化定义为:  
        ![在这里插入图片描述][20201109205253237.png_pic_center]  
        其中∇（·）是梯度算子。 我们`结合了方程中的泊松优化和感知损失`。 泊松混合损失为L(Gb)：  
        ![在这里插入图片描述][20201109205348992.png_pic_center]
    
    ## 4. 数据集和培训 ##
    
    ## 4.1数据集和处理 ##
    
     *  我们使用IJB-C数据集\[30\]的视频序列来训练我们的生成器Gr，我们自动地提取描述特定主题的帧。 IJB-C包含11k面部视频，其中我们使用了5500个高清视频。 类似于sec3.3的方法 ，我们裁剪面部视图接近以及运动模糊的帧。
     *  我们将分割CNN【Gs】应用于帧，并对人脸包围框中小于15%像素的帧进行修剪。 我们使用dlib的人脸验证,根据主题标识对帧进行分组，并通过在2D地标中选择具有最大方差的帧来限制每个主题的帧数为100。 在每次训练迭代中，我们从两个随机选择的受试者中选择帧Is和It。
     *  我们训练了VGG-19CNNs在VG GFace2数据集上的感知损失\[9\]用于人脸识别，CelebA\[27\]数据集用于人脸属性分类。 VGGFace2数据集包含3.3M图像，描述9,131个身份，而CelebA包含202,599个图像，带有40个二进制属性注释。
     *  我们训练分割CNN，Gs，关于其他\[35\]使用的数据，包括∼10k的人脸图像标记的人脸分割。 我们还使用LFW零件标签设置\[19\]与∼3k图像标记的脸和头发分割，删除颈部区域使用面部地标。
     *  我们使用了额外的1k图像和相应的头发分割从Figaro数据集\[43\]。 最后，人脸取证\[39\]提供了1000个视频，从这些视频中，他们使用Deep Fakes\[12\]和Face2Face\[44\]在随机对上生成了1000个合成视频。
    
    ## 4.2. 训练细节 ##
    
     *  我们从零开始训练建议生成器，其中`权重是使用正态分布随机初始化`的。 我们使用`Adam优化`\[24\]（β1=0.5，β2为0.999），学习率为0.0002。 我们每十个epochs将这个比率降低一半。 所有生成器采用以下参数：λperc=1，λpixel=0.1，λadv0.001，λseg0.1，λrec1，λstepwise1，其中在训练期间从0线性增加到1。 我们所有的网络都接受了八个NVIDIA特斯拉V100GPU和英特尔Xeon CPU的训练。 对Gs的训练需要六个小时才能收敛，其余的网络则在两天内收敛。 我们的所有网络，除了Gs，都是使用`渐进的多尺度方法`进行训练的，从128×128的分辨率开始，到256×256的分辨率结束。 参考率为∼30fps用于重新实现，∼10fps用于在一个NVIDIA特斯拉V100GPU上交换。
    
    ## 5. 实验结果 ##
    
     *  我们进行了广泛的定性和定量实验，以验证所提出的方案。 我们将我们的1Available：http://dlib.net/方法与以前的两种面部交换方法进行了比较：深Deepfake\[12\]和Nirkin等人\[35\]，还有\[44\]Face2Face重构方案。 我们在面部取证\[39\]的视频上进行所有的实验，通过在他们使用的同一对上运行我们的方法。 我们进一步报告消融研究，显示每个组件在我们的方法中的重要性。
    
    ## 5.1. 定性人脸重构（表情迁移）结果 ##
    
     *  图4显示了我们的没有背景去除的原始面部重构结果。 我们选择了不同种族、姿态和表情的例子。 一个特别有趣的例子可以在最右边的列中看到，显示了我们的方法处理极端表达式的能力。 为了显示迭代重演的重要性，图5提供了同一主题的小角度和大角度差异的重演。 从最后一列可以明显看出，`对于大角度差异，使用多次迭代可以更好地保留标识和纹理`。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 1]
    
    > 图 4：定性人脸重构结果。
    
    > 第1行：重新实现的源面。  
    > 第二行：我们的重新实现结果（没有背景删除）。  
    > 第三行：转移姿势和表情的目标面。
    
    ## 5.2. 定性的人脸交换结果 ##
    
     *  图6提供了从Forensics++ videos中获取的人脸交换示例，而没有对我们的模型进行这些视频的训练。 我们选择了代表不同姿势和表情、面部形状和头发遮挡的例子。 因为Nirkin等人 \[35\]是一种图像对图像的人脸交换方法，为了公平地进行比较，对于目标视频中的每一帧，我们选择了姿态最相似的源帧。 为了比较FSGAN在视频到视频场景中，我们使用了sec3.3中描述的人脸视图插值。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 2]
    
    > 图 6：定性的面部交换结果对\[39\]。 结果的源照片交换到目标提供给Nirkin等人。 \[35\]，Deepfake\[12\]和我们的方法，图像的主题它没有训练。
    
    ## 5.3. 与Face2Face的比较 ##
    
    \-我们将我们的方法与Face2Face的\[44\]进行了比较，只涉及表达式的重构问题。 给定一对面Fs∈Is和Ft∈It,将表情从Is转移到It。 为此，我们通过在Fs的2D地标的口点交换来修改Ft的相应2D地标，类似于我们如何在SEC中生成中间地标。 3.2. 然后由Gr(IT；H(ˆpt)给出重构结果，其中pˆt是修改后的地标。 这些例子如图7所示。
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 3]
    
    > 图7：\[39\]与Face2Face\[44\]的比较。 正如所演示的，我们的方法比Face2Face显示的伪影要少得多。
    
    ## 5.4. 定量结果 ##
    
     *  我们报告定量结果，符合我们如何定义人脸交换问题：我们验证了方法如何保持源主体身份，同时保持目标主体的相同姿态和表达。 为此，我们`首先将每个帧的人脸交换结果Fb与主题人脸视图中的最近邻进行比较`。 我们使用dlib\[23\]人脸验证方法来比较身份和结构相似指数法(SSIM)来比较它们的质量。关于测量姿势精度，我们计算出Fb的欧拉角到原始目标图像的欧氏距离。同样，表达式的精度被测量为二维地标之间的欧氏距离。 剂量误差以度为单位测量，表达式误差以像素为单位测量。 我们计算这些测量的均值和方差在前100帧的前500个视频在人脸取证，平均他们在视频。 作为基线，我们使用Nirkin等人。 \[35\]和DeepFake\[12\]。显然，从表1的前两列中，我们的方法与以前的方法相似，保留了标识和图像质量。 表1中最右边的两个度量显示我们的方法保留的姿态和表情比它的基线好得多。 请注意，人眼对面部的伪影非常敏感。 这应该反映在质量分数中，但这些工件通常只捕获图像的一小部分，因此SSIM分数不能很好地反映它们。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 4]
    
    > 1：定量交换结果。 On FaceForensics++ videos\[39\]
    
    ## 5.5. 消融研究 ##
    
     *  我们用我们的方法进行了四种配置的融合试验：只有Gr+Gr ，GC+Gr 和我们的全部管道。 分割网络Gs用于所有的图像。 定性结果如图 8。
     *  定量消融结果见表2。 验证分数表明，所有网络都保留了源标识。 从欧拉和地标分数，我们看到目标姿态和表达式最好保留完整的管道。 误差差异不是极端的，这表明修补和混合发生器，GC和GB，分别保持姿态和表达同样良好。 由于添加到管道中的额外网络和处理，SSIM略有下降。
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 5]
    
    > 图8：消融研究。  
    > 第3列和第5列是没有完成网络GC，显示转移的面不覆盖整个目标面，留下明显的伪影。  
    > 第3列和第4列显示没有混合网络Gb，显示转移的脸的肤色和照明条件与其新的环境不一致。  
    > ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 6]
    > 
    > 表 2：定量消融结果。 On FaceForensics++ videos\[39\]。
    
    ## 结论 ##
    
     *  **局限性**：图5显示了我们对不同偏离角度的人脸的重构结果。 显然，角差异越大，同一性和纹理质量就越退化。 此外，`过多的面部重构生成器迭代模糊了纹理`。**【迭代次数越多，人脸越模糊】** 与基于3DMM的方法不同，例如Face2Face\[44\]直接从图像中扭曲纹理，`我们的方法仅限于训练数据的分辨率。另一个限制来自`使用稀疏地标跟踪方法，该方法不能完全捕捉面部表情的复杂性。\`**【人脸地标数量很少，不能完全捕捉面部表情】**
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 7]
    
    > 重建限制。 左上角图像转换到第1行中的每个图像上（使用相同的主题来清晰）。 第2行：一个迭代的实现。 第3行：三次迭代。
    
    ## 讨论 ##
    
     *  我们的方法`消除了费力的、特定于主题的数据收集和模型训练`，使普通人也可以尝试人脸交换和重构。 我们强烈认为，最重要的是公布这些技术，以推动制定技术反措施，查明这些假脸，并迫使法律制定者制定明确的政策，处理其影响。禁止研究这些换脸方法不会阻止它们的发展，而是制定政策去打击滥用这类技术。

[https_blog.csdn.net_mzj15101229871_article_details_109442181]: https://blog.csdn.net/mzj15101229871/article/details/109442181
[FSGAN_ Subject Agnostic Face Swapping and Reenactment]: https://arxiv.org/abs/1908.05932
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/0ae12e83ee294143bbd0be71df2f8f93.png
[20201109164402955.png_pic_center]: /images/20220829/a5b1da8437414622a77408795843194a.png
[20201109170541924.png_pic_center]: /images/20220829/a7756ea3b6374c8a9767f07cb643e7c8.png
[20201109170641940.png_pic_center]: /images/20220829/c06acc5d4ea14e80afc5e22d0da9e702.png
[20201109171024194.png_pic_center]: /images/20220829/593c816acd8e459b86185d2dacbcc061.png
[20201109171055449.png_pic_center]: /images/20220829/ecf35f6499ee48359aee5c3afb937af7.png
[20201109171655111.png_pic_center]: /images/20220829/4d4a4ce1a04243e3a203d3f6290ba73f.png
[20201109172150309.png_pic_center]: /images/20220829/dae3e47fceb74f41a9ec6ea280326342.png
[202011091727597.png_pic_center]: /images/20220829/5c25351e1b4745e39dc93878f7a4225c.png
[2020110917291553.png_pic_center]: /images/20220829/f8e08e7326db403a95d58ba76fd0d457.png
[20201109203129156.png_pic_center]: /images/20220829/4e181a2a5836421c8e2a21befba3d5f3.png
[-]: /images/20220829/4897a764d1634f47b28913114d500b93.png
[20201109205253237.png_pic_center]: /images/20220829/1b27ec0e79eb490d864fd748b77a2d7b.png
[20201109205348992.png_pic_center]: /images/20220829/be5926b6c52543a8820bd2c59e701cdc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220829/ffa7995d4ae84997af160ea9934af962.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220829/55b821fa8c81412da1d7dd4e054c6484.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20220829/5249efe0a3a84affb1724ab17a756693.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20220829/11a9949466fd4345815146dc5b17093d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20220829/c2cfe26560a64807bcc5c3d1d383b80c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20220829/077a7e52d2624c0da08fb62e475094d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L216ajE1MTAxMjI5ODcx_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20220829/fc730cc1c1a64cc5b00bd6bc16e3fc9e.png