计算机视觉人脸相关开源项目总结

灰太狼 2022-06-03 08:56 287阅读 0赞

## openface ##

openface是一个基于深度神经网络的开源**人脸识别**系统。该系统基于谷歌的文章《FaceNet: A Unified Embedding for Face Recognition and Clustering》。openface是卡内基梅隆大学的 Brandon Amos主导的。

github：https://github.com/cmusatyalab/openface

![这里写图片描述][d7e75b564b325d95cb833f8031249f2b.png]

\#\#OpenFace\#\#  
很有意思的一个事情是，我们要介绍的第二个项目，同样叫做OpenFace，只是他的首字母都是大写的，这个项目主要在Landmark Detection，Landmark and head pose tracking，Facial Action Unit Recognition等，其中Facial Action Unit Recognition是个比较有意思的点，该项目给出一个脸部的每个AU的回归分数和分类结果。

github：https://github.com/TadasBaltrusaitis/OpenFace

![这里写图片描述][4c7257dcbd31f55a2e5600b305480e9a.png]

\#\#face\_swap\#\#

face\_swap实现了一种end-to-end的自动换脸算法，基于单图换脸，C++实现所有的代码。专门准备的人脸数据集，让FCN在分割人脸时得到优异的效果。论文：《On Face Segmentation, Face Swapping, and Face Perception》。

github：https://github.com/YuvalNirkin

![这里写图片描述][3958b1d1122864478a4c3a4ffe62dad1.png]

\#\#SeetaFaceEngine\#\#

中科院山世光老师开源的人脸识别引擎—SeetafaceEngine，主要实现下面三个功能：  
SeetaFace Detection  
SeetaFace Alignment  
SeetaFace Identification  
[如何评价中科院山世光老师开源的Seetaface人脸识别引擎？][Seetaface]

github：https://github.com/seetaface/SeetaFaceEngine

![这里写图片描述][1be4dc382cf3ce49b68f2356e57e3626.png]

## deepfakes\_faceswap ##

相比于前面几个，deepfakes\_faceswap的内容就要相对简单很多，它在训练一个CNN网络做2D的换脸，不同于faceswap，训练出来的网络只能针对于当前的两个图片，而且依赖大量数据。有意思的是，最近传的很火的神奇女侠—盖尔加朵的视频，就是这个代码做出来的，很邪恶。

github：https://github.com/joshua-wu/deepfakes\_faceswap

![这里写图片描述][5f1a6e294d4a7c1278b74ed0ede66612.png]

## 3dmm\_cnn ##

一个很优秀的工作，利用ResNet101从单图建模出3维人脸图像，得到不错的效果。一种基于深度学习算法的人脸3维重建方法。  
论文：《Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network》  
github：https://github.com/anhttran/3dmm\_cnn  
相关链接：[这篇文章解释的还不错][Link 1]  
![这里写图片描述][7ca57aa163228ab3165a602b1a2e06c0.png]

## vrn ##

用CNN Regression的方法解决大姿态下的三维人脸重建问题。  
ICCV论文：《Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression》

github：https://github.com/AaronJackson/vrn

![这里写图片描述][2cba40f459e5f6c883ec43b926f66265.png]

\#\#4dface\#\#  
很优秀的C++工程，主要实现了以下功能，人脸检测和在2d视频中重建3维人脸。Real-time 3D face tracking and reconstruction from 2D video。  
作者Huber在CppCon 2015上有一个演讲：[CppCon 2015: Patrik Huber “3D Face Tracking and Reconstruction using Modern C++"][CppCon 2015_ Patrik Huber _3D Face Tracking and Reconstruction using Modern C]  
github：https://github.com/patrikhuber/4dface

\#\#face-alignment \#\#  
\#\#2D-and-3D-face-alignment\#\#  
两个github项目，在做同一件事，2d和3d的人脸对齐问题，区别在于前者是Pytorch 的代码，后者是Torch7的。  
论文有个很霸道的名字：《How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks) 》ICCV2017

github：https://github.com/1adrianb/face-alignment  
github: https://github.com/1adrianb/2D-and-3D-face-alignment

![这里写图片描述][54dc8ea34de02634e11c01cdbcde5144.png]

\#\#DRML\#\#  
北邮的论文：《Deep Region and Multi-label Learning for Facial Action UnitDetection》 CVPR 2016；  
作者定义了自己的新的层结构做区域学习多标签检测，来提升AU检测的效果。文章对12类AU的检测进行了训练和测试，分别是AU1,AU12,AU15,AU17,AU2，AU20,AU25,AU26,AU4,AU5,AU6,AU9。

github：https://github.com/zkl20061823/DRML

![这里写图片描述][034d275e5e11d45e059924a1816c7b1c.png]

[d7e75b564b325d95cb833f8031249f2b.png]: /images/20220603/ab61198baf1c4746b39e9dbe6a7d2870.png
[4c7257dcbd31f55a2e5600b305480e9a.png]: /images/20220603/dd12b3e5010143cca069ae0fbd5dc1ae.png
[3958b1d1122864478a4c3a4ffe62dad1.png]: /images/20220603/0bce1e61e51c4fd1a4181f544f5eaed1.png
[Seetaface]: https://www.zhihu.com/question/50631245
[1be4dc382cf3ce49b68f2356e57e3626.png]: /images/20220603/317aa626dc764660876328da282bf9fe.png
[5f1a6e294d4a7c1278b74ed0ede66612.png]: /images/20220603/ea11283a80764acdb7fa387329b52030.png
[Link 1]: https://zhuanlan.zhihu.com/p/24316690
[7ca57aa163228ab3165a602b1a2e06c0.png]: /images/20220603/1f13da5c1e6a4bf09565220a2d0cbd64.png
[2cba40f459e5f6c883ec43b926f66265.png]: /images/20220603/001064c3c3274c94b254d00656e7be27.png
[CppCon 2015_ Patrik Huber _3D Face Tracking and Reconstruction using Modern C]: https://www.youtube.com/watch?v=_1BBKipyR44
[54dc8ea34de02634e11c01cdbcde5144.png]: /images/20220603/c25413a7a56b4139884d1e7bfc1a9dd1.png
[034d275e5e11d45e059924a1816c7b1c.png]: /images/20220603/a05fc6eceee24877a21071194f0e0bac.png