基于Python和Unity的神经风格迁移框架生成的游戏捏脸逼真人脸设计

本是古典何须时尚 2023-10-15 10:07 153阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88251308  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88251308

## 基于神经网络捏脸 ##

### Reinferences ###

1.  Unity-2019.2.1f1
    2.  python-3.5
    3.  dlib-19.18
    4.  numpy-1.15.4
    5.  torch-1.1.0
    6.  opencv-contrib-python 3.4.0.12
    7.  tqdm-4.23.4
    8.  argparse-1.4.0
    9.  scipy-1.0.1
    10. tensorboardX

### 论文 ###

网易的研究者提出了一种游戏角色自动创建方法，利用 Face-to-Parameter 的转换快速创建游戏角色，用户还可以自行基于模型结果再次进行修改，直到得到自己满意的人物。此项目按照[论文][Link 2]里的描述建立。

[Face-to-ParameterTranslationforGameCharacterAuto-Creation][Link 2]

![4d7662944d76d5919acab5f800eadbe4.png][]

### 引擎预览 ###

打开 Unity, 点击菜单栏 Tools->Preview, 通过此工具可以手动去捏脸。当然， 此项目是通过神经网络生成参数 params。

![b12a5f8a6513424a806d92ba3a5caac6.png][]

### Database ###

打开 Unity, 点击菜单栏 Tools->GenerateDatabase

![3c11f289abd72ae852da4748281b2b5c.png][]

点击 generate 按钮之后，在 export 目录会生成两个文件夹 trainset 和 testset， 分别用作训练集和测试集。 勾选 trainset noise 之后，trainset 随机生成的噪点大概是 1/95。

这里引擎最大随机生成 10000 张图片， 其中 80% 用作训练集。同时在图片同目录会生成二进制文件 db\_description，记录捏脸相关的参数，作为 imitator 输入的参数。

生成图片分辨率：512x512, 不同的是使用 Unity 引擎代替论文里的 Justice 引擎。

![931cc1ed2bbf0df49e04fe3580768b48.png][]

### 脸部对齐 - Face alignment ###

对于输入图片，通过此工具 dlib 进行脸部截取。

pip3 install dlib

或者使用 conda 安装

conda install -c menpo dlib

dlib 引用模型下载地址:

[http://dlib.net/files/shape\_predictor\_68\_face\_landmarks.dat.bz2][http_dlib.net_files_shape_predictor_68_face_landmarks.dat.bz2]

[http://dlib.net/files/dlib\_face\_recognition\_resnet\_model\_v1.dat.bz2][http_dlib.net_files_dlib_face_recognition_resnet_model_v1.dat.bz2]

### LightCNN ###

[light][] 出自 2016 cvpr 吴翔 A Light CNN for Deep Face Representation with Noisy Labels，light\_cnn 优势在于一个很小的模型和一个非常不错的识别率。论文里使用 LightCNN 用于生成 256 demonsion 信息，进而得到 Loss 函数 L1, 即 Discriminative Loss, 衡量引擎生成的图片和 Imitator 生成的图片差异。

训练好的模型下载连接：

Google driver: [LightCNN-29 v2][]

baidu yun: [LightCNN-29 v2][LightCNN-29 v2 1]

### 人脸分割 ###

论文里使用人脸分割，提取局部面部特征， 从而计算 Facial Content Loss， 下面列出了我网上找到相关的人脸分割的相关介绍和数据集。

1.  介绍
    
    图像解析与编辑\[中国科学院信息工程研究所网络空间技术实验室 ppt\]: [https://pan.baidu.com/s/1FYznfGG914pPaU5bs0-4dw][https_pan.baidu.com_s_1FYznfGG914pPaU5bs0-4dw]
2.  数据集
    
    helen\_small4seg
    
    [https://share.weiyun.com/5Q9ST03][https_share.weiyun.com_5Q9ST03] 密码：ndks4g

不同于论文里使用的 resnet50，此项目引用的模型是 BiSeNet

预训练 model: [https://pan.baidu.com/s/1AEc7CJGirsdxOouD3boRBQ][https_pan.baidu.com_s_1AEc7CJGirsdxOouD3boRBQ]

下载后存放在 face-parsing.PyTorch/res/cp 目录下

最后的效果如图：

![b9b865f589e5d2d0b1ac9ae8bc3faa46.png][]

### Operation ###

#### 训练 train ####

进入 Git 下载目录， 按照下面命令就可以 train， 训练的时候每隔 100 步会生成 preview 图片，实时查看训练结果; 每隔 500 步就会保存下当前模型, 保存在 model 文件夹下

cd /path/to/workdir
    
    cd neural/
    
    mkdir dat/
    
    # 这里需要将下载的lightcnn, dlib等模型拷贝过来
    copy yours_download_model_path data/
    
    python3 main.py \
    	--phase=train_imitator \
    	--batch_size=4 \
    	--learning_rate=0.01 \
    	--total_steps=30000	\
    	--prev_freq=100	\
    	--save_freq=500	\
    	--path_to_dataset="../export/trainset_female/"
    
    # 开启tensorboard 查看graph运行情况
    tensorboard --logdir logs

最后训练得到的效果如下图：

![451d51cf6664f2740e341423cd1097bf.png][]

(上图是左上角是参考图，右上角是 imitator 生成图，左下角是生成图的脸部语义切割图， 右下角是部位边缘图)

#### reinference ####

如果因为中间因为偶然因素（比如说断电）退出了训练， 又想从之前保存的 model 中恢复出来， 这时候可以先把 model 里的模型文件 copy 到 reinference 目录， 然后执行下面命令：

python3 main.py \
    	--phase=inference_imitator	\
    	--total_steps=30000	\
    	--path_to_dataset="../export/trainset_female/" \
    	--imitator_model="model_imitator_100000.pth"

###### imitator pretrained model: ######

[https://pan.baidu.com/s/1qDRPAzn3m9VxX2Z-oENBWQ][https_pan.baidu.com_s_1qDRPAzn3m9VxX2Z-oENBWQ]

train 中的效果参考视频：

https://youtu.be/FKJ-rvXS39U

[https://www.bilibili.com/video/av76020308/][https_www.bilibili.com_video_av76020308]

#### preview ####

效果预览, 生成捏脸参数二进制文件

python3 main.py \
    	--phase=evaluate \
    	--total_eval_steps=1000 \
    	--imitator_model="model_imitator_100000.pth" \
    	--eval_image='../export/testset_female/db_0000_4.jpg'

运行脚本后， 会在 output/eval 目录生成一个 eval.bytes, 然后打开 unity, 菜单栏 tools->SelectModel, 即可在引擎预览到效果

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88251308  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88251308

[Link 1]: https://download.csdn.net/download/sheziqiong/88251308
[Link 2]: https://arxiv.org/abs/1909.01064
[4d7662944d76d5919acab5f800eadbe4.png]: https://img-blog.csdnimg.cn/img_convert/4d7662944d76d5919acab5f800eadbe4.png
[b12a5f8a6513424a806d92ba3a5caac6.png]: https://img-blog.csdnimg.cn/img_convert/b12a5f8a6513424a806d92ba3a5caac6.png
[3c11f289abd72ae852da4748281b2b5c.png]: https://img-blog.csdnimg.cn/img_convert/3c11f289abd72ae852da4748281b2b5c.png
[931cc1ed2bbf0df49e04fe3580768b48.png]: https://img-blog.csdnimg.cn/img_convert/931cc1ed2bbf0df49e04fe3580768b48.png
[http_dlib.net_files_shape_predictor_68_face_landmarks.dat.bz2]: http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
[http_dlib.net_files_dlib_face_recognition_resnet_model_v1.dat.bz2]: http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2
[light]: https://github.com/AlfredXiangWu/LightCNN
[LightCNN-29 v2]: https://drive.google.com/open?id=1Jn6aXtQ84WY-7J3Tpr2_j6sX0ch9yucS
[LightCNN-29 v2 1]: https://pan.baidu.com/s/1E_rGkbqzf0ppyl5ks9FSLQ
[https_pan.baidu.com_s_1FYznfGG914pPaU5bs0-4dw]: https://pan.baidu.com/s/1FYznfGG914pPaU5bs0-4dw
[https_share.weiyun.com_5Q9ST03]: https://share.weiyun.com/5Q9ST03
[https_pan.baidu.com_s_1AEc7CJGirsdxOouD3boRBQ]: https://pan.baidu.com/s/1AEc7CJGirsdxOouD3boRBQ
[b9b865f589e5d2d0b1ac9ae8bc3faa46.png]: https://img-blog.csdnimg.cn/img_convert/b9b865f589e5d2d0b1ac9ae8bc3faa46.png
[451d51cf6664f2740e341423cd1097bf.png]: https://img-blog.csdnimg.cn/img_convert/451d51cf6664f2740e341423cd1097bf.png
[https_pan.baidu.com_s_1qDRPAzn3m9VxX2Z-oENBWQ]: https://pan.baidu.com/s/1qDRPAzn3m9VxX2Z-oENBWQ
[https_www.bilibili.com_video_av76020308]: https://www.bilibili.com/video/av76020308/