使用Stable Diffusion制作AI数字人视频的简明教程

妖狐艹你老母 2024-03-22 21:32 114阅读 0赞

### 基本方法 ###

搞一张照片，搞一段语音，合成照片和语音，同时让照片中的人物动起来，特别是头、眼睛和嘴。

### 语音合成 ###

语音合成的方法很多，也比较成熟了，大家可以选择自己方便的，直接录音也可以，只要能生成一个语音文件就行了。

这里分享一个文字转语音的工具：[在线免费文字转语音 - TTSMaker | 马克配音][- TTSMaker _]，不用注册不用花钱，使用起来很简单。（广告时间：目前国内的AI资源也很丰富了，我做了一个汇总：[萤火AI大全][AI]，不用特殊网络设置，快速找到想用的AI工具）

如下图所示 ：输入你的文字，选择播音员，填写验证码，点击转换按钮。

![680b25b17822a4e9ab6f0f1d2aa26d95.png][]

生成速度挺快的，然后在左边这里可以试听和下载。

![78fe7325e5c7076b90d049fe6791e240.png][]

### 照片生成 ###

这里介绍的方法需要使用比较真实的照片，如果太二次元了，视频人脸的效果会比较差。大家可以使用自己真实的照片，也可以使用Stable Diffusion生成一张，也可以使用图生图稍微改造下自己的照片，总之要尽量真实一些。

另外这张照片尽量正面一些，侧脸生成的视频可能会出现头和身体拼接不太好的情况，所以如果有证件照是最好的。

我这里演示生成一张真实照片，看AI生成的美女都有些厌倦了，今天我们生成个帅哥。

（1）生成工具使用 Stable Diffusion WebUI，模型选择 realisticVisionV20，这个模型生成的图片看起来比较真实。

![40c9117fa43c57e0313f266512347990.png][]

提示词：best quality, front photo of a young man, chinese, portrait,black t-shirt, short hair, (looking at viewer), Sense of technology, in an office, computers, screen, books, upper body,

反向提示词： easy\_negative, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

（2）采样器这里选择DPM++ 2M SDE Karras，选择别的也没问题，只要生成一张人物照片就可以了。

采样步数根据采样器选择，这里是40，建议20-40，以实际出图效果为准。

尺寸这里选择竖版，放到手机里会比较合适。

生成次数：建议先把提示词写好了，然后一次多生成几张，从里边选择最好的，节省时间。

![db7f6aaafc680d51111acd59ed5c2901.png][]

（3）这里我选择一张自认为看起来还不错的图片，把这张图下载下来备用。

![0f9896618fb42199c61c1e0027c36e46.png][]

### 视频合成 ###

这是最关键的一步，这里还是使用Stable Diffusion WebUI，不过只是使用其中的一个插件，这个插件的名字就是SadTalker。

SadTalker是Github上开源的，主要成员也都是国内的技术大佬，地址：[https://github.com/OpenTalker/SadTalker.git][https_github.com_OpenTalker_SadTalker.git]

这里默认大家都安装好Stable Diffusion WebUI了，如果还没安装过的朋友，建议去AutoDL上租一个服务器体验下，方便不贵，选择A5000规格的就差不多了，安装教程网上应该挺多的，这里就不啰嗦了，还不会的可以联系我。

关于SadTalker插件的安装方法我这里介绍两种。

#### 安装方法一 ####

适合访问Github或者外网比较顺畅的用户，因为需要自动下载很多东西。

在SD WebUI中通过扩展插件页面安装，如下图所示：

![b4cb6df23549c3ff3dbc31c0d3dff4ca.png][]

这个插件需要下载的文件很多，有的文件还比较大，请耐心等待。如果不确定是不是出问题了，可以看看控制台输出的内容，有没有错误。

安装完了，不要忘了重启Stable Diffusion，要整个重启，不要只重启WebUI。

#### 安装方法二 ####

适合访问外网不太方便的用户，把这个插件需要的文件通过别的方式提前下载好，比如迅雷下载，只要上传到指定的目录就行了。

*  主程序：

放到 stable-diffusion-webui/extensions/SadTalker

https://github.com/OpenTalker/SadTalker/archive/refs/heads/main.zip

*  视频模型：

放到 stable-diffusion-webui/extensions/SadTalker/checkpoints

https://github.com/OpenTalker/SadTalker/releases/download/v0.0.2-rc/mapping\_00109-model.pth.tar

https://github.com/OpenTalker/SadTalker/releases/download/v0.0.2-rc/mapping\_00229-model.pth.tar

https://github.com/OpenTalker/SadTalker/releases/download/v0.0.2-rc/SadTalker\_V0.0.2\_256.safetensors

https://github.com/OpenTalker/SadTalker/releases/download/v0.0.2-rc/SadTalker\_V0.0.2\_512.safetensors

*  修脸模型：

放到 stable-diffusion-webui/extensions/SadTalker/gfpgan/weights 和 stable-diffusion-webui/models/GFPGAN

https://github.com/xinntao/facexlib/releases/download/v0.1.0/alignment\_WFLW\_4HG.pth

https://github.com/xinntao/facexlib/releases/download/v0.1.0/detection\_Resnet50\_Final.pth

https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.4.pth

https://github.com/xinntao/facexlib/releases/download/v0.2.2/parsing\_parsenet.pth

为了方便使用这种方式部署，我也把相关的文件做了一个打包，大家不用一个一个下载。关注公众号：萤火遛AI，发消息：数字人，即可获得下载地址。

（1）首先把文件下载到本地或者你的云环境，这里以AutoDL为例，我把它放到 /root 目录中。

![460a6e99bd24051308032b644c054554.png][]

（2）然后解压文件到 stable diffusion webui的扩展目录，并拷贝几个文件到SD模型目录：

tar -xvf /root/SadTalker.tar -C /root/stable-diffusion-webui/extensions
    cp -r /root/stable-diffusion-webui/extensions/SadTalker/gfpgan/weights/* /root/stable-diffusion-webui/models/GFPGAN/

看到下边的结果，就基本上差不多了。

扩展目录下边有这个文件夹：

![399d34cae903851429a08daa412a1e70.png][]

SD models 目录下有这几个文件：

![2d364a7bd6032a1ab6126426a6844758.png][]

部署完毕，不要忘了重启。

#### 使用方法 ####

在SD WebUI的Tab菜单中找到SadTalker，按照下边的顺序进行设置。

![ffc6aa4cae0be92fc823308ddf79b58c.png][]

1、上传人物照片。

2、上传语音文件。

3、选择视频人物的姿势：实际就是人说话时头部的动作，个人感觉有点摇头晃脑，可以使用不同的数字看看。

4、分辨率：512的视频分辨率比256大。

5、图片处理方法：corp是从图片截取头部做视频，resize适合大头照或者证件照，full就是全身照做视频，extcorp和extfull没做细致研究，大家自己对比下。

6、Still Model：让头部不要动作太大，以致偏离身体，负面效果是头不怎么动了。

7、GFPGAN：修脸，说话时嘴和眼的动作可能让脸有些变形，选上他让脸部好看一些。

最后点击“生成”，根据硬件的运行速度和你的勾选设置，可能需要几分钟的时间，耐心等待。

我这里生成的视频（视频太占地，截个图算了)：

![7a599bdf3d479282850acb4d3877a652.png][]

#### 可能遇到的问题 ####

(1) 启动的时候报错：SadTalker will not support download...

![a0bf9eab008d58cbffd8825f6fcbc0bf.png][]

这个错误就是模型下载不下来，告诉我们要去手动下载。

这里有两个方法：

*  执行下边的命令触发下载，注意 cd 之后的路径替换成你自己的SadTalker安装路径：

cd stable-diffusion-webui/extensions/SadTalker
    chmod 755 scripts/download_models.sh
    scripts/download_models.sh

*  下载所有的模版，然后手工上传到相关目录，上边安装方法二中已经介绍过，可以使用我打包好的文件包。

(2) 合成视频时报错：No module named 'xxx'

![9232dffdcb2ec10ff46550d7e95ee512.png][]

使用 pip install xxx 就可以了，注意如果使用了python虚拟环境，需要先激活它，比如这里要先执行source xxx。

source /root/stable-diffusion-webui/venv/bin/activate
    pip install librosa

（3）合成视频时报错：No such file or directory: '/tmp/gradio/xxx'，创建目录就可以了：

mkdir -p /tmp/gradio

（4）如果提示找不到 ffmpeg，我这里没遇到，如果出现请先下载安装：http://ffmpeg.org/download.html

--------------------

以上就是本文的主要内容了，使用这种方法就可以无限制作自己的AI专属数字人，想要什么样的风格都可以，想做多少个都可以，有兴趣的快去试试吧。当然要遵纪守法，不要搞出事情来。

如果你有任何问题，欢迎与我交流。

[- TTSMaker _]: https://ttsmaker.cn/
[AI]: https://toai.fireflysoft.net/
[680b25b17822a4e9ab6f0f1d2aa26d95.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b86be8a6736f4c55af2d8a8422da71e8.png
[78fe7325e5c7076b90d049fe6791e240.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/880ebe36fc484905ac3da3f7856cd76e.png
[40c9117fa43c57e0313f266512347990.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/3138b1ead50447ee8b230a0f03b7dca3.png
[db7f6aaafc680d51111acd59ed5c2901.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/2c3fcf4e5cbf466ca59fb38e6b05083b.png
[0f9896618fb42199c61c1e0027c36e46.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/4601715100aa408fa882eb7f050c244a.png
[https_github.com_OpenTalker_SadTalker.git]: https://github.com/OpenTalker/SadTalker.git
[b4cb6df23549c3ff3dbc31c0d3dff4ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/4e02b8c74cb047a2907fad6efe9f1d18.png
[460a6e99bd24051308032b644c054554.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/09f90949ae4d4ec5bd0c51d5a479fd4b.png
[399d34cae903851429a08daa412a1e70.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/1ebc40f9334e41ae8c11d4d46da6b0eb.png
[2d364a7bd6032a1ab6126426a6844758.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/4972985e9f894071bf774d56dcb79b5a.png
[ffc6aa4cae0be92fc823308ddf79b58c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/a5d379fb9b0c4c87a8568daceae257d3.png
[7a599bdf3d479282850acb4d3877a652.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/405a7aacb4a646c197d5a6d767a76688.png
[a0bf9eab008d58cbffd8825f6fcbc0bf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e94b5c8a83b947a18984b6c1da0f5a2c.png
[9232dffdcb2ec10ff46550d7e95ee512.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e15826aa4a584936bc5cd57733e35412.png