【AI工具】-MockingBird-语音合成语音克隆

Dear 丶 2023-10-12 20:55 22阅读 0赞

### 简介 ###

**MockingBird**：

英文翻译：反舌鸟，也可能来自《**杀死一只知更鸟**》（英语：*To Kill a Mockingbird*），台译“**梅冈城故事**”，中国大陆译“**杀死一只知更鸟**”，直译应为“**杀死一只反舌鸟**”\[[注 1\]][1]，是一部于1960年出版的小说，由美国作家[哈珀·李][Link 1]创作，荣获当年度[普利策奖][Link 2]

#### 功能介绍 ####

1.  可以实现文本、语音的互转
2.  可以实现通过语音内容实现语音克隆

### 安装方法 ###

#### 1.安装Python环境 ####

> 注意：安装Python 选择3.8 或更高版本

##### 1. 进入官网 #####

https://www.python.org/downloads/

##### 2. 下载安装包 #####

![image-20230615104111829][]

##### 3.进行安装 #####

![image-20230615104543732][]

![image-20230615104737525][]

**说明你电脑对python的一些限制，点击它然后确定权限就可以了**

![image-20230615105207629][]

出现这个就安装完成了

![image-20230615105324819][]

##### 4.测试验证 #####

![image-20230615105430840][]

![eixt][]

出现这个就代表安装完成，如果要退出：exit() 或者 Ctrl+Z 回车即可

#### 2.安装PyTorch ####

打开链接：https://pytorch.org/get-started/locally/ 进入官网进行下载

界面如下：

![daeb7e4597a683a3c8aa6ff0e879e719.png][]

##### 1.如果你的电脑没有独立显卡或者AMD显卡选择如下 #####

![image-20230625114500283][]

##### 2.如果你的电脑是有独显的选择如下 #####

![image-20230625114539692][]

##### 3.选择完成复制安装命令 #####

我的电脑案例是RTX2060显卡，所以我选择的是CUDA11.8

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

新建一个文件夹：

![image-20230625114728526][]

然后用CMD窗口打开，使用管理员权限执行上面的代码：

粘贴后过程是完全自动的，可能需要一点点时间

![image-20230625115009723][]

安装完成效果：

![image-20230625130459583][]

#### 3.下载FFmpeg ####

下载官网：http://ffmpeg.org/download.html\#build-windows

1.选择windows

![image-20230625130634265][]

选择左上角：gyan.dev

![image-20230625130658585][]

跳转到新页面选择：

![image-20230625130740541][]

等待下载完成，下载完成后将文件解压到除C盘之外的盘符路径：

![image-20230625131059968][]

紧接着，将所指的bin路径配置到计算机系统环境变量path中：

![image-20230625131153982][]

配置后打开cmd窗口，输入ffmpeg如下有输出则说明环境配置成功：

![image-20230625131234955][]

#### 4.下载MockingBird工具 ####

下载github地址：https://github.com/babysor/MockingBird

附上git地址：

https://github.com/babysor/MockingBird.git
    
    git@github.com:babysor/MockingBird.git

解压完成后，打开Mockingbird目录，找到requirements.txt文件

将：monotonic-align==0.0.3
    改为
    monotonic-align==1.0.0

##### 1.进入MockingBird安装过程 #####

在mockingBird目录打开cmd窗口运行一下命令

在终端下安装剩余的必备环境包：

python -m pip install --upgrade pip

pip install -r requirements.txt

pip install webrtcvad-wheels

##### 2.下载对应的语言训练模型 #####

<table> 
 <thead> 
  <tr> 
   <th>作者</th> 
   <th>下载链接</th> 
   <th>效果预览</th> 
   <th>信息</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>作者</td> 
   <td>https://pan.baidu.com/s/1iONvRxmkI-t1nHqxKytY3g <a href="https://pan.baidu.com/s/1iONvRxmkI-t1nHqxKytY3g" rel="nofollow">百度盘链接</a> 4j5d</td> 
   <td></td> 
   <td>75k steps 用3个开源数据集混合训练</td> 
  </tr> 
  <tr> 
   <td>作者</td> 
   <td>https://pan.baidu.com/s/1fMh9IlgKJlL2PIiRTYDUvw <a href="https://pan.baidu.com/s/1fMh9IlgKJlL2PIiRTYDUvw" rel="nofollow">百度盘链接</a> 提取码：om7f</td> 
   <td></td> 
   <td>25k steps 用3个开源数据集混合训练, 切换到tag v0.0.1使用</td> 
  </tr> 
  <tr> 
   <td>@FawenYo</td> 
   <td>https://drive.google.com/file/d/1H-YGOUHpmqKxJ9FRc6vAjPuqQki24UbC/view?usp=sharing <a href="https://pan.baidu.com/s/1vSYXO4wsLyjnF3Unl-Xoxg" rel="nofollow">百度盘链接</a> 提取码：1024</td> 
   <td><a href="https://github.com/babysor/MockingBird/wiki/audio/self_test.mp3" rel="nofollow">input</a> <a href="https://github.com/babysor/MockingBird/wiki/audio/export.wav" rel="nofollow">output</a></td> 
   <td>200k steps 台湾口音需切换到tag v0.0.1使用</td> 
  </tr> 
  <tr> 
   <td>@miven</td> 
   <td>https://pan.baidu.com/s/1PI-hM3sn5wbeChRryX-RCQ 提取码：2021</td> 
   <td></td> 
   <td>150k steps 注意：根据<a href="https://github.com/babysor/MockingBird/issues/37" rel="nofollow">issue</a>修复 并切换到tag v0.0.1使用</td> 
  </tr> 
 </tbody> 
</table>

下载好的模型保存在以下目录

![image-20230625144513091][]

##### 3.确保模型正确放置后启动程序 #####

![image-20230625144852136][]

出现这行代表程序已经驱动在8080端口，使用浏览器访问出现以下界面：

![image-20230625145011444][]

在控制界面输入文字内容，点击生成，在右侧就可以按照特定的语音模型生成出我们要的文字内容了

![image-20230625145051935][]

[1]: https://zh.wikipedia.org/wiki/%E6%9D%80%E6%AD%BB%E4%B8%80%E5%8F%AA%E7%9F%A5%E6%9B%B4%E9%B8%9F#cite_note-1
[Link 1]: https://zh.wikipedia.org/wiki/%E5%93%88%E6%B3%A2%C2%B7%E6%9D%8E
[Link 2]: https://zh.wikipedia.org/wiki/%E6%99%AE%E5%88%A9%E7%AD%96%E5%A5%96
[image-20230615104111829]: https://img-blog.csdnimg.cn/img_convert/af86c8b81e27d402983d91dfd7ab78f7.png
[image-20230615104543732]: https://img-blog.csdnimg.cn/img_convert/600860b1aec1bf4e3fd889b62462bf42.png
[image-20230615104737525]: https://img-blog.csdnimg.cn/img_convert/73effd5ec75e8ffdad58d77bca54fa2c.png
[image-20230615105207629]: https://img-blog.csdnimg.cn/img_convert/4b295bbd79b16c56d864e680f729be1e.png
[image-20230615105324819]: https://img-blog.csdnimg.cn/img_convert/272a355b19d183e4f0bcaecfb7638409.png
[image-20230615105430840]: https://img-blog.csdnimg.cn/img_convert/63589c3f7fd0e6f12b9c6038d3828831.png
[eixt]: https://img-blog.csdnimg.cn/img_convert/d998d8349298e70a19703b965034fa62.png
[daeb7e4597a683a3c8aa6ff0e879e719.png]: https://img-blog.csdnimg.cn/img_convert/daeb7e4597a683a3c8aa6ff0e879e719.png
[image-20230625114500283]: https://img-blog.csdnimg.cn/img_convert/032541c8ffe496efb8173a86aa8db74b.png
[image-20230625114539692]: https://img-blog.csdnimg.cn/img_convert/566e9ebaee3ab079bab60f3b98660d4f.png
[image-20230625114728526]: https://img-blog.csdnimg.cn/img_convert/1196c9eff76bef54c793e9f3b7ff095f.png
[image-20230625115009723]: https://img-blog.csdnimg.cn/img_convert/f209204c670d0a0f72346a6d156f5726.png
[image-20230625130459583]: https://img-blog.csdnimg.cn/img_convert/34b7d1d7c6be1b1fd9d8ff12d8f403f2.png
[image-20230625130634265]: https://img-blog.csdnimg.cn/img_convert/4fefe86e42b1d39bcb23d1ee05eef908.png
[image-20230625130658585]: https://img-blog.csdnimg.cn/img_convert/2e06e124b72f8992a7cc30d33bd664e3.png
[image-20230625130740541]: https://img-blog.csdnimg.cn/img_convert/2ba826eb33c9e7e66dc79a2d4e529ab4.png
[image-20230625131059968]: https://img-blog.csdnimg.cn/img_convert/7a23d033c346d5d07df6bda5a229fd25.png
[image-20230625131153982]: https://img-blog.csdnimg.cn/img_convert/89028946748f10cfadd8cc766b7381ae.png
[image-20230625131234955]: https://img-blog.csdnimg.cn/img_convert/2ae7175f528fa8fc3293effc949f107e.png
[image-20230625144513091]: https://img-blog.csdnimg.cn/img_convert/c565ee4c3df968f1fb28123e05448ec4.png
[image-20230625144852136]: https://img-blog.csdnimg.cn/img_convert/57ca4fe2a6c48357ff5ea3b98079acf1.png
[image-20230625145011444]: https://img-blog.csdnimg.cn/img_convert/52ec89bf33c3d632e5b81ccb5616ab9d.png
[image-20230625145051935]: https://img-blog.csdnimg.cn/img_convert/3a9b74c45f49429dc6a5bd261355aad2.png