数据增强在语音识别中的应用

待我称王封你为后i 2023-02-27 12:24 23阅读 0赞

> 作者：赵梦原，2019年12月加入贝壳，主要从事语音识别相关工作。

> 在数据有限的情况下，数据增强是一种常用的，增加训练样本多样性的方法。本文对数据增强应用于语音识别中时所遇到的若干具体问题做了一些研究和探索。

## 1 为什么要使用数据增强 ##

众所周知，目前基于机器学习的各种技术，往往都需要使用大量的数据来训练，语音识别也不例外。对一个语音识别系统而言，决定其识别准确率的关键因素，大致可以分为两个方面：一是算法本身的好坏；另一方面则是训练所使用的训练数据。由于种种原因，第一个方面——算法，往往是众多人工智能领域、机器学习领域的研究者着重研究的方面。而第二个方面——数据，则容易被研究者们所忽视。但由于机器学习算法所具有的类似黑箱子的特性，很多时候数据的好坏对总体性能的影响甚至要超过算法本身的影响。因此对实际用户和语音识别服务的提供商而言，这个方面却是极为重要的。

具体而言，训练数据与真实使用场景中的数据的匹配度越高，则语音识别的性能越好。实际应用中，语音识别的使用场景很复杂，环境噪声、人的说话方式，如音量、语速等，都会一定程度上影响语音识别系统的准确率。训练数据对这些复杂的情况覆盖得越全面，则语音识别系统的鲁棒性越强，效果越好。

理想情况下，为了构建一个强大的语音识别系统，我们应该广泛地搜集各种复杂的真实场景下的语音数据，来构建我们的训练集。然而在现实条件下，想要做到这一点却很不容易。因为不是每个厂商都有获取真实场景语音数据的渠道和能力，即使成功获得了真实场景的语音数据，数据标注也是一项极为费时费力费钱的工作。而一些直接可用的数据集（例如开源数据集、学术研究用的数据集等），往往都是录音者在安静的录音室里朗读特定内容，录制而成的。其与真实场景的数据有较大的差异。在这种情况下，数据增强就体现出了它的价值。

## 2 什么是数据增强 ##

简单来说，就是用一些音频处理的方法（程序，而非真实环境录音）对语音进行一定的处理，让其变得更“复杂”、更接近真实场景的语音，增加训练样本的多样性。具体就语音数据而言，一般比较重要和常用的是以下几种数据增强方法：

*  噪声增强，就是对一段干净环境下录制的、没有背景噪声的语音，人为混入一定的背景噪声，使训练数据能够覆盖更多种类的噪声；
 *  音量增强，就是改变一段语音的音量，使训练数据能够覆盖不同的音量；
 *  语速增强，就是改变一段语音的语速，使训练数据能够覆盖不同的语速。

用这些语音来训练语音识别的声学模型，就可以一定程度上提高语音识别系统的准确率和鲁棒性。

## 3 实验 ##

说起来容易，做起来可未必。数据增强很容易理解，也很容易操作。但真要用到语音识别中，却又有不少问题需要考虑。本文就想来说说这些非常具体、甚至略显琐碎的问题。比如：

*  在噪声增强中，该选择哪些噪声作为背景噪声呢？加噪的时候应该选择多大的信噪比呢？信噪比应该是个固定的数值吗？还是应该设计成可变的值呢？
 *  在音量增强中，应该选择多大的音量变化范围呢？
 *  在语速增强中，应该选择多大的语速变化范围呢？
 *  有了数据增强后的数据，原始数据还有没有必要加入训练呢？
 *  一份数据做完多种数据增强操作后变成了好几份数据，如果全部用来训练，则会极大地增加训练开销，这时该怎么办？

下面，我们将通过实验，对上述几个问题一一解答。

### 3.1 实验配置 ###

首先，我们构建了一个数据量约4000小时的训练集，其中绝大部分是较为纯净的录音数据。我们权衡了实验的速度和实验结果在大数据上的代表性，最终选择从训练集中随机抽取500小时作为数据增强实验的训练集。测试集则选用了真实测试集——贝壳IM短语音测试集，包含3000句话。

### 3.2 噪声增强 ###

在噪声的选择上，我们从开源的musan数据集中，人工挑选出了66条，作为背景噪声。而关于如何确定信噪比的问题，我们则对数据集中的不同语音，选取不同的信噪比，并且信噪比的值服从一个正态分布。这个正态分布的标准差我们固定为10，均值则是一个变量，须由一组实验来确定其最优值。

看实验结果之前，先来科普两个常用的衡量语音识别系统性能好坏的指标：WER和CER。

*  词错误率（WER，Word Error Rate），就是识别错误的词数与总词数的比值，当然是越低越好。这是最常用的性能指标。
 *  字错误率（CER，Character Error Rate），定义与WER类似，只不过统计的单元由“词”变成了“字”。使用CER主要是因为中文不像英文那样严格以词为单位，因此统计中文的识别率用CER更合适。

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>CER</th> 
   <th>WER</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Baseline</td> 
   <td>21.03</td> 
   <td>26.70</td> 
  </tr> 
  <tr> 
   <td>SNR-mean = 0dB</td> 
   <td>22.30</td> 
   <td>28.13</td> 
  </tr> 
  <tr> 
   <td>SNR-mean = 5dB</td> 
   <td>21.46</td> 
   <td>27.29</td> 
  </tr> 
  <tr> 
   <td><strong>SNR-mean = 10dB</strong></td> 
   <td><strong>20.65</strong></td> 
   <td><strong>26.46</strong></td> 
  </tr> 
 </tbody> 
</table>

由结果可以看出，当加入的噪声过强时，识别准确率会下降，而随着信噪比的增加，正确率逐渐上升，当信噪比较为合适时，正确率可以超过Baseline。这证明通过噪声增强，模型性能确实可以得到一定的提升。信噪比的均值为10dB，是一个比较合理的取值。

### 3.3 音量增强 ###

音量增强的主要参数，是音量的变动范围，也就是音量scale值的上下限。为了确定上下限的最优值，我们进行了以下几组实验：

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>CER</th> 
   <th>WER</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Baseline</td> 
   <td>21.03</td> 
   <td>26.70</td> 
  </tr> 
  <tr> 
   <td>scale 0.125-2.0</td> 
   <td>21.14</td> 
   <td>26.90</td> 
  </tr> 
  <tr> 
   <td>scale 0.5-2.0</td> 
   <td>21.13</td> 
   <td>26.81</td> 
  </tr> 
  <tr> 
   <td><strong>scale 0.5-1.5</strong></td> 
   <td><strong>20.84</strong></td> 
   <td><strong>26.60</strong></td> 
  </tr> 
  <tr> 
   <td>scale 0.8-1.2</td> 
   <td>20.98</td> 
   <td>26.55</td> 
  </tr> 
 </tbody> 
</table>

由结果可以看出，音量增强也可以带来一定的性能提升，scale值的上下限分别为0.5和1.5时，模型性能较好。

### 3.4 语速增强 ###

语速增强的主要参数，是语速变动的范围。由于语速的变化会导致较为明显语音改变，因此我们选取语速变动范围较小，只选取了0.9倍速、1.1倍速、1.0倍速（原速）来进行实验。

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>CER</th> 
   <th>WER</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Baseline</td> 
   <td>21.03</td> 
   <td>26.70</td> 
  </tr> 
  <tr> 
   <td><strong>Speed 0.9, 1.0, 1.1</strong></td> 
   <td><strong>20.61</strong></td> 
   <td><strong>26.28</strong></td> 
  </tr> 
 </tbody> 
</table>

*  在“Speed 0.9, 1.0, 1.1”这组实验中，500小时训练数据被分为三部分，其中一份保持原速，一份变为0.9倍速，一份变为1.1倍速，然后再把三者合并起来作为训练集。

由结果可以看出，语速增强对模型性能有所帮助。

### 3.5 多种增强的叠加 ###

上述实验中，我们分别验证了3种不同的数据增强操作对语音识别模型性能的提升。接下来如果我们要把几种数据增强操作合起来，又应该注意些什么呢？

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>CER</th> 
   <th>WER</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Baseline</td> 
   <td>21.03</td> 
   <td>26.70</td> 
  </tr> 
  <tr> 
   <td>Noise</td> 
   <td>20.65</td> 
   <td>26.46</td> 
  </tr> 
  <tr> 
   <td>Volume</td> 
   <td>20.84</td> 
   <td>26.60</td> 
  </tr> 
  <tr> 
   <td>Noise + Volume</td> 
   <td>21.13</td> 
   <td>26.87</td> 
  </tr> 
  <tr> 
   <td>250h_N,250h_V</td> 
   <td>20.62</td> 
   <td>26.37</td> 
  </tr> 
  <tr> 
   <td>200h_N,200h_V,100h_S</td> 
   <td>20.14</td> 
   <td>25.82</td> 
  </tr> 
 </tbody> 
</table>

*  上表中各组实验的含义：
    
     *  Noise：使用上述实验3.2中的最优参数值（SNR-mean = 10dB）进行噪声增强；
     *  Volume：使用上述实验3.3中的最优参数值（scale值的范围为0.5-1.5）进行音量增强；
     *  Noise+Volume：对全部训练数据，进行噪声增强、音量增强，两种数据增强操作；
     *  250h\_N,250h\_V：将全部500小时数据分为2部分，每份250小时，其中一份进行噪声增强，另一部分进行音量增强，再将两部分数据合一起使用；
     *  200h\_N,200h\_V,100h\_S：将500小时数据分为200小时、200小时、100小时三部分，对其中200小时做噪声增强，另外200小时做音量增强，100小时做语速增强，再将三部分数据合在一起使用。

从实验结果可以看出，对同一份数据同时进行多种数据增强操作，会导致模型性能的下降。其可能的原因有二：

*  一种可能是，是由于在真实测试集中，同时改变语音多种属性的情况并不常见，这样做反而使得训练集与测试集不匹配；
 *  另一种可能是，因为数据增强是利用音频处理手段对数据进行改造，并非真实情景下录音所得，因此有可能在处理过程中引入一些畸变，如果同时进行多种数据增强操作，可能使这种畸变叠加。

总而言之，无论如何，应避免对同一份数据进行多种数据增强操作。而应当将数据分成几部分，分别对其进行一种数据增强操作。

### 3.6 原始数据的必要性 ###

在上述实验中，只使用了数据增强后的数据进行训练，而没有使用原始数据。那么在做完数据增强之后，我们有没有必要把原始数据也加入到训练集中呢？

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>CER</th> 
   <th>WER</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Baseline</td> 
   <td>21.03</td> 
   <td>26.70</td> 
  </tr> 
  <tr> 
   <td>200h_N,200h_V,100h_S</td> 
   <td>20.14</td> 
   <td>25.82</td> 
  </tr> 
  <tr> 
   <td><strong>500_clean,200h_N,200h_V,100h_S</strong></td> 
   <td><strong>19.71</strong></td> 
   <td><strong>25.18</strong></td> 
  </tr> 
 </tbody> 
</table>

*  在上表中：
    
     *  200h\_N,200h\_V,100h\_S的含义与实验3.5相同；
     *  500\_clean,200h\_N,200h\_V,100h\_S，则代表在200h\_N,200h\_V,100h\_S的基础上，额外加入一份500h未做数据增强的原始数据，总的训练数据量变为1000小时。

由实验结果可以看出，加入原始数据是有帮助的。即便原始数据是干净的录音室数据，把原始数据与做完数据增强之后的数据放在一起进行训练，也可以提高总体的准确率。

## 4 结论 ##

首先，数据增强确实能在一定程度上提升语音识别系统的准确率，尤其是在训练数据比较纯净，与实际应用场景相差较大的情况下。具体来说：

*  在噪声增强中，应当选取较为合适的背景噪声，信噪比的选择可以按照正态分布的方式，均值的最优值在10dB左右；
 *  在音量增强中，音量的变动系数的最优范围约为0.5-1.5之间；
 *  在语速增强中，语速的变动范围在0.9-1.1之间。
 *  不应该对一份数据进行多种数据增强操作，而应该把数据分为几部分，分别做不同种类的数据增强操作。
 *  只使用数据增强之后的数据进行训练是不够的，有必要将原始数据加入到训练数据中，即使原始训练集是纯净语音也有必要这么做。

综上，目前比较理想的数据构成方式是：

*  保留一份原始数据，然后额外增加一份数据增强的数据；
 *  把这份数据增强的数据分成几个部分，每个部分做一种数据增强操作。

这样一来，总的数据会变成两份。这样既保证了数据的全面性，同时又没有让数据量倍增，在性能和训练开销上达到了比较好的平衡。