HTK英文大词汇连续语音识别

你的名字 2022-07-13 11:11 210阅读 0赞

最近实习，跑了一下htk book里面的前三章描述的例子。当然不是完全htk book里面的步骤，因为我有的数据集什么的都不一样。目标也不是一个小的语音拨号系统，而是英文的语音识别。当然了，最终结果出来了之后很低，还有很多过程要走。语音识别，肯定不是我这样小打小闹就可以的。

本文就主要记录我在训练过程中的步骤以及遇到的一些error。

一.已有文件  
目前已经准备好的文件有一系列的flac文件还有字典trainprompts, 另外还有一个发音词典lexicon，里面的内容如下：  
trainprompts :

2 103-1240-0001 THAT HAD ITS SOURCE AWAY BACK IN THE WOODS OF THE OLD CUTHBERT PLACE IT WAS REPUTED TO BE AN INTRICATE HEADLONG BROOK IN ITS EARLIER COURSE THROUGH THOSE WOODS      WITH DARK SECRETS OF POOL AND CASCADE BUT BY THE TIME IT REACHED LYNDE'S HOLLOW IT WAS A QUIET WELL CONDUCTED LITTLE STREAM
    3 103-1240-0002 FOR NOT EVEN A BROOK COULD RUN PAST MISSUS RACHEL LYNDE'S DOOR WITHOUT DUE REGARD FOR DECENCY AND DECORUM IT PROBABLY WAS CONSCIOUS THAT MISSUS RACHEL WAS SITT      ING AT HER WINDOW KEEPING A SHARP EYE ON EVERYTHING THAT PASSED FROM BROOKS AND CHILDREN UP

lexicon :  
2 A EY1 \# 第一列是单词，后面是发音  
3 A”S EY1 Z  
4 A’BODY EY1 B AA2 D IY0  
5 :A’COURT EY1 K AO2 R T  
6 A’D EY1 D  
7 A’GHA EY1 G AH0  
8 A’GOIN EY1 G OY1 N  
9 A’LL EY1 L

其中lexicon是直接给出的，而trainprompts和flac文件都分散在一个一个的小文件里面，需要先进行提取。其中trainprompts提取之后还得将他的路径放到每一行的最前面，至于为什么这样，我只看到所有的资料都是这样搞的，不知道为什么。。。弄好之后的截图是这样的： find . -name “\*.txt” | xargs cat > trainprompts

2 /home/liuyan/train/SLR/103-1240-0001 THAT HAD ITS SOURCE AWAY BACK IN THE WOODS OF THE OLD CUTHBERT PLACE IT WAS REPUTED TO BE AN INTRICATE HEADLONG BROOK IN ITS EARLIER COURSE THROUGH THOSE WOODS      WITH DARK SECRETS OF POOL AND CASCADE BUT BY THE TIME IT REACHED LYNDE'S HOLLOW IT WAS A QUIET WELL CONDUCTED LITTLE STREAM
    3 /home/liuyan/train/SLR/103-1240-0002 FOR NOT EVEN A BROOK COULD RUN PAST MISSUS RACHEL LYNDE'S DOOR WITHOUT DUE REGARD FOR DECENCY AND DECORUM IT PROBABLY WAS CONSCIOUS THAT MISSUS RACHEL WAS SITT      ING AT HER WINDOW KEEPING A SHARP EYE ON EVERYTHING THAT PASSED FROM BROOKS AND CHILDREN UP
    4 /home/liuyan/train/SLR/103-1240-0003 AND THAT IF SHE NOTICED ANYTHING ODD OR OUT OF PLACE SHE WOULD NEVER REST UNTIL SHE HAD FERRETED OUT THE WHYS AND WHEREFORES THEREOF THERE ARE PLENTY OF PEOPLE      IN AVONLEA AND OUT OF IT WHO CAN ATTEND CLOSELY TO THEIR NEIGHBOR'S BUSINESS BY DINT OF NEGLECTING THEIR OWN

vim下使用替换命令就可以了：  
:%s/^/TAB/g \#每一行的行首添加一个TAB字符

每行的行首都添加一个字符串：%s/^/要插入的字符串

每行的行尾都添加一个字符串：%s/$/要插入的字符串

% 代表针对被编辑文件的每一行进行后续操作  
$ 代表一行的结尾处  
^ 代表一行的开头处

这些文件最开始我都是放在SLR文件夹里面的，这些文件是已知的，是在SLR网站上下载的，可以自行去下载下来。[http://openslr.org/resources.php][http_openslr.org_resources.php] 。里面有很多SLR，具体是那一个我也不知很清楚,自己去找了。这些文件是老大帮我准备好的。

lexicon还的加上下面的内容：

SENT-END \[\]sil  
SENT-START \[\]sil  
sil表示silence，静音，\[\]表示不输出任何东西.

之后在网上下载两个脚本文件prompts2wlist和prompts2mlf，之后会用到，本来这两个脚本文件会在HTKTutorial directory里面，但是我不知道这个东西在那里，所以在网上下载了两个文脚本。

二.单词trainprompts的加工

我们现在来分析一下我们有的两个文件lexicon和trainprompts，看上面的形式也知道，其中lexicon是单词的发音，lexicon里面的第一列是各个单词，后面的列都是单词的不同的发音。trainprompts文件则是单词文本，里面全部都是我们后面要训练的或者说可能识别到的单词，那这就有一个问题了，就是可能trainprompts里面的单词在lexicon里面没有发音，所以我们最开始需要做的事情就是去重新生成一个新的prompts，确保里面的单词在lexicon里面都有发音，也就是里面的单词都能在lexicon的第一列找到。

python脚本如下：

#!/usr/bin/env python 
      # -*- coding: utf-8 -*- 
    
      file1 = open("train", "r").readlines()
      file2 = open("lexicontrain", "r").readlines()
    
      s = set([])
      for line2 in file2:
          words2 = line2.split()
          for word2 in words2:
              s.add(word2)
    
     # print s
     # print len(s)
    
     num = 0
     open("t","w").write("")    #清空train文件
    
     for line1 in file1:
         words1 = line1.split()
         count = 0
         for word1 in words1:
             if word1 in s:
                 count = count + 1
    
         print count
         print len(words1)
         if count == (len(words1) - 1):
             num = num + 1
             open("t","a").write(line1)
    
     print num

很简单，就是两个文教操作而已，但是由于不会python，用了很长时间才完成。

三.flac文件转换为wav

接下来就要将flac文件转化成wav文件了，找了半天才找到一个对的命令:  
flac -d ./flac/\*.flac  
我将上面的所有分散的flac拿出来存储在一个名叫flac的文件夹里面，上面的命令执行完之后在flac文件夹里面就生成了相应的wav文件，拿出来就好了。find ./LibriSpeech/ -name \*.flac -exec cp \{\} ./flac/ \\;

注意：上面的那个命令其实是不对的，虽然确实可以将flac文件转换为wav文件，但是在后面wav继续转换成mfc的时候就出问题了，报错说这个wav文件不是pcm编码格式的所以不行，然后我查找了很久才发现了一个新的方法就是使用ffmpeg命令ffmpeg -i in.flac out.wav

#!/bin/bash
    
      for FILE in ./*.flac
      do
      ffmpeg -i "$FILE" "${FILE%.*}.wav";
      done

写成了这样的一个脚本，就最终完成了，好苦恼，这样的一个问题搞了一下午。。。

接下来生成wlist文件，使用下面的命令行：  
perl scripts/prompts2wlist SLR/trainprompts config/wlist  
这样就在config目录下生成了wlist文件。部分如下表：

3 ABANDONED
    4 ABANDONING
    5 ABANDONMENT
    6 ABATED
    7 ABATEMENT
    8 ABATEMENTS
    9 ABBE

这个文件里面有很多单词，大概几万个。

注意，需要在lexicon词典中添加:  
1 SENT-END \[\] sil  
2 SENT-START \[\] sil  
这两句，然后按字典排序好就可以了。

然后就可以使用下面的命令，

HDMan -m -w ./config/wlist -g ./data/global.ded -n ./data/monophones1 -l ./dict/dlog ./dict/dict1 ./data/lexicon.txt

得到音素文件monophones1，日志文件dlog，发音字典文件dict。其中需要在monophones1结尾添加一个sil。  
为了避免在日志文件dlog里面有warning，在names和lexicon.txt的目录下建立文件names.ded和lexicon.txt.ded，内容为空就可以了。

monophones1生成：  
注意：  
上面的是按照书上的做法来的，但是其实应该是有错误的，不知道是方法的错误还是书上本身有错误。生成的monophones1是有问题的，用上面的方法我的monophones1只有40个单词，但其实发音因素是有70个的，加上添加的sp一共有71个。所以我就换了一种方法，直接根据lexcion词典来提取monophones1里面的音标，我们知道lexcion里面是所有单词的发音集合，其中每一行的第一个是单词，后面的都是它的发音，所以我们只要想办法将所有单词后面的发音都提取出来，然后排序去重就可以了。

这样的话，上面的wlist也不用了，我怀疑wlist那里可能有问题。现在不用这个东西了，哈哈。

不知道怎么弄，应该是要写脚本的，但是我现在还不会脚本，所以就瞎搞用了这样一个命令cut。

cat lexicon |cut -d ' ' -f 2-10        #可以提取出mono文件里面的第2-10列
    cat lexicon |cut -d ' ' -f 1           #可以提取出mono文件里面的第1列

就是用的上面的命令来生成mono的，反正是瞎搞。最终monoptones后面再添加一个sp，一共71个音标。

PS : 直接这样perl scripts/prompts2wlist data/lexcion.txt monophones1  
也可以生成有70个单词的 monophones1，应该是下载的prompts2wlist脚本的原因，不管怎样，反正monophones1是有了。

通过下面的命令生成单词级注音文件words.mlf：

perl ./scripts/prompts2mlf words.mlf ./SLR/trainprompts

然后通过下面的命令生成单词级注音文件phones.mlf：

HLEd -T 1 -l '*' -d ./dict/dict1 -i phones.mlf ./data/mkphones0.led ./labels/words.mlf

因为上面的过程可能有错误，所以这里就不用生成的dict1文件了，直接使用lexcion.txt就可以了。

HLEd -T 1 -l '*' -d ./data/lexicon.txt -i phones.mlf ./data/mkphones0.led ./labels/words.mlf

特征提取配置文件wav2mfc.config

# Coding parameter
        TARGETKIND = MFCC_0_D_A
        TARGETRATE = 100000.0
        SAVECOMPRESSED = T
        SAVEWITHCRC = T
        WINDOWSIZE = 250000.0
        USEHAMMING = T
        PREEMCOEF = 0.97
        NUMCHANS = 26
        CEPLIFTER = 22
        NUMCEPS = 12
        ENORMALISE = F
        SOURCEFORMAT = wav         #需要加上这一句，表明是从wav转化成mac文件的

现在需要自己去生成codetr.scp文件，由wav生成mfc的时候需要用到。  
首先`find /home/liuyan/train/wav/ -path "*.wav" > codetr0.scp`  
这时候生成了文件codetr0.scp，里面存储的是wav文件的绝对路径，如下：

2 /home/liuyan/train/wav/103-1240-0001.wav
       3 /home/liuyan/train/wav/103-1240-0002.wav
       4 /home/liuyan/train/wav/103-1240-0003.wav
       5 /home/liuyan/train/wav/103-1240-0004.wav
       6 /home/liuyan/train/wav/103-1240-0005.wav
       7 /home/liuyan/train/wav/103-1240-0006.wav
       8 /home/liuyan/train/wav/103-1240-0007.wav
       9 /home/liuyan/train/wav/103-1240-0008.wav
      10 /home/liuyan/train/wav/103-1240-0009.wav

然后想办法生成文件codetr1.scp，里面的内容如下：

2 /home/liuyan/train/mfc/103-1240-0001.mfc
       3 /home/liuyan/train/mfc/103-1240-0002.mfc
       4 /home/liuyan/train/mfc/103-1240-0003.mfc
       5 /home/liuyan/train/mfc/103-1240-0004.mfc
       6 /home/liuyan/train/mfc/103-1240-0005.mfc
       7 /home/liuyan/train/mfc/103-1240-0006.mfc
       8 /home/liuyan/train/mfc/103-1240-0007.mfc
       9 /home/liuyan/train/mfc/103-1240-0008.mfc
      10 /home/liuyan/train/mfc/103-1240-0009.mfc

然后使用这样的命令 `diff codetr0.scp codetr1.scp -y > codetr.scp` 比较他么的不同输出到同一个文件夹里面，瞎搞一下就成了我们需要的格式了，如下：

2 /home/liuyan/train/wav/103-1240-0001.wav                /home/liuyan/train/mfc/103-1240-0001.mfc
       3 /home/liuyan/train/wav/103-1240-0002.wav                /home/liuyan/train/mfc/103-1240-0002.mfc
       4 /home/liuyan/train/wav/103-1240-0003.wav                /home/liuyan/train/mfc/103-1240-0003.mfc
       5 /home/liuyan/train/wav/103-1240-0004.wav                /home/liuyan/train/mfc/103-1240-0004.mfc
       6 /home/liuyan/train/wav/103-1240-0005.wav                /home/liuyan/train/mfc/103-1240-0005.mfc
       7 /home/liuyan/train/wav/103-1240-0006.wav                /home/liuyan/train/mfc/103-1240-0006.mfc
       8 /home/liuyan/train/wav/103-1240-0007.wav                /home/liuyan/train/mfc/103-1240-0007.mfc
       9 /home/liuyan/train/wav/103-1240-0008.wav                /home/liuyan/train/mfc/103-1240-0008.mfc
      10 /home/liuyan/train/wav/103-1240-0009.wav                /home/liuyan/train/mfc/103-1240-0009.mfc

PS : 还是要学习一门脚本语言，不然这样用shell命令瞎搞还是很烦人的，很多命令需要自己在那里查很久，决定学习python了。

下面使用命令：

HCopy -T 1 -C ./data/wav2mfc.config -S ./config/codetr.scp

就可以在对应的文件里面生成mfc文件了。

定义一个原始的HMM模型文件proto如下：

1 ~o <VecSize> 39 <MFCC_0_D_A>                                                                                                                                                                         
      2 ~h "proto"
      3 <BeginHMM>
      4   <NumStates> 5
      5   <State> 2
      6     <Mean> 39
      7       0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
      8     <Variance> 39
      9       1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0
     10   <State> 3
     11     <Mean> 39
     12       0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
     13     <Variance> 39
     14       1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0
     15   <State> 4
     16     <Mean> 39
     17       0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
     18     <Variance> 39
     19       1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0
     20   <TransP> 5
     21     0.0 1.0 0.0 0.0 0.0
     22     0.0 0.6 0.4 0.0 0.0
     23     0.0 0.0 0.6 0.4 0.0
     24     0.0 0.0 0.0 0.7 0.3
     25     0.0 0.0 0.0 0.0 0.0
     26 <EndHMM>

The parameters of this model are not important, its purpose is to define the model topology.意思是说这个初始值并不重要，重要的是他的结构，他的值我们在后面会一遍一遍的训练的。

另外需要准备train.scp文件，就是前面的codetr1.scp，里面的内容是一样的。还有config文件，就是前面的wav2mfc.config除去最后面添加的一句。  
下面执行命令:

HCompV -C ./data/mfc2mfc.config -f 0.01 -m -S ./config/train.scp -M hmm0 ./data/proto

参数的意思：-f 0.01建立一个方差下限variance floor取名为vFloors并且方差下限是全局方差的0.01倍。  
\-m 表示均值和方差一起计算.

命令执行之后会在目录hmm0下生成新的proto和vFloors.

注意：生成的proto是下面这样的

1 ~o                                                                                                                                                                                                   
      2 <STREAMINFO> 1 39
      3 <VECSIZE> 39<NULLD><MFCC_D_A_0><DIAGC>
      4 ~h "proto"
      5 <BEGINHMM>
      6 <NUMSTATES> 5
      7 <STATE> 2
      8 <MEAN> 39
      9  -7.903040e+00 -3.155852e+00 1.380017e+00 -4.424844e+00 -4.686711e+00 -5.203412e+00 -4.507777e+00 -1.337955e+00 -1.635779e+00 -1.628564e+00 -2.146919e+00 -1.375085e+00 6.291156e+01 1.719262e-04 3.12    4513e-04 -4.238811e-05 1.113220e-04 1.457580e-04 1.245859e-04 7.691883e-05 -5.771266e-05 -5.942582e-05 1.019899e-04 -2.258406e-05 -3.068367e-05 -2.661544e-04 -3.422261e-05 -4.272702e-05 -4.840241e-0    6 -1.464594e-05 -1.408301e-05 -4.073165e-05 -2.404953e-05 2.701130e-05 1.494976e-05 -5.276153e-06 4.701562e-06 9.882046e-06 3.881313e-05
     10 <VARIANCE> 39
     11  9.544278e+01 6.964925e+01 8.200018e+01 8.409198e+01 8.903552e+01 8.416670e+01 8.122538e+01 7.043159e+01 6.599691e+01 5.333403e+01 5.396694e+01 4.050422e+01 1.296704e+01 3.848652e+00 2.999985e+00 2.    879835e+00 3.622027e+00 3.938321e+00 3.830866e+00 3.878910e+00 3.806714e+00 3.527232e+00 3.130652e+00 2.944535e+00 2.421452e+00 3.588610e+00 5.334759e-01 4.758232e-01 4.435913e-01 5.816703e-01 6.523    234e-01 6.522346e-01 6.710711e-01 6.722419e-01 6.234422e-01 5.721622e-01 5.311098e-01 4.489990e-01 5.350279e-01
     12 <GCONST> 1.336849e+02
     13 <STATE> 3
     14 <MEAN> 39
     15  -7.903040e+00 -3.155852e+00 1.380017e+00 -4.424844e+00 -4.686711e+00 -5.203412e+00 -4.507777e+00 -1.337955e+00 -1.635779e+00 -1.628564e+00 -2.146919e+00 -1.375085e+00 6.291156e+01 1.719262e-04 3.12    4513e-04 -4.238811e-05 1.113220e-04 1.457580e-04 1.245859e-04 7.691883e-05 -5.771266e-05 -5.942582e-05 1.019899e-04 -2.258406e-05 -3.068367e-05 -2.661544e-04 -3.422261e-05 -4.272702e-05 -4.840241e-0    6 -1.464594e-05 -1.408301e-05 -4.073165e-05 -2.404953e-05 2.701130e-05 1.494976e-05 -5.276153e-06 4.701562e-06 9.882046e-06 3.881313e-05
     16 <VARIANCE> 39
     17  9.544278e+01 6.964925e+01 8.200018e+01 8.409198e+01 8.903552e+01 8.416670e+01 8.122538e+01 7.043159e+01 6.599691e+01 5.333403e+01 5.396694e+01 4.050422e+01 1.296704e+01 3.848652e+00 2.999985e+00 2.    879835e+00 3.622027e+00 3.938321e+00 3.830866e+00 3.878910e+00 3.806714e+00 3.527232e+00 3.130652e+00 2.944535e+00 2.421452e+00 3.588610e+00 5.334759e-01 4.758232e-01 4.435913e-01 5.816703e-01 6.523    234e-01 6.522346e-01 6.710711e-01 6.722419e-01 6.234422e-01 5.721622e-01 5.311098e-01 4.489990e-01 5.350279e-01
     18 <GCONST> 1.336849e+02
     19 <STATE> 4
     20 <MEAN> 39
     21  -7.903040e+00 -3.155852e+00 1.380017e+00 -4.424844e+00 -4.686711e+00 -5.203412e+00 -4.507777e+00 -1.337955e+00 -1.635779e+00 -1.628564e+00 -2.146919e+00 -1.375085e+00 6.291156e+01 1.719262e-04 3.12    4513e-04 -4.238811e-05 1.113220e-04 1.457580e-04 1.245859e-04 7.691883e-05 -5.771266e-05 -5.942582e-05 1.019899e-04 -2.258406e-05 -3.068367e-05 -2.661544e-04 -3.422261e-05 -4.272702e-05 -4.840241e-0    6 -1.464594e-05 -1.408301e-05 -4.073165e-05 -2.404953e-05 2.701130e-05 1.494976e-05 -5.276153e-06 4.701562e-06 9.882046e-06 3.881313e-05
     22 <VARIANCE> 39
     23  9.544278e+01 6.964925e+01 8.200018e+01 8.409198e+01 8.903552e+01 8.416670e+01 8.122538e+01 7.043159e+01 6.599691e+01 5.333403e+01 5.396694e+01 4.050422e+01 1.296704e+01 3.848652e+00 2.999985e+00 2.    879835e+00 3.622027e+00 3.938321e+00 3.830866e+00 3.878910e+00 3.806714e+00 3.527232e+00 3.130652e+00 2.944535e+00 2.421452e+00 3.588610e+00 5.334759e-01 4.758232e-01 4.435913e-01 5.816703e-01 6.523    234e-01 6.522346e-01 6.710711e-01 6.722419e-01 6.234422e-01 5.721622e-01 5.311098e-01 4.489990e-01 5.350279e-01
     24 <GCONST> 1.336849e+02
     25 <TRANSP> 5
     26  0.000000e+00 1.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00
     27  0.000000e+00 6.000000e-01 4.000000e-01 0.000000e+00 0.000000e+00
     28  0.000000e+00 0.000000e+00 6.000000e-01 4.000000e-01 0.000000e+00
     29  0.000000e+00 0.000000e+00 0.000000e+00 7.000000e-01 3.000000e-01
     30  0.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00
     31 <ENDHMM>

其中是有这个东西的，要是没有的话，后面使用HERest的时候会出现error的。我最开始生成的时候一直没有，一直想办法无果，最终我将train.scp里面的样本，也就是mfc文件的路径减少了一部分，就是随机大概减去了三分之一的样子，然后就可以了，具体为什么不知道。

手动生成macros、hmmdefs文件。  
其中全局宏文件macros，内容是把vFloors文件复制过来，在头上加下面两句：

~o  
        <VECSIZE> 39 <MFCC_0_D_A>

复制data /monophone1为data /monophone0，并去掉“sp”.  
在hmm0文件夹新建主宏文件hmmdefs，内容为把新生成的proto文件内容复制进来并去掉前三行。proto里面的内容前面已经给出了。  
然后将前面的monophones0里面的70个因素分别取替换proto里面的~h “proto”这一行的proto，也就是说hmmdefs里面总共是70个proto的叠加，并将每个proto里面的~h “proto”的proto分别换成monophones0里面的音素就可以了。  
我使用了下面的脚本，写的还不是很熟练：

#!/usr/bin/env python 
      # -*- coding: utf-8 -*- 
    
      file1 = open("mo", "r").readlines()
      file2 = open("protocopy", "r").readlines()
    
      open("hmmdefs","w").write("")    #清空hmmdefs文件
    
      for line1 in file1:
          words1 = line1.split()
          for word1 in words1:
              for line2 in file2:
              open("hmmdefs","a").write(line2.replace("proto", word1))

开始训练

HERest -C ./data/mfc2mfc.config -I labels/phones.mlf -t 250.0 150.0 1000.0 -S ./config/train.scp -H hmm0/macros -H hmm0/hmmdefs -M hmm1 ./mono/monophones0

\-A -D -T 1  
上面的这几个参数是显示命令本身的，也就是看看运行的过程的。

\-t 250.0 150.0 1000.0 -t选项是设置剪枝阈值的。剪枝经常会用到，一般会设置一个比较小的剪枝阈值，但是有一些数据不是太友好的时候就需要设置一个大一点的阈值。在HERest中，首先设置阈值为250.0，要是失败了就增加150.0接着尝试，一直到超过1000.0或者训练成功。

出现ERROR 7031 :  
Saving hmm’s to dir hmm1  
ERROR \[+7031\] PutTransMat: Row 4 of transition mat sum  
FATAL ERROR - Terminating program HERest (致命错误，终止程序)

减少训练集  
出现这个问题的原因是因为训练集太大了，我的train.scp里经过上面的随机减少还剩下一万多行，还是太大，所以使用下面的方法来解决。  
首先：

split -l 3000 train.scp train.scp.

这时候在当前目录下会新生成好多的train.scp，分别命名为train.scp.aa,train.scp.ab……每个文件里面有3000条数据，这样训练集就不会太大了。

然后执行下面的命令：

HERest -A -D -T 1 -C ./data/mfc2mfc.config -I labels/phones.mlf -t 250.0 150.0 1000.0 -S ./config/train.scp.aa -H hmm0/macros -H hmm0/hmmdefs -M hmm1 -p 1 ./mono/monophones0

在hmm1里面生生成HER1.acc

HERest -A -D -T 1 -C ./data/mfc2mfc.config -I labels/phones.mlf -t 250.0 150.0 1000.0 -S ./config/train.scp.ab -H hmm0/macros -H hmm0/hmmdefs -M hmm1 -p 2 ./mono/monophones0

在hmm1里面生生成HER2.acc

……

最终就在hmm1文件夹里面有了HER1.acc，HER2.acc，HER3.acc，HER4.acc，HER5.acc五个文件。  
然后运行下面的命令：

HERest -H ./hmm0/macros -H ./hmm0/hmmdefs -M hmm1/ -p 0 ./mono/monophones0 ./hmm1/*.acc

就可以在hmm1文件夹下生成hmmdefs和macros了。

接着使用最上面用过的命令：

HERest -C ./data/mfc2mfc.config -I labels/phones.mlf -t 250.0 150.0 1000.0 -S ./config/train.scp -H hmm1/macros -H hmm1/hmmdefs -M hmm2 ./mono/monophones0

在hmm2里面生成新的hmmdefs和macros。  
PS：本来以为直接用这个命令会和上面一样报错需要拆分的，不知道为什么这里是可以的。

下面接着用同样的方法生成hmm3，hmm4和hmm5里面的hmmdefs和macros.

绑定静音模型sil->sp:  
首先将hmm5里面的hmmdefs和macros都复制一份到hmm6里面，然后修改一下hmm5里面的hmmdefs，修改方法就是将sil的模型复制一份到文件的最后面，然后将sil改为sp就好了，至于为什么，不知道。  
然后使用下面的命令：

HHEd -A -D -T 1 -H hmm6/macros -H hmm6/hmmdefs -M hmm7 data/sil.hed mono/monophones1

在hmm7里面生成hmmdefs和marcos。  
注意：在这里使用的是monophones1，也就是没有去掉sp的那个发音表，是因为这里的hmmdefs添加了sp的缘故。  
sil.hed里面的内容为：

AT 2 4 0.2 {sil.transP}  
    AT 4 2 0.2 {sil.transP}  
    AT 1 3 0.3 {sp.transP}  
    TI silst  {sil.state[3],sp.state[2]}

The AT commands add transitions to the given transition matrices and the final TI command creates a tied-state called silst.  
AT命令向给定的转移矩阵添加转移，并且最终的TI命令创建称为silst的绑定状态。  
The parameters of this tied-state are stored in the hmmdefs file and within each silence model, the original state parameters are replaced by the name of this macro.

接着在用上面的训练方法：

HERest -C ./data/mfc2mfc.config -I labels/phones.mlf -t 250.0 150.0 1000.0 -S ./config/train.scp -H hmm7/macros -H hmm7/hmmdefs -M hmm8 ./mono/monophones0

生成hmm8，hmm9和hmm10里面的hmmdefs和marcos就好了。

PS:在训练的时候一直觉得这里有点问题，因为结果hmm8，hmm9和hmm10里面的hmmdefs比前面的hmmdefs少了23行数据。在下一步的生成aligned.mlf时候会提示hmm里面少了sp，这时候再回来看是因为hmm10里面的hmmdefs没有sp这个东西。。。所以还是得用：

HERest -C ./data/mfc2mfc.config -I labels/phones.mlf -t 250.0 150.0 1000.0 -S ./config/train.scp -H hmm7/macros -H hmm7/hmmdefs -M hmm8 ./mono/monophones1

书上的内容害死人。。。。

调整训练数据,生成aligned.mlf:  
首先需要调整lexicon字典的内容，在里面的每一个字的发音的最后面添加“sp”，这样的主要原因是，书上使用的是前面说的生成的dict1，但是我们这里没有用dict1文件直接使用的lexicon，我们通过查看dict1就可以知道它里面的每个词的发音的最后面有”sp”，所以这里我们加上去，另外就是在发音词典lexicon的最后面加上 silence sil 这个静音项。  
然后使用下面的命令就会生成aligned.mlf了：

2 "*/103-1240-0000.labs"
          3 sil
          4 CH
          5 AE1
          6 P
          7 T
          8 ER0
          9 sp
         10 W
         11 AH1
         12 N

HVite -l '*' -o SWT -b silence -C ./data/mfc2mfc.config -a -H hmm10/macros -H hmm10/hmmdefs -i aligned.mlf -m -t 250.0 -y labs -I labels/words.mlf -S ./config/train.scp data/lexicon_sil_sp ./mono/monophones1

WARNING \[-8221\] InitPronHolders: Total of 1 duplicate pronunciations removed in HVite(去掉一个重复的发音)  
其中：-b选项在每个发音的开始和结束加入silence model -t 250.0 150.0 1000.0的作用和上面是一样的，设置一个剪枝

\-o option is used to suppress the printing of scores, word names and time boundaries in the output MLF.  
\-o选项用于抑制在输出MLF中输出分数，单词名称和时间边界。

书上下面的步骤就是直接运行命令：

HERest -A -T -D 1 -C ./data/mfc2mfc.config -I labels/aligned.mlf -t 250.0 150.0 1000.0 -S ./config/train.scp -H hmm10/macros -H hmm10/hmmdefs -M hmm11 ./mono/monophones1

会出现问题，因为上面的aligned.mlf是以.labs结尾的  
ERROR \[+6510\] LOpen: Unable to open label file /home/liuyan/train/mfc/103-1240-0000.lab  
我试了一下将.labs改为.lab就是可以的，所以说这里是有问题的。

在这里我看到调整之后的aligned.mlf和原来的phones.mlf之间除了数据的差异之外，格式上aligned.mlf和phones.mlf的唯一区别是aligned.mlf是.labs而另一个是.lab,所以我猜想是不是数据格式的问题，所以我尝试着把aligned.mlf里面的.labs换成了.lab，然后在跑上面的命令，这时候可以跑了.

但是命令跑了一会儿之后还是出现了前面一样的错误，  
ERROR \[+6510\] LOpen: Unable to open label file /home/liuyan/train/mfc/\*.lab  
但其实是跑了一些数据之后报错的。  
这时候我就想了，怎么会跑了一些数据之后提示没有呢，然后考虑可能是上面的命令中的aligned.mlf和train.scp出现了差异。经过查看果然是这样的。报错的一些数据是在aligned.mlf里面没有但是在train.scp里面却是，然后我就把train.scp里面多出来的内容删掉继续跑，因为不知道多了哪些文件所以不能随便删，要是多删了可能也会出现问题，所以我就一遍一遍的跑，看看那些文件多了去train.scp里面删除，漫长的过程，不过好在只多出了十几条数据。

我猜想出现上面这样的问题的原因，可能的就是上面运行HVite命令是出现的那条我在上面写出来的warning，有一些重复的发音被删掉了，会不会删掉的就是这里aligned.mlf少的一些数据，刚好上面差不多也报错删掉了十几个重复的发音。

PS：第一次运行的时候少的数据有很多，不止十几条。然后我再运行HVite命令的时候使用的是-t 150.0 150.0 1000.0，所以缺少的数据才会少一些的，原因应该是剪枝放松了一些。

至此该命令就可以顺利跑了。跑两遍得到hmm11和hmm12里面的hmmdefs以及macros就OK啦。

创建绑定状态的三音素HMM模型：  
生成三音素标注文件triphone.mlf以及triphones1.

HLEd -n triphones1 -l '*' -i triphone.mlf data/mktri.led labels/aligned.mlf

其中mktri.led:

NB sp
    WB sp
    TC

生成新的triphone  
这里生成的三音素列表triphones1是有问题的，完全不能用。但是标注文件triphone.mlf是可以用的。下面详细讲解手动生成新的triphone的过程。  
三音素是来描述上下文相关的。比如我们的一个发音，它会在上下文不同的位置或者它的前后词的发音不一样那么这个发音是有微小变化的。所以根据这个来生成三音素列表。

我们一共有71个音（加上sp）。在发音列表lexicon里面我们可以看到一个词有发一个音的，两个音还有更多的都有。我们就需要依次的将lexicon里面的每一个发音放到三音素中间的位置，然后找到它前面和后面可能会发什么音。当然sil是不可能放中间的。

所以首先我们应该把所有的前音（每个词的第一个发音，beforesound）和后音（每个词的最后一个发音，aftersound）找到并拿出来，然后都要加上sil，因为也可能是静音的。

举个例子：  
单词 发音  
AAAA a1 a2 a3 … an  
这时候a1就是前音，an就是后音。所有的前音都是有可能接在其它音后面的，所有的后音都是有可能接在其它音前面的。  
这时候生成的三音素就包括：  
aftersound-a1+a2 a1-a2+a3 a2-a3+a4 an-1-an+beforesound  
要是只有一个发音那么就是 aftersound-a+beforesound

awk -F ” ” ‘\{print NF\}’ input                          \#提取input的最后一列，其中以空格隔开，尾音    
awk -F ” ” ‘\{print2\}’ input \#提取input的第二列，其中以空格隔开，前音

就这样将所有的三音素生成然后排序去重得到新的triphone。总共有二十多万条数据。并且在最后加上sil和sp两条。  
脚本如下：

#!/usr/bin/env python 
      # -*- coding: utf-8 -*-
    
      s1 = set([])
      s2 = set([])
    
      f1 = open("beforesound", "r").readlines()
      f2 = open("aftersound", "r").readlines()
      f3 = open("allsound", "r").readlines()
    
      for l1 in f1:
          ws1 = l1.split()
          for w1 in ws1:
              s1.add(w1)
    
      for l2 in f2:
          ws2 = l2.split()
          for w2 in ws2:
              s2.add(w2)
    
      open("fulllist", "w").write("")
    
      for l3 in f3:
          ws3 = l3.split()
          length = len(ws3)
    
          if length == 1:
              for ss1 in s1:
                  for ss2 in s2:
                      open("fulllist", "a").write(ss1 + "-" + ws3[0] + "+" + ss2 + "\n")
    
          elif length == 2:
              for ss1 in s1:
                  open("fulllist", "a").write(ss1 + "-" + ws3[0] + "+" + ws3[1] + "\n")
              for ss2 in s2:
                  open("fulllist", "a").write(ws3[0] + "-" + ws3[1] + "+" + ss2 + "\n")
    
          else:
              for ss1 in s1:
                  open("fulllist", "a").write(ss1 + "-" + ws3[0] + "+" + ws3[1] + "\n")
              for i in range(1, length-1):
                  open("fulllist", "a").write(ws3[i-1] + "-" + ws3[i] + "+" + ws3[i+1] + "\n")
              for ss2 in s2:
                  open("fulllist", "a").write(ws3[length-2] + "-" + ws3[length-1] + "+" + ss2 + "\n")

**\*\***生成mktri.hed（有误,请看测试部分）

perl data/maketrihed mono/monophones1 triphone

mametrihed是网上下载来的。使用自己生成的triphone

HHEd -H hmm12/macros -H hmm12/hmmdefs -M hmm13 mktri.hed mono/monophones1

注：此时hmmdefs文件的结构发生了变化

WARNING \[-2631\] ApplyTie: Macro T\_sil has nothing to tie of type t in HHEd  
WARNING \[-2631\] ApplyTie: Macro T\_sp has nothing to tie of type t in HHEd  
这两个warning是正常的，因为sil和sp这两个模型都不是上下文相关的，所以没有任何矩阵来绑定。

训练生成stats

HERest -C data/mfc2mfc.config -I triphone1.mlf -t 250.0 150.0 1000.0 -s stats -S config/train.scp -H hmm13/macros -H hmm13/hmmdefs -M hmm14 triphone
    × 3

有很多这样的warning(不理会)：  
WARNING \[-2331\] UpdateModels: UW1-M+EH2\[38342\] copied: only 1 egs  
in HERest  
WARNING \[-2331\] UpdateModels: OW1-R+EY1\[38343\] copied: only 1 egs  
in HERest

其中triphone1.mlf是由triphone.mlf，除了.，sil，sp之外，triphone.mlf中的三音素需要在triphone里面找到,不然就会报错。使用下面脚本：

#!/usr/bin/env python                                                                                                                                                                                 
      # -*- coding: utf-8 -*-
    
      f2 = open("triphone.mlf", "r").readlines()
      f1 = open("triphone", "r").readlines()
    
      s = set([])
      for l1 in f1:
          ws1 = l1.split()
          for w1 in ws1:
              s.add(w1)
      # print s
    
      open("triphone1.mlf", "w").write("")
    
      for l2 in f2:
          ws2 = l2.split()
          for w2 in ws2:
              if "*" in w2:
                  open("triphone1.mlf", "a").write(w2 + "\n")
              elif "#" in w2:
                  open("triphone1.mlf", "a").write(w2 + "\n")
              elif "." in w2:
                  open("triphone1.mlf", "a").write(w2 + "\n")
              elif w2 in s:
                  open("triphone1.mlf", "a").write(w2 + "\n”)

trephine.mlf里面有大概二百多万的数据，运行指挥减少了几千条的样子。

绑定三音素  
在上一步估计模型时，因数据不足导致很多分布的方差只好用截至方差vFloors。这一步就是通过绑定状态来共享数据，使输出分布更加的稳健。  
生成tree.hed

perl data/mkclscript.prl TB 350.0 mono/monophones1 > tree.hed

其中生成的tree.hed需要添加一些内容：

RO 100 stats
    TR 0
    TR 2

。。。tree.hed。。。

TR 1
    AU triphone
    CO tiedlist
    ST trees

保存为tree1.hed

然后运行下面的命令：

HHEd -H hmm16/macros -H hmm16/hmmdefs -M hmm17 tree1.hed triphone > log

此时hmmdefs的格式再次发生变化。

生成trees，log和tiedlist。

然后再次训练

HERest -C data/mfc2mfc.config -I triphone1.mlf -t 250.0 150.0 1000.0 -S config/train.scp -H hmm17/macros -H hmm17/hmmdefs -M hmm18 tiedlist
    × 5

测试

其中test.scp我就是在前面的train.scp里面随机提取了五条数据。  
decode.config内容如下：

TARGETKIND             = MFCC_0_D_A                                                                                                                                                                                       HLANGMODFILTER   = 'gunzip -c $.gz’
    HNETFILTER              = 'gunzip -c $.gz’
    HNETOFILTER            = 'gzip -c > $.gz’
    RAWMITFORMAT       = T 
    STARTWORD             = <s>
    ENDWORD                 = </s>
    #STARTWORD = SENT-START
    #ENDWORD = SENT-END

3-gram.arpa是下载来的数据，里面有几千万条数据的样子,是n-gram语言模型.  
lexicon.txt是发音表，要在开头加上 sil和 sil，并且每行结尾没有sp.  
并且没有SENT-END \[\]sil  
SENT-START \[\]sil  
这两行

bin/HDecode -H hmm22/hmmdefs -S config/test.scp -t 250.0 100.0 -C config/hdecode.config -i recount.mlf -w data/3-gram.arpa -p 0.0 -s 5.0 data/lexicon.txt tiedlist

ERROR \[+7721\] HLVNet: no model label for phone (NG-AY1+T)  
FATAL ERROR - Terminating program bin/HDecode

调整triphone  
出现了下面的错误，很多这样的错误，我猜测是triphone出现了错误，前面生成triphone的时候前音里面没有NG和OY2，现在加上重新生成triphone试试看。之所以这样猜想是因为出现了大量的no model label for phone (NG-AY1+T)，这样的类似的错误，三音素都是以NG或者OY2开头的。  
加上之后再来生成了最新的triphone.  
后面经过试验我又在后音里面加上了AE2以及在前音里面加上了ER2。具体原因是triphone.mlf里面有一些三因素在这个triphone里面没有，这些因素都是以AE2结尾的或者是以ER2开头的。  
后音里面再加上UH0.这是又跑了一遍上面的过程之后到了这里找到的错误。

这样只会其实trephine.mlf也不用作调整了，因为所有的音素都在triphone里面可以找到。

老大说是我的triphone生成的有问题。。。。。。  
然后使用这里新的triphone从前面标**\*\***的地方重新来过。

WARNING \[-7621\] ReadARPAngram: unseen word ‘’ in ngram in bin/HDecode

`bin/HDecode -H hmm22/hmmdefs -S config/test.scp -t 250.0 100.0 -C config/hdecode.config -i recount.mlf -w data/3-gram.arpa -p 0.0 -s 5.0 data/lexicon.txt tiedlist`很慢，我一共在test.scp里面才放了两个文件（从train.scp里面copy的），大概跑出来一共用了五个多小时。

生成recount.mlf

生成testwords.mlf

perl ./scripts/prompts2mlf testwords.mlf ./SLR/trainprompts

测试结果：

HResults -I testwords.mlf tiedlist recount.mlf
    
    ====================== HTK Results Analysis =======================
      Date: Thu Dec 22 18:22:39 2016
      Ref : testwords.mlf
      Rec : recount.mlf
    ------------------------ Overall Results --------------------------
    SENT: %Correct=0.00 [H=0, S=2, N=2]
    WORD: %Corr=6.78, Acc=5.08 [H=4, D=22, S=33, I=1, N=59]

非常低的识别率.

多高斯模型绑定

HHEd -H hmm22/macros -H hmm22/hmmdefs -M hmm23 data/2_gaussian.hed tiedlist
    HERest -C config/mfc2mfc.config -I triphone1.mlf -t 250.0 150.0 1000.0 -S config/train.scp -H hmm23/macros -H hmm23/hmmdefs -M hmm24 tiedlist
    …
    HHEd -H hmmX/macros -H hmmX/hmmdefs -M hmmX+1 data/32_gaussian.hed tiedlist

在16\_gaussian.hed和32\_gaussian.hed的时候会出现warning：  
WARNING \[-2637\] HeaviestMix: mix 3 in W-OY0+AA0 has v.small gConst \[64.919121\] in HHEd  
WARNING \[-2637\] HeaviestMix: mix 4 in W-OY0+AA0 has v.small gConst \[64.404106\] in HHEd

HERest -C config/mfc2mfc.config -I triphone1.mlf -t 250.0 150.0 1000.0 -S config/train.scp -H hmmX+1/macros -H hmmX+1/hmmdefs -M hmmX+2 tiedlist

下面是按照书上的生成tree.hed的错误尝试。

然后需要添加内容，其中的QS一部分可以在网上搜索qusts.hed得到,格式如下：

RO 100 stats                                                                                                                                                                                           
    TR 0
    
    QS "R_NonBoundary" { *+* }
    
    QS "L_z" { Z-* } 
    
    TR 2
    
    TB 350.0 "ST_AA0_2_" {("AA0","*-AA0+*","AA0+*","*-AA0").STATE[2]} TB 
    
    TB 350.0 "ST_sil_4_" {("sil","*-sil+*","sil+*","*-sil").state[4]}
    
    TR 1
    AU fulllist
    CO tiedlist
    ST trees

quits.hed全部是小写的，所以我做了如下的改变，将后面的\{\}部分改成大写的了。python脚本如下：

#!/usr/bin/env python 
      # -*- coding: utf-8 -*- 
    
      file1 = open("aa", "r").readlines()
    
      open("ab","w").write("")    #清空ab文件
      count = 0
    
      for line1 in file1:
          words1 = line1.split()
          for word1 in words1:
        # print word1
              if "*" in word1:
                  word1 =  word1.upper()
                  print word1
                # line1.replace(word1, w)
              open("ab","a").write(word1 + " ")
              count = count + 1
              if count == 5:
                  count = 0
                  open("ab","a").write("\n")

注意：monophones0

HDMan -b sp -n fulllist -g data/global2.ded -l flog lexicon-tri data/lexicon_sp

生成fulllist flog lexicon-tri  
lexicon\_sp是在原始的lexicon中每行的最后加上sp，并且去掉了下面的内容：

SENT-END []sil
    SENT-START []sil

其中global2.ded：

RS cmu
    MP sil sil sp
    TC

HHEd -H hmm15/macros -H hmm15/hmmdefs -M hmm16 tree.hed triphones1 > log

ERROR \[+2662\] FindProtoModel: no proto for R-IY+CH in hSet  
FATAL ERROR - Terminating program HHEd

ERROR \[+7036\] NewMacro: macro or model name ST\_AA0\_2\_1 already exists  
FATAL ERROR - Terminating program HHEd

状态帧对齐（state-frame alignments）

align.config:

# Coding parameters 
      # SOURCEFORMAT = WAV
      TARGETKIND = MFCC_0_D_A
      TARGETRATE = 100000.0
      SAVECOMPRESSED = T
      SAVEWITHCRC = T
      WINDOWSIZE = 250000.0
      USEHAMMING = T
      PREEMCOEF = 0.97
      NUMCHANS = 26
      CEPLIFTER = 22
      NUMCEPS = 12
      ENORMALISE = F
      ALLOWXWRDEXP = TRUE
      FORCECXTEXP = TRUE
      MARKLOGHMM = TRUE
      # SOURCEFORMAT = NIST

lexicon.txt添加上silence sil这一项。

HVite -D -T 1 -l '*' -C align.config -H hmm32/hmmdefs -S config/train.scp -I label/words.mlf -i train.tri.aligned.mlf -f -o MW -b silence -a -y lab data/lexicon.txt tiedlist

很慢。超过五个小时了应该。  
生成train.tri.aligned.mlf文件

在don\_data目录下生成proto：

python GenInitDNN.py HTE.dnntrain.am proto

其中HTE.dnntrain.am是在网上下载的：  
其中改了这样几个地方，至于为什么要改，不知道。我只知道不改的话下面的步骤确实会出现问题。

# DNN definition variables
     set FEATURETYPE=MFCC_E_D_A_Z
     set FEATUREDIM=39
     set CONTEXTSHIFT=-4,-3,-2,-1,0,1,2,3,4                  # input feature context shift
     set DNNSTRUCTURE=351X1024X1024X3000                     # BN DNN structure (507 = 39 phones * 13 MFCCs)
     set HIDDENACTIVATION=SIGMOID                            # Sigmoid hidden activation function

HHEd -H hmm32/hmmdefs -M dnn1 connect.hed tiedlist

ERROR \[+2635\] ConnectANNtoHMMs: Cannot find target ANN model  
FATAL ERROR - Terminating program HHEd  
这时候需要修改proto里面的值，~N “DNN1”改为~N “DNN”

HCompV -T 1 -p *%%% -k *.%%% -C dnn_data/cvn.cfg -q v -c cvn -S config/train.scp

ERROR \[+2011\] HCompV: ExportNMV: output file creation error cvn/mfc/mfc  
FATAL ERROR - Terminating program HCompV  
解决方法：在当前目录下建立新的目录cvn/mfc。  
书上不是说自动创建的吗，不知道为什么。。。

其中can.cfg:

TARGETKIND = MFCC_0_D_A_Z                                                                                                                                                                             
    HCOMPV: MAKEDIR = TRUE

会在新目录cvn/mfc下面生成一个mfc文件，里面放着DNN的初始方差矢量。

config.basic:

TARGETKIND = MFCC_0_D_A_Z                                                                                                                                                                              
      HPARM: VARSCALEDIR = cvn
      HPARM: VARSCALEMASK = '*.%%%'
      HPARM: VARSCALEPATHMASK = '*.%%%'
      HPARM: VARSCALEFN = dnn_data/ident_MFCC_0_D_A_Z_cvn

HNTrainSGD -C config/config.basic -C config/config.pretrain -H dnn1/hmmdefs -M dnn2 -S config/train.scp -l LABEL -I train.tri.aligned.mlf tiedlist                
    ✖️15

WARNING \[-4323\] GetScpSampCnt: Using non-ext scp causes an extra pass of data loading in HNTrainSGD  
(More than) 35MB space allocated in GPU 0 memory

Epoch 1 ***\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\****  
Processing training set…  
WARNING \[-8931\] UpdateTargetPen: HMM State ST\_sp\_3\_1 has no training samples in HNTrainSGD  
WARNING \[-8931\] UpdateTargetPen: HMM State ST\_sp\_4\_1 has no training samples in HNTrainSGD  
Train Accuracy = 45.46% \[8497211 right out of 18691865 samples\]  
Batch count = 23365, Update count = 23365

Finish Training ***\*\*\*\*\*\*\*\*\*\*\*\*\****

大概训练十几遍之后其中Train Accuracy = 56.46%，要是继续训练下去应该还是可以上升的。  
这里就可以说到为什么HTE.dnntrain.am要在前面改成那样了，要是不改的话，这个Train Accuracy是训练之后渐渐降低的，最后就为0了。不知道为什么是这样的。。。

其中需要在dnn\_data目录下新建文件ident\_MFCC\_0\_D\_A\_Z\_cvn：  
39  
2 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0  
3 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0  
4 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0

config.pretrain:  
HANNET: MINIBATCHSIZE = 800  
2 HNCACHE: DATAACCESSKIND = FRAMERAND  
3 HNCACHE: SHUFFLEKIND = QUICKNET  
4 HNCACHE: DATACACHESIZE = 200000000  
5 HNTRAINSGD: UPDATEMODE = BATCHLEVEL  
6 HNTRAINSGD: CRITERION = XENT  
7 HNTRAINSGD: UPDATETARGETPEN = TRUE  
8 HNTRAINSGD: LRSCHEDULER = LIST  
9 HNTRAINSGD: LEARNRATE = 0.001  
10 HNTRAINSGD: MOMENTUM = 0.5  
11 HNTRAINSGD: UPDATECLIP = 0.32

bin/HDecode -D -T 1 -H dnn15/hmmdefs -S config/train.scp -t 220.0 220.0 -C config/hdecode.config -i recount1.mlf -w data/3-gram.arpa -p 0.0 -s 5.0 data/lexicon.txt tiedlist > log.result

去掉lexicon.txt里面的最后一行silence sil  
不然会出现下面的错误：  
ERROR \[+7721\] HLVNet: no model label for phone (K-sil+sil)  
FATAL ERROR - Terminating program bin/HDecode

需要将decode.config中的TARGETKIND = MFCC\_0\_D\_A\_  
变成TARGETKIND = MFCC\_0\_D\_A\_Z  
不然会出现下面的错误：  
ERROR \[+6373\] ReadObs: Obs kind=MFCC\_D\_A\_Z\_0 but buffer kind=MFCC\_D\_A\_0  
FATAL ERROR - Terminating program bin/HDecode

上面的测试太慢了，一天才跑出来了一条数据。主要原因是3-gram.arpa这个语言模型里面有几千万条数据，但其实我们用不到这么多，所以我们自己制作一个我们需要的语言模型。  
使用下面的命令，其中主要是命令ngram-count

bin/ngram-count -wbdiscount -order 3 -text SLR/traincopy -unk -interpolate5 -lm LM

其中-order 3应该是建立3-gram的意思。  
其中的traincopy是我们前面加工的trainprompts去掉了第一列的那些类似数字的东西，注意一定是要是加工之后的trainprompts，不然会出现很多warning，会影响到结果的。  
生成LM就可以代替上面的3-gram.arpa来测试了。  
如果希望只针对指定的词进行统计，就建立一个词列表文件wlist

bin/ngram-count -wbdiscount -order 3 -text SLR/traincopy -vocab config/wlist -unk -interpolate5 -lm LM

出现这样的错误：  
gzip: LM.gz: No such file or directory  
ERROR \[+5013\] ReadUntilLine: reached EOF while scanning for ‘\\data\\’  
FATAL ERROR - Terminating program bin/HDecode  
这时候需要在LM的文件夹下面添加一个LM的压缩版本LM.gz。

然后测试一下：

HResults -I testwords.mlf tiedlist recount1.mlf

其中testwords.mlf是前面生成的。

====================== HTK Results Analysis =======================
      Date: Tue Jan  3 09:47:02 2017
      Ref : testwords.mlf
      Rec : recount1.mlf
    ------------------------ Overall Results --------------------------
    SENT: %Correct=0.00 [H=0, S=151, N=151]
    WORD: %Corr=9.02, Acc=8.21 [H=568, D=3397, S=2329, I=51, N=6294]

不知道什么地方出现了严重的问题。。但是比前面还是高一些的

至此就结束了整个的训练过程。

[http_openslr.org_resources.php]: http://openslr.org/resources.php