科大讯飞中文+日语语音听写(流式版)

水深无声 2023-03-01 13:55 14阅读 0赞

### 文章目录 ###

*   *   *  1.实现效果
         *   *  1.1日语效果
             *  2.2中文效果
         *  2.具体实现
         *   *  1.捕捉麦克风语音输入并保存为.wav文件
             *  2.进行VAD(Voice Activity Detection)检测
             *  3.下载官网python版语音听写demo
             *  4.字幕显示
             *  5.将Python程序打包为exe
         *  3.其它

> 需求:记录会议的内容，将会议的语音(中文和日文)转为文字字幕并显示在电脑屏幕上。

### 1.实现效果 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2_size_16_color_FFFFFF_t_70]

#### 1.1日语效果 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][20200727115554158.png]

#### 2.2中文效果 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][20200727124842896.png]

### 2.具体实现 ###

讯飞语音中文实现很简单，登录[讯飞开发者平台][Link 1],创建应用，下载对应的demo就行了，照着文档弄，很简单。

所以我的重点都是日语语音听写(流式版)的实现。

需要提前说明的是讯飞小语种只有语音听写(流式版)支持，且需要提前开通。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2_size_16_color_FFFFFF_t_70 3]

#### 1.捕捉麦克风语音输入并保存为.wav文件 ####

通过pyaudio捕捉麦克风的语音输入

pip install pyaudio

pa = pyaudio.PyAudio()
    stream = pa.open(format=FORMAT,
                         channels=CHANNELS,
                         rate=RATE,
                         input=True,
                         start=False,
                         # input_device_index=2,
                         frames_per_buffer=CHUNK_SIZE)

保存为.wav文件

def record_to_file(path, data, sample_width):
        "Records from the microphone and outputs the resulting data to 'path'"
        # sample_width, data = record()
        data = pack('<' + ('h' * len(data)), *data)
        wf = wave.open(path, 'wb')
        wf.setnchannels(1)
        wf.setsampwidth(sample_width)
        wf.setframerate(RATE)
        wf.writeframes(data)
        wf.close()
    record_to_file("recording.wav", raw_data, 2)

#### 2.进行VAD(Voice Activity Detection)检测 ####

讯飞的小语种识别真的**巨坑**，它的文档中有个参数`vad_eos`。  
![在这里插入图片描述][20200727130329618.png]  
这个参数的作用:  
`在默认vad_eos=2000的情况下，比如我说”你好”后停顿1s，再说”早上好”，它认为音频没结束，返回最终结果“你好，早上好”,但是我说”你好”后停顿3s，再说”早上好”，在”你好”后面的2s里音频没有内容，它认为音频已经结束，返回最终结果”你好”。`

但是这个参数在中文条件下才有效，小语种条件下根本不生效。(它的文档里也没写，我问讯飞的技术支持才知道的)  
![在这里插入图片描述][20200727131154394.png]

造成的现象:  
中文识别没有任何的问题，小语种识别一直在录音，讯飞不会返回任何结果，直到60s后超时返回报错超时.

所以要在客户端主动的实现VAD(Voice Activity Detection)效果.

之前我的代码都是java写的，但是在github上发现java并没有什么好的vad检测的库，最后全部代码换成了python，找到了一个python的vad检测的库。

**参考代码:**[https://github.com/wangshub/python-vad][https_github.com_wangshub_python-vad]

**注意:**

但是这个vad库检测的时候也有个坑，安装`pip install webrtcvad`的时候报错`Microsoft Visual C++ 14.0 is required`,解决方法是`安装Microsoft Visual C++ 14.0及配置好环境`

**具体参考博客:**[Windows系统pip install webrtcvad][Windows_pip install webrtcvad]

#### 3.下载官网python版语音听写demo ####

官网的语音听写demo很简单，替换掉你自己的服务接口认证信息就能跑起来。  
![在这里插入图片描述][20200727131748684.png]

注意3点:

1.  方言语种开通日语
2.  小语种url和中英文不同  
    ![在这里插入图片描述][20200727132036152.png]  
    3.传参时language是ja\_jp  
    ![在这里插入图片描述][2020072713220781.png]

#### 4.字幕显示 ####

将上面的步骤整合后就能识别到日语了。但还要在window桌面上显示出来还要用到pyqt5.

**字幕UI参考:** [https://github.com/wingood-xu/suspendLyric][https_github.com_wingood-xu_suspendLyric]

**PyQt5中文教程:**[PyQt5中文教程][PyQt5]

#### 5.将Python程序打包为exe ####

一切都弄好后,还要将程序打包为exe.(不可能别人还要装python运行你的程序吧),我这里使用的是`pyinstaller`打包为exe.

pip install pyinstaller

pyinstaller -F -w  你的执行文件.py

**tip:**

1.  \-w 代表不显示控制台，如果程序运行报错，建议去掉-w,会有一个一闪而过的控制台带有报错的信息，把握时间，截到这个报错信息，粘贴到word内具体分析错误。
2.  打包的时候不要在全局python环境内打包，不然会把你没用到的包也打包进去，导致包很大。应该在venv环境下打包
3.  pyinstaller打包python时含有多进程代码会出现bug:在pycharm下运行只有两个进程，打包后运行可能有了3个进程。  
    解决方法:[http://redino.net/blog/2016/04/multiprocessing-frozen-python/][http_redino.net_blog_2016_04_multiprocessing-frozen-python]  
    `if __name__ == '__main__':`后面添加此行代码:`multiprocessing.freeze_support()`

### 3.其它 ###

生成requirements.txt:

pip freeze > requirements.txt

requirements.txt的安装:

pip install -r requirements.txt

使用`pipreqs`生成requirements.txt:  
[python 保存项目用到的包名生成requirements.txt][python _requirements.txt]  
这种方式生成的requirements.txt里面只含你用到的package.

python日志处理:[python 日志 logging模块(详细解析)][python _ logging]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2_size_16_color_FFFFFF_t_70]: /images/20230208/42eebe8ee4f44e96b40619106ad36764.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2_size_16_color_FFFFFF_t_70 1]: /images/20230208/9c1a429d4a664e43b584ab09b50ddec4.png
[20200727115554158.png]: /images/20230208/dad64a5d606b44a0b6466269959f2355.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2_size_16_color_FFFFFF_t_70 2]: /images/20230208/2a3ea1b60d7d407b92b0069b9aca25bd.png
[20200727124842896.png]: /images/20230208/79b800b2fbac4a728ad409c45515f9ab.png
[Link 1]: https://console.xfyun.cn/services/iat
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200727125621923.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDUzMjY2,size_16,color_FFFFFF,t_70
[20200727130329618.png]: https://img-blog.csdnimg.cn/20200727130329618.png
[20200727131154394.png]: https://img-blog.csdnimg.cn/20200727131154394.png
[https_github.com_wangshub_python-vad]: https://github.com/wangshub/python-vad
[Windows_pip install webrtcvad]: https://blog.csdn.net/zkgoup/article/details/105493095
[20200727131748684.png]: https://img-blog.csdnimg.cn/20200727131748684.png
[20200727132036152.png]: https://img-blog.csdnimg.cn/20200727132036152.png
[2020072713220781.png]: https://img-blog.csdnimg.cn/2020072713220781.png
[https_github.com_wingood-xu_suspendLyric]: https://github.com/wingood-xu/suspendLyric
[PyQt5]: https://blog.csdn.net/zhayushui/article/details/82221382
[http_redino.net_blog_2016_04_multiprocessing-frozen-python]: http://redino.net/blog/2016/04/multiprocessing-frozen-python/
[python _requirements.txt]: https://blog.csdn.net/m0_38133212/article/details/87865379
[python _ logging]: https://blog.csdn.net/pansaky/article/details/90710751