语言模型N-Gram之KenLM环境的搭建

刺骨的言语ヽ痛彻心扉 2021-10-29 23:03 702阅读 0赞

## 语言模型N-Gram之KenLM环境的搭建 ##

### 1 在windows下 ###

在windows下搭建的kenlm只能运用训练好的模型，不能训练模型。

查资料了解到，若想在windows训练kenlm模型，理论上可以在cygwin（仿真linux操作系统）进行。  
但是，我折腾了好久好久好久，还是存在一系列的问题，比如需要安装Microsoft Visual C++ 14.0 ，安装完一个又一个。固执的金牛座被打败了，转战linux

**cygwin**

cygwin是一个windows软件，该软件就是在windows上仿真linux操作系统。简言之，cygwin是一个在windows平台上运行的 linux模拟环境,使用一个Dll(动态链接库)来实现,这样,我们可以开发出Cygwin下的UNIX工具,使用这个DLL运行在Windows下,可以想一下,在运行Windows的同时,也可以使用VI,BASH,TAR,SED等UNIX下的工具例如：要在wins下执行.sh 文件，可以通过该工具。但是这种涉及到很多第三方库的编程，建议不用windows。

### 2 在linux下（虚拟机Ubuntu搭建） ###

**（1）进入kenlm的github网址https://github.com/kpu/kenlm**

对kenlm库进行下载，使用命令：

`wget -O - http://kheafield.com/code/kenlm.tar.gz |tar xz`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70]  
**按照官方文档提示，建立kenlm**

mkdir -p build
        cd build
        cmake ..
        make -j 4

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 1]  
但是，如上所示，提示没有cmake，所以安装cmake.  
**（2）安装cmake**  
输入：

sudo apt-get install cmake

![在这里插入图片描述][20190817104507234.png]  
此时，提示我们无法定位软件包cmake。

我们需要**对apt-get进行更新**，输入：

sudo apt-get update

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 2]  
**重新安装cmake**

sudo apt-get install cmake

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 3]  
继续执行我们的cmake…  
出现如下错误 No CMAKE\_CXX\_COMPILER could be found  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 4]  
属于**编译器没有进行安装**,输入命令：

sudo apt-get install cmake gcc g++

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 5]  
再次输入cmake …

还是出现错误，需要**安装boost**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 6]  
安装boost，使用命令：

sudo apt install libboost-dev libboost-test-dev

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 7]  
再次cmke …

如下所示，boost的包不全面  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 8]  
补全所有boost包，输入命令:

sudo apt-get install libboost-all-dev

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 9]  
再次输入cmake …

还是有错误could not find BZip2 /LibLZMA/Eigen3  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 10]  
根据上面代码提示，解决eigen3 was not found，可以输入：

$HOME
        
        wget -O - https://bitbucket.org/eigen/eigen/get/3.2.8.tar.bz2 |tar xj

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 11]  
但是，此方法似乎存在问题，我再次cmake，还是无法找到eigen3。  
换种方式解决，输入如下代码：

sudo apt install libeigen3-dev

解决could not find BZip2 和 could not find LibLZMA，同样的输入：

sudo apt install libbz2-dev
        sudo apt install liblzma-dev

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 13]  
继续cmake … 终于没报错！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 14]

**（3）继续官方文档的最后一步操作**  
输入：

make -j 4

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 15]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 16]  
**（4）将kenlm加入到环境变量中。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 17]  
kenlm环境搭建完毕。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70]: /images/20211029/ae179ed5871d4eaf99977dc716668b34.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 1]: /images/20211029/ee73d916b6f44cf29bd04f30a4b24b30.png
[20190817104507234.png]: /images/20211029/2695f48748d540b39234d61ac3a727e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 2]: /images/20211029/9aafe2d0027c4ca0bad604967a327199.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 3]: /images/20211029/e7a157088ed6435da584836aa77b95d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 4]: /images/20211029/5278065702fd45728c7f2dd94e0025dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 5]: /images/20211029/fd160b9f5dd242c2b8dbbf6298b89317.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 6]: /images/20211029/ff46071cbe2642f5acc9c955a95588c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 7]: /images/20211029/d6255754b2cb4b20bc12d4c895f413d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 8]: /images/20211029/afa1d065bb9e4bd495b9adc64c61535a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 9]: /images/20211029/8acdcce5d9544aaa8dbe9bfd2bbc76cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 10]: /images/20211029/8f2bc6dd00ee48638138f026051565e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 11]: /images/20211029/d7ce890ab6f244ce855876d2b59296ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 12]: /images/20211029/83d7b5b7b75b460c8405afc494c9193c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 13]: /images/20211029/5dcc74e7a5204bbaa1c78210cbe958b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 14]: /images/20211029/276641a7e4f94ec7ab533e742e0e258a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 15]: /images/20211029/efb20536509548068b0147202991a4f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 16]: /images/20211029/3c74c9540d8a49c49b1a8d49570f3b34.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjAxNDYyMg_size_16_color_FFFFFF_t_70 17]: /images/20211029/99463fdbea4749a988ac32643f2fad77.png