hanlp,jieba,nlpir分词工具安装报错完全解决方案

妖狐艹你老母 2023-05-22 22:30 4阅读 0赞

### hanlp,jieba,nlpir分词工具安装报错完全解决方案 ###

*   *  hanlp问题分析及解决方案
     *   *  windows环境分析
         *  解决方案
     *  jieba问题分析及解决方案
     *   *  问题分析
         *  解决方案
     *  nlpir问题分析及解决方案
     *   *  问题分析
         *  解决方案
         *   *  windows(win7 x64)
             *  linux(ubuntu16.04.0 x64)
     *  参考博文

## hanlp问题分析及解决方案 ##

### windows环境分析 ###

[github][]地址  
可以看到setup.py最下方两行安装环境要求  
![hanlp setup.py][]  
1.最重要的python环境要求，python>=3.6，如果不满足，那需要升级python。  
2.首先因为Hanlp原来是Java的一个jar包，只是后来被引进到python中，因此JDK环境是必不可少的。  
3.micrsoft c++ 14.0，该组件是很多软件的运行库，包括一些游戏，需要安装。  
4.fasttext==0.9.1，笔者在安装过程中要到了该错误，一会单独安装。  
5、最新的hanlp2.0版本要求tensorflow=2.1.0版本，这里如果网速有问题，应该单独安装。

### 解决方案 ###

1.由于笔者本机已安装过java jdk1.8.0\_202版本，这里就不再赘述jdk的安装过程了。  
【基本上就是下载安装->更改环境变量->打开命令框，输入java与javac命令有输出，不报错，则证明安装成功->你也可以通过java -version查看已安装java的版本，实在不会，就去百度一下】  
2.micrsoft c++ 14.0安装，你可以去Microsoft 官网下载；如果你不想去官网下，可以从[这里][Link 1]下载-提取码：zjno  
安装过程，直接默认安装，路径可以更改，还有很多附加功能，可以不安装。  
3.fasttext安装，这是一个词向量工具，也能做简单的文本分类，通过如下命令安装。

pip3 install fasttext==0.9.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

4.windows下安装该环境，最好使用Anaconda3，由于hanlp可以使用GPU/TPU，因此最好安装gpu版本tensorflow-gpu=2.1.0，安装命令如下

conda install tensorflow==2.1.0

安装完成后，测试代码如下：

import tensorflow as tf
    print(tf.__version__)

如果没有报错，万事大吉；  
如果报错：  
情况一：  
![tensorflow2.1.0报错][tensorflow2.1.0]  
需要卸载numpy，或者升级numpy：

pip3 install –U numpy

情况二：  
报错为tensorflow自身的问题，很遗憾需要卸载，重装。

conda uninstall tensorflow==2.1.0
    conda install tensorflow==2.1.0

5.最终安装完成这些基础环境之后，安装hanlp

pip3 install hanlp

## jieba问题分析及解决方案 ##

### 问题分析 ###

可以看到github上提出的环境要求  
![jieba paddle][]  
如果报错，基本是使用了Paddle，但是没有安装paddle且没有升级jieba。

### 解决方案 ###

pip install paddlepaddle-tiny==1.6.1
    pip3 install -U jieba

## nlpir问题分析及解决方案 ##

### 问题分析 ###

一般是授权问题，pip安装的是旧一些的版本。由于授权过期的问题，需要重新授权。

### 解决方案 ###

#### windows(win7 x64) ####

去其[github][github 1]网站下载源文件  
![NLPIRgithub][]  
下载该文件，获取授权。  
![NLPIR授权][NLPIR]  
将其复制到其安装目录，笔者使用anconda安装，目录如下  
![NLPIR安装目录][NLPIR 1]  
直接将其复制过来，解决问题。

#### linux(ubuntu16.04.0 x64) ####

与windows下解决方法类似  
但是可以使用

git clone git@github.com:NLPIR-team/NLPIR.git

同样的方法  
查看已安装环境的路径  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lrZjE3Mw_size_16_color_FFFFFF_t_70]  
替换NLPIR.user

cp 你的下载路径/NLPIR-master/License/license for a month/NLPIR-ICTCLAS分词系统授权/NLPIR.user 你的安装路径/anaconda3/envs/experiment/lib/python3.6/site-packages/pynlpir/Data/

好了，问题至此应该解决了。

## 参考博文 ##

\[1\][https://www.cnblogs.com/pythoner6833/p/10108964.html][https_www.cnblogs.com_pythoner6833_p_10108964.html]

[github]: https://github.com/hankcs/HanLP
[hanlp setup.py]: /images/20230521/ce66a774daf442d0a563a777db6da157.png
[Link 1]: https://pan.baidu.com/s/1R67qvk6BFcS7hGB58-WIGg
[tensorflow2.1.0]: /images/20230521/d408a06fb9734643916f47b0a69a543c.png
[jieba paddle]: /images/20230521/486a4a7f62614c9580e2c9bace92821f.png
[github 1]: https://github.com/NLPIR-team/NLPIR
[NLPIRgithub]: /images/20230521/ca99b417e6ee444f8908988f4f4d340a.png
[NLPIR]: /images/20230521/78d8c59cf74147a0b987ffb11158478b.png
[NLPIR 1]: /images/20230521/c3312b56fb2445008c0878b6f37146fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lrZjE3Mw_size_16_color_FFFFFF_t_70]: /images/20230521/1ce978af60bc43d0a0994459b2dd1b43.png
[https_www.cnblogs.com_pythoner6833_p_10108964.html]: https://www.cnblogs.com/pythoner6833/p/10108964.html