哈工大语言云平台LTP的安装和Python使用

﹏ヽ暗。殇╰゛Y 2021-09-27 15:46 1107阅读 0赞

参考文档：  
官方文档https://github.com/HIT-SCIR/pyltp

安装：  
第一步：  
**安装 pyltp**  
两种方式：  
1.使用 pip 安装

> $ pip install pyltp

2.源代码安装

> $ git clone [https://github.com/HIT-SCIR/pyltp][https_github.com_HIT-SCIR_pyltp]  
> $ git submodule init  
> $ git submodule update  
> $ python [setup.py][] install \# Mac系统出现版本问题使用 MACOSX\_DEPLOYMENT\_TARGET=10.7 python [setup.py][] install

第二步：  
**下载模型文件**  
网址：[https://pan.baidu.com/share/link?shareid=1988562907&uk=2738088569\#list/path=%2F][https_pan.baidu.com_share_link_shareid_1988562907_uk_2738088569_list_path_2F]

注意pyltp的版本与模型文件的版本需要一致

*我踩过的坑：*  
**模型与pyltp版本问题**  
pyltp 版本：0.2.1 模型版本：3.4.0  
每个模型都报错 Model not loaded!  
由于是可以import pyltp 因此肯定是版本的问题  
于是尝试了模型版本3.3.1 和模型版本3.3.0、以及pyltp版本0.1.9.1  
在一些组合下，部分模型报异常 Model not loaded!  
最终**成功**的组合是 ：

> pyltp版本 0.1.9.1  
> 模型版本：3.3.1

示例如下（[示例是源码中的example.py][example.py]）：

# -*- coding: utf-8 -*-
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
    import sys, os
    
    ROOTDIR = os.path.join(os.path.dirname(__file__), os.pardir)
    sys.path = [os.path.join(ROOTDIR, "lib")] + sys.path
    
    # Set your own model path
    MODELDIR=os.path.join(ROOTDIR, "E:\Source\pyCharm\ltp_data")
    
    from pyltp import SentenceSplitter, Segmentor, Postagger, Parser, NamedEntityRecognizer
    
    paragraph = '中国进出口银行与中国银行加强合作。'
    
    sentence = SentenceSplitter.split(paragraph)[0]
    
    segmentor = Segmentor()
    segmentor.load(os.path.join(MODELDIR, "cws.model"))
    words = segmentor.segment(sentence)
    print("\t".join(words))
    
    postagger = Postagger()
    postagger.load(os.path.join(MODELDIR, "pos.model"))
    postags = postagger.postag(words)
    print("\t".join(postags))
    
    parser = Parser()
    parser.load(os.path.join(MODELDIR, "parser.model"))
    arcs = parser.parse(words, postags)
    
    print("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))
    
    recognizer = NamedEntityRecognizer()
    recognizer.load(os.path.join(MODELDIR, "ner.model"))
    netags = recognizer.recognize(words, postags)
    print("\t".join(netags))
    
    
    segmentor.release()
    postagger.release()
    parser.release()
    recognizer.release()

结果如下：

[https_github.com_HIT-SCIR_pyltp]: https://github.com/HIT-SCIR/pyltp
[setup.py]: http://setup.py
[https_pan.baidu.com_share_link_shareid_1988562907_uk_2738088569_list_path_2F]: https://pan.baidu.com/share/link?shareid=1988562907&uk=2738088569#list/path=%2F
[example.py]: http://xn--example-f43ks5h995ffjtd0vqned3e.py