清华GLM部署记录

我就是我 2024-02-27 06:54 40阅读 0赞

#### 环境部署 ####

1.  首先安装anaconda（建议包管理比较方便）windows用户需手动配置一下环境变量，下面默认是在ubuntu环境说明
2.  创建python环境，conda create -n your\_env\_name python=3.10 (注：官方是提供是python3.8，但目前主流用python3.10 因此使用python3.10. your\_env\_name 是可以自己命名的环境名字 )
3.  导入需要的包，这里包版本的参考，在附件中的requirements.txt, 可以使用pip install -r requirements.txt

#### 拉取github项目 ####

1.  git clone https://github.com/chatchat-space/langchain-ChatGLM.git
2.  cd langchain-ChatGLM
3.  启动webui：如果是ubuntu 可以直接运行命令
    
        python webui.py
    
    启动api接口：如果是ubuntu 可以直接运行命令
    
        python api.py
    
    多卡启动， 在命令前面指定CUDA\_VISIBLE\_DEVICES=0,1 类似这样 如：
    
        CUDA_VISIBLE_DEVICES=0,1,2,3 python api.py

#### 可能遇到的问题 ####

*  默认直接运行命令时，第一次将会从huggingface上下载模型，可能遇到网络连接的问题，解决方案如下：
    
     *  重新运行，因为有断点重连，所以就不停的重新运行直到下完模型权重就行，默认地址为~/.cache/huggingface/hub/models–模型名称
     *  打开huggingface，搜索要下载的模型，在Files and versions中将模型都下载到本地，目录结构为
        
        .  
        └── 模型文件夹  
        ├── added\_tokens.json  
        ├── config.json  
        ├── configuration\_codet5p\_embedding.py  
        ├── merges.txt  
        ├── modeling\_codet5p\_embedding.py  
        ├── pytorch\_model.bin  
        ├── special\_tokens\_map.json  
        ├── tokenizer.json  
        ├── tokenizer\_config.json  
        └── vocab.json
        
        然后在langchain-ChatGLM/config/model\_config.py 中配置local\_model\_path 字段为 模型文件夹所在的路径

#### 更多说明 ####

可以使用fastchat 部署做到 模型和api在不同的服务器（或相同服务器）

参考连接 https://github.com/lm-sys/FastChat/blob/main/docs/openai\_api.md\#restful-api-server