大语言模型工程化四----------baichuan-7B fastapi接口服务

向右看齐 2024-03-16 20:40 63阅读 0赞

## baichuan-7B fastapi接口服务 ##

--------------------

#### 文章目录 ####

*  baichuan-7B fastapi接口服务
 *  前言
 *  一、环境安装
 *  二、baichuan-7B fastapi接口服务
 *   *  1.baichuan-7B fastapi服务端代码
     *  2.接口调用代码
     *  2.postman curl代码
 *  总结

--------------------

## 前言 ##

`提示：这里可以添加本文要记录的大概内容：`

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

--------------------

`提示：以下是本篇文章正文内容，下面案例可供参考`

## 一、环境安装 ##

1 git clone https://github.com/baichuan-inc/baichuan-7B  
2 pip install -r requirements.txt

## 二、baichuan-7B fastapi接口服务 ##

### 1.baichuan-7B fastapi服务端代码 ###

> 代码如下（示例）：

from fastapi import FastAPI
    from pydantic import BaseModel
    from transformers import AutoModelForCausalLM, AutoTokenizer
    
    app = FastAPI()
    
    tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/baichuan-7B", trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained("baichuan-inc/baichuan-7B", device_map="auto", trust_remote_code=True)
    
    
    class TextGenerationInput(BaseModel):
        text: str
    
    
    class TextGenerationOutput(BaseModel):
        generated_text: str
    
    
    @app.post("/generate", response_model=TextGenerationOutput)
    async def generate_text(input_data: TextGenerationInput):
        inputs = tokenizer(input_data.text, return_tensors='pt')
        inputs = inputs.to('cuda:0')
        pred = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1)
        generated_text = tokenizer.decode(pred.cpu()[0], skip_special_tokens=True)
        return TextGenerationOutput(generated_text=generated_text)
    
    
    if __name__ == "__main__":
        import uvicorn
    
        uvicorn.run(app, host="0.0.0.0", port=8000)

### 2.接口调用代码 ###

代码如下（示例）：

import requests
    
    url = "http://127.0.0.1:8000/generate"
    data = {
        
        "text": "登鹳雀楼->王之涣\n夜雨寄北->"
    }
    
    response = requests.post(url, json=data)
    response_data = response.json()
    
    print("Generated text:", response_data["generated_text"])

该处使用的url网络请求的数据。

--------------------

### 2.postman curl代码 ###

代码如下（示例）：

curl --location --request POST 'http://127.0.0.1:8000/generate' \  
    --header 'Content-Type: application/json' \  
    --data-raw '{
          
        "text": "登鹳雀楼->王之涣\n夜雨寄北->"  
    }'

该处使用的url网络请求的数据。

--------------------

## 总结 ##

以上就是今天要讲的内容  
加我微信：Lh1141755858 获取chatgpt类对话大模型交流群  
关注微信公众号：CV算法小屋 获取更多最新大语言模型论文和代码