如何部署 LangChain App 作为 API

不念不忘少年蓝@ 2024-03-16 18:00 34阅读 0赞

### 介绍 ###

最近，我想在我的网站上添加我自己的 AI 助手 - [https://zhifj.com][https_zhifj.com]. 我希望它能回答有关我的项目和我自己的问题，并大体上谈论机器学习和人工智能。我的网站是建立在 SvelteKit 上的，我本可以选择直接从前端使用 OpenAI 的 API。但是，我希望助手具有可扩展性。也就是说，在未来，我希望它能够浏览我的博客、项目和我网站上的其他材料，并更好地回答问题。因此，为了这个目的并保持网站简单，我使用 FastAPI 创建了一个 LangChain 应用程序，它将通过 REST API 与我的网站集成。我希望体验类似于 ChatGPT，即它应该能够记住对话的上下文并自然地继续对话。我在 Deta Space 上部署了应用程序，这非常简单。让我逐步引导您完成整个过程。我们现在将使应用程序保持简单。在以后的博客中，我将解释如何使用 Weaviate 或 Pinecone 等矢量数据库将您的网站添加为上下文，以使聊天助手更了解您。

因此，在本教程中，我将向您展示如何使用 LangChain、FastAPI 和 Deta Space 创建用于获取 OpenAI 输出的 API。让我们开始。

### 配置 ###

1. 从新目录中的新 Python 项目开始。在我们的示例中，我们将项目目录称为`LangChainAPI.`
2. `LangChainAPI`在called`app`和 new 文件中创建一个目录`.env`
3. 在 app 文件夹中，创建一个空`__init__.py`文件和一个新的`main.py`and`conversation.py`文件。
4. 在这个新目录中，使用以下终端命令启动虚拟环境。
 
 <code>python -m venv venv
 </code>
5. 这就是项目结构的样子
 
 <code>
 ├── app│ 
 │ ├── __init__.py
 │ ├── main.py
 │ ├── conversation.py
 ├── .venv| 
 └── .gitignore
 └── .env
 
 </code>
6. 激活环境。
 
 对于 Windows
 
 <code>venv\Scripts\activate.bat
 </code>
 
 对于苹果操作系统/Linux
 
 <code>source venv/bin/activate
 </code>
7. 安装依赖项。
 
 <code>pip install langchain fastapi "uvicorn[standard]" openai python-dotenv
 </code>
8. 安装 Deta Space CLI
 
 对于 Windows
 
 <code>iwr <https://deta.space/assets/space-cli.ps1> -useb | iex
 </code>
 
 对于苹果操作系统/Linux
 
 <code>iwr <https://deta.space/assets/space-cli.ps1> -useb | iex
 </code>
9. 启动 Git 存储库并提交
 
 <code>git init
 git add .
 git commit -m "First Commit"
 </code>
10. [在https://deta.space/signup][https_zhifj.com]上创建一个帐户并从设置中获取您的访问令牌。
 
 ![7bca1f1da5e83f0899dc6c587aa9fb81.png][]
11. 在 CLI 中登录到 Deta Space。它将要求访问令牌。粘贴它。
 
 <code>space login
 </code>

这就是设置的全部内容。现在让我们创建 API。

### 创建 API ###

在应用程序文件夹中打开`conversation.py`. 这是我们为 LangChain 编写逻辑的地方。

<code> from langchain import OpenAI, ConversationChain, LLMChain, PromptTemplate
 
 load_dotenv()
 
 def conversation(human_input):
 template = """Assistant is a large language model trained by OpenAI.
 
 Assistant is designed to be able to assist with a wide range of tasks, from answering simple questions to providing in-depth explanations and discussions on a wide range of topics. As a language model, Assistant is able to generate human-like text based on the input it receives, allowing it to engage in natural-sounding conversations and provide responses that are coherent and relevant to the topic at hand.
 
 Assistant is constantly learning and improving, and its capabilities are constantly evolving. It is able to process and understand large amounts of text, and can use this knowledge to provide accurate and informative responses to a wide range of questions. Additionally, Assistant is able to generate its own text based on the input it receives, allowing it to engage in discussions and provide explanations and descriptions on a wide range of topics.
 
 Overall, Assistant is a powerful tool that can help with a wide range of tasks and provide valuable insights and information on a wide range of topics. Whether you need help with a specific question or just want to have a conversation about a particular topic, Assistant is here to assist.
 
 {history}
 Human: {human_input}
 Assistant:"""
 
 prompt = PromptTemplate(
 input_variables=["history", "human_input"],
 template=template
 )
 
 chatgpt_chain = LLMChain(
 llm=OpenAI(temperature=0),
 prompt=prompt,
 verbose=True,
 )
 
 output = chatgpt_chain.predict(human_input=human_input)
 return output
 
 
 </code>

在文件中`main.py`。

<code>from fastapi import FastAPI
 from langcorn import create_service
 from fastapi.middleware.cors import CORSMiddleware
 from pydantic import BaseModel
 from app.conversation import conversation
 
 class Input(BaseModel):
 human_input: str
 
 class Output(BaseModel):
 output: str
 
 app=FastAPI()
 
 @app.post("/conversation")
 async def input(input: Input):
 output = Output(output=conversation(input.human_input))
 return output
 
 origins = [
 "<http://localhost>",
 "<http://localhost:5173>",
 "...Your Domains..."
 ]
 
 app.add_middleware(
 CORSMiddleware,
 allow_origins=origins,
 allow_credentials=True,
 allow_methods=["*"],
 allow_headers=["*"],
 )
 </code>

在中，`origins`您可以添加将向您的 api 发出请求的其他域。

### 在本地运行 API 服务器 ###

在终端中使用此命令在本地启动终端。它将开始于`localhost:8000`。

<code>uvicorn app.main:app --reload
 </code>

要测试您的 API，请在您的浏览器中转到`localhost:8000/docs`。这应该打开 Swagger 文档。

![c6ad1dd10168c430f5bcf52fed7edb09.png][]

您可以输入您的提示并检查您是否收到回复。一旦成功，就可以随意使用 LangChain 了。您可以添加内存、上下文等。此时，Deta Space 不支持本地矢量数据库。因此，如果您需要保存上下文文件和嵌入，则必须使用远程矢量数据库。

### 部署到细节空间 ###

对 API 满意后，将更改提交到 git

<code>git add .
 git commit -m "API Works"
 </code>

启动数据空间：

<code>space new
 </code>

`SpaceFile`这将在项目中创建一个新的。打开这个文件并制作并覆盖它。

<code># Spacefile Docs: <https://go.deta.dev/docs/spacefile/v0>
 v: 0
 micros:
 - name: LangChainAPI
 src: ./
 engine: python3.9
 primary: true
 run: uvicorn app.main:app
 presets: 
 env: 
 - name: OPENAI_API_KEY
 description: Secret message only available to this Micro
 default: "OpenAPI Key"
 api_keys: true
 </code>

保存文件并在终端中运行此命令。

<code>space push
 </code>

这将在 Deta Space 仪表板上创建一个 API 实例。在这种情况下，它被命名为“gpt\_server”。在您的例子中，它将是“LangChainAPI”。

转到实例设置并从“配置”选项卡添加您的 [OpenAI API][] 密钥。然后，转到域选项卡并获取 API 的基本 URL。您可以先使用 Swagger 文档在浏览器中对其进行测试，然后在您的应用程序中将其用作 REST API。

动图

![192d7942c6d5ba3279bafdacf5dca2e3.gif][]

[https_zhifj.com]: https://zhifj.com
[7bca1f1da5e83f0899dc6c587aa9fb81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/b16e22561d294b47ad130735903bb5aa.png
[c6ad1dd10168c430f5bcf52fed7edb09.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/61e77f4ca7c74befa7f735575ef5d8b8.png
[OpenAI API]: http://telegeram1.com
[192d7942c6d5ba3279bafdacf5dca2e3.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/0cdead5d4d64426eba4a89e6ab7dec32.png