将 LLM 投入生产的 5 个支柱

忘是亡心i 2023-10-15 14:51 17阅读 0赞

LLM（大型语言模型）在实现新型人工智能应用方面具有巨大潜力。事实是，将简单的原型转变为强大的、可立即投入生产的应用程序非常具有挑战性。

我们一直在支持数十家公司将应用程序投入生产，我们很高兴与您分享我们的经验。

### 支柱 ###

在构建用于生产用途的法学硕士应用程序时，某些功能的重要性高于其他功能。

### 及时工程 ###

精心设计的提示是法学硕士获得可靠表现的关键。想一想：

在何处以及如何存储提示以进行快速迭代。  
能够根据提示进行实验（A/B 测试、用户细分）。  
合作。利益相关者可以为快速工程做出巨大贡献。

### 可观测性 ###

我们都经历过这样的情况——我们设计了一些对测试数据非常有效的提示。然后我们上线了，灾难就发生了。法学硕士处理不当可能会产生负面影响，例如等待时间长、反应不当、缺乏背景等等。这会导致糟糕的用户体验，并可能对您的品牌/客户流失率产生负面影响。

仔细考虑 LLM 操作的可观察性和监控方面，并有能力快速识别问题并解决问题，这一点很重要。想想跟踪，即跟踪整个对话、重播并随着时间的推移改进它的能力。考虑异常检测以及新兴趋势。

### 提示： ###

了解“什么是好的”很重要。从长远来看，有能力区分好的（例如转换）LLM 响应和坏的（例如流失）将真正获得回报。

### 成本控制 ###

LLM API 成本可能会迅速失控。做好相应的准备和预算很重要。话虽如此，我们也遇到过这样的情况：一个微小的参数变化就会在一夜之间使成本增加 25%。

精细跟踪 API 使用情况和计费有助于识别昂贵的调用。通过详细了解 LLM 成本，您可以设置自定义预算和警报以主动管理支出。通过分析日志和性能数据，可以识别并重新设计使用过多令牌的昂贵查询，以提高效率。借助严格的成本管理工具，LLM 成本可以预测和优化。

### 提示： ###

您经常发现自己链接了多个调用。考虑一下正在使用的模型。您真的需要使用 GPT-4 来完成所有事情吗？如果可以，请保存 GPT-4 调用以用于评分/标记/分类调用，其中输出很短。这将为您节省很多钱。当您需要生成长响应时，从成本角度来看，GPT-3.5-Turbo 可能更合适。

### 评估 ###

在构建 LLM 应用程序时，使用数据集和指标进行严格评估是可靠性的关键。通过集中式数据集存储，可以轻松地从实际应用程序查询中记录相关数据集，并用于频繁评估生产模型。与开源评估库的内置集成使得评估准确性、响应一致性等关键指标变得简单。

评估框架可帮助您在将新的提示、链和工作流程部署到生产环境之前有效地对其进行验证。使用真实用户数据进行持续评估有助于确定需要改进的领域并确保随着时间的推移获得最佳性能。

### 提示： ###

评估不必太复杂。您可以对 LLM 回答的 X% 进行抽样，并通过另一个简单的评分提示来运行它们。随着时间的推移，这将为您提供有价值的数据。

### 训练 ###

使用现成模型的功能是有限的。如果使用法学硕士成为您运营的一个重要方面，您可能会在某个时候进行微调。

通过集成的数据管道，可以有效地记录真实的用户查询并将其处理为干净的训练数据集。这些数据集支持持续学习 - 可以对模型进行微调，以更好地处理您的业务用例特有的术语和场景。

尽早投资生成数据集和微调模型的工具，以确保法学硕士与不断变化的业务需求紧密结合，从而提供最大价值。

### 提示： ###

除了产生更好的结果之外，微调还可以显着降低成本。例如，您可以根据 GPT-4 生成的数据或其他功能强大（且昂贵）的模型来训练 gpt-3.5-turbo 模型。

### 其他注意事项 ###

除了上面提到的支柱之外，在构建生产级、LLM 支持的应用程序时，您还需要考虑更多概念：

性能：根据您的应用程序，优化快速响应时间和最小延迟可能至关重要。确保设计提示链以实现最大吞吐量。  
多模型支持：如果您使用多个 LLM，例如 GPT-3.5、GPT-4、Claude、LLaMA-2，请考虑如何使用它们。采用统一、抽象的方式来使用各种模型将使您的应用程序在扩展时更易于维护。  
用户反馈：了解真实用户如何与您的法学硕士互动对于指导改进非常宝贵。确保捕获真实的使用数据和反馈，以便随着时间的推移改善用户体验。  
企业就绪性：根据您的目标市场，企业级功能可能很重要。考虑细粒度的访问控制和权限、可预测性和可靠性 SLA、数据安全、隐私和合规性保证、确保可靠性的自动化测试和验证框架等等。  
LLMOps 平台 - 尝试一下 Pezzo！  
Pezzo 是开源 (Apache 2.0) LLMOps 平台。它解决了即时管理、版本控制、即时交付、A/B 测试、微调、可观察性、监控、评估、协作等问题。

无论您在 LLM 采用过程中处于哪个阶段，都可以考虑使用 Pezzo。只需一分钟即可完成集成，无尽的价值将为您带来。