OpenAI引入了一种在使用ChatGPT时节省处理成本的新方法。旨在优化处理异步任务效率的最新解决方案以新的BatchAPI的形式出现。此最新更新通过促进摘要、翻译和图像分类等任务的批量处理，为开发人员提供了与OpenAI机器学习模型交互的新方式。BatchAPI的推出有望显着降低成本、提高速率限制，并为OpenAI平台的用户提供整体更加简化的工作流程。

使用新的ChatGPTBatchAPI降低处理成本

ChatGPT批量API

目前支持的ChatGPTAI模型包括：

GPT-3.5-涡轮

gpt-3.5-turbo-16k

GPT-4

gpt-4-32k

gpt-4-turbo-预览

GPT-4-涡轮

GPT-3.5-turbo-0301

gpt-3.5-turbo-16k-0613

gpt-3.5-turbo-1106

GPT-3.5-turbo-0613

GPT-4-0314

GPT-4-涡轮-2024-04-09

GPT-4-32K-0314

GPT-4-32K-0613

批处理API概述

BatchAPI允许开发人员通过上传包含多个任务的单个文件来批量提交请求。该文件是异步处理的，这意味着任务在后台完成，无需与API实时交互。然后在24小时内提供结果，这有助于更有效地管理和预测工作负载。

主要特性和优点

成本效率：与同步同行相比，OpenAI在使用BatchAPI时提供50%的折扣。这种定价策略对于希望在不产生高昂成本的情况下扩大业务的企业和开发商来说特别有利。

更高的速率限制：通过批量处理任务，BatchAPI支持更高的速率限制，从而允许同时处理更多任务。这对于需要大规模数据处理的应用程序至关重要。

文件处理功能：BatchAPI支持上传JSONL文件格式。每个组织可以上传总大小为100GB的文件，个人文件限制上限为512MB或助理的200万个令牌。这种灵活性促进了从机器学习培训课程到大规模数据分析的广泛任务。

支持的模型：该API涵盖了广泛的OpenAI模型，包括GPT-3.5和GPT-4的各种迭代。这种广泛的支持确保开发人员可以根据其特定需求选择最合适的模型。

操作细节

时间范围：通过BatchAPI提交的所有任务都会在24小时内处理。这种处理时间的可预测性可以实现更好的项目和资源管理。

状态更新：开发人员可以通过API跟踪批处理作业的状态。状态包括正在验证、正在进行、最终确定、已完成、已过期、正在取消和已取消。这种透明度确保开发人员始终了解其任务的进度。

错误处理：OpenAI概述了处理错误的明确指南，例如批量端点的URL格式不正确。建议开发者参考官方文档，确保端点使用准确。

挑战和考虑因素

虽然BatchAPI提供了许多优势，但仍需要牢记一些具体注意事项：

不支持流式传输：当前API不支持流式传输，这可能会限制其在实时应用程序中的使用。

固定时间窗口：24小时处理窗口无法更改，这可能与所有项目时间表不一致。

数据保留：此端点不支持零数据保留，这对于具有严格数据隐私要求的应用程序来说可能是一个问题。

OpenAI的BatchAPI代表着异步任务处理领域向前迈出了重要一步。通过以更低的成本和更高的效率进行批量处理，OpenAI使开发人员能够更有效地利用先进的力量。随着企业不断将人工智能集成到其运营框架中，BatchAPI等工具对于扩展应用程序以满足未来需求至关重要。有关OpenAI最近发布的新BatchAPI的更多信息，请访问OpenAI官方支持网站。