我们推出了一种新的Message Batches API，这是一种高效且成本低廉的方法，用于异步处理大量查询。开发者可以每次提交多达10,000个查询的批次，每个批次在24小时内完成处理，费用比标准API调用低50%。这使得处理非实时任务更加高效和经济。目前，Batches API已进入公共测试阶段，支持Anthropic API上的Claude 3.5 Sonnet、Claude 3 Opus和Claude 3 Haiku模型。使用Amazon Bedrock的客户也可以利用批量推理功能，而Google Cloud的Vertex AI平台上的Claude批量处理支持即将推出。该API特别适用于需要处理大量数据但不需要实时响应的场景，如分析客户反馈或语言翻译。通过Batches API，开发者无需管理复杂的排队系统或担心速率限制，即可提交多达10,000个查询的批次。

本专栏通过快照技术转载，仅保留核心内容

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除