Anthropic 推出了其消息批次 API，它为开发人员提供了一种异步处理大量Claude查询的经济高效的解决方案。
通过消息批次 API，开发人员现在可以批量发送最多 10,000 个查询。这些批次的处理时间不到 24 小时，与标准 API 调用相比，成本降低了 50% — 这表明在更高效地处理非时间敏感型任务方面取得了重大进步。
该 API 目前处于公开测试阶段，支持 Anthropic API 上的 Claude 3.5 Sonnet、Claude 3 Opus 和 Claude 3 Haiku。此外，在 Amazon Bedrock 中使用 Claude 的客户已经可以使用批量推理，对 Google Cloud 的 Vertex AI 的支持也即将推出。
对于使用 Claude 执行客户反馈分析和语言翻译等任务的开发人员来说，高吞吐量处理的需求至关重要，因为这些任务并不要求即时响应。
开发人员无需管理复杂的排队系统或担心速率限制，API 允许开发人员同时提交最多 10,000 个查询，从而确保以 50% 的折扣顺利处理。重要的是，批量处理通常比 24 小时快得多。
此 API 提供增强的吞吐量和更高的速率限制，使其能够处理大量请求而不会影响标准 API 的使用。此外，它还为大规模数据处理提供了可扩展性，无需担心基础设施问题，即可处理数据集分析和模型评估等任务。
API 为大规模数据处理提供了机会，而这曾经是不切实际或成本过高的。通过利用批量处理折扣，分析可能包含数百万个文件的大量公司文档存储库成为一项经济上可行的工作。
