标签：分布式

分布式机器学习模型推理

在2024年，许多大型语言模型（LLM）已经达到了数千亿个参数。为了运行这些模型，您需要使用大型的 GPU。以 BLOOM-176 或 OPT-175 为例，您可能需要大约 3 个 Nvidia A100，每个的成本约为 15,000 美元...