先把结论摆出来：Llama3 70B分布式微调算力需求取决于微调方式和序列长度两个变量——全参数 FP16 走 FSDP/ZeRO-3 至少 4×80GB，常规配置 8×80GB；FSDP+QLoRA 4-bit 可以压到 2-4 张 24GB/48GB 中端卡；一旦序列长度拉到 8k 以上或卡间没有 NVLink，就要重新评估档位。下面直接给四档对照...
0 条留言
NexGPU-算力租赁,GPU服务器,GPU云算力,AI服务器租用-新闻博客
