多卡推理吞吐没有翻倍是什么原因?按并行方式、并发和互连三步排查

2026-10-16 273

多卡推理吞吐没有翻倍,大多不是硬件坏了,最常见的原因是用错了并行方式。张量并行(TP)和流水线并行(PP)主要用来装下单卡放不下的模型,或者降低单个请求的延迟。它们让几张卡一起处理同一批请求,总吞吐不会按卡数相乘。想让吞吐接近翻倍,模型又能单卡装下时,更合适的做法是每张卡跑一个独立副本,前面加负载均衡(数据并行)。

如果你确实需要 TP,吞吐还会受三件事影响:并发请求够不够、卡间互连是 PCIe 还是 NVLink、Decode 阶段的计算量是否太小。下面按排查顺序逐项说明。

第一步:确认你用的是哪种并行

先看启动参数。以 vLLM 为例:

  • tensor_parallel_size=2 或 4:一个模型被切成几份,分到几张卡上。从对外服务的角度看,这仍然是一个副本。
  • pipeline_parallel_size>1:按层切分,请求依次经过不同的卡。
  • 每张卡各起一个独立实例,或使用框架自带的数据并行选项:这才是多个副本。

张量并行单副本与数据并行多副本的结构和吞吐差异

TP 模式下,所有卡共同完成同一次前向计算。它解决的是“模型放不下”和“单请求太慢”的问题,并不会把处理能力乘以卡数。假设模型在单卡上就能放下,还留有足够的 KV Cache 空间,那么改成两个独立副本,通常比 TP=2 更接近两倍吞吐。原因是副本之间不需要通信,每张卡各自满负荷工作。

PP 的问题更明显。请求要按阶段在卡间传递,存在流水线气泡和点对点传输延迟。并发不高时,大部分卡都在等上一段的输出,吞吐不可能成倍增长。

第二步:检查并发能否填满批处理

这一点很容易在压测时被忽略。vLLM 等引擎依靠连续批处理(Continuous Batching),把同时到达的多个请求合成一批,用来填满 GPU 的计算单元。如果压测只有几个并发,或者线上实际流量本来就不大,加卡之后每张卡分到的计算更少,总吞吐自然不会翻倍。这种情况下,你看到的结果反映的是请求量不足,而不是卡的上限。

排查方法:

  1. 单卡和多卡用相同的 Prompt 长度、生成长度分布做压测。
  2. 逐步提高客户端并发,例如从 1 开始成倍增加,记录总 Tokens/s。
  3. 观察曲线在哪个点开始变平。如果单卡在低并发时就已经接近平台,而多卡还在上升,说明之前的测试并发太低,多卡还没吃饱。

另外要分清两个指标:总吞吐(所有请求加起来的 Tokens/s 或 RPS)和单请求延迟(首字延迟 TTFT、每 Token 生成速度)。TP 常常能明显改善延迟,但总吞吐的提升有限。先确认你的业务目标是哪一个,再判断结果算不算“没翻倍”。

第三步:确认卡间互连

只要用了 TP,Transformer 每一层的注意力计算和 MLP 之后,都要做一次跨卡 All-Reduce 来同步中间结果。自回归解码每生成一个 Token 就要完整走一遍所有层,所以这种同步非常频繁。

  • PCIe:带宽大约在 32~64 GB/s 这个量级,频繁同步时容易出现通信等待。吞吐的提升会被大量抵消,某些配置下甚至比单卡更低。
  • NVLink / NVSwitch:带宽可以达到每秒数百 GB,TP 的通信开销小得多。

可以用 nvidia-smi topo -m 查看卡之间的连接方式。消费级显卡和不少 PCIe 版数据中心卡之间没有 NVLink,这类机器上开大 TP 的效果往往不理想。

Decode 阶段为什么特别难扩展

LLM 推理分两个阶段。Prefill 一次处理整段输入,属于计算密集型,比较容易从多卡并行中获益。Decode 逐个生成 Token,单步计算量很小,主要受显存带宽限制。用 TP 切分之后,每张卡每次处理的矩阵更小,内核启动和卡间同步的固定开销在总耗时中的占比随之上升,扩展效率因此下降。生成文本越长、Decode 占比越高,“加卡不翻倍”的现象就越明显。

按你的情况调整

模型能单卡装下,并留有足够 KV Cache 空间: 优先使用多副本。每张卡跑一个实例,可以用 CUDA_VISIBLE_DEVICES 把实例绑定到不同的卡,再在前面加负载均衡;也可以使用所用框架提供的数据并行功能,具体参数以对应版本的文档为准。这是最接近线性扩展的方案,前提是流量足够把每个副本都喂饱。

模型单卡装不下: TP 无法避免。这时按显存需求取能装下模型的最小 TP,剩余的卡用来起更多副本。例如 4 张卡、模型需要 2 张才能装下,通常“2 个 TP=2 的副本”比“1 个 TP=4 的副本”吞吐更高。具体如何取舍,可以参考推理并行度设成多少合适和张量并行和流水并行怎么选。如果长上下文导致 KV Cache 占用过多显存、单卡放不下,可以先看长上下文推理显存不够怎么办,有时调整上下文长度或量化方式就能回到单卡部署。

并行方式没问题,但 GPU 利用率始终上不去: 这时问题可能出在调度、批处理参数或数据输入链路上,可以按多卡推理 GPU 利用率上不去的五步排查继续定位。

租多卡之前先想清楚

如果你是为了提高吞吐而准备租多卡,先用单卡把“模型能否装下、单卡在高并发下能跑到多少”测出来,再决定是租多张卡跑多副本,还是租一台带 NVLink 的多卡机器跑 TP。前者对卡间互连没有要求,选卡范围更宽;后者下单前要确认节点的互连类型。可以在 NexGPU 价格页 查看可租节点的配置。如果需要多卡或集群方案,或者不确定某个节点的拓扑,可以联系我们确认。

还要注意费用:多副本意味着多个实例同时计费,压测结束后只停机仍会收取存储费,确认不再使用时要销毁实例,费用才会全部停止。

相关文章

Qwen部署选哪个版本和框架?2026 Qwen3.8/3.6 实战选型、启动命令与避坑指南
从 Prototype 到 Production:当你的大模型业务遭遇“高并发”瓶颈,vLLM 部署如何精准破局?
2026年底AI算力租赁新变局:在交付延期与「Token刺客」夹击下,企业如何打赢ROI保卫战?
2026多模态视觉、OCR与AI Agent部署指南:GPU租用如何避开硬件老化与算力错配?