多卡推理吞吐没有翻倍是什么原因?按并行方式、并发和互连三步排查

多卡推理吞吐没有翻倍,大多不是硬件坏了,最常见的原因是用错了并行方式。张量并行(TP)和流水线并行(PP)主要用来装下单卡放不下的模型,或者降低单个请求的延迟。它们让几张卡一起处理同一批请求,总吞吐不会按卡数相乘。想让吞吐接近翻倍,模型又能单卡装下时,更合适的做法是每张卡跑一个独立副本,前面加负载均衡(数据并行)。如果你确实需要 TP,吞吐还会受三件事...

推理并行度设成多少合适?先按显存取最小 TP,再看互联和业务目标

先说结论:推理并行度没有通用的“最佳值”,但有一个稳妥的定法:在显存够用的前提下,取最小的张量并行度(TP)。单卡放得下模型权重,还能给 KV Cache 留足空间:设 TP = 1。单卡放不下:取刚好够用的最小卡数,通常是 2、4 或 8,而且这个数必须能整除模型的注意力头数。需要承接更多并发:优先多开几个副本做数据并行,不要把单个实例的 TP 一直...

多卡推理GPU利用率上不去怎么办:按五步定位真正的瓶颈

多卡推理时 GPU 利用率上不去,大多数情况下卡没有坏。问题通常出在下面五件事之一:看错了指标请求太少,GPU 没被喂饱卡间通信在拖慢计算并行方式和模型、硬件不匹配CPU 来不及把数据送给 GPU建议按这个顺序排查。前两步几乎不用改配置,却能排除一大半误判。第一步:确认你看的是哪一种「利用率」显存占满,不等于算力在跑。 以 vLLM 为例,--gpu-...

多卡推理为什么吞吐没有翻倍?先看并行方式,再看互联和并发

多卡推理吞吐要接近翻倍,前提是新增的卡在处理更多请求,而不是和原来的卡一起算同一个请求。很多人从 1 卡换成 2 卡时,只把 tensor-parallel-size 从 1 改成 2。这是张量并行(TP):两张卡各算模型的一半,每一层都要交换中间结果。它主要解决两件事:模型单卡放不下,以及单个请求太慢。它的设计目标不是把吞吐翻倍。如果模型本来就能装进...

Qwen2.5-72B多卡量化部署教程:4步完成

Qwen2.5-72B多卡量化部署教程可以压缩成四步:按卡型倒推量化档位 → 定 tensor parallel size → 写启动参数 → 用自建对照集验证。开源主力模型在企业端加速落地,显存分账成为部署核心矛盾。动手前先打开终端执行 nvidia-smi,记下卡数、单卡显存与卡间互联方式。FP16 精度下 72B 权重加运行时开销大约需要 140...