模型拆到多张卡上时,选张量并行(TP)还是流水线并行(PP),主要看两件事:模型能不能在一张卡上装下,以及卡与卡之间用什么连接。先给结论:一张卡装得下就不要拆。判断标准是权重加上下文 KV Cache 之后,显存还剩 20%–30% 余量。需要扛更多并发时,开多个单卡实例做数据并行,不必引入任何模型拆分的开销。单机多卡、卡间有 NVLink:优先用 T...
多卡推理吞吐没有翻倍,大多不是硬件坏了,最常见的原因是用错了并行方式。张量并行(TP)和流水线并行(PP)主要用来装下单卡放不下的模型,或者降低单个请求的延迟。它们让几张卡一起处理同一批请求,总吞吐不会按卡数相乘。想让吞吐接近翻倍,模型又能单卡装下时,更合适的做法是每张卡跑一个独立副本,前面加负载均衡(数据并行)。如果你确实需要 TP,吞吐还会受三件事...
先说结论:推理并行度没有通用的“最佳值”,但有一个稳妥的定法:在显存够用的前提下,取最小的张量并行度(TP)。单卡放得下模型权重,还能给 KV Cache 留足空间:设 TP = 1。单卡放不下:取刚好够用的最小卡数,通常是 2、4 或 8,而且这个数必须能整除模型的注意力头数。需要承接更多并发:优先多开几个副本做数据并行,不要把单个实例的 TP 一直...
多卡推理时 GPU 利用率上不去,大多数情况下卡没有坏。问题通常出在下面五件事之一:看错了指标请求太少,GPU 没被喂饱卡间通信在拖慢计算并行方式和模型、硬件不匹配CPU 来不及把数据送给 GPU建议按这个顺序排查。前两步几乎不用改配置,却能排除一大半误判。第一步:确认你看的是哪一种「利用率」显存占满,不等于算力在跑。 以 vLLM 为例,--gpu-...
MoE 的专家负载不均出现在两个阶段,表现和根因都不一样。动手排查之前,先判断自己属于哪一种:训练或微调时:路由本身在退化。少数“热专家”接走了大部分 token,另一些专家几乎收不到输入,成了“死专家”。如果设置了容量上限(capacity factor),token 丢弃率还会跟着升高。根因通常在路由器和平衡损失上。多卡推理并开启专家并行(EP)时...