多卡推理时 GPU 利用率上不去,大多数情况下卡没有坏。问题通常出在下面五件事之一:看错了指标请求太少,GPU 没被喂饱卡间通信在拖慢计算并行方式和模型、硬件不匹配CPU 来不及把数据送给 GPU建议按这个顺序排查。前两步几乎不用改配置,却能排除一大半误判。第一步:确认你看的是哪一种「利用率」显存占满,不等于算力在跑。 以 vLLM 为例,--gpu-...
推理延迟高,先别急着换卡。建议先把延迟拆成两段:首字延迟(TTFT)和逐字延迟(TPOT,也叫 ITL)。首字慢通常出在预填充阶段,原因多是 prompt 太长,或者请求在排队。出字卡顿通常出在解码阶段,常见原因是显存带宽不够,或者正在生成的请求被新请求打断。这两类问题的瓶颈不同,处理方法也不同,搞错方向时调参往往没有效果。下面按排查顺序展开:先测,再...