推理延迟高，先别急着换卡。建议先把延迟拆成两段：首字延迟（TTFT）和逐字延迟（TPOT，也叫 ITL）。首字慢通常出在预填充阶段，原因多是 prompt 太长，或者请求在排队。出字卡顿通常出在解码阶段，常见原因是显存带宽不够，或者正在生成的请求被新请求打断。这两类问题的瓶颈不同，处理方法也不同，搞错方向时调参往往没有效果。下面按排查顺序展开：先测，再...
0 条留言
NexGPU-算力租赁,GPU服务器,GPU云算力,AI服务器租用-新闻博客
