简单说,KV Cache 按序列切分,就是把同一个请求的 KV Cache 按 token 位置(序列长度这一维)拆开,分给多张 GPU 保存。比如一个 128K token 的请求放到 4 张卡上,每张卡只存其中约 32K 个位置的键(K)和值(V),不用每张卡都保留完整的 128K 上下文。框架文档和论文里一般把这种做法叫上下文并行(Context...
长上下文推理报 OOM,多数时候不是模型权重装不下,而是 KV Cache 随上下文长度和并发数一起增长,占满了显存。可以按这个顺序处理:先确认 OOM 出在哪一步,再估算 KV Cache 有多大,然后按改动代价从低到高依次尝试:限制长度和并发、把 KV Cache 量化成 FP8、开启分块 Prefill 和前缀缓存、把 KV Cache 卸载到 ...
跑推理时你有没有碰到过这种事:模型权重明明塞得下,一开长上下文或多并发就OOM,或者token生成速度死活上不去?别急着加卡。现在越来越多一线反馈指向同一个点——推理尤其是decode阶段,真正卡脖子的不是FLOPS,而是显存容量和带宽。训练时GPU几乎满负荷算梯度,算力是主角。推理反过来。生成一个token,整模型权重得从HBM搬进计算单元,GPU核...