KV Cache 按序列切分是什么意思:原理、和张量并行的区别,以及多卡部署什么时候用

2026-10-12 151

简单说,KV Cache 按序列切分,就是把同一个请求的 KV Cache 按 token 位置(序列长度这一维)拆开,分给多张 GPU 保存。比如一个 128K token 的请求放到 4 张卡上,每张卡只存其中约 32K 个位置的键(K)和值(V),不用每张卡都保留完整的 128K 上下文。

框架文档和论文里一般把这种做法叫上下文并行(Context Parallelism,CP)。如果只在解码阶段这样切,通常叫解码上下文并行(Decode Context Parallelism,DCP)。

它主要解决一种情况:上下文太长,单卡放不下 KV Cache,而按注意力头切分(张量并行)又已经到了上限。这时按序列切分仍然可以靠加卡来分摊显存。

先看 KV Cache 有哪几个维度

KV Cache 的张量一般有五个维度:层数、批量大小、KV 头数、序列长度(seq_len)、头维度。说 KV Cache 怎么切,其实就是选一个维度拆到多张卡上:

  • 按 KV 头数切:张量并行(TP)的做法
  • 按 层切:流水并行的做法
  • 按 seq_len 切:本文说的按序列切分

常规推理中,即使用了张量并行,每张卡上的 KV Cache 也覆盖这个请求的全部 token 位置,TP 只是让每张卡少存几个头。上下文变长时,每张卡上的 KV Cache 会随 token 数一起增长。

估算方法很直接,每个 token 占用的 KV 字节数 = 2(K 和 V)× 层数 × KV 头数 × 头维度 × 每个元素的字节数。

以一个 80 层、8 个 KV 头、头维度 128 的模型为例,这和 70B 级 GQA 模型的常见配置接近。用 FP16 时,每个 token 的 KV 约 320KB:

  • 128K token 的单个请求约 40GB
  • 到 1M token 约 320GB,已经超过这个模型 FP16 权重本身(约 140GB)

所以在 128K 到百万 token 的场景里,KV Cache 往往比权重更占显存。具体怎么算、有哪些更省事的手段,可以看长上下文推理显存不够怎么办。

张量并行按 KV 头切分、每张卡仍存完整序列,上下文并行按 token 位置切分、每张卡只存一段序列

和张量并行有什么不同

张量并行沿注意力头切分,问题出在现在主流模型的结构上。GQA(分组查询注意力)和 MQA 把 KV 头压得很少,常见只有 8 个,MQA 甚至只有 1 个。按头切,切分路数基本被 KV 头数卡住:8 个 KV 头最多有效切成 8 份。

再多加卡,多出来的卡上通常只能复制 KV 头,单卡的 KV 显存不会继续下降。具体行为以所用框架为准。

按序列切分不受头数限制。序列越长,能切的份数越多,显存压力可以按卡数分摊下去。两者也不冲突,可以先用 TP 切头,再用 CP 切序列,实际能怎么组合要看框架支持。张量并行和流水并行本身怎么选,可以参考这篇对比。

切开以后,注意力怎么还能算对

注意力要求每个 token 看到它前面的所有 token,而这些 token 的 KV 现在分散在不同的卡上,所以必须靠卡间通信来补齐。Prefill 和 Decode 两个阶段的做法不同。

Prefill(预填充)阶段:把长 prompt 切成几段,分给不同 GPU 并行计算各自的投影和局部 KV,再用以下两种方式之一完成全局注意力:

  • Ring Attention:各卡把自己的 KV 块沿环形传给下一张卡,边传边算,转完一圈,每张卡都和全部 KV 算过一遍
  • DeepSpeed-Ulysses:用 All-to-All 通信把按序列切分临时转成按头切分,算完注意力再转回来

这样,长 prompt 的预填充可以由多卡分担,首字延迟(TTFT)会明显下降。

Decode(解码)阶段:每生成一个新 token,它的 Query 都要和全部历史 KV 计算注意力。做法如下:

  1. 每张卡用本地那一段历史 KV 和这个 Query,算出局部注意力结果,同时记录这一段的 LogSumExp(LSE)
  2. 通过通信把各卡的结果收集起来
  3. 用 LSE 做修正和归一化后合并

softmax 的分母本来要对所有位置求和,LSE 正好记录了每一段的归一化量,所以合并后在数学上和单卡算出的结果一致,不是近似。这样每张卡都不需要复制一份完整的上下文。

和 PagedAttention 不是一回事

这两个概念经常被混在一起:

  • PagedAttention 在单卡内部管理显存。它借鉴操作系统的分页,把 KV Cache 放进固定大小的块里,减少碎片和浪费,但解决不了一张卡总量不够的问题。
  • 按序列切分是跨卡、跨节点的并行策略,解决的就是单卡总量放不下的问题。

两者可以同时使用。vLLM、AWS Neuron 等推理框架就是在分页管理的基础上,再叠加上下文并行。

代价:通信在注意力的关键路径上

按序列切分没有免费的部分。每一层注意力都要做一次跨卡通信,而且这一步不做完就算不下去,所以速度很依赖卡间互联:

  • 有 NVLink 等高速互联的单机多卡,代价相对可控
  • 只走 PCIe,或者跨节点走普通网络,通信时间可能吃掉大部分收益
  • 上下文不长时,切分省下的显存和计算可能还抵不上通信开销

加卡后速度没跟上的常见原因,可以看多卡推理为什么吞吐没有翻倍。如果你的问题主要是延迟,先分清是首字慢还是出字慢,参考大模型推理延迟高怎么优化。

什么时候值得考虑

下面几条大部分符合时,按序列切分才值得认真评估:

  • 单个请求的上下文在几十万 token 以上,算下来 KV Cache 单卡放不下
  • 张量并行已经切到 KV 头数的上限,再加卡显存也降不下来
  • 有高速卡间互联,或者愿意为此选这样的节点
  • 长 prompt 的首字延迟是主要痛点,需要多卡一起做 Prefill

如果上下文只有几万 token,或者显存只差一点,通常先试代价更低的办法更划算:KV Cache 量化、限制最大上下文长度、降低并发。这些办法不需要额外的卡,也不引入跨卡通信。

落到租卡上怎么做

  1. 先估算再选卡:用上面的公式算出目标上下文下的 KV Cache 总量,加上权重,判断需要几张卡、每张卡多大显存。
  2. 选有高速互联的多卡节点:在 价格与可租节点页 查看多卡节点的配置,重点确认卡间互联方式,不要只看显存总和。
  3. 选推理镜像并核对版本:在 镜像模板页 选 vLLM 或 TGI 镜像。不同引擎和版本对 CP/DCP 的支持程度不同,参数名称和默认是否开启,以对应版本的文档为准。
  4. 分两步验证:先用常规张量并行跑通,记录显存占用、首字延迟和出字速度;再开启上下文并行,用同样的长 prompt 对比。如果明显改善,再把它用到正式配置里。

多卡调试按小时计费。对比测试结束后,用不到的实例要及时处理:停机后仍会收存储费,销毁后才全部停止计费,需要保留的模型和数据要在销毁前先存好。

相关文章

Qwen部署选哪个版本和框架?2026 Qwen3.8/3.6 实战选型、启动命令与避坑指南
2026 Ollama GPU服务器调优与部署实战:从根治“静默CPU回退”到多模型并发显存精算
从 Prototype 到 Production:当你的大模型业务遭遇“高并发”瓶颈,vLLM 部署如何精准破局?
2026年底AI算力租赁新变局:在交付延期与「Token刺客」夹击下,企业如何打赢ROI保卫战?