简单说,KV Cache 按序列切分,就是把同一个请求的 KV Cache 按 token 位置(序列长度这一维)拆开,分给多张 GPU 保存。比如一个 128K token 的请求放到 4 张卡上,每张卡只存其中约 32K 个位置的键(K)和值(V),不用每张卡都保留完整的 128K 上下文。框架文档和论文里一般把这种做法叫上下文并行(Context...