NexGPU-算力租赁,GPU服务器,GPU云算力,AI服务器租用-新闻博客 - GPU显存
type: channel
link: https://www.nexgpu.net/blog/index.php/tag/GPU%E6%98%BE%E5%AD%98/
items: GPU显存怎么选？4步算清权重与KV Cache占用

GPU显存怎么选？4步算清权重与KV Cache占用
type: item
date: 2026-08-12T10:51:46+08:00
description: 先别急着看卡型参数表，GPU显存怎么选，答案要从你的负载反推：把模型权重、KV Cache、中间张量和框架常驻开销分开算，再加一层引擎版本与显存碎片的余量，最后才落到具体显存规格。vLLM v0.27.0 在 2026 年 8 月的更新里，就同时改写了 KV Cache 的字节宽度和启动期的显存占用，说明同一模型在不同引擎版本下显存账并不固定，这也正是选显存必须留余量的原因。推算前先问清三件事：模型多大、上下文多长、并发多少显存推算的三个输入变量缺一不可：模型参数量、目标上下文长度、并发请求数。脱离后两者谈“7B模型需要多少显存”必然算错，因为 KV Cache 随上下文与并发几乎线性放大。动手前先收集这几项：模型权重文件大小（可据此反推参数量与精度）、线上预期的上下文长度（比如 8K 还是 32K tokens）、同时推理的最大并发请求数。第一笔账：权重显存怎么算，FP16/FP8/INT4 三档精度换算权重显存 = 参数量 × 每参数字节数。FP16 每个参数占 2 字节，FP8 占 1 字节，INT4 占 0.5 字节。以 7B 模型为例，FP16 权重约 14GB，FP8 约 7GB，INT4 约 3.5GB。注意这只是权重部分，还没算 KV Cache 和框架开销。下表给出常见规模的量级参考，方便你代入自己的模型：模型参数量FP16 权重FP8 权重INT4 权重1B~2GB~1GB~0.5GB7B~14GB~7GB~3.5GB13B~26GB~13GB~6.5GB70B~140GB~70GB~35GB表中数值为按参数量×字节宽度推导的权重量级，不含 KV Cache、激活值与框架开销，也不代表任何具体型号的实测占用。第二笔账：KV Cache 与上下文长度、并发数的乘法关系KV Cache 的单 Token 基础推算公式是：2 × 层数（Layers）× KV头数（KV_Heads）× 头维度（Head_Dim）× 每参数字节数。这个值乘以序列长度再乘以并发数，就是 KV Cache 的总占用。该单 Token 推算式为 vLLM 官方文档给出的基础形式。上下文长度增加，KV Cache 会线性增长；并发数翻倍，KV Cache 也翻倍。FP16 与 FP8 的差别在这里同样体现：FP8 KV Cache 每个参数少 1 字节，整块缓存显著缩小。vLLM v0.27.0 在 Blackwell SM100 上深化了 FlashAttention 4 FP8 KV Cache 支持，意味着同一模型同一上下文，用 FP8 缓存能省出可观显存。第三、四笔账：中间张量与框架/引擎常驻开销为什么必须预留除了权重和 KV Cache，推理过程中还有激活值、通信缓冲、CUDA 上下文等中间张量，以及显存碎片。vLLM 官方将 gpu_memory_utilization 默认设为 0.9，意思是只使用 90% 的总显存，预留约 10% 给碎片和运行时分配。关于 gpu_memory_utilization 的实际配置，可参考 vLLM部署 的完整流程。这说明“可用显存”并不等于卡上标称显存。例如 24GB 的卡，实际可用约 21.6GB。因此，你算出来的理论占用必须小于这个可用值，否则容易触发 CUDA out of memory。四步推算法完整走一遍：从模型规模到目标显存区间GPU显存怎么选，落到操作上就是把四笔账按顺序算完：算权重：参数量 × 每参数字节数。算 KV Cache：单 Token KV Cache × 上下文长度 × 并发数。算中间张量与框架开销：一般按总显存的 10%~20% 预留，或根据引擎文档设定。加总得到理论下限，再乘 1.1~1.2 作为实际需求区间。这样你会得到一个显存区间而不是单点数值。区间的下沿对应刚好够用但风险偏高，上沿对应更安全但可能浪费。以 7B 模型 FP16、上下文 8K、并发 4 为例（按 32 层 / 8 个 KV 头 / 头维度 128 的 GQA 结构估算）：权重约 14GB + KV Cache 约 4GB + 中间张量与框架开销约 3GB ≈ 21GB，加余量后需求落在 24GB~28GB，24GB 卡处于临界（需压低并发或上下文），稳定线上建议 32GB 及以上。注意，若换成 32 头 MHA 结构（KV 头数由 8 升到 32），单 Token KV Cache 由约 128KB 升到约 0.5MB，KV Cache 约 16GB，总需求约 33GB，加余量后建议 48GB 档位或多卡。若并发继续提升，还需考虑多卡并行，可参考 GPU集群 方案。引擎版本会改写显存账：FP8 KV Cache 与启动期优化带来的余量变化这一节是重点：推理引擎的版本会直接改变显存账单。据 …