在本地开发大模型应用或验证原型时,很多开发者习惯用一条 ollama run 命令把模型跑起来。但当业务进入联调、内部知识库上线或接入 AI Agent 工作流时,单并发或低并发工具很快就会遇到吞吐瓶颈——多个请求同时打进来,排队时间飙升,甚至直接触发显存溢出(OOM)。
从“个人能跑通”到“团队高并发可用”,vLLM部署几乎是所有工程团队绕不开的一步。围绕推理引擎选型、V1 架构特性、显存与 GPU 选卡,以及云端环境配置与端口开放,下面完整拆解一套可落地的 vLLM 生产级部署方案。
一、 为什么从原型走向生产,大家都在切向 vLLM?
在开源推理生态中,Ollama、vLLM、SGLang 和 TGI(Text Generation Inference)是最常被拿来对比的四个工具。它们没有绝对的优劣,但有非常清晰的场景边界:
| 推理框架 | 核心定位与优势 | 适用场景 | 局限性 |
|---|---|---|---|
| Ollama | 极简命令行体验,开箱即用,适合单人交互 | 本地开发测试、个人助手、小规模单机实验 | 高并发下吞吐扩展性受限,生产级调度参数较少 |
| vLLM | 基于 PagedAttention 与连续批处理(Continuous Batching),吞吐量高,生态支持最广 | 企业级 API 服务、高并发在线推理、批量离线处理 | 强依赖 GPU 环境,CUDA 与驱动版本需严格匹配 |
| SGLang | 针对复杂提示词与结构化输出(JSON 等)做了深度缓存与编译优化 | 多轮 Agent 编排、高频固定前缀调用、复杂控制流 | 部分冷门模型架构的适配速度略慢于 vLLM |
| TGI | Hugging Face 官方出品,与 HF 生态结合紧密 | 早期 HF 模型标配部署方案 | 社区活跃度与新特性迭代逐渐被 vLLM 和 SGLang 分流 |
vLLM V1 架构带来的实战改变
随着 vLLM 演进至 V1 核心架构,它在工程落地上的优势进一步放大:
- 多进程解耦(API Server 与 EngineCore 分离):HTTP 请求解析、分词(Tokenization)与多模态数据加载在独立的进程中完成,通过 ZeroMQ 与底层 GPU 执行引擎通信。这绕开了 Python GIL 锁的限制,避免高并发请求下 CPU 预处理拖慢 GPU 推理。
- 零开销前缀缓存(Zero-overhead Prefix Caching):在 RAG(检索增强生成)或长 System Prompt 的 Agent 场景中,大量请求共享相同的前缀。vLLM 能自动复用这部分 KV Cache,显著压低首字延迟(TTFT)。
- 分块预填充(Chunked Prefill):将超长上下文的输入切分成小块与解码(Decode)阶段穿插执行,防止单个长文本请求卡死整个批次的流式输出。

二、 vLLM部署前的硬件账:显存怎么算,显卡怎么选?
在启动 vLLM 之前,最容易踩的坑是只按模型参数量算显存,忽略了 KV Cache 预留空间。
vLLM 启动时会默认按照 --gpu-memory-utilization(默认值为 0.9,即占用 90% 显存)来预先分配物理块。你的 GPU 显存必须同时装下三样东西:
- 模型权重:如 7B/8B 模型在 FP16/BF16 下约占 15~16GB;70B/72B 模型在 FP16 下约需 140GB+,AWQ/GPTQ INT4 量化后约需 38~42GB。
- KV Cache 池:决定你能同时处理多少并发请求(Batch Size)以及支持多长的上下文(
--max-model-len)。(如果遇到长文本爆显存,可以参考我们此前的长上下文推理显存不够怎么办?先算 KV Cache,再按代价从低到高调整)。 - CUDA 上下文与激活值开销:通常需要预留 2~4GB 的安全垫。
常见规模模型的选卡思路
如果不确定手头的开源模型量化后到底吃多少显存,可以直接查阅 NexGPU 的模型选卡指南(例如在 Qwen 模型页 中,我们已经逐个标明了不同参数版本的显存门槛与推荐卡型):
- 7B ~ 14B 级别(日常对话、轻量级 Agent):
全精度(BF16/FP16)或 14B 量化版,单张 24GB~32GB 显存的消费级显卡(如 RTX 3090、RTX 4090、RTX 5090)即可轻松跑起,性价比极高。 32B ~ 72B 级别(企业知识库、复杂代码生成):
- 若采用 INT4/FP8 量化,单张 48GB 显存卡或单张 A100/H100 (80GB) 能够兼顾权重与可观的并发上下文。
- 若要求 BF16 全精度跑 72B 模型,单卡无法装下,必须走多卡张量并行(Tensor Parallelism,即设置
--tensor-parallel-size 2或4)。此时建议在 GPU 市场 按“最少卡数”筛选 2 卡或 4 卡节点整机租用。(关于多卡并行的通信瓶颈与配置细节,可延伸阅读推理并行度设成多少合适?先按显存取最小 TP,再看互联和业务目标)。
- 超大参数 MoE 模型(如 DeepSeek-R1/V3 满血版等):
需要 H100、H200 或 B200 多卡高显存节点,甚至跨节点 RDMA 互联。
在 NexGPU 选机器时,你可以先选定模型环境再筛选机器——显存不够的机器会在列表里被直接标出并注明原因,帮你省去手动盲猜的步骤;你也可以结合选卡文档按带宽、地区和单价做精细过滤。
三、 为什么本地配 vLLM 环境总报错?用预置镜像与自定义 Docker 破局
许多开发者第一次在裸机上执行 pip install vllm 时,往往会陷入漫长的环境泥潭:vLLM 的预编译 Wheel 包对底层 CUDA 版本(如 CUDA 12.x)和 PyTorch 版本有严格绑定,一旦宿主机的 NVIDIA 驱动版本偏低,或者 nvcc 工具链不匹配,就会报出各种 C++ 符号找不到或 FlashAttention 编译失败的错误。
在云端做 vLLM 部署,没必要把按秒计费的宝贵算力花在编译环境上。根据你的项目阶段,在 NexGPU 上有两种开机即用的做法:
路径 A:直接使用预置的「vLLM 镜像模板」(推荐快速上线)
在 NexGPU 的镜像模板中,平台已经将驱动、CUDA、框架与依赖全部预装打通。你只需在「大模型推理」分类下勾选 vLLM(同分类下也提供 TGI、Ollama、SGLang 供横向对比测试),开机拉起后直接就是标准的 OpenAI 兼容接口。
路径 B:填入自定义 Docker 镜像(适合锁版本与生产交付)
如果你的业务代码或特定模型架构锁定了某个特定的 CUDA 版本或特定 commit 的 vLLM(例如官方建议锁定特定 CUDA 版本时),你可以在创建实例时直接填入自己的 Docker 镜像地址(支持公开或私有仓库),并自定义容器的启动命令(Entrypoint)和环境变量(如 HF_TOKEN、VLLM_USE_V1=1 等)。

四、 实操四步走:在 GPU 云服务器上拉起 vLLM 并接入业务
下面以在 NexGPU 上部署一个支持 OpenAI API 协议的开源大模型服务为例,梳理从开机到联调的完整闭环(更多场景预算与配置组合也可直接参考大模型私有化部署场景页):
第一步:选卡与磁盘规划
- 用邮箱注册账号(无需实名认证与配额申请,注册后即可查看实时价格)。
- 在实例创建页选择 vLLM 镜像模板,筛选合适的 GPU 机器。
- 注意磁盘容量:实例创建后不支持在线扩容磁盘。因此下单前请务必根据模型权重大小留足存储空间(例如 32B 全精度模型权重约 65GB,加上系统与缓存建议分配 120GB~150GB 以上磁盘)。算力单价和磁盘单价在列表里分开标明,一目了然。
第二步:连接实例与拉取模型权重
实例进入运行状态后,你有三种方式接管环境(详见连接指南):
- 网页终端:直接在浏览器里打开 root 终端,适合快速执行几行命令。
- SSH 直连:每台实例自带独立公网 IP 和端口,不经过跳板机,配置默认公钥后即可用本地 VS Code 或终端直连(日常开发配置技巧见GPU云服务器怎么搭日常开发环境:从选镜像、SSH直连到停机保盘的实操指南)。
- 可视化面板:如果不习惯纯命令行管理权重文件和守护进程,可以在控制台一键安装 aaPanel,在浏览器里可视化管理文件、进程与计划任务(注意 aaPanel 会占用一部分磁盘空间)。
第三步:启动 vLLM OpenAI 兼容服务端
若使用预置镜像,服务通常已按模板配置自动拉起。若你需要手动调优参数启动,可以在终端运行标准的 vllm serve 命令:
vllm serve Qwen/Qwen2.5-32B-Instruct-AWQ \
--quantization awq \
--tensor-parallel-size 1 \
--max-model-len 16384 \
--gpu-memory-utilization 0.90 \
--host 0.0.0.0 \
--port 8000 \
--api-key your-custom-secret-key关键参数排查提示:
--max-model-len:很多开源模型默认上下文高达 32K 或 128K,直接按默认值启动会导致单卡 KV Cache 预检失败报错。按业务实际需求将其限制在8192或16384,能大幅提高并发吞吐。--tensor-parallel-size:设置为你租用的 GPU 卡数(如单卡为1,双卡整机为2)。
第四步:端口映射与外部客户端调用
NexGPU 的每台实例都带有公网 IP 和默认端口映射,并额外预留了一组备用端口给用户自己的服务使用(注意:实例创建后无法增删端口映射,只需将你的 vLLM --port 绑定到系统已分配的备用内部端口即可)。
服务启动后,在你的业务后端、LangChain、Dify 或 Cursor 中,只需把 Base URL 指向实例的公网 IP 与映射端口,即可用标准 OpenAI SDK 无缝调用:
from openai import OpenAI
client = OpenAI(
api_key="your-custom-secret-key",
base_url="http://<实例公网IP>:<映射外部端口>/v1"
)
response = client.chat.completions.create(
model="Qwen/Qwen2.5-32B-Instruct-AWQ",
messages=[
{"role": "system", "content": "你是一个严谨的企业级技术助手。"},
{"role": "user", "content": "请简述 vLLM PagedAttention 的核心作用。"}
],
temperature=0.7,
stream=True
)
for chunk in response:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)五、 推理成本控制与运维避坑:按秒计费 + 停机保盘
正如我们在AI算力租赁进入“推理过半”时代:中小团队与开发者如何按需租卡、精算成本中提到的,推理工作负载往往伴随着明显的波峰波谷或阶段性验证特征。在 NexGPU 上管理 vLLM 实例(详见实例管理文档与计费说明),掌握以下几条规则能帮你把每一分预算都花在刀刃上:
- 算清三项透明账单:
账单只有算力、存储、流量三项,在实例详情页分项实时列出,没有开通费、端口费或起租时长限制。而且下单时的单价会一直锁定到该实例销毁,不受后续市场价格波动影响。 - 善用「停机保盘」省去重复拉权重:
如果是内部测试、压测联调或非 7×24 小时的批处理推理,下班或跑完任务后直接在控制台点击停机。停机后算力费立即停止计费(算力费按秒计量、按小时计价),仅保留按 GB/月计算的低额存储费。下次开机时,几十 GB 的模型权重和调好的 vLLM 启动脚本都在,无需重新下载。 - 注意销毁与数据安全边界:
NexGPU 的实例是独占容器,平台不读取也不备份磁盘内容。当你确认不再需要某个环境、输入实例编号执行销毁时,磁盘会立即释放且不可恢复,所有计费同步停止。重要微调权重或业务日志请务必在销毁前同步至你自己的外部存储。 - 规模化集群与企业级合规采购:
当你的 vLLM 服务从单机走向高可用集群,需要多台 A100/H100/H200 节点、RDMA 高速互联、私有网络数据隔离,或是需要包月包年预留实例、签合同、对公付款与开票(PO 采购),可以直接通过联系销售定制专属算力池方案。
结语
完成一次高质量的 vLLM部署,本质上是在“显存容量、并发吞吐与硬件成本”之间找到最契合当前业务阶段的平衡点。不必一开始就盲目囤积昂贵的多卡服务器——通过 NexGPU 快速开始指南,你可以随时用预置的 vLLM 镜像租一张消费级或数据中心级显卡,花几块钱跑通压测、摸清真实的 Token 吞吐边界,再平滑扩展到生产环境。
NexGPU-算力租赁,GPU服务器,GPU云算力,AI服务器租用-新闻博客