# 大模型本地部署最强引擎，vLLM 大版本更新 - 网易

*Источник: 网易*
*Дата: 2026-07-12*
*Язык: zh*

**Кратко:** vLLM 又搞大动作了，月初刚发了0.24，我详细分析过：
今天 v0.25 正式版发布了
老规矩，本文就所有更新，挑重点给大家分享一下
先来一张全景图，一眼看懂这次更新的核心模块：
vLLM v0.25 核心更新全景图 新模型支持一览
这版新支持的模型架构不少：
模型
MiMo-V2.5
小米最新视觉-语言模型
Laguna XS.2
新架构，支持 DFlash
Moondream3
轻量多模态，支持 query 和 caption
Qianfan-OCR
百度千帆 OCR 模型
Cohere MoE
Cohere 的 MoE 架构
DeepSeek V4
新增 AMD/ROCm 支持 + 流水线并行
Qwen3.5
Mamba 混合架构，Model Runner V2 支持
特别提一下DeepSeek V4 现在可以跑在 AMD 卡上了，对于不想被 NVIDIA 绑架的同学来说是个好消息
多硬件平台扩展
vLLM 现在的硬件覆盖面越来越广：
- AMD ROCm 7.2.2— DBO 动态批优化、Fused Allreduce+RMSNorm、Fused Shared Expert 
- CPU— FP8 attention for AMX/AVX-512，FP8 W8A16 linear/MoE，RISC-V 支持 
- Intel XPU— top-k/top-p 采样、out-of-place all-reduce、LoRA 
- IBM Power— VSX 注意力后端 
从 NVIDIA 到 AMD 到 Intel 到 IBM，甚至还有 RISC-V，vLLM 这是要做推理引擎界的"全平台通吃选手"
推测解码支持 Thinking Budget
这个特性非常关键，很多人可能忽略了
现在 DeepSeek-R1、Qwen3 这类推理模型在生成时有个"思考预算"（thinking budget），之前用推测解码会和这个机制冲突，导致生成结果不正确
v0.25 修复了这个问题，推测解码现在可以正确感知 reasoning token 的边界了，意思是：推理模型也能享受推测解码的加速，这在之前是不行的
此外还新增了：
- Gemma4 的 MTP（Multi-Token Prediction）推测解码 
- MiMo-V2.5 的 MTP 支持 
- Mistral 的 EAGLE 推测解码 
- Cohere Eagle 推测解码 
推测解码阵营越来越壮大了
性能优化：一堆实打实的提升
这版的性能优化点非常多，挑几个有代表性的：
- FlashInfer top-k/top-p 采样器默认开启— 采样速度更快 
- AllPool.forward 快了 51%— Embedding 模型直接受益 
- GPU↔CPU 同步消除— 减少不必要的等待 
- numpy 零拷贝 embedding 序列化— Embedding API 响应更快 
- FlashInfer FP8 异步 TP 融合— 张量并行场景加速 
- allreduce + RMS 融合重新启用— DP/PP 场景受益 
- Docker 镜像缩小 2.5GB— 通过延迟下载 FlashInfer cubin 实现 
性能这块 vLLM 是真舍得下功夫，每个版本都能看到十几项针对性的 kernel 优化
KV Cache 卸载 + HMA 混合内存分配器
这是面向大规模部署的重磅功能
KV Cache 卸载（把不活跃的 KV 缓存从 GPU 卸载到 CPU）之前就有了，这次 v0.25 把它和HMA（Hybrid Memory Allocator，混合内存分配器）完全打通了：
- 调度器侧滑动窗口分组支持 
- MooncakeStoreConnector 支持分布式 KV 卸载 
- DCP/PCP 协议支持 
你可以用更少的 GPU 显存服务更多的并发请求，同时保持较高的吞吐量，对于那些 context window 很长的场景（比如 128K 上下文的模型），这个功能非常有价值
量化支持更新
- NVFP4— KV Cache 支持、ModelOpt NVFP4 W4A16、all-gather GEMM 融合 
- MXFP4— Humming MXFP4 MoE 后端 
- TurboQuant— 混合模型和统一量化支持 
NVFP4 在这个版本获得了大量支持，如果你用的是 Hopper 或 Blackwell 卡，4-bit 量化的性能和精度平衡会更好
API 改进
- Responses API支持流式 tool calling（ - required和命名工具选择）
- OpenAI 兼容性增强： - system_fingerprint字段、- prompt_embeds、渲染后的 prompt 文本
- XGrammar 0.2.0— 结构化 tags 支持严格的 tool calling + reasoning 
- 新增 Fastokens tokenizer 支持 
- RLHF 显式 weight update API 
官方当前 Quickstart 给出的基础环境是 Linux 与 Python 3.10 到 3.13，NVIDIA CUDA 用户推荐用uv管理环境
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
如果你是 Docker 用户，镜像小了 2.5GB，拉取速度会明显快一些
总结
如果你在生产环境跑 LLM 推理服务，vLLM 依然是我的首选推荐，这个项目的迭代速度和社区活跃度都是顶级的，每个版本都能看到实质性的进步
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

vLLM 又搞大动作了，月初刚发了0.24，我详细分析过：
今天 v0.25 正式版发布了
老规矩，本文就所有更新，挑重点给大家分享一下
先来一张全景图，一眼看懂这次更新的核心模块：
vLLM v0.25 核心更新全景图 新模型支持一览
这版新支持的模型架构不少：
模型
MiMo-V2.5
小米最新视觉-语言模型
Laguna XS.2
新架构，支持 DFlash
Moondream3
轻量多模态，支持 query 和 caption
Qianfan-OCR
百度千帆 OCR 模型
Cohere MoE
Cohere 的 MoE 架构
DeepSeek V4
新增 AMD/ROCm 支持 + 流水线并行
Qwen3.5
Mamba 混合架构，Model Runner V2 支持
特别提一下DeepSeek V4 现在可以跑在 AMD 卡上了，对于不想被 NVIDIA 绑架的同学来说是个好消息
多硬件平台扩展
vLLM 现在的硬件覆盖面越来越广：
- AMD ROCm 7.2.2— DBO 动态批优化、Fused Allreduce+RMSNorm、Fused Shared Expert 
- CPU— FP8 attention for AMX/AVX-512，FP8 W8A16 linear/MoE，RISC-V 支持 
- Intel XPU— top-k/top-p 采样、out-of-place all-reduce、LoRA 
- IBM Power— VSX 注意力后端 
从 NVIDIA 到 AMD 到 Intel 到 IBM，甚至还有 RISC-V，vLLM 这是要做推理引擎界的"全平台通吃选手"
推测解码支持 Thinking Budget
这个特性非常关键，很多人可能忽略了
现在 DeepSeek-R1、Qwen3 这类推理模型在生成时有个"思考预算"（thinking budget），之前用推测解码会和这个机制冲突，导致生成结果不正确
v0.25 修复了这个问题，推测解码现在可以正确感知 reasoning token 的边界了，意思是：推理模型也能享受推测解码的加速，这在之前是不行的
此外还新增了：
- Gemma4 的 MTP（Multi-Token Prediction）推测解码 
- MiMo-V2.5 的 MTP 支持 
- Mistral 的 EAGLE 推测解码 
- Cohere Eagle 推测解码 
推测解码阵营越来越壮大了
性能优化：一堆实打实的提升
这版的性能优化点非常多，挑几个有代表性的：
- FlashInfer top-k/top-p 采样器默认开启— 采样速度更快 
- AllPool.forward 快了 51%— Embedding 模型直接受益 
- GPU↔CPU 同步消除— 减少不必要的等待 
- numpy 零拷贝 embedding 序列化— Embedding API 响应更快 
- FlashInfer FP8 异步 TP 融合— 张量并行场景加速 
- allreduce + RMS 融合重新启用— DP/PP 场景受益 
- Docker 镜像缩小 2.5GB— 通过延迟下载 FlashInfer cubin 实现 
性能这块 vLLM 是真舍得下功夫，每个版本都能看到十几项针对性的 kernel 优化
KV Cache 卸载 + HMA 混合内存分配器
这是面向大规模部署的重磅功能
KV Cache 卸载（把不活跃的 KV 缓存从 GPU 卸载到 CPU）之前就有了，这次 v0.25 把它和HMA（Hybrid Memory Allocator，混合内存分配器）完全打通了：
- 调度器侧滑动窗口分组支持 
- MooncakeStoreConnector 支持分布式 KV 卸载 
- DCP/PCP 协议支持 
你可以用更少的 GPU 显存服务更多的并发请求，同时保持较高的吞吐量，对于那些 context window 很长的场景（比如 128K 上下文的模型），这个功能非常有价值
量化支持更新
- NVFP4— KV Cache 支持、ModelOpt NVFP4 W4A16、all-gather GEMM 融合 
- MXFP4— Humming MXFP4 MoE 后端 
- TurboQuant— 混合模型和统一量化支持 
NVFP4 在这个版本获得了大量支持，如果你用的是 Hopper 或 Blackwell 卡，4-bit 量化的性能和精度平衡会更好
API 改进
- Responses API支持流式 tool calling（ - required和命名工具选择）
- OpenAI 兼容性增强： - system_fingerprint字段、- prompt_embeds、渲染后的 prompt 文本
- XGrammar 0.2.0— 结构化 tags 支持严格的 tool calling + reasoning 
- 新增 Fastokens tokenizer 支持 
- RLHF 显式 weight update API 
官方当前 Quickstart 给出的基础环境是 Linux 与 Python 3.10 到 3.13，NVIDIA CUDA 用户推荐用uv管理环境
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
如果你是 Docker 用户，镜像小了 2.5GB，拉取速度会明显快一些
总结
如果你在生产环境跑 LLM 推理服务，vLLM 依然是我的首选推荐，这个项目的迭代速度和社区活跃度都是顶级的，每个版本都能看到实质性的进步
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

[Оригинал](https://www.163.com/dy/article/L1LN5D4R0519EA27.html)