LLM 推理优化：vLLM、TensorRT-LLM 与规模化服务（2026）

推理（而非训练）是生产环境中 LLM 花费最多的环节——因此，在每 GPU 美元下榨取更多 token 每秒是核心优化问题。本指南涵盖关键技术（KV 缓存管理、批处理、量化）以及两大主流服务引擎：vLLM 和 TensorRT-LLM。

瓶颈：KV 缓存

Transformer 推理会缓存已处理每个 token 的键/值张量，以避免重复计算——这就是 KV 缓存。它随序列长度增长，并在服务期间主导内存占用。管理好它便解决了大部分问题。

PagedAttention（vLLM）： 像操作系统管理虚拟内存一样管理 KV 缓存——按页管理——消除了碎片，让你能在相同显存中塞入更多并发序列。这是 vLLM 的核心创新。

连续批处理： 无需等待一个批次完成，新请求立即加入正在运行的批次，保持 GPU 饱和。这是并发场景下最大的吞吐量提升点。

vLLM vs TensorRT-LLM

vLLMTensorRT-LLM

优势易用 + 高吞吐，PagedAttention最大 NVIDIA GPU 性能 设置pip install vllm，简单较重（编译引擎） 适用场景大多数生产服务在 NVIDIA 上榨取极致延迟/吞吐

vLLM 是实用的默认选择——易于运行、兼容 OpenAI、吞吐出色。TensorRT-LLM 通过编译优化引擎，在 NVIDIA 硬件上可以更快，但设置更复杂。从 vLLM 开始；当你确认需要最后一点性能提升时再转向 TensorRT-LLM。关于 Ollama 与 vLLM 的对比，请参阅 Ollama vs vLLM。

bash
vLLM：一条命令启动高吞吐的 OpenAI 兼容服务器
vllm serve meta-llama/Llama-3.1-8B-Instruct --port 8000

其他手段

量化（4-bit AWQ/GPTQ）减少内存和带宽——参见模型量化指南。

投机解码使用一个小型草稿模型提出 token，由大模型验证，从而加速生成。

前缀缓存对共享的提示前缀（系统提示、少样本示例）复用 KV 缓存。

选对模型大小。 最简单的优化是对简单请求使用更小的模型——参见GPT-4o mini vs Claude Haiku。

FAQ

为什么负载下吞吐量低？ 很可能没有连续批处理。vLLM 开箱即用解决了这个问题。 vLLM 还是 TensorRT-LLM？ vLLM 易用且吞吐出色；TensorRT-LLM 在需要时提供极致 NVIDIA 性能。 最大的单一收益？ 连续批处理，然后是量化，再是投机/前缀缓存。 量化会拖慢速度吗？ 通常相反——每个 token 占用更少内存带宽往往能加速推理。

总结

通过管理 KV 缓存（PagedAttention）、保持 GPU 忙碌（连续批处理）和缩小模型（量化）来优化推理。vLLM 通过一条命令实现了大部分功能；TensorRT-LLM 在 NVIDIA 上榨出最后一点性能。在你的硬件上测量 token/秒，并叠加各项收益。

---

*最后更新：2026 年 6 月。请对照 vLLM 和 TensorRT-LLM 文档验证。*