- vLLM 的突出特点是其多功能性、与 Hugging Face 的轻松集成以及使用 PagedAttention 的高效内存系统。
- 对于 NVIDIA 用户而言，TensorRT-LLM 在原始性能方面是更优的选择，尽管它的配置更复杂，灵活性也更差。
- 在高端基准测试中，由于原生 C++ 优化和更低的编排开销，SGLang 和 LMDeploy 等引擎在速度上优于 vLLM。
当我们深入研究大规模部署语言模型时，最常见的难题之一是如何快速推理而不至于耗费巨资。最初，将模型从实验室迁移到实际生产环境是一项重大挑战，因为人工智能基础设施的效率决定了服务能否在高流量下流畅运行，还是会崩溃。
在这种情况下，涌现出各种旨在最大化GPU性能的工具，其中vLLM是最受欢迎的工具之一，尽管它也面临着来自一些更封闭或高度专业化解决方案的直接竞争。为了避免盲目选择，至关重要的是要理解，推理引擎的选择完全取决于我们优先考虑的是易于部署、与各种硬件的兼容性，还是纯粹的性能。
vLLM：用途广泛且开放的标准
vLLM凭借其高度的灵活性，已成为不可或缺的工具。其最大的优势在于PagedAttention系统，该系统以类似于操作系统虚拟内存的方式管理GPU内存。这避免了空闲令牌造成的空间浪费，从而允许更大的上下文窗口，并能同时处理更多请求而不会导致系统崩溃。
- 主要优势： 它与 Hugging Face 的直接集成使其脱颖而出，大大简化了工作流程，并且能够以惊人的效率处理大量数据。
- 弱点： 虽然它功能非常强大，但可能无法达到专为 NVIDIA 设计的工具的巅峰性能，而且其 CPU 支持仍然相当有限。
TensorRT-LLM：NVIDIA 的重型武器
如果您想充分发挥 NVIDIA 显卡的全部性能，TensorRT-LLM 无疑是最佳选择。它并非通用引擎，而是一个专用库，利用CUDA 图优化和融合核心来加速计算。TensorRT-LLM 旨在与 Triton Inference Server 和 NeMo 无缝集成，是已融入 NVIDIA 生态系统的企业级环境的必备利器。
与 vLLM 不同，TensorRT-LLM 专注于内核级优化，支持 FP8 和 INT4 等量化格式。然而，这种强大的性能是有代价的：学习曲线更复杂，配置更困难，而且显然仅限于 NVIDIA 硬件，排除了 AMD 和任何其他替代方案。
性能对决：vLLM 对阵 LMDeploy 和 SGLang
为了了解 vLLM 的真实水平，将其与 SGLang 和 LMDeploy 等其他重量级引擎在尖端硬件（特别是 NVIDIA H100）上进行比较会很有帮助。在原始性能测试（每秒令牌数）中，我们观察到了明显的架构差距。SGLang 和 LMDeploy 的性能接近 16.200 tok/s，而 vLLM 即使使用了 FlashInfer，性能也徘徊在 12.500 tok/s 左右。
这 29% 的差异并非源于数学计算，而是编排开销造成的。SGLang 使用 RadixAttention 来处理复杂模式，而 LMDeploy 则依赖于纯 C++ 后端（TurboMind），从而避免了 Python 的负担。vLLM 为了兼容多种架构并提供灵活的插件，牺牲了一些速度以保持其通用性。
快速选择推理引擎指南
没有万能的解决方案，但总有一款工具能应对各种情况。如果您需要快速构建原型，并希望通过简单的 pip 安装即可立即运行模型，那么凭借其完善的生态系统和强大的支持，vLLM 将是您的最佳选择。
如果您拥有专用的推理集群和能够处理复杂依赖关系的技术团队，并且追求极致性能，那么 SGLang 是您的理想之选。对于那些希望在稳定的生产环境和H100 性能之间取得平衡，且无需复杂安装的用户来说，LMDeploy 是一个可靠的选择。
技术考量和部署
在实际实现过程中，一些细节可能会导致问题。例如，分配 95% 的 GPU 内存通常会导致在捕获 CUDA 图时出现系统错误。为了确保稳定性，最好使用80% 的安全裕度。
为了简化操作，像 Northflank 这样的平台允许你在容器中运行这些引擎并启用 GPU 加速，而无需手动设置基础设施。这样就可以并行测试 vLLM 和 TensorRT-LLM，从而在扩展之前比较哪个性能更佳。
最终决策取决于部署便捷性和硬件优化之间的平衡。vLLM 以其兼容性和简洁性脱颖而出，而 TensorRT-LLM 和 SGLang 则突破了高端基础设施的性能瓶颈，最大限度地利用内存合并和 Tensor Core，从而最大限度地发挥每小时计算的价值。
