- vLLM 的突出特點是其多功能性、與 Hugging Face 的輕鬆整合以及使用 PagedAttention 的高效能記憶體系統。
- 對於 NVIDIA 使用者而言，TensorRT-LLM 在原始效能方面是更優的選擇，儘管它的配置更複雜，靈活性也更差。
- 在高階基準測試中，由於原生 C++ 最佳化和更低的編排開銷，SGLang 和 LMDeploy 等引擎在速度上優於 vLLM。
當我們深入研究大規模部署語言模型時，最常見的難題之一是如何快速推理而不至於耗費巨資。最初，將模型從實驗室遷移到實際生產環境是一項重大挑戰，因為人工智慧基礎設施的效率決定了服務是否能在高流量下流暢運行，還是會崩潰。
在這種情況下，湧現出各種旨在最大化GPU效能的工具，其中vLLM是最受歡迎的工具之一，儘管它也面臨著來自一些更封閉或高度專業化解決方案的直接競爭。為了避免盲目選擇，至關重要的是要理解，推理引擎的選擇完全取決於我們優先考慮的是易於部署、與各種硬體的兼容性，還是純粹的效能。
vLLM：用途廣泛且開放的標準
vLLM憑藉其高度的彈性，已成為不可或缺的工具。其最大的優勢在於PagedAttention系統，該系統以類似於作業系統虛擬記憶體的方式管理GPU記憶體。這避免了空閒令牌造成的空間浪費，從而允許更大的上下文窗口，並能同時處理更多請求而不會導致系統崩潰。
- 主要優勢： 它與 Hugging Face 的直接整合使其脫穎而出，大大簡化了工作流程，並且能夠以驚人的效率處理大量資料。
- 弱點： 雖然它功能非常強大，但可能無法達到專為 NVIDIA 設計的工具的巔峰性能，而且其 CPU 支援仍然相當有限。
TensorRT-LLM：NVIDIA 的重型武器
如果您想充分發揮 NVIDIA 顯示卡的全部效能，TensorRT-LLM 無疑是最佳選擇。它並非通用引擎，而是專用函式庫，利用CUDA 圖優化和融合核心來加速運算。 TensorRT-LLM 旨在與 Triton Inference Server 和 NeMo 無縫集成，是已融入 NVIDIA 生態系統的企業級環境的必備利器。
與 vLLM 不同，TensorRT-LLM 專注於內核層級優化，支援 FP8 和 INT4 等量化格式。然而，這種強大的性能是有代價的：學習曲線更複雜，配置更困難，而且顯然僅限於 NVIDIA 硬件，排除了 AMD 和任何其他替代方案。
性能對決：vLLM 對 LMDeploy 和 SGLang
為了了解 vLLM 的真實水平，將其與 SGLang 和 LMDeploy 等其他重量級引擎在尖端硬體（特別是 NVIDIA H100）上進行比較會很有幫助。在原始效能測試（每秒令牌數）中，我們觀察到了明顯的架構差距。 SGLang 和 LMDeploy 的效能接近 16.200 tok/s，而 vLLM 即使使用了 FlashInfer，效能也徘徊在 12.500 tok/s 左右。
這 29% 的差異並非源自數學計算，而是編排開銷造成的。 SGLang 使用 RadixAttention 來處理複雜模式，而 LMDeploy 則依賴純 C++ 後端（TurboMind），從而避免了 Python 的負擔。 vLLM 為了相容於多種架構並提供靈活的插件，犧牲了一些速度以保持其通用性。
快速選擇推理引擎指南
沒有萬能的解決方案，但總有一款工具能應付各種情況。如果您需要快速建立原型，並希望透過簡單的 pip 安裝即可立即運行模型，那麼憑藉其完善的生態系統和強大的支持，vLLM 將是您的最佳選擇。
如果您擁有專用的推理叢集和能夠處理複雜依賴關係的技術團隊，並且追求極致效能，那麼 SGLang 是您的理想選擇。對於那些希望在穩定的生產環境和H100 效能之間取得平衡，且無需複雜安裝的使用者來說，LMDeploy 是一個可靠的選擇。
技術考量與部署
在實際實現過程中，一些細節可能會導致問題。例如，分配 95% 的 GPU 記憶體通常會導致在擷取 CUDA 圖時出現系統錯誤。為了確保穩定性，最好使用80% 的安全裕度。
為了簡化操作，像 Northflank 這樣的平台允許你在容器中運行這些引擎並啟用 GPU 加速，而無需手動設置基礎設施。這樣就可以並行測試 vLLM 和 TensorRT-LLM，以便在擴充功能之前比較哪個效能更佳。
最終決策取決於部署便利性和硬體最佳化之間的平衡。 vLLM 以其相容性和簡潔性脫穎而出，而 TensorRT-LLM 和 SGLang 則突破了高階基礎設施的效能瓶頸，最大限度地利用記憶體合併和 Tensor Core，從而最大限度地發揮每小時運算的價值。
