- vLLM išsiskiria savo universalumu, lengvu integravimu su „Hugging Face“ ir efektyvia atminties sistema, naudojanti „PagedAttention“.
- „TensorRT-LLM“ yra geresnis pasirinkimas NVIDIA vartotojams, kalbant apie neapdorotą našumą, nors jį sudėtingiau konfigūruoti ir jis mažiau lankstus.
- Aukštos klasės testuose tokie varikliai kaip „SGLang“ ir „LMDeploy“ greičiu lenkia vLLM dėl vietinių C++ optimizavimų ir mažesnių orkestravimo sąnaudų.
Kai pasineriame į kalbos modelių diegimo dideliu mastu pasaulį, vienas iš dažniausiai kylančių galvos skausmų yra tai, kaip greitai daryti išvadas neištuštinant piniginės. Iš pradžių modelio perkėlimas iš laboratorijos į realią gamybinę aplinką yra didelis iššūkis, nes dirbtinio intelekto infrastruktūros efektyvumas lemia, ar paslauga veikia sklandžiai, ar ne, jei ji sugenda esant dideliam srautui.
Šiame scenarijuje atsirado įvairių įrankių, skirtų maksimaliai padidinti GPU našumą, o vLLM yra vienas populiariausių, nors jis konkuruoja ir su uždaresniais ar itin specializuotais sprendimais. Norint išvengti aklo pasirinkimo, labai svarbu suprasti, kad išvadų variklio pasirinkimas visiškai priklauso nuo to, ar teikiame pirmenybę diegimo paprastumui, suderinamumui su įvairia aparatine įranga, ar neapdorotam, nesugadintam našumui.
vLLM: universalus ir atviras standartas
Dėl savo dėmesio lankstumui vLLM įsitvirtino kaip nepakeičiamas įrankis. Didžiausias jos privalumas yra „PagedAttention“ sistema , kuri valdo GPU atmintį panašiai kaip operacinių sistemų virtualioji atmintis. Tai padeda išvengti vietos švaistymo su nenaudojamais žetonais, leidžia naudoti didesnius kontekstinius langus ir apdoroti daug daugiau vienu metu vykdomų užklausų be sistemos gedimų.
- Pagrindiniai privalumai: Jis išsiskiria tiesiogine integracija su „Hugging Face“, kuri labai palengvina darbo eigą, ir gebėjimu tvarkyti didelius duomenų paketus nepaprastai efektyviai.
- Silpnos vietos: Nors jis yra labai galingas, jis gali nepasiekti tokio maksimalaus našumo, kokį suteikia išskirtinai NVIDIA sukurti įrankiai, o jo procesoriaus palaikymas išlieka gana ribotas.
„TensorRT-LLM“: NVIDIA sunkioji artilerija
Jei norite išnaudoti visas „NVIDIA“ vaizdo plokštės galimybes, „TensorRT-LLM“ yra logiškas pasirinkimas. Tai ne bendrosios paskirties variklis, o specializuota biblioteka, kuri naudoja CUDA grafų optimizavimą ir sujungtus branduolius, kad paspartintų skaičiavimus. Sukurta sklandžiai integruotis su „Triton Inference Server“ ir „NeMo“, tai yra tikras perlas įmonių aplinkoms, jau integruotoms į „NVIDIA“ ekosistemą.
Skirtingai nuo vLLM, „TensorRT-LLM“ daugiausia dėmesio skiria branduolio lygio optimizavimui , palaikydama kvantavimo formatus, tokius kaip FP8 ir INT4. Tačiau šis potencialas turi savo kainą: mokymosi kreivė yra sudėtingesnė, konfigūracija sudėtingesnė ir, žinoma, ji skirta tik NVIDIA aparatinei įrangai , išskyrus AMD ir kitas alternatyvas.
Našumo akistata: vLLM, LMDeploy ir SGLang
Norint suprasti tikrąją vLLM padėtį, naudinga palyginti jį su kitais sunkiasvoriais, tokiais kaip SGLang ir LMDeploy, veikiančiais pažangiausioje techninėje įrangoje, konkrečiai NVIDIA H100. Neapdorotuose našumo testuose (žetonų per sekundę) buvo pastebėtas didelis architektūrinis skirtumas . Nors SGLang ir LMDeploy pasiekia beveik 16 200 tok/s greitį, vLLM, net ir su „FlashInfer“, svyruoja apie 12 500 tok/s.
Šis 29 % skirtumas atsiranda ne dėl matematinių skaičiavimų, o dėl orkestravimo pridėtinių sąnaudų . „SGLang“ naudoja „RadixAttention“ sudėtingiems šablonams apdoroti, o „LMDeploy“ pasikliauja gryna C++ posisteme („TurboMind“), kuri panaikina „Python“ naštą. vLLM, siekdama suderinamumo su daugeliu architektūrų ir siūlydama lanksčius papildinius, aukoja šiek tiek greičio, kad išlaikytų universalumą.
Trumpas vadovas, kaip pasirinkti išvadų variklį
Nėra vieno sprendimo, tačiau yra įrankis kiekvienai situacijai. Jei jums reikia greitai sukurti prototipą ir norite, kad jūsų modelis veiktų jau šiandien, naudojant paprastą PIP diegimą, vLLM yra geriausias jūsų sąjungininkas dėl savo ekosistemos ir palaikymo.
Jei turite specialų išvadų klasterį ir techninę komandą, galinčią tvarkyti sudėtingas priklausomybes, ir siekiate maksimalaus našumo , „SGLang“ yra tinkamas pasirinkimas. Tiems, kurie ieško pusiausvyros tarp stabilios gamybos ir H100 našumo be sudėtingo diegimo, „LMDeploy“ yra puikus pasirinkimas.
Techniniai aspektai ir diegimas
Įgyvendinimo metu yra detalių, kurios gali sukelti problemų. Pavyzdžiui, 95 % GPU atminties skyrimas dažnai sukelia sistemos klaidas fiksuojant CUDA grafiką. Geriausia naudoti 80 % saugos ribą , kad būtų užtikrintas stabilumas.
Siekiant paprastumo, tokios platformos kaip „Northflank“ leidžia paleisti šiuos variklius konteineriuose su GPU spartinimu , rankiniu būdu nekuriant infrastruktūros. Tai leidžia lygiagrečiai testuoti vLLM ir „TensorRT-LLM“, kad būtų galima palyginti, kuris iš jų veikia geriausiai prieš keičiant mastelį.
Galutinis sprendimas priklauso nuo pusiausvyros tarp diegimo paprastumo ir aparatinės įrangos optimizavimo. vLLM išsiskiria savo suderinamumu ir paprastumu , o „TensorRT-LLM“ ir „SGLang“ įveikia našumo barjerus aukščiausios klasės infrastruktūrose, maksimaliai padidindami atminties koalescenciją ir naudodami „Tensor Cores“, kad iš kiekvienos skaičiavimo valandos būtų išgaunama kuo daugiau naudos.
