- vLLM shquhet për shkathtësinë e tij, lehtësinë e integrimit me Hugging Face dhe një sistem efikas memorieje duke përdorur PagedAttention.
- TensorRT-LLM është opsioni më i mirë në performancën RAW për përdoruesit e NVIDIA, megjithëse është më kompleks për t'u konfiguruar dhe më pak fleksibël.
- Në testet e nivelit të lartë, motorët si SGLang dhe LMDeploy performojnë më mirë se vLLM në shpejtësi për shkak të optimizimeve native C++ dhe kostos më të ulët të orkestrimit.
Kur futemi në botën e vendosjes së modeleve gjuhësore në shkallë të gjerë, një nga problemet më të zakonshme është se si të nxjerrim përfundime shpejt pa i zbrazur portofolet tona. Fillimisht, zhvendosja e një modeli nga laboratori në një mjedis real prodhimi është një sfidë e madhe, pasi efikasiteti në infrastrukturën e IA-së është ajo që bën ndryshimin midis një shërbimi që fluturon dhe një shërbimi që rrëzohet për shkak të trafikut të rënduar.
Në këtë skenar, kanë dalë mjete të ndryshme të dizajnuara për të maksimizuar performancën e GPU-së, ku vLLM është një nga më të njohurat, megjithëse konkurron kokë më kokë me zgjidhje më të mbyllura ose ultra të specializuara. Për të shmangur bërjen e një zgjedhjeje të verbër, është thelbësore të kuptohet se zgjedhja e një motori inference varet tërësisht nga fakti nëse i japim përparësi lehtësisë së vendosjes, përputhshmërisë me harduer të ndryshëm apo performancës së papërpunuar dhe të pandryshuar.
vLLM: Standardi i gjithanshëm dhe i hapur
vLLM është vendosur si një mjet i domosdoshëm falë fokusit të tij në fleksibilitet. Forca e tij më e madhe është sistemi PagedAttention , i cili menaxhon memorien GPU në mënyrë të ngjashme me memorien virtuale të sistemeve operative. Kjo parandalon humbjen e hapësirës me tokena boshe, duke lejuar dritare më të mëdha konteksti dhe përpunimin e shumë më tepër kërkesave të njëkohshme pa rrëzime të sistemit.
- Përparësitë kryesore: Ai dallohet për integrimin e tij të drejtpërdrejtë me Hugging Face, i cili lehtëson shumë rrjedhën e punës, si dhe aftësinë e tij për të trajtuar grupe të mëdha të dhënash me efikasitet të jashtëzakonshëm.
- Pikat e dobëta: Edhe pse është shumë i fuqishëm, mund të mos arrijë performancën maksimale të mjeteve të dizajnuara ekskluzivisht për NVIDIA, dhe mbështetja e CPU-së mbetet mjaft e kufizuar.
TensorRT-LLM: Artileria e rëndë e NVIDIA-s
Nëse doni të zhbllokoni çdo grimcë të fundit të fuqisë nga një kartë NVIDIA, TensorRT-LLM është zgjedhja logjike. Nuk është një motor për qëllime të përgjithshme, por një bibliotekë e specializuar që përdor optimizime grafikësh CUDA dhe bërthama të shkrira për të përshpejtuar llogaritjen. I projektuar për t'u integruar pa probleme me Triton Inference Server dhe NeMo, është perla e kurorës për mjediset e ndërmarrjeve që tashmë janë të zhytura në ekosistemin NVIDIA.
Ndryshe nga vLLM, TensorRT-LLM përqendrohet në optimizimin në nivel bërthame , duke mbështetur formatet e kuantizimit si FP8 dhe INT4. Megjithatë, kjo fuqi vjen me një çmim: kurba e të mësuarit është më komplekse, konfigurimi është më i vështirë dhe padyshim kufizohet ekskluzivisht në harduerin NVIDIA , duke përjashtuar AMD dhe çdo alternativë tjetër.
Përballja e performancës: vLLM kundrejt LMDeploy dhe SGLang
Për të kuptuar se ku qëndron vërtet vLLM, është e dobishme ta krahasojmë atë me harduer të tjerë të fuqishëm si SGLang dhe LMDeploy në pajisje të përparuara, konkretisht një NVIDIA H100. Në testet e performancës bruto (tokena për sekondë), u vu re një boshllëk i konsiderueshëm arkitekturor . Ndërsa SGLang dhe LMDeploy arrijnë shifra afër 16.200 tok/s, vLLM, edhe me FlashInfer, luhatet rreth 12.500 tok/s.
Ky ndryshim prej 29% nuk është për shkak të llogaritjeve matematikore, por përkundrazi për shkak të mbingarkesës së orkestrimit . SGLang përdor RadixAttention për të trajtuar modele komplekse, dhe LMDeploy mbështetet në një backend të pastër C++ (TurboMind) që eliminon barrën e Python. vLLM, në përpjekjen e saj për të qenë e pajtueshme me shumë arkitektura dhe për të ofruar plugin fleksibël, sakrifikon disi shpejtësinë për të ruajtur shkathtësinë.
Udhëzues i shpejtë për zgjedhjen e motorit tuaj të përfundimit
Nuk ka një zgjidhje të vetme, por ekziston një mjet për çdo situatë. Nëse keni nevojë të krijoni një prototip shpejt dhe dëshironi që modeli juaj të jetë gati sot me një instalim të thjeshtë të pip-it, vLLM është aleati juaj më i mirë falë ekosistemit dhe mbështetjes së tij.
Nëse keni një klaster të dedikuar për nxjerrjen e përfundimeve dhe një ekip teknik të aftë për të trajtuar varësi komplekse, dhe po kërkoni performancë maksimale , SGLang është zgjidhja ideale. Për ata që kërkojnë një ekuilibër midis prodhimit të qëndrueshëm dhe performancës H100 pa instalime të ndërlikuara, LMDeploy është një opsion i mirë.
Konsideratat teknike dhe vendosja
Gjatë implementimit, ka detaje që mund të shkaktojnë probleme. Për shembull, caktimi i 95% të memories GPU shpesh çon në gabime të sistemit gjatë kapjes së grafikut CUDA. Është më mirë të përdorni një diferencë sigurie prej 80% për të siguruar stabilitet.
Për ta thjeshtuar punën, platforma si Northflank ju lejojnë t’i përdorni këto motorë në kontejnerë me përshpejtim GPU pa konfiguruar manualisht infrastrukturën. Kjo bën të mundur testimin paralel të vLLM dhe TensorRT-LLM për të krahasuar se cili performon më mirë para shkallëzimit.
Vendimi përfundimtar varet nga gjetja e ekuilibrit midis lehtësisë së vendosjes dhe optimizimit të harduerit. vLLM shquhet për përputhshmërinë dhe thjeshtësinë e saj , ndërsa TensorRT-LLM dhe SGLang thyejnë barrierat e performancës në infrastrukturat e nivelit të lartë, duke maksimizuar bashkimin e memories dhe përdorimin e Tensor Cores për të nxjerrë vlerën maksimale nga çdo orë e informatikës.
