- vLLM izceļas ar savu daudzpusību, ērtu integrāciju ar Hugging Face un efektīvu atmiņas sistēmu, izmantojot PagedAttention.
- TensorRT-LLM ir labākā izvēle neapstrādātas veiktspējas ziņā NVIDIA lietotājiem, lai gan to ir sarežģītāk konfigurēt un tas ir mazāk elastīgs.
- Augstas klases etalonos tādi dzinēji kā SGLang un LMDeploy pārspēj vLLM ātruma ziņā, pateicoties vietējām C++ optimizācijām un zemākām orķestrācijas izmaksām.
Iedziļinoties valodu modeļu izvietošanas pasaulē plašā mērogā, viena no biežākajām galvassāpēm ir tas, kā ātri izdarīt secinājumus, neiztukšojot savus maciņus. Sākotnēji modeļa pārvietošana no laboratorijas uz reālu ražošanas vidi ir liels izaicinājums, jo mākslīgā intelekta infrastruktūras efektivitāte ir tas, kas nosaka, vai pakalpojums darbojas strauji, vai tas avarē intensīvas satiksmes apstākļos.
Šajā scenārijā ir parādījušies dažādi rīki, kas paredzēti GPU veiktspējas maksimizēšanai, un vLLM ir viens no populārākajiem, lai gan tas konkurē tieši ar slēgtākiem vai īpaši specializētiem risinājumiem. Lai izvairītos no aklas izvēles, ir svarīgi saprast, ka secinājumu dzinēja izvēle ir pilnībā atkarīga no tā, vai mēs piešķiram prioritāti izvietošanas vienkāršībai, saderībai ar dažādu aparatūru vai neapstrādātai, nevainojamai veiktspējai.
vLLM: Daudzpusīgs un atvērts standarts
Pateicoties tā uzmanībai uz elastību, vLLM ir kļuvis par neaizstājamu rīku. Tā lielākā priekšrocība ir PagedAttention sistēma , kas pārvalda GPU atmiņu līdzīgi operētājsistēmu virtuālajai atmiņai. Tas novērš vietas izšķērdēšanu ar dīkstāves žetoniem, ļaujot izmantot lielākus konteksta logus un apstrādāt daudz vairāk vienlaicīgu pieprasījumu bez sistēmas avārijām.
- Galvenās priekšrocības: Tas izceļas ar tiešu integrāciju ar Hugging Face, kas ievērojami atvieglo darbplūsmu, un spēju apstrādāt lielas datu paketes ar ievērojamu efektivitāti.
- Vājās vietas: Lai gan tas ir ļoti jaudīgs, tas, iespējams, nesasniedz tādu maksimālo veiktspēju kā rīki, kas paredzēti tikai NVIDIA, un tā procesora atbalsts joprojām ir diezgan ierobežots.
TensorRT-LLM: NVIDIA smagā artilērija
Ja vēlaties pilnībā izmantot NVIDIA kartes jaudu, TensorRT-LLM ir loģiska izvēle. Tas nav universāls dzinējs, bet gan specializēta bibliotēka, kas izmanto CUDA grafu optimizācijas un apvienotus kodolus, lai paātrinātu skaitļošanu. Tas ir izstrādāts, lai nemanāmi integrētos ar Triton Inference Server un NeMo, un tas ir īsts dārgakmens uzņēmumu vidēm, kas jau ir iegrimušas NVIDIA ekosistēmā.
Atšķirībā no vLLM, TensorRT-LLM koncentrējas uz kodola līmeņa optimizāciju , atbalstot kvantizācijas formātus, piemēram, FP8 un INT4. Tomēr šai jaudai ir sava cena: mācīšanās līkne ir sarežģītāka, konfigurācija ir grūtāka, un tā acīmredzami ir ierobežota tikai ar NVIDIA aparatūru , izslēdzot AMD un jebkuras citas alternatīvas.
Veiktspējas salīdzinājums: vLLM salīdzinājumā ar LMDeploy un SGLang
Lai saprastu, kāda patiesībā ir vLLM pozīcija, ir lietderīgi to salīdzināt ar citiem smagsvariem, piemēram, SGLang un LMDeploy, uz modernākās aparatūras, īpaši NVIDIA H100. Neapstrādātos veiktspējas testos (tokeni sekundē) tika novērota ievērojama arhitektūras atšķirība . Kamēr SGLang un LMDeploy sasniedz rādītājus, kas tuvojas 16 200 tok/s, vLLM, pat ar FlashInfer, svārstās ap 12 500 tok/s.
Šī 29 % atšķirība nav saistīta ar matemātiskiem aprēķiniem, bet gan ar orķestrēšanas papildu slodzi . SGLang izmanto RadixAttention, lai apstrādātu sarežģītus modeļus, un LMDeploy paļaujas uz tīru C++ aizmugures sistēmu (TurboMind), kas novērš Python radīto slogu. vLLM, cenšoties būt saderīgs ar daudzām arhitektūrām un piedāvāt elastīgus spraudņus, upurē zināmu ātruma daļu , lai saglabātu daudzpusību.
Īsa pamācība secinājumu dzinēja izvēlē
Nav viena risinājuma, taču ir rīks katrai situācijai. Ja jums ir nepieciešams ātri izveidot prototipu un vēlaties, lai jūsu modelis darbotos jau šodien ar vienkāršu pip instalēšanu, vLLM ir jūsu labākais sabiedrotais, pateicoties tās ekosistēmai un atbalstam.
Ja jums ir paredzēts secinājumu klasteris un tehniskā komanda, kas spēj apstrādāt sarežģītas atkarības, un jūs meklējat maksimālu veiktspēju , SGLang ir īstā izvēle. Tiem, kas meklē līdzsvaru starp stabilu ražošanas vidi un H100 veiktspēju bez sarežģītas instalēšanas, LMDeploy ir laba izvēle.
Tehniskie apsvērumi un izvietošana
Ieviešanas laikā pastāv detaļas, kas var radīt problēmas. Piemēram, 95% GPU atmiņas piešķiršana bieži noved pie sistēmas kļūdām, uzņemot CUDA grafiku. Lai nodrošinātu stabilitāti, vislabāk ir izmantot 80% drošības rezervi .
Lai vienkāršotu lietas, tādas platformas kā Northflank ļauj darbināt šos dzinējus konteineros ar GPU paātrinājumu , manuāli neizveidojot infrastruktūru. Tas ļauj paralēli testēt vLLM un TensorRT-LLM, lai salīdzinātu, kurš darbojas vislabāk pirms mērogošanas.
Galīgais lēmums ir atkarīgs no līdzsvara atrašanas starp izvietošanas vienkāršību un aparatūras optimizāciju. vLLM izceļas ar savu saderību un vienkāršību , savukārt TensorRT-LLM un SGLang nojauc veiktspējas barjeras augstas klases infrastruktūrās, maksimāli palielinot atmiņas koalescenci un izmantojot Tensor kodolus, lai iegūtu maksimālu vērtību no katras skaitļošanas stundas.
