- B200 izstopa po 180 GB pomnilnika HBM3e in ogromni pasovni širini 8 TB/s.
- Predstavljamo arhitekturo Blackwell s 5. generacijo jeder Tensor in izvorno podporo za natančnost FP4.
- V zmogljivosti sklepanja daleč presega H100, kar drastično znižuje stroške na žeton.
- Uporablja medsebojno povezavo NVLink 5.0 za doseganje dvosmerne komunikacije s hitrostjo 1.8 TB/s na grafični procesor.
Če ste navdušeni nad najsodobnejšo strojno opremo, ste zagotovo že slišali za kvantni preskok, ki ga predstavlja serija Blackwell . NVIDIA B200 ni le še ena nadgradnja; je procesorska zver , posebej zasnovana za odpravo ozkih grl pomnilnika in računalništva za umetno inteligenco.
Ta kartica je predstavljena kot kronski dragulj za podatkovne centre, saj se osredotoča na reševanje večnega problema velikih jezikovnih modelov (LLM). Z disruptivno zasnovo in zmogljivostjo, ki zasramuje njene predhodnike, B200 olajša učenje in uvajanje modelov v primerjavi s tem, kar smo počeli le nekaj let nazaj.
Tehnične specifikacije in notranja arhitektura
Pod pokrovom je B200 inženirska mojstrovina, ki temelji na arhitekturi Blackwell. Uporablja dvočipno zasnovo GB100 , kjer sta dva čipa združena prek povezave med čipi s hitrostjo 10 TB/s, kar operacijskemu sistemu omogoča, da ga prepozna kot eno samo enoto. Izdelan je po TSMC -jevem 4NP postopku in vsebuje astronomskih 208.000 milijard tranzistorjev.
Kar zadeva konfiguracijo upodabljanja, ima 18.944 senčilnih enot, 592 TMU-jev in 24 ROP-ov. Njegova osnovna taktna frekvenca je 120 MHz, vendar jo je mogoče povečati do 1830 MHz , medtem ko pomnilnik deluje na 2000 MHz. Vsa ta izhodna moč pomeni TDP 1000 W v obliki SXM, čeprav se nekatere izvedbe lahko razlikujejo med 700 W in 1000 W, odvisno od okolja.
Pomnilnik in pasovna širina: srce zmogljivosti
B200 resnično blesti pri upravljanju podatkov. Ponaša se s 180 GB pomnilnika HBM3e , kar omogoča nalaganje ogromnih modelov brez fragmentacije med več grafičnimi procesorji. Vendar ni samo zmogljivost; razlika je v pasovni širini 8 TB/s , ki je skoraj 2,4-krat večja kot pri H100.
Preprosto povedano, sklepanje LLM je v bistvu problem branja pomnilnika. Pri generiranju vsakega žetona mora grafični procesor prebrati celotno polje uteži modela. S to pasovno širino lahko B200 vzdržuje veliko višjo hitrost generiranja žetonov , s čimer se odpravijo zamude, ki se običajno pojavijo pri modelih s 70 B parametrov ali več.
Računalniška moč in preskok na 4. okvirni program
Glavna inovacija so jedra Tensor 5. generacije, ki uvajajo izvorno podporo za natančnost FP4 . Ta zmogljivost je ključnega pomena, saj omogoča 50-odstotno zmanjšanje pomnilniškega odtisa v primerjavi s FP8, kar učinkovito podvoji število parametrov, ki jih je mogoče obdelati. V surovem stanju B200 doseže 20 PetaFLOPS v FP4 in 9 PetaFLOPS v FP8.
V primerjavi z generacijo Hopper je preskok osupljiv. Medtem ko H100 zaostaja pri nizki natančnosti, B200 ponuja do štirikrat boljšo zmogljivost sklepanja . To pomeni drastično nižje stroške na milijon žetonov, zaradi česar je veliko bolj dobičkonosen za podjetja, ki v velikem obsegu ponujajo API-je umetne inteligence.
Neposredna primerjava: B200 proti H100 in H200
Če se sprašujete, ali se splača nadgraditi, je kratek odgovor pritrdilen, če so vaše konfiguracije velike. V primerjavi s H100 SXM5, ki ima le 80 GB VRAM-a, B200 ponuja več kot dvakrat več pomnilnika . To pomeni, da se 70B konfiguracija Llama 3.1 v FP16 udobno prilega na eno samo kartico, s čimer se izognete zapletenosti tenzorskega paralelizma.
Tudi v primerjavi s H200, ki je že tako predstavljal izboljšavo pomnilnika (141 GB), B200 nedvomno zmaga z 28 % več VRAM-a in 67 % večjo pasovno širino. Poleg tega povezava NVLink 5.0 poveča dvosmerno komunikacijo na 1.8 TB/s, kar je natanko dvakrat več kot pri NVLink 4.0, kar omogoča skoraj linearno skaliranje v konfiguracijah z 8 grafičnimi procesorji.
Zahteve glede infrastrukture in energije
Ne moremo prezreti dejstva, da prenos takšne moči zahteva resno infrastrukturo. Sistem B200 z osmimi grafičnimi procesorji lahko samo pri obdelavi porabi med 7 in 8 kW. Čeprav je zračno hlajenje izvedljivo v dobro prezračevanih omarah z visoko gostoto, je za ohranjanje dolge življenjske dobe strojne opreme in preprečevanje termičnega dušenja močno priporočljivo neposredno tekoče hlajenje.
Kar zadeva povezljivost, uporablja vmesnik PCI-Express 6.0 x16 , programski ekosistem pa je popolnoma združljiv s CUDA 12.x in cuDNN 9.x. Vsaka koda, ki že deluje na H100, bo delovala na B200 brez sprememb, čeprav je za kar najboljši izkoristek FP4 potrebno uporabiti TensorRT-LLM 0.17+ ali posodobljene različice vLLM.
Analiza stroškov in razpoložljivosti oblaka
Na trgu najema grafičnih procesorjev se je B200 pozicioniral kot zelo privlačna možnost. Na platformah, kot sta RunPod ali Spheron, se cene na zahtevo običajno gibljejo med 5,89 in 9,36 dolarja na uro, medtem ko se lahko spot instance spustijo vse do 5,34 dolarja. Čeprav je urna postavka višja kot pri H100, je učinkovitost na žeton tako visoka, da so končni stroški storitve običajno precej nižji.
Kljub ogromnemu povpraševanju in milijonom enot, ki čakajo na neposreden nakup, je oblak najhitrejši način za dostop do Blackwella. Možnost obračunavanja na sekundo razvijalcem omogoča, da preizkusijo svoje modele FP4, ne da bi se zavezali k večmilijonskim pogodbam za fizično infrastrukturo.
NVIDIA B200 na novo opredeljuje naša pričakovanja od pospeševalnika umetne inteligence, saj združuje ogromen pomnilnik HBM3e z revolucionarno podporo za FP4 in ultra hitro medsebojno povezavo NVLink 5.0. Z močnim preseganjem omejitev pasovne širine in zmogljivosti serije Hopper postaja vrhunsko orodje za tiste, ki upravljajo obsežne jezikovne modele, saj optimizira tako zmogljivost sklepanja kot obratovalne stroške na žeton.