- De B200 onderscheidt zich door zijn 180 GB HBM3e-geheugen en een enorme bandbreedte van 8 TB/s.
- Maak kennis met de Blackwell-architectuur met 5e generatie Tensor-cores en native ondersteuning voor FP4-nauwkeurigheid.
- Het presteert aanzienlijk beter dan de H100 op het gebied van inferentieprestaties, waardoor de kosten per token drastisch worden verlaagd.
- Het maakt gebruik van de NVLink 5.0-interconnect om bidirectionele communicatie van 1.8 TB/s per GPU te realiseren.
Als je een liefhebber bent van de nieuwste hardware, heb je vast al gehoord over de enorme sprong voorwaarts die de Blackwell-serie vertegenwoordigt . De NVIDIA B200 is niet zomaar een upgrade; het is een processor van formaat, speciaal ontworpen om geheugen- en rekenknelpunten voor kunstmatige intelligentie te elimineren.
Deze kaart wordt gepresenteerd als het kroonjuweel voor datacenters en is gericht op het oplossen van het aloude probleem van grote taalmodellen (LLM). Met een baanbrekend ontwerp en een kracht die zijn voorgangers overtreft, maakt de B200 het trainen en implementeren van modellen een fluitje van een cent in vergelijking met wat we een paar jaar geleden nog deden.
Technische specificaties en interne architectuur
Onder de motorkap is de B200 een technisch meesterwerk gebaseerd op de Blackwell-architectuur. Hij maakt gebruik van een dual-chip GB100 -ontwerp, waarbij twee chips met elkaar verbonden zijn via een 10 TB/s chip-to-chip-interconnectie, waardoor het besturingssysteem ze als één geheel herkent. De chip wordt geproduceerd met behulp van TSMC 's 4NP-proces en bevat maar liefst 208.000 miljard transistors.
Wat de renderingconfiguratie betreft, beschikt de chip over 18.944 shader-eenheden, 592 TMU's en 24 ROP's. De basiskloksnelheid is 120 MHz, maar kan oplopen tot 1830 MHz , terwijl het geheugen op 2000 MHz werkt. Al dit vermogen resulteert in een TDP van 1000 W in de SXM-vormfactor, hoewel sommige implementaties kunnen variëren tussen 700 W en 1000 W, afhankelijk van de omgeving.
Geheugen en bandbreedte: het hart van prestaties
Waar de B200 echt in uitblinkt, is het databeheer. Hij beschikt over 180 GB HBM3e-geheugen , een hoeveelheid die het mogelijk maakt om enorme modellen te laden zonder dat de gegevens over meerdere GPU's worden verdeeld. Maar het is niet alleen de capaciteit; de bandbreedte van 8 TB/s maakt het verschil, bijna 2,4 keer groter dan die van de H100.
Simpel gezegd is LLM-inferentie in essentie een geheugenleesprobleem. Bij het genereren van elk token moet de GPU de volledige gewichtsarray van het model uitlezen. Met deze bandbreedte kan de B200 een veel hogere tokengeneratiesnelheid aanhouden , waardoor de vertragingen die doorgaans optreden bij modellen met 70B aan parameters of meer, worden geëlimineerd.
Rekenkracht en de sprong naar FP4
De belangrijkste innovatie is de 5e generatie Tensor-cores, die native ondersteuning bieden voor FP4-precisie . Deze mogelijkheid is cruciaal omdat het een geheugenbesparing van 50% oplevert ten opzichte van FP8, waardoor het aantal parameters dat verwerkt kan worden effectief verdubbelt. In absolute termen behaalt de B200 20 PetaFLOPS in FP4 en 9 PetaFLOPS in FP8.
Vergeleken met de Hopper-generatie is de sprong voorwaarts verbluffend. Hoewel de H100 tekortschiet in prestaties bij lage precisie, biedt de B200 tot wel vier keer betere inferentieprestaties . Dit vertaalt zich in aanzienlijk lagere kosten per miljoen tokens, waardoor het veel winstgevender wordt voor bedrijven die op grote schaal AI-API's aanbieden.
Directe vergelijking: B200 versus H100 en H200
Als je je afvraagt of de upgrade de moeite waard is, is het korte antwoord ja, mits je grote systemen bouwt. In vergelijking met de H100 SXM5, die slechts 80 GB VRAM heeft, biedt de B200 meer dan het dubbele geheugen . Dit betekent dat een Llama 3.1-systeem van 70 bytes in FP16 comfortabel op één kaart past, waardoor de complexiteit van tensorparallellisatie wordt vermeden.
Zelfs vergeleken met de H200, die al een verbetering was qua geheugen (141 GB), wint de B200 het met afstand met 28% meer VRAM en 67% hogere bandbreedte. Bovendien verhoogt de NVLink 5.0-interconnect de bidirectionele communicatie naar 1.8 TB/s, precies het dubbele van NVLink 4.0, waardoor bijna lineaire schaalbaarheid mogelijk is in configuraties met 8 GPU's.
Infrastructuur- en energiebehoeften
We kunnen niet negeren dat het verplaatsen van zoveel rekenkracht een serieuze infrastructuur vereist. Een B200-systeem met acht GPU's kan alleen al aan processorkracht tussen de 7 en 8 kW verbruiken. Hoewel luchtkoeling haalbaar is in goed geventileerde racks met een hoge dichtheid, wordt directe vloeistofkoeling sterk aanbevolen om de levensduur van de hardware te verlengen en thermische throttling te voorkomen.
Qua connectiviteit maakt het gebruik van een PCI-Express 6.0 x16- interface en is het software-ecosysteem volledig compatibel met CUDA 12.x en cuDNN 9.x. Alle code die al werkt op een H100 zal zonder aanpassingen op een B200 draaien, hoewel het voor optimaal gebruik van FP4 noodzakelijk is om TensorRT-LLM 0.17+ of bijgewerkte versies van vLLM te gebruiken.
Kosten- en beschikbaarheidsanalyse van de cloud
In de markt voor GPU-verhuur heeft de B200 zich gepositioneerd als een zeer aantrekkelijke optie. Op platforms zoals RunPod of Spheron variëren de prijzen voor on-demand gebruik doorgaans van $ 5,89 tot $ 9,36 per uur, terwijl spot-instances kunnen dalen tot slechts $ 5,34. Hoewel het uurtarief hoger is dan dat van een H100, is de efficiëntie per token zo hoog dat de uiteindelijke kosten van de dienst meestal veel lager uitvallen.
Ondanks de overweldigende vraag en de miljoenen units die direct besteld moeten worden, is de cloud de snelste manier om toegang te krijgen tot Blackwell. De mogelijkheid om per seconde te factureren stelt ontwikkelaars in staat hun FP4-modellen te testen zonder zich vast te leggen op miljoenencontracten voor fysieke infrastructuur.
De NVIDIA B200 herdefinieert wat we verwachten van een AI-accelerator, door een enorm HBM3e-geheugen te combineren met baanbrekende FP4-ondersteuning en een ultrasnelle NVLink 5.0-interconnect. De B200 overtreft de bandbreedte- en capaciteitsbeperkingen van de Hopper-serie ruimschoots en is daarmee de ultieme tool voor diegenen die grootschalige taalmodellen beheren, waarbij zowel de inferentieprestaties als de operationele kosten per token worden geoptimaliseerd.