- A B200 kiemelkedik 180 GB HBM3e memóriájával és hatalmas, 8 TB/s sávszélességével.
- Bemutatkozik a Blackwell architektúra 5. generációs Tensor magokkal és natív FP4 pontossági támogatással.
- Következtetési teljesítményben messze felülmúlja a H100-at, drasztikusan csökkentve a tokenenkénti költséget.
- Az NVLink 5.0 összeköttetést használja a GPU-nként 1.8 TB/s kétirányú kommunikáció eléréséhez.
Ha szenvedélyesen rajongsz a legmodernebb hardverekért, biztosan hallottál már a Blackwell sorozat által képviselt kvantumugrásról . Az NVIDIA B200 nem csupán egy újabb frissítés; egy feldolgozó szörnyeteg , amelyet kifejezetten a mesterséges intelligencia memória- és számítási szűk keresztmetszeteinek kiküszöbölésére terveztek.
Ez a kártya az adatközpontok koronaékszereként jelenik meg, és a nagyméretű nyelvi modellek (LLM) ősi problémájának megoldására összpontosít. Forradalmi kialakításával és elődjeit megszégyenítő erejével a B200 gyerekjátékká teszi a modellek betanítását és telepítését ahhoz képest, amit néhány évvel ezelőtt még csináltunk.
Műszaki adatok és belső architektúra
A motorháztető alatt a B200 egy Blackwell architektúrán alapuló mérnöki remekmű. Kétlapkás GB100-as kialakítást alkalmaz , ahol két chipet egy 10 TB/s sebességű chip-chip összeköttetéssel egyesítenek, lehetővé téve az operációs rendszer számára, hogy egyetlen egységként ismerje fel. A TSMC 4NP eljárásával gyártják , és csillagászatilag 208.000 milliárd tranzisztort tartalmaz.
Renderelési konfigurációját tekintve 18 944 shader egységgel, 592 TMU-val és 24 ROP-pal rendelkezik. Alap órajelfrekvenciája 120 MHz, de akár 1830 MHz-ig is növelhető , míg a memória 2000 MHz-en működik. Ez a teljesítmény 1000 W TDP-t eredményez SXM formátumban, bár egyes implementációk a környezettől függően 700 W és 1000 W között változhatnak.
Memória és sávszélesség: a teljesítmény lelke
A B200 igazi erőssége az adatkezelése. 180 GB HBM3e memóriával büszkélkedhet , amely lehetővé teszi hatalmas modellek betöltését anélkül, hogy több GPU közötti fragmentációra kényszerülnénk. De nem csak a kapacitás a lényeg; a 8 TB/s sávszélesség is az, ami igazán megkülönbözteti a felhasználókat, és majdnem 2,4-szer nagyobb, mint a H100-é.
Egyszerűen fogalmazva, az LLM következtetés lényegében egy memóriaolvasási probléma. Minden egyes tokenek generálásakor a GPU-nak be kell olvasnia a modell teljes súlyozási tömbjét. Ezzel a sávszélességgel a B200 sokkal nagyobb tokengenerálási sebességet tud fenntartani , kiküszöbölve a 70B vagy több paraméterrel rendelkező modellekben jellemzően előforduló késéseket.
Számítástechnikai teljesítmény és az FP4-re való ugrás
A fő újítás az 5. generációs Tensor magok, amelyek natív támogatást nyújtanak az FP4 pontosságához . Ez a képesség kulcsfontosságú, mivel lehetővé teszi a memóriaigény 50%-os csökkentését az FP8-hoz képest, gyakorlatilag megduplázva a feldolgozható paraméterek számát. Nyers értékek szerint a B200 20 PetaFLOPS-ot ér el FP4-ben és 9 PetaFLOPS-ot FP8-ban.
A Hopper generációhoz képest az ugrás döbbenetes. Míg a H100 az alacsony pontosságú teljesítmény terén elmarad tőle, a B200 akár négyszeres következtetési teljesítményt is kínál . Ez drasztikusan alacsonyabb millió tokenenkénti költséget jelent, így sokkal jövedelmezőbbé teszi a nagymértékben kiszolgáló AI API-kat.
Közvetlen összehasonlítás: B200 vs H100 és H200
Ha azon tűnődsz, hogy megéri-e a frissítést, a rövid válasz igen, feltéve, hogy nagyméretű gépekről van szó. A H100 SXM5-höz képest, amely csak 80 GB VRAM-mal rendelkezik, a B200 több mint kétszer annyi memóriát kínál . Ez azt jelenti, hogy egy 70B-os Llama 3.1-es FP16-os build kényelmesen elfér egyetlen kártyán, elkerülve a tenzorpárhuzamosság bonyolultságát.
Még a H200-hoz képest is, amely már eleve előrelépést jelentett a memória tekintetében (141 GB), a B200 kétségkívül felülmúlja a 28%-kal több VRAM-mal és 67%-kal nagyobb sávszélességgel. Továbbá az NVLink 5.0 összeköttetés 1.8 TB/s-ra növeli a kétirányú kommunikációt, ami pontosan a duplája az NVLink 4.0-nak, lehetővé téve a közel lineáris skálázást 8 GPU-s konfigurációkban.
Infrastruktúra és energiaigény
Nem hagyhatjuk figyelmen kívül azt a tényt, hogy az ilyen teljesítmény mozgatása komoly infrastruktúrát igényel. Egy nyolc GPU-s B200 rendszer csak a feldolgozás során 7-8 kW közötti teljesítményt is fogyaszthat. Míg a léghűtés jól szellőző, nagy sűrűségű rackekben megvalósítható, a közvetlen folyadékhűtés erősen ajánlott a hardver hosszú élettartamának megőrzése és a hőfojtás elkerülése érdekében.
Csatlakoztathatóság szempontjából PCI-Express 6.0 x16 interfészt használ , és a szoftver ökoszisztéma teljes mértékben kompatibilis a CUDA 12.x és a cuDNN 9.x rendszerekkel. Bármely kód, ami már működik egy H100-on, változtatások nélkül fut egy B200-on is, bár az FP4 maximális kihasználásához a TensorRT-LLM 0.17+ vagy a vLLM frissített verzióinak használata szükséges.
Felhőköltség- és elérhetőségi elemzés
A GPU-bérlési piacon a B200 nagyon vonzó opcióként pozicionálta magát. Olyan platformokon, mint a RunPod vagy a Spheron, az igény szerinti bérlés ára jellemzően óránként 5,89 és 9,36 dollár között mozog, míg a spot példányok ára akár 5,34 dollárra is csökkenhet. Bár az óradíj magasabb, mint egy H100 esetében, a tokenenkénti hatékonyság olyan magas, hogy a szolgáltatás végső költsége általában jóval alacsonyabb.
A hatalmas kereslet és a közvetlen megvásárlásra váró több millió darabos függőben lévő egységek ellenére a felhő a leggyorsabb módja a Blackwell elérésének. A másodpercalapú számlázási lehetőség lehetővé teszi a fejlesztők számára, hogy teszteljék FP4 modelljeiket anélkül, hogy több millió dolláros fizikai infrastruktúra-szerződésekre kellene kötelezniük magukat.
Az NVIDIA B200 újraértelmezi, amit egy mesterséges intelligencia gyorsítótól elvárunk, a hatalmas HBM3e memóriát az úttörő FP4 támogatással és az ultragyors NVLink 5.0 összeköttetéssel ötvözve. A Hopper sorozat sávszélesség- és kapacitáskorlátait messze meghaladva a nagyméretű nyelvi modelleket kezelők számára a tökéletes eszközzé válik, optimalizálva mind a következtetési teljesítményt, mind a tokenenkénti üzemeltetési költségeket.