- B200 dallohet për 180 GB memorie HBM3e dhe një gjerësi bande masive prej 8 TB/s.
- Prezantimi i arkitekturës Blackwell me bërthama Tensor të gjeneratës së 5-të dhe mbështetje native për saktësinë FP4.
- Ai e tejkalon shumë H100 në performancën e përfundimit, duke ulur në mënyrë drastike koston për token.
- Përdor ndërlidhjen NVLink 5.0 për të arritur komunikim dypalësh prej 1.8 TB/s për GPU.
Nëse jeni të apasionuar pas pajisjeve të teknologjisë së fundit, me siguri keni dëgjuar tashmë për hapin kuantik që përfaqëson seria Blackwell . NVIDIA B200 nuk është thjesht një përmirësim tjetër; është një "bishë" përpunimi e projektuar posaçërisht për të eliminuar pengesat e memories dhe llogaritjes për inteligjencën artificiale.
Kjo kartë paraqitet si xhevahiri i kurorës për qendrat e të dhënave, duke u përqendruar në zgjidhjen e problemit të vjetër të modeleve të mëdha gjuhësore (LLM). Me një dizajn dhe fuqi shkatërruese që i turpëron paraardhësit e saj, B200 e bën trajnimin dhe vendosjen e modeleve shumë të lehtë krahasuar me atë që bënim vetëm disa vjet më parë.
Specifikimet Teknike dhe Arkitektura e Brendshme
Në brendësi, B200 është një kryevepër inxhinierike e bazuar në arkitekturën Blackwell. Ai përdor një dizajn GB100 me dy çipa , ku dy matrica bashkohen nëpërmjet një ndërlidhjeje çip-me-çip 10 TB/s, duke i lejuar sistemit operativ ta njohë atë si një njësi të vetme. Është prodhuar duke përdorur procesin 4NP të TSMC dhe përmban një numër astronomik prej 208.000 miliardë transistorësh.
Lidhur me konfigurimin e renderimit, ai përmban 18.944 njësi shader, 592 TMU dhe 24 ROP. Shpejtësia e tij bazë e orës është 120 MHz, por mund të rritet deri në 1830 MHz , ndërsa memoria funksionon në 2000 MHz. E gjithë kjo fuqi dalëse rezulton në një TDP prej 1000W në faktorin e formës SXM, megjithëse disa implementime mund të ndryshojnë midis 700W dhe 1000W në varësi të mjedisit.
Memoria dhe Bandwidth: Zemra e Performancës
Aty ku B200 shkëlqen vërtet është menaxhimi i të dhënave. Ai krenohet me 180 GB memorie HBM3e , një sasi që lejon ngarkimin e modeleve masive pa iu drejtuar fragmentimit nëpër GPU të shumëfishta. Por nuk është vetëm kapaciteti; gjerësia e brezit prej 8 TB/s është ajo që bën diferencën, duke qenë pothuajse 2,4 herë më e madhe se ajo e H100.
Thënë thjesht, përfundimi LLM është në thelb një problem i leximit të memories. Kur gjenerohet çdo token, GPU duhet të lexojë të gjithë vargun e peshave të modelit. Me këtë gjerësi bande, B200 mund të mbajë një shpejtësi shumë më të lartë të gjenerimit të tokenëve , duke eliminuar vonesat që zakonisht shfaqen në modelet me 70B parametra ose më shumë.
Fuqia Kompjuterike dhe Kalimi drejt Programit 4
Risia kryesore janë bërthamat Tensor të gjeneratës së 5-të, të cilat prezantojnë mbështetje native për precizitetin e FP4 . Kjo aftësi është thelbësore sepse lejon një reduktim prej 50% të gjurmës së memories krahasuar me FP8, duke dyfishuar në mënyrë efektive numrin e parametrave që mund të përpunohen. Në terma të papërpunuar, B200 arrin 20 PetaFLOPS në FP4 dhe 9 PetaFLOPS në FP8.
Krahasuar me gjeneratën Hopper, ky hap është marramendës. Ndërsa H100 nuk arrin performancën me precizion të ulët, B200 ofron deri në katër herë performancën e inferencës . Kjo përkthehet në një kosto drastikisht më të ulët për milion tokena, duke e bërë atë shumë më fitimprurës për kompanitë që shërbejnë API-të e IA-së në shkallë të gjerë.
Krahasim i drejtpërdrejtë: B200 kundrejt H100 dhe H200
Nëse po mendoni nëse ia vlen të bëni përmirësimin, përgjigjja e shkurtër është po, me kusht që versionet tuaja të jenë të mëdha. Krahasuar me H100 SXM5, i cili ka vetëm 80 GB VRAM, B200 ofron më shumë se dyfishin e memories . Kjo do të thotë që një version Llama 3.1 me 70 GB në FP16 mund të përshtatet lehtësisht në një kartë të vetme, duke shmangur kompleksitetin e paralelizmit tensorik.
Edhe krahasuar me H200, i cili ishte tashmë një përmirësim në memorie (141 GB), B200 fiton pa dyshim me 28% më shumë VRAM dhe 67% bandwidth më të lartë. Për më tepër, ndërlidhja NVLink 5.0 rrit komunikimin dypalësh në 1.8 TB/s, saktësisht dyfishi i asaj të NVLink 4.0, duke mundësuar shkallëzim pothuajse linear në konfigurime me 8 GPU.
Kërkesat për Infrastrukturë dhe Energji
Nuk mund ta injorojmë faktin se transportimi i një fuqie të tillë kërkon një infrastrukturë serioze. Një sistem B200 me tetë GPU mund të konsumojë midis 7 dhe 8 kW vetëm në përpunim. Ndërsa ftohja me ajër është e zbatueshme në rafte me dendësi të lartë dhe të ajrosura mirë, ftohja direkte me lëng rekomandohet fuqimisht për të ruajtur jetëgjatësinë e harduerit dhe për të parandaluar mbytjen termike.
Për sa i përket lidhshmërisë, përdor një ndërfaqe PCI-Express 6.0 x16 , dhe ekosistemi i softuerit është plotësisht i pajtueshëm me CUDA 12.x dhe cuDNN 9.x. Çdo kod që tashmë funksionon në një H100 do të funksionojë në një B200 pa ndryshime, megjithëse për të përfituar sa më shumë nga FP4, është e nevojshme të përdorni TensorRT-LLM 0.17+ ose versione të përditësuara të vLLM.
Analiza e Kostos dhe Disponueshmërisë së Cloud-it
Në tregun e qirasë së GPU-ve, B200 është pozicionuar si një opsion shumë tërheqës. Në platforma si RunPod ose Spheron, çmimet sipas kërkesës zakonisht variojnë nga 5,89 dollarë në 9,36 dollarë në orë, ndërsa instancat spot mund të bien deri në 5,34 dollarë. Edhe pse tarifa orare është më e lartë se një H100, efikasiteti për token është aq i lartë sa kostoja përfundimtare e shërbimit është zakonisht shumë më e ulët.
Pavarësisht kërkesës së madhe dhe miliona njësive të pazgjidhura për blerje të drejtpërdrejtë, cloud është mënyra më e shpejtë për të aksesuar Blackwell. Opsioni i faturimit për sekondë u lejon zhvilluesve të testojnë modelet e tyre FP4 pa u angazhuar në kontrata infrastrukture fizike me vlerë shumë milionë dollarë.
NVIDIA B200 ripërcakton atë që presim nga një përshpejtues i IA-së, duke kombinuar memorien masive HBM3e me mbështetjen inovative FP4 dhe ndërlidhjen ultra të shpejtë NVLink 5.0. Duke tejkaluar shumë kufizimet e bandwidth-it dhe kapacitetit të serisë Hopper, ajo bëhet mjeti përfundimtar për ata që menaxhojnë modele gjuhësore në shkallë të gjerë, duke optimizuar si performancën e inferencës ashtu edhe kostot operative për token.