- Namumukod-tangi ang B200 dahil sa 180 GB ng HBM3e memory at sa napakalaking bandwidth na 8 TB/s.
- Ipinakikilala ang arkitekturang Blackwell na may ika-5 henerasyong Tensor cores at katutubong suporta para sa katumpakan ng FP4.
- Malayo nitong nalampasan ang H100 sa inference performance, na lubhang nakakabawas sa gastos kada token.
- Gumagamit ito ng NVLink 5.0 interconnect upang makamit ang bidirectional communication na 1.8 TB/s bawat GPU.
Kung mahilig ka sa makabagong hardware, tiyak na narinig mo na ang tungkol sa malaking pagbabago na kinakatawan ng seryeng Blackwell . Ang NVIDIA B200 ay hindi lamang isang simpleng upgrade; ito ay isang processing beast na partikular na idinisenyo upang alisin ang mga bottleneck sa memorya at compute para sa artificial intelligence.
Ang card na ito ay inihaharap bilang pinakamagandang hiyas para sa mga data center, na nakatuon sa paglutas ng matagal nang problema ng mga large language model (LLM). Taglay ang nakakagambalang disenyo at lakas na nagpapahiya sa mga nauna rito, ginagawang madali ng B200 ang pagsasanay at pag-deploy ng mga modelo kumpara sa ginagawa namin ilang taon pa lamang ang nakalilipas.
Mga Teknikal na Espesipikasyon at Panloob na Arkitektura
Sa ilalim ng hood, ang B200 ay isang obra maestra ng inhinyeriya na batay sa arkitektura ng Blackwell. Gumagamit ito ng dual-chip na disenyo ng GB100 , kung saan ang dalawang die ay pinagsasama sa pamamagitan ng 10 TB/s chip-to-chip interconnect, na nagpapahintulot sa operating system na makilala ito bilang isang solong yunit. Ginagawa ito gamit ang prosesong 4NP ng TSMC at naglalaman ng isang astronomikal na 208.000 bilyong transistor.
Tungkol sa rendering configuration nito, nagtatampok ito ng 18.944 shader units, 592 TMUs, at 24 ROPs. Ang base clock speed nito ay 120 MHz, ngunit maaari itong mag-boost ng hanggang 1830 MHz , habang ang memory ay gumagana sa 2000 MHz. Ang lahat ng power output na ito ay nagreresulta sa TDP na 1000W sa SXM form factor nito, bagama't ang ilang implementasyon ay maaaring mag-iba sa pagitan ng 700W at 1000W depende sa kapaligiran.
Memorya at Bandwidth: Ang Puso ng Pagganap
Ang tunay na katangian ng B200 ay ang pamamahala ng datos nito. Ipinagmamalaki nito ang 180 GB ng HBM3e memory , isang dami na nagbibigay-daan para sa pagkarga ng malalaking modelo nang hindi kinakailangang hatiin ang mga ito sa maraming GPU. Ngunit hindi lamang ang kapasidad nito; ang 8 TB/s bandwidth ang siyang nagpapaiba, na halos 2,4 beses na mas malaki kaysa sa H100.
Sa madaling salita, ang LLM inference ay mahalagang isang problema sa pagbabasa ng memorya. Kapag bumubuo ng bawat token, dapat basahin ng GPU ang buong weight array ng modelo. Gamit ang bandwidth na ito, maaaring mapanatili ng B200 ang mas mataas na bilis ng pagbuo ng token , na nag-aalis ng mga pagkaantala na karaniwang lumilitaw sa mga modelo na may 70B ng mga parameter o higit pa.
Lakas ng Pag-compute at ang Paglukso sa FP4
Ang pangunahing inobasyon ay ang ika-5 henerasyon ng mga Tensor core, na nagpapakilala ng katutubong suporta para sa katumpakan ng FP4 . Mahalaga ang kakayahang ito dahil nagbibigay-daan ito para sa 50% na pagbawas sa memory footprint kumpara sa FP8, na epektibong nagdodoble sa bilang ng mga parameter na maaaring iproseso. Sa madaling salita, ang B200 ay nakakamit ng 20 PetaFLOPS sa FP4 at 9 na PetaFLOPS sa FP8.
Kung ikukumpara sa henerasyon ng Hopper, ang pag-unlad ay kahanga-hanga. Bagama't ang H100 ay kulang sa mababang katumpakan na pagganap, ang B200 ay nag-aalok ng hanggang apat na beses na mas mataas na pagganap ng inference . Ito ay isinasalin sa isang lubhang mas mababang cost per million tokens, na ginagawa itong mas kumikita para sa mga kumpanyang nagseserbisyo ng mga AI API sa malawakang saklaw.
Direktang Paghahambing: B200 vs H100 at H200
Kung iniisip mo kung sulit bang mag-upgrade, ang maikling sagot ay oo, basta't malalaki ang iyong mga build. Kung ikukumpara sa H100 SXM5, na mayroon lamang 80GB ng VRAM, ang B200 ay nag-aalok ng higit sa dobleng memory . Nangangahulugan ito na ang isang 70B Llama 3.1 build sa FP16 ay komportableng magkakasya sa isang card, na nakakaiwas sa pagiging kumplikado ng tensor parallelism.
Kahit na kumpara sa H200, na mas mahusay na ang memorya (141 GB), panalo pa rin ang B200 dahil sa 28% na mas mataas na VRAM at 67% na mas mataas na bandwidth. Bukod pa rito, pinapalakas ng NVLink 5.0 interconnect ang bidirectional communication sa 1.8 TB/s, eksaktong doble kaysa sa NVLink 4.0, na nagbibigay-daan sa halos linear scaling sa 8-GPU configurations.
Mga Pangangailangan sa Imprastraktura at Enerhiya
Hindi natin maaaring balewalain ang katotohanan na ang paglipat ng ganitong kuryente ay nangangailangan ng isang seryosong imprastraktura. Ang isang walong-GPU B200 system ay maaaring kumonsumo ng nasa pagitan ng 7 at 8 kW sa pagproseso lamang. Bagama't ang pagpapalamig ng hangin ay maaaring gawin sa mga well-ventilated at high-density rack, ang direktang paglamig ng likido ay lubos na inirerekomenda upang mapanatili ang mahabang buhay ng hardware at maiwasan ang thermal throttling.
Sa usapin ng koneksyon, gumagamit ito ng PCI-Express 6.0 x16 interface , at ang software ecosystem ay ganap na tugma sa CUDA 12.x at cuDNN 9.x. Anumang code na gumagana na sa isang H100 ay tatakbo sa isang B200 nang walang pagbabago, bagaman upang masulit ang FP4, kinakailangang gumamit ng TensorRT-LLM 0.17+ o mga na-update na bersyon ng vLLM.
Pagsusuri ng Gastos at Availability ng Cloud
Sa merkado ng pagrenta ng GPU, ang B200 ay naging isang kaakit-akit na opsyon. Sa mga platform tulad ng RunPod o Spheron, ang mga presyong on-demand ay karaniwang mula $5,89 hanggang $9,36 kada oras, habang ang mga spot instances ay maaaring bumaba sa kasingbaba ng $5,34. Bagama't ang oras-oras na singil ay mas mataas kaysa sa isang H100, ang kahusayan kada token ay napakataas kaya ang huling halaga ng serbisyo ay karaniwang mas mababa.
Sa kabila ng napakalaking demand at milyun-milyong unit na naka-backlog para sa direktang pagbili, ang cloud ang pinakamabilis na paraan para ma-access ang Blackwell. Ang opsyon ng per-second billing ay nagbibigay-daan sa mga developer na subukan ang kanilang mga FP4 model nang hindi na kinakailangang magbayad ng milyun-milyong dolyar na kontrata sa pisikal na imprastraktura.
Binabago ng NVIDIA B200 ang inaasahan natin mula sa isang AI accelerator, pinagsasama ang napakalaking HBM3e memory na may makabagong suporta sa FP4 at napakabilis na NVLink 5.0 interconnect. Sa pamamagitan ng higit na paglampas sa mga limitasyon ng bandwidth at kapasidad ng serye ng Hopper, ito ang nagiging pinakamahusay na tool para sa mga namamahala ng malalaking modelo ng wika, na ino-optimize ang parehong pagganap ng inference at mga gastos sa pagpapatakbo bawat token.