- B200 menonjol berkat memori HBM3e 180 GB dan bandwidth yang sangat besar yaitu 8 TB/s.
- Memperkenalkan arsitektur Blackwell dengan inti Tensor generasi ke-5 dan dukungan asli untuk akurasi FP4.
- Performa inferensinya jauh melampaui H100, dan secara drastis mengurangi biaya per token.
- Perangkat ini menggunakan interkoneksi NVLink 5.0 untuk mencapai komunikasi dua arah sebesar 1.8 TB/s per GPU.
Jika Anda menyukai perangkat keras mutakhir, Anda pasti sudah mendengar tentang lompatan kuantum yang diwakili oleh seri Blackwell . NVIDIA B200 bukan sekadar peningkatan biasa; ini adalah mesin pemrosesan yang dirancang khusus untuk menghilangkan hambatan memori dan komputasi untuk kecerdasan buatan.
Kartu ini dipresentasikan sebagai permata mahkota untuk pusat data, yang berfokus pada penyelesaian masalah lama model bahasa besar (LLM). Dengan desain yang revolusioner dan kekuatan yang membuat pendahulunya malu, B200 membuat pelatihan dan penerapan model menjadi sangat mudah dibandingkan dengan apa yang kita lakukan beberapa tahun yang lalu.
Spesifikasi Teknis dan Arsitektur Internal
Di balik bodinya, B200 adalah mahakarya teknik yang berbasis pada arsitektur Blackwell. Ia menggunakan desain GB100 dual-chip , di mana dua die digabungkan melalui interkoneksi chip-ke-chip 10 TB/s, memungkinkan sistem operasi untuk mengenalinya sebagai satu unit tunggal. Proses manufakturnya menggunakan TSMC 4NP dan memiliki jumlah transistor yang sangat besar, yaitu 208.000 miliar transistor.
Mengenai konfigurasi rendering-nya, ia memiliki 18.944 unit shader, 592 TMU, dan 24 ROP. Kecepatan clock dasarnya adalah 120 MHz, tetapi dapat ditingkatkan hingga 1830 MHz , sementara memori beroperasi pada 2000 MHz. Semua daya keluaran ini menghasilkan TDP sebesar 1000W dalam faktor bentuk SXM-nya, meskipun beberapa implementasi dapat bervariasi antara 700W dan 1000W tergantung pada lingkungannya.
Memori dan Bandwidth: Jantung Kinerja
Keunggulan utama B200 terletak pada manajemen datanya. Ia memiliki memori HBM3e sebesar 180 GB , jumlah yang memungkinkan pemuatan model berukuran besar tanpa perlu melakukan fragmentasi di beberapa GPU. Namun, bukan hanya kapasitasnya; bandwidth 8 TB/s- lah yang membuat perbedaan, hampir 2,4 kali lebih besar daripada H100.
Sederhananya, inferensi LLM pada dasarnya adalah masalah pembacaan memori. Saat menghasilkan setiap token, GPU harus membaca seluruh array bobot model. Dengan bandwidth ini, B200 dapat mempertahankan kecepatan pembuatan token yang jauh lebih tinggi , menghilangkan penundaan yang biasanya muncul pada model dengan 70B parameter atau lebih.
Daya Komputasi dan Lompatan ke FP4
Inovasi utama adalah inti Tensor generasi ke-5, yang memperkenalkan dukungan asli untuk presisi FP4 . Kemampuan ini sangat penting karena memungkinkan pengurangan jejak memori sebesar 50% dibandingkan dengan FP8, yang secara efektif menggandakan jumlah parameter yang dapat diproses. Secara mentah, B200 mencapai 20 PetaFLOPS dalam FP4 dan 9 PetaFLOPS dalam FP8.
Dibandingkan dengan generasi Hopper, lompatannya sangat mencengangkan. Meskipun H100 kurang unggul dalam performa presisi rendah, B200 menawarkan performa inferensi hingga empat kali lipat . Hal ini menghasilkan biaya per juta token yang jauh lebih rendah, sehingga jauh lebih menguntungkan bagi perusahaan yang menyediakan API AI dalam skala besar.
Perbandingan Langsung: B200 vs H100 dan H200
Jika Anda bertanya-tanya apakah peningkatan ini sepadan, jawaban singkatnya adalah ya, asalkan build Anda berukuran besar. Dibandingkan dengan H100 SXM5, yang hanya memiliki VRAM 80GB, B200 menawarkan memori lebih dari dua kali lipat . Ini berarti bahwa build Llama 3.1 70B dalam FP16 dapat dengan mudah dimuat dalam satu kartu, menghindari kompleksitas paralelisme tensor.
Bahkan dibandingkan dengan H200, yang sudah merupakan peningkatan dalam hal memori (141 GB), B200 menang telak dengan VRAM 28% lebih banyak dan bandwidth 67% lebih tinggi. Selain itu, interkoneksi NVLink 5.0 meningkatkan komunikasi dua arah hingga 1.8 TB/s, tepat dua kali lipat dari NVLink 4.0, memungkinkan penskalaan yang hampir linier dalam konfigurasi 8-GPU.
Persyaratan Infrastruktur dan Energi
Kita tidak bisa mengabaikan fakta bahwa memindahkan daya sebesar itu membutuhkan infrastruktur yang serius. Sistem B200 dengan delapan GPU dapat mengonsumsi daya antara 7 dan 8 kW hanya untuk pemrosesan saja. Meskipun pendinginan udara layak dilakukan pada rak berventilasi baik dan berdensitas tinggi, pendinginan cairan langsung sangat disarankan untuk menjaga umur perangkat keras dan mencegah pelambatan termal.
Dari segi konektivitas, ia menggunakan antarmuka PCI-Express 6.0 x16 , dan ekosistem perangkat lunaknya sepenuhnya kompatibel dengan CUDA 12.x dan cuDNN 9.x. Kode apa pun yang sudah berfungsi pada H100 akan berjalan pada B200 tanpa perubahan, meskipun untuk mendapatkan hasil maksimal dari FP4, perlu menggunakan TensorRT-LLM 0.17+ atau versi vLLM yang lebih baru.
Analisis Biaya dan Ketersediaan Cloud
Di pasar penyewaan GPU, B200 telah memposisikan dirinya sebagai pilihan yang sangat menarik. Pada platform seperti RunPod atau Spheron, harga on-demand biasanya berkisar antara $5,89 hingga $9,36 per jam, sementara instance spot dapat turun hingga serendah $5,34. Meskipun tarif per jam lebih tinggi daripada H100, efisiensi per token sangat tinggi sehingga biaya akhir layanan biasanya jauh lebih rendah.
Terlepas dari permintaan yang sangat besar dan jutaan unit yang tertunda untuk pembelian langsung, cloud adalah cara tercepat untuk mengakses Blackwell. Opsi penagihan per detik memungkinkan pengembang untuk menguji model FP4 mereka tanpa harus terikat kontrak infrastruktur fisik senilai jutaan dolar.
NVIDIA B200 mendefinisikan ulang apa yang kita harapkan dari akselerator AI, menggabungkan memori HBM3e yang masif dengan dukungan FP4 yang inovatif dan interkoneksi NVLink 5.0 yang sangat cepat. Dengan jauh melampaui batasan bandwidth dan kapasitas seri Hopper, ia menjadi alat terbaik bagi mereka yang mengelola model bahasa skala besar, mengoptimalkan kinerja inferensi dan biaya operasional per token.