- B200 menonjol kerana memori HBM3e 180 GB dan lebar jalur yang besar sebanyak 8 TB/s.
- Memperkenalkan seni bina Blackwell dengan teras Tensor generasi ke-5 dan sokongan natif untuk ketepatan FP4.
- Ia jauh mengatasi H100 dalam prestasi inferens, sekali gus mengurangkan kos setiap token secara drastik.
- Ia menggunakan sambungan NVLink 5.0 untuk mencapai komunikasi dwiarah sebanyak 1.8 TB/s setiap GPU.
Jika anda berminat dengan perkakasan canggih, anda pasti pernah mendengar tentang lonjakan kuantum yang diwakili oleh siri Blackwell . NVIDIA B200 bukan sekadar satu lagi peningkatan; ia merupakan sebuah mesin pemprosesan yang direka khusus untuk menghapuskan kesesakan memori dan pengiraan untuk kecerdasan buatan.
Kad ini dibentangkan sebagai permata mahkota untuk pusat data, dengan memberi tumpuan kepada penyelesaian masalah lama model bahasa besar (LLM). Dengan reka bentuk dan kuasa yang mengganggu yang memalukan pendahulunya, B200 menjadikan latihan dan penggunaan model mudah berbanding apa yang kami lakukan beberapa tahun yang lalu.
Spesifikasi Teknikal dan Seni Bina Dalaman
Di sebalik hudnya, B200 merupakan karya agung kejuruteraan berdasarkan seni bina Blackwell. Ia menggunakan reka bentuk dwi-cip GB100 , di mana dua acuan digabungkan melalui sambungan cip-ke-cip 10 TB/s, membolehkan sistem pengendalian mengenalinya sebagai satu unit. Ia dihasilkan menggunakan proses 4NP TSMC dan menempatkan 208.000 bilion transistor yang sangat besar.
Mengenai konfigurasi renderingnya, ia mempunyai 18.944 unit shader, 592 TMU dan 24 ROP. Kelajuan jam asasnya ialah 120 MHz, tetapi ia boleh ditingkatkan sehingga 1830 MHz , manakala memori beroperasi pada 2000 MHz. Semua output kuasa ini menghasilkan TDP 1000W dalam faktor bentuk SXMnya, walaupun beberapa pelaksanaan mungkin berbeza antara 700W dan 1000W bergantung pada persekitaran.
Memori dan Lebar Jalur: Jantung Prestasi
Kelebihan sebenar B200 terletak pada pengurusan datanya. Ia mempunyai memori HBM3e sebanyak 180 GB , kuantiti yang membolehkan pemuatan model besar tanpa perlu melakukan pemecahan merentasi pelbagai GPU. Tetapi bukan hanya kapasitinya; lebar jalur 8 TB/s adalah yang membezakannya, hampir 2,4 kali lebih besar daripada H100.
Secara ringkasnya, inferens LLM pada asasnya merupakan masalah bacaan memori. Apabila menjana setiap token, GPU mesti membaca keseluruhan tatasusunan berat model. Dengan lebar jalur ini, B200 boleh mengekalkan kelajuan penjanaan token yang jauh lebih tinggi , menghapuskan kelewatan yang biasanya muncul dalam model dengan 70B parameter atau lebih.
Kuasa Pengkomputeran dan Lonjakan ke FP4
Inovasi utama ialah teras Tensor generasi ke-5, yang memperkenalkan sokongan asli untuk ketepatan FP4 . Keupayaan ini penting kerana ia membolehkan pengurangan jejak memori sebanyak 50% berbanding FP8, sekali gus menggandakan bilangan parameter yang boleh diproses. Secara kasarnya, B200 mencapai 20 PetaFLOPS dalam FP4 dan 9 PetaFLOPS dalam FP8.
Berbanding dengan generasi Hopper, lonjakan ini amat mengejutkan. Walaupun H100 kurang berprestasi ketepatan rendah, B200 menawarkan prestasi inferens sehingga empat kali ganda . Ini diterjemahkan kepada kos setiap juta token yang jauh lebih rendah, menjadikannya jauh lebih menguntungkan bagi syarikat yang menyediakan API AI pada skala besar.
Perbandingan Langsung: B200 vs H100 dan H200
Jika anda tertanya-tanya sama ada ia berbaloi untuk membuat naik taraf, jawapan ringkasnya adalah ya, dengan syarat binaan anda besar. Berbanding dengan H100 SXM5, yang hanya mempunyai 80GB VRAM, B200 menawarkan memori lebih daripada dua kali ganda . Ini bermakna binaan 70B Llama 3.1 dalam FP16 boleh dimuatkan dengan selesa pada satu kad, mengelakkan kerumitan paralelisme tensor.
Walaupun dibandingkan dengan H200, yang sudah mempunyai peningkatan memori (141 GB), B200 jauh lebih baik dengan VRAM 28% lebih banyak dan lebar jalur 67% lebih tinggi. Tambahan pula, sambungan NVLink 5.0 meningkatkan komunikasi dwiarah kepada 1.8 TB/s, tepat dua kali ganda daripada NVLink 4.0, membolehkan penskalaan hampir linear dalam konfigurasi 8-GPU.
Keperluan Infrastruktur dan Tenaga
Kita tidak boleh mengabaikan hakikat bahawa menggerakkan kuasa sedemikian memerlukan infrastruktur yang serius. Sistem lapan GPU B200 boleh menggunakan antara 7 dan 8 kW dalam pemprosesan sahaja. Walaupun penyejukan udara boleh digunakan dalam rak berketumpatan tinggi yang mempunyai pengudaraan yang baik, penyejukan cecair langsung sangat disyorkan untuk mengekalkan ketahanan perkakasan dan mencegah pendikitan haba.
Dari segi ketersambungan, ia menggunakan antara muka PCI-Express 6.0 x16 , dan ekosistem perisian serasi sepenuhnya dengan CUDA 12.x dan cuDNN 9.x. Sebarang kod yang sudah berfungsi pada H100 akan berjalan pada B200 tanpa perubahan, walaupun untuk memanfaatkan sepenuhnya FP4, adalah perlu untuk menggunakan TensorRT-LLM 0.17+ atau versi vLLM yang dikemas kini.
Analisis Kos dan Ketersediaan Awan
Dalam pasaran penyewaan GPU, B200 telah meletakkan dirinya sebagai pilihan yang sangat menarik. Pada platform seperti RunPod atau Spheron, harga atas permintaan biasanya antara $5,89 hingga $9,36 sejam, manakala contoh spot boleh jatuh serendah $5,34. Walaupun kadar sejam lebih tinggi daripada H100, kecekapan setiap token adalah sangat tinggi sehingga kos akhir perkhidmatan biasanya jauh lebih rendah.
Walaupun terdapat permintaan yang tinggi dan berjuta-juta unit tertunggak untuk pembelian langsung, awan merupakan cara terpantas untuk mengakses Blackwell. Pilihan pengebilan sesaat membolehkan pembangun menguji model FP4 mereka tanpa perlu membuat kontrak infrastruktur fizikal bernilai berjuta-juta dolar.
NVIDIA B200 mentakrifkan semula apa yang kami harapkan daripada pemecut AI, menggabungkan memori HBM3e yang besar dengan sokongan FP4 yang inovatif dan sambungan NVLink 5.0 yang ultra pantas. Dengan mengatasi had lebar jalur dan kapasiti siri Hopper, ia menjadi alat muktamad bagi mereka yang mengurus model bahasa berskala besar, mengoptimumkan prestasi inferens dan kos operasi setiap token.