- Model B200 wyróżnia się pamięcią HBM3e o pojemności 180 GB i ogromną przepustowością 8 TB/s.
- Przedstawiamy architekturę Blackwell z rdzeniami Tensor piątej generacji i natywnym wsparciem dokładności FP4.
- Znacznie przewyższa H100 pod względem wydajności wnioskowania, radykalnie zmniejszając koszt na token.
- Wykorzystuje połączenie NVLink 5.0, co pozwala na dwukierunkową komunikację z szybkością 1.8 TB/s na procesor GPU.
Jeśli pasjonujesz się najnowocześniejszym sprzętem, z pewnością słyszałeś już o skoku kwantowym, jaki reprezentuje seria Blackwell . NVIDIA B200 to nie tylko kolejny ulepszony procesor; to potężna moc obliczeniowa zaprojektowana specjalnie z myślą o wyeliminowaniu wąskich gardeł pamięci i mocy obliczeniowej dla sztucznej inteligencji.
Ta karta jest prezentowana jako klejnot w koronie centrów danych, koncentrując się na rozwiązaniu odwiecznego problemu dużych modeli językowych (LLM). Dzięki przełomowej konstrukcji i mocy, która przyćmiewa swoich poprzedników, B200 sprawia, że szkolenie i wdrażanie modeli jest teraz prostsze niż to, co robiliśmy zaledwie kilka lat temu.
Specyfikacje techniczne i architektura wewnętrzna
Pod maską, B200 to arcydzieło inżynierii oparte na architekturze Blackwell. Wykorzystuje dwuprocesorową konstrukcję GB100 , w której dwa układy scalone są połączone za pomocą połączenia międzyprocesorowego o przepustowości 10 TB/s, co pozwala systemowi operacyjnemu rozpoznać je jako pojedynczą jednostkę. Jest produkowany w procesie 4NP firmy TSMC i zawiera astronomiczną liczbę 208.000 miliardów tranzystorów.
Jeśli chodzi o konfigurację renderującą, procesor ten posiada 18 944 jednostki cieniujące, 592 jednostki TMU i 24 jednostki ROP. Jego bazowa częstotliwość taktowania wynosi 120 MHz, ale w trybie boost może osiągnąć 1830 MHz , a pamięć pracuje z częstotliwością 2000 MHz. Całkowita moc wyjściowa przekłada się na TDP na poziomie 1000 W w obudowie SXM, chociaż w niektórych implementacjach może się ona wahać między 700 W a 1000 W, w zależności od środowiska.
Pamięć i przepustowość: serce wydajności
B200 naprawdę błyszczy w zarządzaniu danymi. Posiada 180 GB pamięci HBM3e , co pozwala na ładowanie ogromnych modeli bez konieczności fragmentacji na wielu procesorach graficznych. Ale to nie tylko pojemność – przepustowość 8 TB/s robi różnicę, będąc prawie 2,4 razy większą niż w H100.
Mówiąc prościej, wnioskowanie LLM to w zasadzie problem odczytu pamięci. Podczas generowania każdego tokena, GPU musi odczytać całą tablicę wag modelu. Dzięki tej przepustowości, B200 może utrzymać znacznie wyższą prędkość generowania tokenów , eliminując opóźnienia typowe dla modeli o parametrach 70B lub większych.
Moc obliczeniowa i skok do FP4
Główną innowacją są rdzenie Tensor piątej generacji, które wprowadzają natywne wsparcie dla precyzji FP4 . Ta funkcja jest kluczowa, ponieważ pozwala na 5% redukcję zużycia pamięci w porównaniu z FP8, efektywnie podwajając liczbę przetwarzanych parametrów. W ujęciu surowym, B200 osiąga 20 PetaFLOPS w FP4 i 9 PetaFLOPS w FP8.
W porównaniu z generacją Hopper, skok jest oszałamiający. Podczas gdy H100 nie dorównuje wydajnością w zakresie niskiej precyzji, B200 oferuje nawet czterokrotnie wyższą wydajność wnioskowania . Przekłada się to na drastycznie niższy koszt miliona tokenów, co czyni go znacznie bardziej opłacalnym dla firm obsługujących interfejsy API AI na dużą skalę.
Porównanie bezpośrednie: B200 vs H100 i H200
Jeśli zastanawiasz się, czy warto dokonać aktualizacji, krótka odpowiedź brzmi: tak, pod warunkiem, że Twoje komputery są duże. W porównaniu z H100 SXM5, który ma tylko 80 GB pamięci VRAM, B200 oferuje ponad dwukrotnie więcej pamięci . Oznacza to, że 70-bitowa kompilacja Llama 3.1 w FP16 zmieści się wygodnie na jednej karcie, unikając złożoności paralelizmu tensorowego.
Nawet w porównaniu z H200, który i tak był ulepszony pod względem pamięci (141 GB), B200 wygrywa bezapelacyjnie, oferując o 28% więcej pamięci VRAM i o 67% wyższą przepustowość. Co więcej, łącze NVLink 5.0 zwiększa dwukierunkową komunikację do 1.8 TB/s, czyli dokładnie dwa razy więcej niż NVLink 4.0, umożliwiając niemal liniowe skalowanie w konfiguracjach z 8 procesorami graficznymi.
Infrastruktura i wymagania energetyczne
Nie możemy ignorować faktu, że przeniesienie takiej mocy wymaga zaawansowanej infrastruktury. System B200 z ośmioma GPU może zużywać od 7 do 8 kW mocy obliczeniowej. Chociaż chłodzenie powietrzem jest możliwe w dobrze wentylowanych szafach o dużej gęstości, zdecydowanie zaleca się bezpośrednie chłodzenie cieczą, aby zapewnić długą żywotność sprzętu i zapobiec dławieniu termicznemu.
Pod względem łączności, procesor korzysta z interfejsu PCI-Express 6.0 x16 , a ekosystem oprogramowania jest w pełni kompatybilny z CUDA 12.x i cuDNN 9.x. Każdy kod, który działa już na procesorze H100, będzie działał na procesorze B200 bez zmian, jednak aby w pełni wykorzystać możliwości FP4, konieczne jest użycie TensorRT-LLM w wersji 0.17 lub nowszej lub zaktualizowanej wersji vLLM.
Analiza kosztów i dostępności chmury
Na rynku wynajmu GPU, B200 ugruntował swoją pozycję jako bardzo atrakcyjna opcja. Na platformach takich jak RunPod czy Spheron ceny w trybie na żądanie wahają się zazwyczaj od 5,89 do 9,36 USD za godzinę, a ceny instancji spot spadają nawet do 5,34 USD. Chociaż stawka godzinowa jest wyższa niż w przypadku H100, wydajność w przeliczeniu na token jest tak wysoka, że ostateczny koszt usługi jest zazwyczaj znacznie niższy.
Pomimo ogromnego popytu i milionów jednostek oczekujących na bezpośredni zakup, chmura jest najszybszym sposobem dostępu do Blackwell. Opcja rozliczeń sekundowych pozwala deweloperom testować modele FP4 bez konieczności podpisywania wielomilionowych kontraktów na infrastrukturę fizyczną.
NVIDIA B200 redefiniuje nasze oczekiwania wobec akceleratora AI, łącząc ogromną pamięć HBM3e z przełomową obsługą FP4 i ultraszybkim połączeniem NVLink 5.0. Znacznie przewyższając ograniczenia przepustowości i pojemności serii Hopper, staje się ona najlepszym narzędziem dla osób zarządzających modelami językowymi na dużą skalę, optymalizując zarówno wydajność wnioskowania, jak i koszty operacyjne na token.