- B200 вирізняється 180 ГБ пам'яті HBM3e та величезною пропускною здатністю 8 ТБ/с.
- Представляємо архітектуру Blackwell з ядрами Tensor 5-го покоління та вбудованою підтримкою точності FP4.
- Він значно перевершує H100 за продуктивністю виведення даних, різко знижуючи вартість одного токена.
- Він використовує з'єднання NVLink 5.0 для досягнення двонаправленого зв'язку зі швидкістю 1.8 ТБ/с на графічний процесор.
Якщо ви захоплюєтеся передовим обладнанням, ви напевно вже чули про квантовий стрибок, який представляє серія Blackwell . NVIDIA B200 — це не просто чергове оновлення; це потужний процесор, спеціально розроблений для усунення вузьких місць у пам'яті та обчисленнях для штучного інтелекту.
Ця карта представлена як перлина в короні центрів обробки даних, зосереджена на вирішенні одвічної проблеми моделей великих мов програмування (LLM). Завдяки революційному дизайну та потужності, яка перевершує попередників, B200 значно спрощує навчання та розгортання моделей порівняно з тим, що ми робили лише кілька років тому.
Технічні характеристики та внутрішня архітектура
Під капотом знаходиться B200 – це інженерний шедевр, заснований на архітектурі Blackwell. Він використовує двочіпову конструкцію GB100 , де два кристали об'єднані міжчіповим з'єднанням зі швидкістю 10 ТБ/с, що дозволяє операційній системі розпізнавати його як єдиний блок. Він виготовлений за технологією 4NP від TSMC та містить астрономічні 208.000 мільярдів транзисторів.
Що стосується конфігурації рендерингу, вона має 18 944 шейдерні блоки, 592 TMU та 24 ROP. Її базова тактова частота становить 120 МГц, але вона може бути розганяна до 1830 МГц , тоді як пам'ять працює на частоті 2000 МГц. Вся ця вихідна потужність призводить до TDP 1000 Вт у форм-факторі SXM, хоча деякі реалізації можуть коливатися від 700 Вт до 1000 Вт залежно від середовища.
Пам'ять і пропускна здатність: серце продуктивності
Де B200 справді сяє, так це в управлінні даними. Він може похвалитися 180 ГБ пам'яті HBM3e , обсяг якої дозволяє завантажувати масивні моделі, не вдаючись до фрагментації між кількома графічними процесорами. Але справа не лише в ємності; різниця полягає в пропускній здатності 8 ТБ/с , яка майже в 2,4 рази більша, ніж у H100.
Простіше кажучи, висновок LLM — це, по суті, проблема зчитування пам'яті. Під час генерації кожного токена графічний процесор повинен зчитувати весь масив ваг моделі. Завдяки такій пропускній здатності B200 може підтримувати набагато вищу швидкість генерації токенів , усуваючи затримки, які зазвичай виникають у моделях з 70 мільярдами параметрів або більше.
Обчислювальна потужність та перехід до FP4
Головним нововведенням є ядра Tensor 5-го покоління, які забезпечують вбудовану підтримку точності FP4 . Ця можливість є критично важливою, оскільки вона дозволяє зменшити обсяг пам'яті на 50% порівняно з FP8, фактично подвоюючи кількість параметрів, які можна обробити. У сумарному вираженні B200 досягає 20 петафлопс у FP4 та 9 петафлопс у FP8.
Порівняно з поколінням Hopper, стрибок вражає. Хоча H100 поступається низькоточній продуктивності, B200 пропонує до чотирьох разів вищу продуктивність логічного висновку . Це призводить до значно нижчої вартості на мільйон токенів, що робить його набагато прибутковішим для компаній, що обслуговують API штучного інтелекту у великих масштабах.
Пряме порівняння: B200 проти H100 та H200
Якщо ви вагаєтесь, чи варто робити оновлення, коротка відповідь – так, за умови, що ваші збірки великі. Порівняно з H100 SXM5, яка має лише 80 ГБ відеопам'яті, B200 пропонує більш ніж удвічі більше пам'яті . Це означає, що збірка Llama 3.1 об'ємом 70 ББ у FP16 може зручно поміститися на одній карті, уникаючи складності тензорного паралелізму.
Навіть порівняно з H200, який вже мав покращену пам'ять (141 ГБ), B200 безперечно перемагає завдяки на 28% більшій відеопам'яті та на 67% вищій пропускній здатності. Крім того, з'єднання NVLink 5.0 збільшує двонаправлений зв'язок до 1.8 ТБ/с, що рівно вдвічі більше, ніж у NVLink 4.0, забезпечуючи майже лінійне масштабування в конфігураціях з 8 відеокартами.
Вимоги до інфраструктури та енергетики
Ми не можемо ігнорувати той факт, що переміщення такої потужності вимагає серйозної інфраструктури. Система B200 з вісьмома графічними процесорами може споживати від 7 до 8 кВт лише на обробку даних. Хоча повітряне охолодження життєздатне в добре вентильованих стійках високої щільності, наполегливо рекомендується пряме рідинне охолодження для підтримки довговічності обладнання та запобігання тепловому троттлінгу.
Що стосується підключення, він використовує інтерфейс PCI-Express 6.0 x16 , а програмна екосистема повністю сумісна з CUDA 12.x та cuDNN 9.x. Будь-який код, який вже працює на H100, працюватиме на B200 без змін, хоча для максимальної ефективності FP4 необхідно використовувати TensorRT-LLM 0.17+ або оновлені версії vLLM.
Аналіз вартості та доступності хмарних технологій
На ринку оренди графічних процесорів B200 позиціонує себе як дуже привабливий варіант. На таких платформах, як RunPod або Spheron, ціни на послуги на вимогу зазвичай коливаються від 5,89 до 9,36 доларів за годину, тоді як спотові інстанції можуть падати до 5,34 доларів. Хоча погодинна ставка вища, ніж у H100, ефективність одного токена настільки висока, що кінцева вартість послуги зазвичай значно нижча.
Незважаючи на величезний попит і мільйони одиниць, що очікують прямої покупки, хмара – це найшвидший спосіб доступу до Blackwell. Опція посекундної тарифікації дозволяє розробникам тестувати свої моделі FP4, не укладаючи багатомільйонні контракти на фізичну інфраструктуру.
NVIDIA B200 переосмислює наші очікування від прискорювача штучного інтелекту, поєднуючи масивну пам'ять HBM3e з революційною підтримкою FP4 та надшвидким з'єднанням NVLink 5.0. Значно перевершуючи обмеження пропускної здатності та ємності серії Hopper, він стає найкращим інструментом для тих, хто керує великомасштабними мовними моделями, оптимізуючи як продуктивність виводу, так і експлуатаційні витрати на один токен.