- Модель B200 выделяется 180 ГБ памяти HBM3e и огромной пропускной способностью в 8 ТБ/с.
- Представляем архитектуру Blackwell с тензорными ядрами 5-го поколения и встроенной поддержкой точности FP4.
- По производительности при выполнении вычислений он значительно превосходит H100, существенно снижая стоимость одного токена.
- В ней используется интерфейс NVLink 5.0 для обеспечения двунаправленной связи со скоростью 1.8 ТБ/с на каждый графический процессор.
Если вы увлечены передовым оборудованием, вы наверняка уже слышали о квантовом скачке, который представляет собой серия Blackwell . NVIDIA B200 — это не просто очередное обновление; это мощный процессор, специально разработанный для устранения узких мест в памяти и вычислительных ресурсах для искусственного интеллекта.
Эта карта позиционируется как жемчужина в короне для центров обработки данных, ориентированная на решение извечной проблемы больших языковых моделей (LLM). Благодаря революционному дизайну и мощности, превосходящей своих предшественников, B200 значительно упрощает обучение и развертывание моделей по сравнению с тем, что мы делали всего пару лет назад.
Технические характеристики и внутренняя архитектура
Внутри B200 — инженерный шедевр, основанный на архитектуре Blackwell. В нем используется двухчиповая конструкция GB100 , где два кристалла соединены между собой межчиповым соединением со скоростью 10 ТБ/с, что позволяет операционной системе распознавать их как единое целое. Он изготовлен с использованием 4NP-процесса TSMC и содержит астрономическое количество транзисторов — 208.000 миллиардов.
Что касается конфигурации рендеринга, она включает 18 944 шейдерных блока, 592 текстурных блока и 24 блока растеризации. Базовая тактовая частота составляет 120 МГц, но может повышаться до 1830 МГц , в то время как память работает на частоте 2000 МГц. Вся эта мощность обеспечивает TDP в 1000 Вт в форм-факторе SXM, хотя в некоторых реализациях эти показатели могут варьироваться от 700 Вт до 1000 Вт в зависимости от условий эксплуатации.
Память и пропускная способность: основа производительности
Главное преимущество B200 — это управление данными. Она может похвастаться 180 ГБ памяти HBM3e , что позволяет загружать большие модели без фрагментации данных на нескольких видеокартах. Но дело не только в объеме; пропускная способность в 8 ТБ/с — вот что действительно отличает её, почти в 2,4 раза превышающая пропускную способность H100.
Проще говоря, вывод LLM — это, по сути, задача чтения из памяти. При генерации каждого токена графический процессор должен прочитать весь массив весов модели. Благодаря такой пропускной способности B200 может поддерживать гораздо более высокую скорость генерации токенов , устраняя задержки, которые обычно возникают в моделях с 70 байтами параметров и более.
Вычислительная мощность и переход к FP4
Главное нововведение — тензорные ядра 5-го поколения, которые обеспечивают встроенную поддержку точности FP4 . Эта возможность имеет решающее значение, поскольку позволяет сократить объем используемой памяти на 50% по сравнению с FP8, фактически удваивая количество обрабатываемых параметров. В чистом виде B200 достигает 20 петафлопс в FP4 и 9 петафлопс в FP8.
По сравнению с поколением Hopper, скачок ошеломляющий. Хотя H100 уступает по производительности в задачах с низкой точностью, B200 обеспечивает до четырех раз более высокую производительность при выводе результатов . Это приводит к значительному снижению стоимости за миллион токенов, что делает его гораздо более прибыльным для компаний, предоставляющих API для ИИ в больших масштабах.
Прямое сравнение: B200 против H100 и H200
Если вы задаетесь вопросом, стоит ли делать апгрейд, короткий ответ — да, при условии, что ваши сборки большие. По сравнению с H100 SXM5, у которого всего 80 ГБ видеопамяти, B200 предлагает более чем вдвое больший объем памяти . Это означает, что сборка Llama 3.1 объемом 70 байт в FP16 может комфортно поместиться на одной плате, избегая сложностей, связанных с тензорным параллелизмом.
Даже по сравнению с H200, которая уже представляла собой улучшение по объему памяти (141 ГБ), B200 выигрывает с большим отрывом, имея на 28% больше видеопамяти и на 67% большую пропускную способность. Кроме того, интерфейс NVLink 5.0 увеличивает двустороннюю связь до 1.8 ТБ/с, что ровно вдвое больше, чем у NVLink 4.0, обеспечивая почти линейное масштабирование в конфигурациях с 8 графическими процессорами.
Инфраструктурные и энергетические потребности
Нельзя игнорировать тот факт, что для передачи такой мощности требуется серьёзная инфраструктура. Система B200 с восемью графическими процессорами может потреблять от 7 до 8 кВт только на обработку данных. Хотя воздушное охлаждение возможно в хорошо вентилируемых стойках высокой плотности, настоятельно рекомендуется прямое жидкостное охлаждение для продления срока службы оборудования и предотвращения теплового троттлинга.
Что касается возможностей подключения, используется интерфейс PCI-Express 6.0 x16 , а программная экосистема полностью совместима с CUDA 12.x и cuDNN 9.x. Любой код, который уже работает на H100, будет работать на B200 без изменений, хотя для максимальной отдачи от FP4 необходимо использовать TensorRT-LLM 0.17+ или обновленные версии vLLM.
Анализ стоимости и доступности облачных сервисов
На рынке аренды графических процессоров B200 зарекомендовал себя как очень привлекательный вариант. На таких платформах, как RunPod или Spheron, цены по запросу обычно варьируются от 5,89 до 9,36 долларов в час, в то время как стоимость спотовых экземпляров может опускаться до 5,34 долларов. Хотя почасовая ставка выше, чем у H100, эффективность на токен настолько высока, что конечная стоимость услуги обычно намного ниже.
Несмотря на огромный спрос и миллионы устройств, ожидающих прямой покупки, облачные технологии — это самый быстрый способ доступа к Blackwell. Возможность посекундной оплаты позволяет разработчикам тестировать свои модели FP4 без многомиллионных контрактов на физическую инфраструктуру.
NVIDIA B200 переосмысливает наши ожидания от ускорителя ИИ, сочетая в себе огромный объем памяти HBM3e с революционной поддержкой FP4 и сверхбыстрым межсоединением NVLink 5.0. Значительно превосходя ограничения по пропускной способности и емкости серии Hopper, она становится идеальным инструментом для тех, кто управляет крупномасштабными языковыми моделями, оптимизируя как производительность вывода, так и эксплуатационные расходы на единицу токена.