- B200 的突出特点是拥有 180 GB 的 HBM3e 内存和 8 TB/s 的超大带宽。
- 推出采用第五代 Tensor 内核的 Blackwell 架构，并原生支持 FP4 精度。
- 它的推理性能远远超过 H100，大幅降低了每个令牌的成本。
- 它采用 NVLink 5.0 互连技术，实现每个 GPU 1.8 TB/s 的双向通信。
如果你对尖端硬件充满热情，那么你肯定听说过Blackwell系列带来的质的飞跃。NVIDIA B200不仅仅是一次简单的升级；它是一款专为消除人工智能的内存和计算瓶颈而设计的强大处理器。
这张显卡被誉为数据中心的旗舰产品，专注于解决大型语言模型（LLM）这一由来已久的难题。凭借颠覆性的设计和远超前代产品的强大性能，B200 让模型的训练和部署变得无比轻松，远胜于几年前的工作方式。
技术规格和内部架构
B200 的核心在于其基于 Blackwell 架构的精湛工程设计。它采用双芯片 GB100设计，将两颗芯片通过 10 TB/s 的芯片间互连熔合在一起，使操作系统能够将其识别为一个整体。B200 采用台积电4NP 工艺制造，内部集成了惊人的 2080 亿个晶体管。
就其渲染配置而言，它拥有 18.944 个着色器单元、592 个纹理单元 (TMU) 和 24 个光栅化单元 (ROP)。其基础时钟频率为 120 MHz，最高可睿频至 1830 MHz，而显存频率为 2000 MHz。所有这些功耗使得其 SXM 封装的 TDP 为 1000W，但根据环境的不同，某些实现方案的 TDP 可能在 700W 到 1000W 之间。
内存和带宽：性能的核心
B200 的真正亮点在于其数据管理能力。它配备了180 GB 的 HBM3e 显存，如此大的容量足以加载大型模型，而无需在多个 GPU 之间进行碎片化处理。但真正让它脱颖而出的并非仅仅是容量；8 TB/s 的带宽才是关键所在，几乎是 H100 的 2,4 倍。
简而言之，LLM推理本质上是一个内存读取问题。生成每个标记时，GPU必须读取模型的整个权重数组。凭借这种带宽，B200可以维持更高的标记生成速度，从而消除通常在参数量达到70亿或更多的模型中出现的延迟。
计算能力与向FP4的飞跃
这项重大创新在于第五代 Tensor 核心，它引入了对FP4 精度的原生支持。这项功能至关重要，因为它与 FP8 相比可减少 5% 的内存占用，从而有效地将可处理的参数数量翻倍。具体来说，B200在 FP4 下可实现 20 PetaFLOPS 的运算速度，在 FP8 下可实现 9 PetaFLOPS 的运算速度。
与 Hopper 一代相比，B200 的飞跃令人瞩目。虽然 H100 在低精度性能方面有所欠缺，但 B4 的推理性能却提升了近四倍。这意味着每百万代币的成本大幅降低，对于大规模提供 AI API 的公司而言，这将带来更高的盈利能力。
直接对比：B200 与 H100 和 H200
如果你还在犹豫是否值得升级，答案是肯定的，前提是你的构建规模足够大。相比只有 80GB 显存的 H100 SXM5，B200 的显存容量是其两倍多。这意味着一个 70 字节的 Llama 3.1 FP16 构建可以轻松装在一张显卡上，无需处理复杂的张量并行计算。
即使与内存容量已经有所提升（141GB）的H200相比，B200也凭借高达28%的显存容量和67%的带宽优势遥遥领先。此外，NVLink 5.0互连技术将双向通信速度提升至1.8TB/s，是NVLink 4.0的两倍，从而在8GPU配置中实现了近乎线性的性能扩展。
基础设施和能源需求
我们不能忽视这样一个事实：如此强大的运算能力需要完善的基础设施。一套配备八块GPU的B200系统仅处理能力就可能消耗7到8千瓦的功率。虽然在通风良好的高密度机架中采用风冷散热是可行的，但为了延长硬件寿命并防止过热降频，我们强烈建议采用直接液冷散热。
在连接方面，它采用PCI-Express 6.0 x16接口，软件生态系统完全兼容 CUDA 12.x 和 cuDNN 9.x。任何已在 H100 上运行的代码都可以在 B200 上无需更改即可运行，但要充分发挥 FP4 的性能，则需要使用TensorRT-LLM 0.17+或更新版本的 vLLM。
云成本和可用性分析
在GPU租赁市场，B200已成为极具吸引力的选择。在RunPod或Spheron等平台上，按需实例的价格通常在每小时5,89美元到9,36美元之间，而竞价实例的价格最低可至每小时5,34美元。虽然其每小时的租金高于H100，但由于每个代币的效率极高，最终的服务成本通常要低得多。
尽管市场需求旺盛，直接购买的订单积压数百万台，但云端访问 Blackwell 仍然是最快捷的方式。按秒计费的选项让开发者无需签订数百万美元的物理基础设施合同，即可测试其 FP4 模型。
NVIDIA B200重新定义了我们对AI加速器的期望，它将海量HBM3e内存、突破性的FP4支持和超高速NVLink 5.0互连技术完美结合。它远远超越了Hopper系列的带宽和容量限制，成为管理大规模语言模型用户的理想工具，能够优化推理性能和每个词元的运行成本。