- จุดเด่นของ B200 คือหน่วยความจำ HBM3e ขนาด 180 GB และแบนด์วิดท์มหาศาลถึง 8 TB/s
- ขอแนะนำสถาปัตยกรรม Blackwell ที่มาพร้อมกับ Tensor core รุ่นที่ 5 และรองรับความแม่นยำ FP4 โดยตรง
- ประสิทธิภาพในการประมวลผลนั้นเหนือกว่า H100 อย่างมาก และช่วยลดต้นทุนต่อโทเค็นลงอย่างเห็นได้ชัด
- มันใช้การเชื่อมต่อ NVLink 5.0 เพื่อให้สามารถสื่อสารแบบสองทิศทางได้ที่ความเร็ว 1.8 TB/s ต่อ GPU
หากคุณหลงใหลในฮาร์ดแวร์ล้ำสมัย คุณคงเคยได้ยินเกี่ยวกับความก้าวหน้าครั้งสำคัญของซีรี่ส์ Blackwell มา บ้างแล้ว NVIDIA B200 ไม่ใช่แค่การอัปเกรดธรรมดา แต่เป็นสุดยอดหน่วยประมวลผลที่ออกแบบมาโดยเฉพาะเพื่อขจัดปัญหาคอขวดด้านหน่วยความจำและการประมวลผลสำหรับปัญญาประดิษฐ์
การ์ดตัวนี้ถูกนำเสนอว่าเป็นสุดยอดแห่งนวัตกรรมสำหรับศูนย์ข้อมูล โดยมุ่งเน้นการแก้ปัญหาที่เกิดขึ้นมายาวนานเกี่ยวกับโมเดลภาษาขนาดใหญ่ (LLM) ด้วยการออกแบบที่ล้ำสมัยและพลังที่เหนือกว่ารุ่นก่อนๆ การ์ด B200 ทำให้การฝึกอบรมและการใช้งานโมเดลเป็นเรื่องง่ายกว่าที่เราเคยทำเมื่อไม่กี่ปีที่ผ่านมา
ข้อกำหนดทางเทคนิคและสถาปัตยกรรมภายใน
ภายใต้ฝาครอบนั้น B200 คือผลงานชิ้นเอกทางวิศวกรรมที่สร้างขึ้นบนสถาปัตยกรรม Blackwell มันใช้ การออกแบบ GB100 แบบสองชิป โดยที่ไดสองตัวถูกรวมเข้าด้วยกันผ่านการเชื่อมต่อระหว่างชิปที่ความเร็ว 10 TB/s ทำให้ระบบปฏิบัติการสามารถมองเห็นเป็นหน่วยเดียวได้ ผลิตโดยใช้ กระบวนการ 4NP ของTSMCและมีทรานซิสเตอร์มากถึง 208.000 พันล้านตัว
ในส่วนของการประมวลผลกราฟิกนั้น ประกอบด้วยหน่วยประมวลผล Shader 18.944 หน่วย, TMU 592 หน่วย และ ROP 24 หน่วย ความเร็วสัญญาณนาฬิกาพื้นฐานอยู่ที่ 120 MHz แต่สามารถเร่งความเร็วได้สูงสุดถึง 1830 MHzในขณะที่หน่วยความจำทำงานที่ความเร็ว 2000 MHz ด้วยกำลังประมวลผลทั้งหมดนี้ ทำให้มีค่า TDP 1000W ในรูปแบบ SXM อย่างไรก็ตาม ในบางการใช้งานอาจแตกต่างกันไประหว่าง 700W ถึง 1000W ขึ้นอยู่กับสภาพแวดล้อม
หน่วยความจำและแบนด์วิดท์: หัวใจสำคัญของประสิทธิภาพ
จุดเด่นที่แท้จริงของ B200 คือการจัดการข้อมูล มันมีหน่วยความจำ HBM3e ขนาด 180 GBซึ่งเป็นปริมาณที่ช่วยให้สามารถโหลดโมเดลขนาดใหญ่ได้โดยไม่ต้องแบ่งข้อมูลไปใช้กับ GPU หลายตัว แต่ไม่ใช่แค่ความจุเท่านั้นแบนด์วิดท์ 8 TB/sคือสิ่งที่สร้างความแตกต่าง ซึ่งมากกว่า H100 เกือบ 2,4 เท่า
กล่าวโดยสรุป การอนุมาน LLM นั้นโดยพื้นฐานแล้วเป็นปัญหาการอ่านหน่วยความจำ เมื่อสร้างโทเค็นแต่ละตัว GPU จะต้องอ่านอาร์เรย์น้ำหนักทั้งหมดของโมเดล ด้วยแบนด์วิดท์นี้ B200 จึงสามารถรองรับความเร็วในการสร้างโทเค็นที่สูงขึ้นมากช่วยลดความล่าช้าที่มักเกิดขึ้นในโมเดลที่มีพารามิเตอร์ 70 บิตขึ้นไป
พลังการประมวลผลและการก้าวสู่ FP4
นวัตกรรมสำคัญคือคอร์ Tensor รุ่นที่ 5 ซึ่งรองรับความแม่นยำ FP4 โดยตรง ความสามารถนี้มีความสำคัญอย่างยิ่ง เพราะช่วยลดการใช้หน่วยความจำลง 50% เมื่อเทียบกับ FP8 ทำให้สามารถประมวลผลพารามิเตอร์ได้เพิ่มขึ้นเป็นสองเท่า ในแง่ของประสิทธิภาพ B200 ทำได้20 PetaFLOPS ใน FP4และ 9 PetaFLOPS ใน FP8
เมื่อเทียบกับรุ่น Hopper แล้ว การพัฒนาครั้งนี้ก้าวกระโดดอย่างน่าทึ่ง แม้ว่า H100 จะมีประสิทธิภาพในการประมวลผลความแม่นยำต่ำที่ด้อยกว่า แต่ B200 กลับมีประสิทธิภาพในการประมวลผลแบบอนุมานสูงกว่าถึงสี่เท่าซึ่งหมายถึงต้นทุนต่อโทเค็นล้านโทเค็นที่ลดลงอย่างมาก ทำให้บริษัทที่ให้บริการ AI API ในระดับใหญ่ได้รับผลกำไรมากกว่าอย่างเห็นได้ชัด
การเปรียบเทียบโดยตรง: B200 เทียบกับ H100 และ H200
หากคุณสงสัยว่าคุ้มค่าที่จะอัปเกรดหรือไม่ คำตอบสั้นๆ คือใช่ ถ้าหากว่าโปรแกรมที่คุณสร้างนั้นมีขนาดใหญ่ เมื่อเทียบกับ H100 SXM5 ซึ่งมี VRAM เพียง 80GB แล้ว B200 มีหน่วยความจำมากกว่าถึงสองเท่านั่นหมายความว่าโปรแกรม Llama 3.1 ขนาด 70B ที่ใช้ FP16 สามารถใช้งานบนการ์ดเดียวได้อย่างสบายๆ โดยไม่ต้องใช้ความซับซ้อนของการประมวลผลแบบขนานเทนเซอร์
แม้เมื่อเทียบกับ H200 ซึ่งมีหน่วยความจำที่ดีขึ้นอยู่แล้ว (141 GB) B200 ก็ยังเหนือกว่าอย่างเห็นได้ชัดด้วยVRAM ที่มากกว่าถึง 28%และแบนด์วิดท์ที่สูงกว่าถึง 67% ยิ่งไปกว่านั้น การเชื่อมต่อ NVLink 5.0 ยังช่วยเพิ่มการสื่อสารแบบสองทิศทางเป็น 1.8 TB/s ซึ่งเป็นสองเท่าของ NVLink 4.0 ทำให้สามารถขยายขนาดได้เกือบเป็นเชิงเส้นในระบบ 8-GPU
โครงสร้างพื้นฐานและข้อกำหนดด้านพลังงาน
เราไม่สามารถมองข้ามความจริงที่ว่า การเคลื่อนย้ายพลังงานขนาดนี้ จำเป็นต้องมีโครงสร้างพื้นฐานที่แข็งแกร่ง ระบบ B200 ที่มี GPU แปดตัว สามารถใช้พลังงานในการประมวลผลเพียงอย่างเดียวได้ระหว่าง 7 ถึง 8 กิโลวัตต์ ในขณะที่การระบายความร้อนด้วยอากาศนั้นใช้ได้ในแร็คที่มีการระบายอากาศดีและมีความหนาแน่นสูง แต่ ขอแนะนำอย่างยิ่งให้ ใช้การระบายความร้อนด้วยของเหลวโดยตรงเพื่อรักษาอายุการใช้งานของฮาร์ดแวร์และป้องกันการลดประสิทธิภาพเนื่องจากความร้อนสูงเกินไป
ในแง่ของการเชื่อมต่อ ชิปนี้ใช้ พอร์ต PCI-Express 6.0 x16และระบบซอฟต์แวร์นั้นเข้ากันได้กับ CUDA 12.x และ cuDNN 9.x อย่างสมบูรณ์ โค้ดใดๆ ที่ทำงานได้บน H100 จะสามารถทำงานบน B200 ได้โดยไม่ต้องเปลี่ยนแปลงใดๆ แต่เพื่อให้ได้ประโยชน์สูงสุดจาก FP4 จำเป็นต้องใช้TensorRT-LLM 0.17+หรือ vLLM เวอร์ชันที่อัปเดตแล้ว
การวิเคราะห์ต้นทุนและความพร้อมใช้งานของระบบคลาวด์
ในตลาดการเช่า GPU นั้น B200 ได้วางตำแหน่งตัวเองเป็นตัวเลือกที่น่าสนใจมาก บนแพลตฟอร์มอย่าง RunPod หรือ Spheron ราคาตามความต้องการโดยทั่วไปจะอยู่ที่ 5,89 ถึง 9,36 ดอลลาร์ต่อชั่วโมง ในขณะที่อินสแตนซ์แบบสปอตอาจลดลงเหลือต่ำสุดที่ 5,34 ดอลลาร์ แม้ว่าอัตราต่อชั่วโมงจะสูงกว่า H100 แต่ประสิทธิภาพต่อโทเค็นนั้นสูงมาก ทำให้ต้นทุนสุดท้ายของบริการมักจะต่ำกว่ามาก
แม้ว่าจะมีอุปสงค์ล้นหลามและมีสินค้าค้างส่งสำหรับการสั่งซื้อโดยตรงหลายล้านชิ้น แต่ระบบคลาวด์ก็เป็นวิธีที่เร็วที่สุดในการเข้าถึง Blackwell ตัวเลือกการคิดค่าบริการเป็นรายวินาทีช่วยให้นักพัฒนาสามารถทดสอบโมเดล FP4 ของตนได้โดยไม่ต้องผูกพันกับสัญญาโครงสร้างพื้นฐานทางกายภาพมูลค่าหลายล้านดอลลาร์
NVIDIA B200 ได้นิยามใหม่ของสิ่งที่เราคาดหวังจากตัวเร่งความเร็ว AI โดยผสานรวมหน่วยความจำ HBM3e ขนาดใหญ่เข้ากับการรองรับ FP4 ที่ล้ำสมัย และการเชื่อมต่อ NVLink 5.0 ที่เร็วเป็นพิเศษ เหนือกว่าข้อจำกัดด้านแบนด์วิดท์และความจุของซีรี่ส์ Hopper อย่างมาก จึงกลายเป็นเครื่องมือขั้นสุดยอดสำหรับผู้ที่จัดการโมเดลภาษาขนาดใหญ่ ช่วยเพิ่มประสิทธิภาพทั้งด้านการอนุมานและต้นทุนการดำเนินงานต่อโทเค็น