- Το B200 ξεχωρίζει για τα 180 GB μνήμης HBM3e και το τεράστιο εύρος ζώνης των 8 TB/s.
- Παρουσιάζουμε την αρχιτεκτονική Blackwell με πυρήνες Tensor 5ης γενιάς και εγγενή υποστήριξη για ακρίβεια FP4.
- Ξεπερνά κατά πολύ το H100 στην απόδοση συμπερασμάτων, μειώνοντας δραστικά το κόστος ανά διακριτικό.
- Χρησιμοποιεί τη διασύνδεση NVLink 5.0 για να επιτύχει αμφίδρομη επικοινωνία 1.8 TB/s ανά GPU.
Αν σας αρέσει το υλικό αιχμής, σίγουρα έχετε ήδη ακούσει για το κβαντικό άλμα που αντιπροσωπεύει η σειρά Blackwell . Η NVIDIA B200 δεν είναι απλώς μια ακόμη αναβάθμιση. Είναι ένα θηρίο επεξεργασίας ειδικά σχεδιασμένο για να εξαλείφει τα σημεία συμφόρησης στη μνήμη και τους υπολογισμούς για την τεχνητή νοημοσύνη.
Αυτή η κάρτα παρουσιάζεται ως το κόσμημα του στέμματος για τα κέντρα δεδομένων, εστιάζοντας στην επίλυση του παλιού προβλήματος των μεγάλων γλωσσικών μοντέλων (LLM). Με έναν πρωτοποριακό σχεδιασμό και ισχύ που ντροπιάζει τους προκατόχους της, η B200 κάνει την εκπαίδευση και την ανάπτυξη μοντέλων παιχνιδάκι σε σύγκριση με αυτό που κάναμε πριν από μερικά χρόνια.
Τεχνικές Προδιαγραφές και Εσωτερική Αρχιτεκτονική
Στο εσωτερικό του, το B200 είναι ένα αριστούργημα μηχανικής που βασίζεται στην αρχιτεκτονική Blackwell. Χρησιμοποιεί σχεδιασμό GB100 διπλού τσιπ , όπου δύο μήτρες συντήκονται μέσω μιας διασύνδεσης chip-to-chip 10 TB/s, επιτρέποντας στο λειτουργικό σύστημα να το αναγνωρίζει ως μία ενιαία μονάδα. Κατασκευάζεται με τη διαδικασία 4NP της TSMC και φιλοξενεί ένα αστρονομικό αριθμό 208.000 δισεκατομμυρίων τρανζίστορ.
Όσον αφορά τη διαμόρφωση απόδοσης, διαθέτει 18.944 μονάδες shader, 592 TMU και 24 ROP. Η βασική ταχύτητα ρολογιού του είναι 120 MHz, αλλά μπορεί να φτάσει τα 1830 MHz , ενώ η μνήμη λειτουργεί στα 2000 MHz. Όλη αυτή η ισχύς εξόδου έχει ως αποτέλεσμα TDP 1000W στον παράγοντα μορφής SXM, αν και ορισμένες υλοποιήσεις μπορεί να κυμαίνονται μεταξύ 700W και 1000W ανάλογα με το περιβάλλον.
Μνήμη και εύρος ζώνης: Η καρδιά της απόδοσης
Εκεί που πραγματικά ξεχωρίζει η B200 είναι η διαχείριση δεδομένων. Διαθέτει 180 GB μνήμης HBM3e , μια ποσότητα που επιτρέπει τη φόρτωση μεγάλων μοντέλων χωρίς να καταφεύγει σε κατακερματισμό σε πολλαπλές GPU. Αλλά δεν είναι μόνο η χωρητικότητα. Το εύρος ζώνης των 8 TB/s είναι αυτό που κάνει τη διαφορά, καθώς είναι σχεδόν 2,4 φορές μεγαλύτερο από αυτό της H100.
Με απλά λόγια, η συμπερασματολογία LLM είναι ουσιαστικά ένα πρόβλημα ανάγνωσης μνήμης. Κατά τη δημιουργία κάθε διακριτικού, η GPU πρέπει να διαβάσει ολόκληρο τον πίνακα βαρών του μοντέλου. Με αυτό το εύρος ζώνης, το B200 μπορεί να διατηρήσει πολύ υψηλότερη ταχύτητα δημιουργίας διακριτικών , εξαλείφοντας τις καθυστερήσεις που εμφανίζονται συνήθως σε μοντέλα με 70B παραμέτρων ή περισσότερο.
Υπολογιστική Ισχύς και το Άλμα στο 4ο Πρόγραμμα Πλαίσιο
Η κύρια καινοτομία είναι οι πυρήνες Tensor 5ης γενιάς, οι οποίοι εισάγουν εγγενή υποστήριξη για ακρίβεια FP4 . Αυτή η δυνατότητα είναι κρίσιμη επειδή επιτρέπει μείωση 50% στο αποτύπωμα μνήμης σε σύγκριση με το FP8, διπλασιάζοντας ουσιαστικά τον αριθμό των παραμέτρων που μπορούν να υποβληθούν σε επεξεργασία. Σε ακατέργαστο επίπεδο, το B200 επιτυγχάνει 20 PetaFLOPS στο FP4 και 9 PetaFLOPS στο FP8.
Σε σύγκριση με τη γενιά Hopper, το άλμα είναι εντυπωσιακό. Ενώ το H100 υστερεί σε απόδοση χαμηλής ακρίβειας, το B200 προσφέρει έως και τέσσερις φορές καλύτερη απόδοση συμπερασμάτων . Αυτό μεταφράζεται σε δραστικά χαμηλότερο κόστος ανά εκατομμύριο tokens, καθιστώντας το πολύ πιο κερδοφόρο για εταιρείες που εξυπηρετούν API τεχνητής νοημοσύνης σε κλίμακα.
Άμεση Σύγκριση: B200 έναντι H100 και H200
Αν αναρωτιέστε αν αξίζει να κάνετε την αναβάθμιση, η σύντομη απάντηση είναι ναι, αρκεί οι εκδόσεις σας να είναι μεγάλες. Σε σύγκριση με την H100 SXM5, η οποία διαθέτει μόνο 80GB VRAM, η B200 προσφέρει περισσότερο από τη διπλάσια μνήμη . Αυτό σημαίνει ότι μια έκδοση Llama 3.1 70B σε FP16 μπορεί άνετα να χωρέσει σε μία μόνο κάρτα, αποφεύγοντας την πολυπλοκότητα του παραλληλισμού τενσόρων.
Ακόμα και σε σύγκριση με το H200, το οποίο ήταν ήδη μια βελτίωση στη μνήμη (141 GB), το B200 κερδίζει αναμφισβήτητα με 28% περισσότερη VRAM και 67% υψηλότερο εύρος ζώνης. Επιπλέον, η διασύνδεση NVLink 5.0 ενισχύει την αμφίδρομη επικοινωνία στα 1.8 TB/s, ακριβώς διπλάσια από αυτή του NVLink 4.0, επιτρέποντας σχεδόν γραμμική κλιμάκωση σε διαμορφώσεις 8 GPU.
Απαιτήσεις Υποδομών και Ενέργειας
Δεν μπορούμε να αγνοήσουμε το γεγονός ότι η μεταφορά τέτοιας ισχύος απαιτεί μια σοβαρή υποδομή. Ένα σύστημα B200 με οκτώ GPU μπορεί να καταναλώσει μεταξύ 7 και 8 kW μόνο στην επεξεργασία. Ενώ η ψύξη με αέρα είναι βιώσιμη σε καλά αεριζόμενα rack υψηλής πυκνότητας, η άμεση υγρή ψύξη συνιστάται έντονα για τη διατήρηση της μακροζωίας του υλικού και την αποφυγή θερμικού στραγγαλισμού.
Όσον αφορά τη συνδεσιμότητα, χρησιμοποιεί μια διεπαφή PCI-Express 6.0 x16 και το οικοσύστημα λογισμικού είναι πλήρως συμβατό με τα CUDA 12.x και cuDNN 9.x. Οποιοσδήποτε κώδικας που λειτουργεί ήδη σε ένα H100 θα εκτελεστεί σε ένα B200 χωρίς αλλαγές, αν και για να αξιοποιήσετε στο έπακρο το FP4, είναι απαραίτητο να χρησιμοποιήσετε το TensorRT-LLM 0.17+ ή ενημερωμένες εκδόσεις του vLLM.
Ανάλυση Κόστους και Διαθεσιμότητας Cloud
Στην αγορά ενοικίασης GPU, το B200 έχει τοποθετηθεί ως μια πολύ ελκυστική επιλογή. Σε πλατφόρμες όπως το RunPod ή το Spheron, οι τιμές κατ' απαίτηση κυμαίνονται συνήθως από 5,89 $ έως 9,36 $ ανά ώρα, ενώ οι στιγμιαίες παραγγελίες μπορούν να μειωθούν ακόμη και στα 5,34 $. Αν και η ωριαία χρέωση είναι υψηλότερη από ένα H100, η απόδοση ανά διακριτικό είναι τόσο υψηλή που το τελικό κόστος της υπηρεσίας είναι συνήθως πολύ χαμηλότερο.
Παρά την υπερβολική ζήτηση και τα εκατομμύρια μονάδες που βρίσκονται σε εκκρεμότητα για άμεση αγορά, το cloud είναι ο ταχύτερος τρόπος πρόσβασης στην Blackwell. Η επιλογή χρέωσης ανά δευτερόλεπτο επιτρέπει στους προγραμματιστές να δοκιμάζουν τα μοντέλα FP4 τους χωρίς να δεσμεύονται σε συμβόλαια φυσικών υποδομών πολλών εκατομμυρίων δολαρίων.
Η NVIDIA B200 επαναπροσδιορίζει αυτό που περιμένουμε από έναν επιταχυντή τεχνητής νοημοσύνης, συνδυάζοντας τεράστια μνήμη HBM3e με πρωτοποριακή υποστήριξη FP4 και εξαιρετικά γρήγορη διασύνδεση NVLink 5.0. Ξεπερνώντας κατά πολύ τους περιορισμούς εύρους ζώνης και χωρητικότητας της σειράς Hopper, γίνεται το απόλυτο εργαλείο για όσους διαχειρίζονται μοντέλα γλώσσας μεγάλης κλίμακας, βελτιστοποιώντας τόσο την απόδοση συμπερασμάτων όσο και το λειτουργικό κόστος ανά διακριτικό.