- NVIDIA hat eine Initiative gestartet, um Rust nativ in die GPU-Kernelentwicklung zu integrieren und so die Abhängigkeit von anderen Sprachen zu beseitigen.
- Das Ökosystem ist in zwei Hauptwege unterteilt: cuda-oxide für die vollständige Kontrolle mittels SIMT und cutile-rs für einen vereinfachten Ansatz auf der Basis von Tiles.
- Beide Tools bringen die Sicherheits- und Eigentumsgarantien von Rust auf die Hardware und erkennen Speicherfehler und Datenläufe bereits zur Kompilierzeit.
Die Infrastruktur für moderne künstliche Intelligenz entwickelt sich rasant, und um mitzuhalten, investiert NVIDIA massiv in die native Programmierung mit Rust . Während CUDA C++ und CUDA Python bereits etablierte und robuste Werkzeuge für den Unternehmensbereich sind, tendiert die Branche aufgrund der Fähigkeit von Rust, kritische Speicherfehler bereits vor der Codeausführung zu eliminieren, ohne die Leistung zu beeinträchtigen, zunehmend zu Rust.
Bis vor Kurzem wurde Rust in externen Schichten wie Inferenz-Engines oder Treibern eingesetzt, doch die GPU-Kernel blieben der „blinde Fleck“, auf den Entwickler angewiesen waren, um andere Sprachen zu verwenden. Mit CUDA Rust will NVIDIA diese technologische Lücke schließen und Entwicklern ermöglichen, Gerätelogik direkt in Rust zu schreiben und zu PTX zu kompilieren. Dadurch entfallen die umständlichen Wrapper, die den Workflow bisher verkompliziert haben.
Die zwei Wege zur Bezwingung der GPU
Um den vielfältigen Bedürfnissen von Programmierern gerecht zu werden, hat NVIDIA zwei unterschiedliche Ansätze entwickelt, die die Vielseitigkeit von CUDA nachbilden. Zum einen gibt es das SIMT-Modell, zum anderen das Tile-Modell. Generell wird empfohlen, mit dem Tile-Ansatz zu beginnen , da der Compiler die Datenzuordnung auf den verschiedenen Architekturen optimiert und dem Programmierer somit manuelle und aufwendige Hardware-Entscheidungen erspart.
Volle Kontrolle mit Cuda-Oxide (SIMT)
Für alle, die die Kontrolle behalten und höchste Präzision bei Threads und gemeinsam genutztem Speicher benötigen, gibt es cuda-oxide . Dieses Tool dient als benutzerdefiniertes Code-Generierungs-Backend für rustc. Der Prozess ist komplex: Als Kernel markierte Funktionen durchlaufen Rusts MIR, das Pliron-Framework und LLVM IR und werden schließlich in auf der GPU ausführbaren PTX-Code umgewandelt.
Was die technischen Voraussetzungen angeht, ist es nicht gerade einfach; man benötigt Linux, eine GPU mit einer Rechenleistung von 8.0 oder höher und einen Toolchain-Nightly-SetEines der Glanzstücke dieses Systems ist die Verwendung von DisjointSliceeinen Datentyp, der sicherstellt, dass jeder Thread hat exklusiver Zugang zu Ihrem ElementDadurch wird verhindert, dass der Rust-Compiler den Code blockiert, weil versucht wird, inkompatible veränderliche Ausleihen vorzunehmen.
Einfachheit und Sicherheit mit cutile-rs (Fliesen)
Wenn Sie eher mit NumPy oder PyTorch arbeiten möchten, ist cutile-rs die beste Wahl. Hier programmieren Sie keine einzelnen Threads, sondern arbeiten mit „Kacheln“ oder Datenblöcken. Der Compiler entscheidet, wie viele Threads tatsächlich benötigt werden, um den jeweiligen Block zu verschieben. Dadurch wird die Entwicklung deutlich reibungsloser und weniger anfällig für Indexierungsfehler.
Im Gegensatz zu seinem Schwesterprojekt SIMT ist dieses Projekt zugänglicher, da es auf stabilem Rust basiert und keine manuelle LLVM-Installation erfordert. Es verwendet ein Makro, das den Kernel mithilfe von CUDA Tile IRs direkt beim ersten Start kompiliert (JIT). Eine herausragende Funktion ist die verzögerte Ausführung : Das Programm registriert eine Befehlszeichenkette und führt diese erst vollständig aus, wenn die Synchronisierungsmethode aufgerufen wird. Dadurch wird die Kommunikation zwischen CPU und GPU optimiert.
Die Magie des Compilers: Schluss mit Datenkonflikten
Was CUDA Rust wirklich bahnbrechend macht, ist die Art und Weise, wie es den Speicher verwaltet. In der traditionellen GPU-Programmierung sind Aliasing-Fehler (wenn zwei Threads auf dieselbe Speicheradresse schreiben) ein Albtraum, der erst im Produktivbetrieb auftritt. Rust löst dieses Problem , indem es seine Besitzregeln an der Grenze der Kernel-Release durchsetzt.
- Im SIMT-Modell wird der Compiler einen Fehler ausgeben, wenn man versucht, den Ausgabepuffer als Eingabe zu verwenden. Fehler bei der veränderlichen Beleihung (E0502).
- Im Tile-Modell wird die Tensor-Eigenschaft übertragen, und jeder Versuch, einen verschobenen Wert zu verwenden, führt dazu, dass Fehler E0382.
Das bedeutet, dass die Software BauversicherungIm Gegensatz dazu benötigt SIMT weiterhin gemeinsam genutzten Speicher Blöcke unsafeDas Tile-Modell macht die manuelle Verwaltung von Thread-Indizes überflüssig und beseitigt somit die Möglichkeit, diese klassischen Fehler zu begehen.
Aktueller Stand und Zukunft des Projekts
Es ist wichtig, realistisch zu bleiben: Beide Projekte befinden sich in der experimentellen Phase . cuda-oxide ist noch in der frühen Alpha-Phase, während cutile-rs weiter fortgeschritten ist und bereits in Projekten wie der Grout-Inferenz-Engine von HuggingFace eingesetzt wird. NVIDIA hat klargestellt, dass sich die APIs noch ändern können und dass es noch einiges an Entwicklungsarbeit braucht, bis diese Tools für den Einsatz in großen Produktionsumgebungen geeignet sind.
Dieses neue Ökosystem existiert parallel zu bestehenden Initiativen wie rust-gpu und CubeCL und arbeitet mit ihnen zusammen. Ziel ist es, Rust zu einer erstklassigen Sprache für beschleunigtes Rechnen zu machen, sodass GPU-Code genauso robust und wartungsfreundlich wie Systemcode sein kann. Die Interoperabilität zwischen Tile- und SIMT-Kerneln im selben Stream stellt sicher, dass Entwickler nicht auf eine einzige Methodik beschränkt sind.
NVIDIAs Engagement für die Integration von Rust in den CUDA-Kern stellt eine notwendige Weiterentwicklung der KI-Infrastruktur dar und verlagert die Sicherheit von der Laufzeit zur Kompilierzeit. Durch die Bereitstellung von Möglichkeiten sowohl für die detaillierte Thread-Steuerung als auch für die vereinfachte Tensor-Manipulation demokratisiert es den Zugang zur extremen Leistung von GPUs, indem es die typische Speicherempfindlichkeit von C++ beseitigt und somit eine Ära einläutet, in der Effizienz und umfassende Sicherheit in ein und derselben Binärdatei koexistieren.
Häufig gestellte Fragen
Worin besteht der Unterschied zwischen Cuda-Oxid und Cutile-rs?
Cuda-oxide konzentriert sich auf das SIMT-Modell für diejenigen, die die vollständige Kontrolle über Gewinde und Memory benötigen, während cutile-rs das Tile-Modell verwendet, um Spannvorrichtungen einfacher und sicherer zu bedienen.
Ist es heute möglich, CUDA Rust in Produktionsprojekten einzusetzen?
Für den Produktiveinsatz wird es nicht empfohlen, da sich beide Projekte in einem experimentellen Stadium befinden und ihre APIs noch erheblichen Änderungen unterliegen können.
Welche Hardwarevoraussetzungen benötige ich, um diese Kernel auszuführen?
Eine NVIDIA-GPU mit einer Rechenleistung von 8.0 oder höher und die Verwendung von Linux-Betriebssystemen sind erforderlich.
Wie verhindert Rust GPU-Speicherfehler?
Es nutzt das Besitz- und Ausleihsystem, um Aliaskonflikte und Datenausführungen während der Kompilierung zu erkennen und so die Ausführung unsicheren Codes zu verhindern.
Muss ich für alles eine Nightly-Version von Rust verwenden?
Nur der cuda-oxide-Pfad erfordert eine Nightly-Toolchain, während cutile-rs mit stabilen Versionen von Rust 1.89 oder höher kompatibel ist.
Kann ich in derselben Anwendung Kernel verschiedener Modelle mischen?
Ja, Tile- und SIMT-Kernel sind interoperabel und können auf demselben Datenstrom mit gemeinsam genutzten Gerätepuffern ausgeführt werden.
Was ist PTX-Code im Kontext von CUDA Rust?
Es handelt sich um die Zwischenassemblersprache, in die Rust-Kernel kompiliert werden, damit der GPU-Treiber sie effizient ausführen kann.




