- Spoločnosť NVIDIA spustila iniciatívu na natívnu integráciu jazyka Rust do vývoja jadra GPU, čím sa eliminuje závislosť od iných jazykov.
- Ekosystém je rozdelený na dve hlavné trasy: cuda-oxide pre úplnú kontrolu prostredníctvom SIMT a cutile-rs pre zjednodušený prístup založený na dlaždiciach.
- Oba nástroje prinášajú Rustove záruky zabezpečenia a vlastníctva hardvéru, detekujú chyby pamäte a spustenie dát počas kompilácie.
Infraštruktúra podporujúca modernú umelú inteligenciu sa vyvíja závratnou rýchlosťou a aby s tým udržala krok, spoločnosť NVIDIA sa rozhodla výrazne investovať do natívneho programovania v jazyku Rust . Zatiaľ čo CUDA C++ a CUDA Python sú už zavedené a robustné nástroje pre podnikový sektor, odvetvie sa presúva smerom k Rustu kvôli jeho schopnosti eliminovať kritické chyby pamäte ešte predtým, ako sa kód spustí, bez toho, aby sa obetoval surový výkon.
Až donedávna sa Rust používal v externých vrstvách, ako sú inferenčné enginy alebo ovládače, ale jadrá GPU zostali „slepým miestom“, kde sa vývojári museli uchýliť k iným jazykom. S príchodom CUDA Rustu sa NVIDIA snaží túto technologickú medzeru preklenúť a umožniť vývojárom písať logiku zariadení priamo v Ruste a kompilovať ju do PTX, čím sa vyhnú ťažkopádnym wrapperom, ktoré komplikovali pracovný postup.
Dve cesty k dobytiu GPU
Aby sa spoločnosť NVIDIA prispôsobila rozmanitým potrebám programátorov, nasadila dva rôzne prístupy, ktoré napodobňujú všestrannosť CUDA. Na jednej strane existuje model SIMT a na druhej strane model Tile. Všeobecným odporúčaním je začať s prístupom Tile , pretože kompilátor optimalizuje spôsob mapovania dát v rámci každej architektúry, čím sa programátorovi zabráni v manuálnych a zdĺhavých rozhodnutiach o konkrétnom hardvéri.
Plná kontrola s cuda-oxidom (SIMT)
Pre tých, ktorí sa nechcú vzdať kontroly a potrebujú presnosť nad vláknami a zdieľanou pamäťou, je tu cuda-oxide . Tento nástroj slúži ako backend na generovanie vlastného kódu pre rustc. Proces je zložitý: funkcie označené ako jadrá prechádzajú cez MIR v Ruste, cez framework Pliron a LLVM IR a nakoniec sa prevedú na kód PTX spustiteľný na GPU.
Čo sa týka technických požiadaviek, nie je to práve prechádzka ružovou záhradou; potrebujete Linux, grafickú kartu s výpočtovým výkonom verzie 8.0 alebo vyššej a nočná sada nástrojovJedným z klenotov tohto systému je použitie DisjointSlicedátový typ, ktorý zabezpečuje, že každé vlákno má exkluzívny prístup k vášmu živluzabránenie kompilátoru Rust v blokovaní kódu pri pokuse o vytvorenie nekompatibilných meniteľných požičiavok.
Jednoduchosť a bezpečnosť s cutile-rs (dlaždice)
Ak uprednostňujete niečo viac ako prácu s NumPy alebo PyTorch, cutile-rs je pre vás najlepšou voľbou. Tu neprogramujete jednotlivé vlákna, ale pracujete s „dlaždicami“ alebo blokmi dát. Kompilátor rozhodne, koľko skutočných vlákien je potrebných na presun daného bloku, vďaka čomu je vývoj oveľa plynulejší a menej náchylný na chyby indexovania.
Na rozdiel od svojho súrodenca SIMT je tento projekt prístupnejší, pretože beží na stabilnom Ruste a nevyžaduje manuálnu inštaláciu LLVM. Používa makro, ktoré kompiluje jadro pomocou CUDA Tile IR hneď pri prvom spustení (JIT). Skvelou funkciou je jeho lenivá správa operácií : program zaregistruje reťazec príkazov a vykoná celú sadu iba vtedy, keď je vyvolaná metóda synchronizácie, čím optimalizuje komunikáciu medzi CPU a GPU.
Kúzlo kompilátora: Zbohom dátovým pretekom
Skutočnou revolúciou v CUDA Rust je spôsob, akým narába s pamäťou. V tradičnom programovaní GPU sú chyby aliasingu (keď dve vlákna zapisujú na to isté miesto) nočnou morou, ktorá sa objavuje iba v produkčnom prostredí. Rust to rieši presadzovaním svojich pravidiel vlastníctva na hranici vydania jadra.
- V modeli SIMT, ak sa pokúsite použiť výstupný buffer ako vstup, kompilátor vyvolá chybu. chyba premenlivej pôžičky (E0502).
- V modeli Tile sa prenáša vlastnosť tenzora a akýkoľvek pokus o použitie presunutej hodnoty spôsobí, že chyba E0382.
To znamená, že softvér je poistenie pre stavebné práceZatiaľ čo v SIMT zdieľaná pamäť stále vyžaduje bloky unsafeModel Dlaždice eliminuje potrebu manuálnej správy indexov vlákien, čím sa odstraňuje možnosť vzniku klasických chýb v rovnici.
Súčasný stav a budúcnosť projektu
Je dôležité zachovať realizmus: oba projekty sú v experimentálnej fáze . cuda-oxide je v ranej alfa verzii, zatiaľ čo cutile-rs je pokročilejší a už sa používa v projektoch, ako je inferenčný engine Grout od HuggingFace. NVIDIA jasne uviedla, že API sa môžu zmeniť a že je ešte dlhá cesta, kým budú tieto nástroje vhodné pre rozsiahle produkčné prostredia.
Napriek tomu, že je tento ekosystém nový, koexistuje a spolupracuje s predchádzajúcimi iniciatívami, ako sú rust-gpu a CubeCL. Cieľom je urobiť z Rustu prvotriedny jazyk pre akcelerované výpočty, ktorý umožní, aby kód GPU bol rovnako robustný a udržiavateľný ako systémový kód. Schopnosť interoperability medzi jadrami Tile a SIMT v rovnakom streame zabezpečuje, že vývojári nie sú viazaní na jednu metodiku.
Záväzok spoločnosti NVIDIA integrovať Rust do jadra CUDA predstavuje nevyhnutný vývoj pre infraštruktúru umelej inteligencie, ktorý posúva zabezpečenie z behu do času kompilácie. Ponúkaním ciest pre granulárne riadenie vlákien a zjednodušenú manipuláciu s tenzormi demokratizuje prístup k extrémnemu výkonu GPU elimináciou typickej krehkosti pamäte v C++, čím ohlasuje éru, v ktorej efektivita a úplná bezpečnosť koexistujú v rámci toho istého binárneho súboru.
Najčastejšie otázky
Aký je rozdiel medzi cuda-oxidom a cutile-rs?
Cuda-oxide sa zameriava na model SIMT pre tých, ktorí potrebujú úplnú kontrolu nad niťami a pamäťou, zatiaľ čo cutile-rs používa model Tile na jednoduchšie a bezpečnejšie ovládanie napínačov.
Je možné dnes použiť CUDA Rust v produkčných projektoch?
Neodporúča sa pre produkčné použitie, pretože oba projekty sú experimentálne, sú v počiatočných fázach a ich API môžu prejsť významnými zmenami.
Aké hardvérové požiadavky potrebujem na spustenie týchto jadier?
Vyžaduje sa grafická karta NVIDIA s výpočtovým výkonom verzie 8.0 alebo vyššej a používanie operačných systémov Linux.
Ako Rust predchádza chybám pamäte GPU?
Používa systém vlastníctva a požičiavania na detekciu konfliktov aliasingu a spustenia údajov počas kompilácie, čím zabraňuje spusteniu nebezpečného kódu.
Musím na všetko používať nočnú verziu Rustu?
Iba cesta cuda-oxide vyžaduje nočný nástrojový reťazec, zatiaľ čo cutile-rs je kompatibilný so stabilnými verziami Rustu 1.89 alebo vyšším.
Môžem v jednej aplikácii kombinovať jadrá rôznych modelov?
Áno, jadrá Tile a SIMT sú interoperabilné a môžu bežať na rovnakom streame pomocou zdieľaných vyrovnávacích pamätí zariadení.
Čo je PTX kód v kontexte CUDA Rust?
Je to medziľahlý assemblerový jazyk, do ktorého sa kompilujú jadrá Rust, aby ich ovládač GPU mohol efektívne spúšťať.




