- Az NVIDIA kezdeményezést indított a Rust natív integrálására a GPU kernel fejlesztésébe, kiküszöbölve ezzel a más nyelvektől való függőséget.
- Az ökoszisztéma két fő útvonalra oszlik: a cuda-oxid a SIMT-en keresztüli teljes kontrollhoz, a cutile-rs pedig a Tiles-on alapuló egyszerűsített megközelítéshez.
- Mindkét eszköz a Rust biztonsági és tulajdonjogi garanciáit biztosítja a hardver számára, a memóriahibákat és az adatfutásokat fordítási időben észlelve.
A modern mesterséges intelligenciát támogató infrastruktúra szédületes sebességgel fejlődik, és a lépéstartás érdekében az NVIDIA úgy döntött, hogy jelentős összegeket fektet be a Rustban futó natív programozásba . Míg a CUDA C++ és a CUDA Python már bevált és robusztus eszközök a vállalati szektor számára, az iparág a Rust felé tolódik el, mivel képes a kritikus memóriahibákat még a kód futtatása előtt kiküszöbölni, a nyers teljesítmény feláldozása nélkül.
Egészen a közelmúltig a Rustot külső rétegekben, például következtetőmotorokban vagy illesztőprogramokban használták, de a GPU-kernelek továbbra is a „vakfolt” maradtak, ahol a fejlesztőknek más nyelvekhez kellett folyamodniuk. A CUDA Rust megjelenésével az NVIDIA megpróbálja áthidalni ezt a technológiai szakadékot , lehetővé téve a fejlesztők számára, hogy az eszközlogikát közvetlenül a Rustban írják, és PTX-re fordítsák, így elkerülve a munkafolyamatot bonyolító nehézkes burkolókat.
A GPU meghódításának két útja
A programozók sokszínű igényeihez igazodva az NVIDIA két különböző megközelítést alkalmazott, amelyek utánozzák a CUDA sokoldalúságát. Egyrészt létezik a SIMT modell, másrészt a Tile modell. Az általános ajánlás az, hogy a Tile megközelítéssel érdemes kezdeni , mivel a fordító optimalizálja az adatok leképezését az egyes architektúrák között, megakadályozva, hogy a programozónak manuális és fárasztó döntéseket kelljen hoznia az adott hardverrel kapcsolatban.
Teljes kontroll a cuda-oxiddal (SIMT)
Azok számára, akik nem akarják lemondani az irányításról, és hajszálpontos pontosságra van szükségük a szálak és a megosztott memória felett, ott van a cuda-oxide . Ez az eszköz egyéni kódgeneráló háttérprogramként működik a rustc számára. A folyamat összetett: a kernelként megjelölt függvények átmennek a Rust MIR-jén, áthaladnak a Pliron keretrendszeren és az LLVM IR-en, majd végül PTX kóddá konvertálódnak a GPU-n.
Ami a technikai követelményeket illeti, azok nem éppen sétagaloppok; szükséged van Linuxra, egy 8.0-s vagy újabb számítási képességű GPU-ra és egy szerszámlánc éjszakai készletEnnek a rendszernek az egyik gyöngyszeme a használata DisjointSliceegy adattípus, amely biztosítja, hogy minden szál rendelkezzen exkluzív hozzáférés az elemedhezmegakadályozza, hogy a Rust fordító blokkolja a kódot az inkompatibilis mutable kölcsönzések kísérlete miatt.
Egyszerűség és biztonság a cutile-rs-szel (Tile)
Ha inkább a NumPy-jal vagy a PyTorch-cal való munkát részesíted előnyben, akkor a cutile-rs a legjobb választás. Itt nem egyedi szálakat programozol, hanem „csempéken” vagy adatblokkokon dolgozol. A fordítóprogram dönti el, hogy hány tényleges szálra van szükség az adott blokk mozgatásához, így a fejlesztés sokkal simább és kevésbé hajlamos az indexelési hibákra.
Testvérével, a SIMT-tel ellentétben ez a projekt könnyebben hozzáférhető, mivel stabil Rust- on fut , és nem igényel manuális LLVM telepítést. Egy makrót használ, amely a kernelt CUDA Tile IR-ek segítségével fordítja le az első indításkor (JIT). Egy zseniális tulajdonsága a lusta műveletkezelés : a program regisztrál egy parancssorozatot, és csak akkor hajtja végre a teljes készletet, amikor a szinkronizációs metódus meghívódik, optimalizálva a CPU és a GPU közötti kommunikációt.
A fordítóprogram varázsa: Viszlát az adatversenyeknek
Ami igazán forradalmivá teszi a CUDA Rust-ot, az a memóriakezelése. A hagyományos GPU-programozásban az aliasing hibák (amikor két szál ugyanarra a helyre ír) rémálmok, amelyek csak éles környezetben jelentkeznek. A Rust ezt úgy oldja meg, hogy a tulajdonjogi szabályait a kernel kiadási határán érvényesíti .
- A SIMT modellben, ha a kimeneti puffert bemenetként próbáljuk használni, a fordító hibát dob. változó kölcsön hiba (E0502).
- A Tile modellben a tenzor tulajdonság átkerül, és egy áthelyezett érték használatára tett bármilyen kísérlet a következőt okozza: hiba E0382.
Ez azt jelenti, hogy a szoftver építési biztosításMíg a SIMT megosztott memóriájában továbbra is blokkokra van szükség unsafeA Tile modell kiküszöböli a szálindexek manuális kezelésének szükségességét, így kiküszöböli a klasszikus hibák elkövetésének lehetőségét.
A projekt jelenlegi állapota és jövője
Fontos, hogy a dolgok realisták maradjanak: mindkét projekt kísérleti fázisban van . A cuda-oxide korai alfa fázisban van, míg a cutile-rs fejlettebb, és már olyan projektekben is használják, mint a HuggingFace Grout következtetőmotorja. Az NVIDIA világossá tette, hogy az API-k változhatnak , és még van mit fejlődni, mire ezek az eszközök alkalmasak lesznek a tömeges termelési környezetekre.
Bár új, ez az ökoszisztéma a korábbi fejlesztésekkel, például a rust-gpu-val és a CubeCL-lel együtt létezik és együttműködik velük. A cél az, hogy a Rust első osztályú nyelv legyen a gyorsított számítástechnikához, lehetővé téve, hogy a GPU-kód ugyanolyan robusztus és karbantartható legyen, mint a rendszerkód. A Tile és a SIMT kernelek közötti együttműködés képessége ugyanazon a folyamaton belül biztosítja, hogy a fejlesztők ne legyenek egyetlen módszertanhoz kötve.
Az NVIDIA elkötelezettsége a Rust CUDA magjába való integrálása iránt a mesterséges intelligencia infrastruktúra szükséges evolúcióját jelenti, a biztonságot a futási időről a fordítási időre helyezve át. Azzal, hogy mind a granuláris szálvezérléshez, mind az egyszerűsített tenzormanipulációhoz útvonalakat kínál, demokratizálja a GPU-k extrém teljesítményéhez való hozzáférést azáltal, hogy kiküszöböli a C++-ra jellemző memória-törékenységet, így egy olyan korszakot nyit, ahol a hatékonyság és a teljes biztonság ugyanazon bináris fájlon belül létezik.
Preguntas frecuentes
Mi a különbség a cuda-oxid és a cutile-rs között?
A Cuda-oxide a SIMT modellre összpontosít azok számára, akiknek teljes kontrollra van szükségük a szálak és a memória felett, míg a cutile-rs a Tile modellt használja a feszítők könnyebb és biztonságosabb működtetéséhez.
Lehetséges a CUDA Rust használata ma éles projektekben?
Éles környezetben nem ajánlott, mivel mindkét projekt kísérleti jellegű, korai szakaszban van, és API-jaik jelentős változásokon mehetnek keresztül.
Milyen hardverkövetelményekre van szükségem ezeknek a kerneleknek a futtatásához?
NVIDIA GPU 8.0-s vagy újabb számítási kapacitással, valamint Linux operációs rendszer használata szükséges.
Hogyan előzi meg a Rust a GPU memóriahibáit?
A tulajdonlási és kölcsönzési rendszert használja az aliasing-ütközések és az adatfuttatások észlelésére a fordítás során, megakadályozva a nem biztonságos kód futtatását.
Mindenhez éjszakai Rust verziót kell használnom?
Csak a cuda-oxide útvonalhoz van szükség éjszakai eszközláncra, míg a cutile-rs kompatibilis a Rust 1.89-es vagy újabb stabil verzióival.
Keverhetek különböző modellekből álló kerneleket ugyanabban az alkalmazásban?
Igen, a Tile és a SIMT kernelek interoperábilisak, és ugyanazon a streamen futtathatók megosztott eszközpufferek használatával.
Mi a PTX kód a CUDA Rust kontextusában?
Ez a köztes assembly nyelv, amelyre a Rust kerneleket lefordítják, hogy a GPU-illesztőprogram hatékonyan futtathassa azokat.




