- NVIDIA heeft een initiatief gelanceerd om Rust rechtstreeks te integreren in de GPU-kernelontwikkeling, waardoor de afhankelijkheid van andere programmeertalen wordt geëlimineerd.
- Het ecosysteem is onderverdeeld in twee hoofdroutes: cuda-oxide voor volledige controle via SIMT en cutile-rs voor een vereenvoudigde aanpak gebaseerd op Tiles.
- Beide tools brengen de beveiligings- en eigendomsgaranties van Rust naar de hardware en detecteren geheugenfouten en dataruns tijdens het compileren.
De infrastructuur die moderne kunstmatige intelligentie ondersteunt, ontwikkelt zich razendsnel. Om gelijke tred te houden, heeft NVIDIA besloten fors te investeren in native programmering met Rust . Hoewel CUDA C++ en CUDA Python al gevestigde en robuuste tools zijn voor de zakelijke sector, verschuift de industrie naar Rust vanwege de mogelijkheid om kritieke geheugenproblemen te elimineren voordat de code zelfs maar wordt uitgevoerd, zonder dat dit ten koste gaat van de pure prestaties.
Tot voor kort werd Rust gebruikt in externe lagen zoals inferentie-engines of drivers, maar de GPU-kernels bleven de "blinde vlek" waar ontwikkelaars hun toevlucht moesten nemen tot andere programmeertalen. Met de komst van CUDA Rust wil NVIDIA deze technologische kloof dichten , waardoor ontwikkelaars de apparaatlogica direct in Rust kunnen schrijven en compileren naar PTX, waarmee de omslachtige wrappers die de workflow bemoeilijkten, worden vermeden.
De twee wegen naar het bedwingen van de GPU
Om tegemoet te komen aan de uiteenlopende behoeften van programmeurs, heeft NVIDIA twee verschillende benaderingen ontwikkeld die de veelzijdigheid van CUDA nabootsen. Enerzijds is er het SIMT-model en anderzijds het Tile-model. Over het algemeen wordt aangeraden om te beginnen met de Tile-benadering , omdat de compiler optimaliseert hoe gegevens over de verschillende architecturen worden toegewezen. Hierdoor hoeft de programmeur geen handmatige en tijdrovende beslissingen te nemen over specifieke hardware.
Volledige controle met CUDA-oxide (SIMT)
Voor degenen die de controle niet willen uit handen geven en uiterst nauwkeurige controle over threads en gedeeld geheugen nodig hebben, is er cuda-oxide . Deze tool fungeert als een aangepaste code-generatiebackend voor rustc. Het proces is complex: functies die als kernels zijn gemarkeerd, doorlopen Rust's MIR, gaan door het Pliron-framework en LLVM IR, en worden uiteindelijk omgezet in PTX-code die op de GPU kan worden uitgevoerd.
Wat de technische vereisten betreft, is het niet bepaald een makkie; je hebt Linux nodig, een GPU met rekenkracht van 8.0 of hoger, en een toolchain nightly setEen van de pareltjes van dit systeem is het gebruik van DisjointSliceeen gegevenstype dat ervoor zorgt dat elke thread beschikt over exclusieve toegang tot uw elementVoorkomen dat de Rust-compiler de code blokkeert wanneer deze probeert incompatibele, veranderlijke leenverzoeken te doen.
Eenvoud en veiligheid met cutile-rs (Tile)
Als je liever met NumPy of PyTorch werkt, is cutile-rs de beste optie. Hier programmeer je geen afzonderlijke threads, maar werk je met 'tegels' of datablokken. De compiler bepaalt hoeveel threads er nodig zijn om dat blok te verwerken, waardoor de ontwikkeling veel soepeler verloopt en de kans op indexeringsfouten kleiner is.
In tegenstelling tot het verwante SIMT-project is dit project toegankelijker omdat het op stabiele Rust draait en geen handmatige LLVM-installatie vereist. Het maakt gebruik van een macro die de kernel compileert met behulp van CUDA Tile IR's direct bij de eerste opstart (JIT). Een briljante eigenschap is het ' lazy operation management' : het programma registreert een commandoreeks en voert de volledige reeks pas uit wanneer de synchronisatiemethode wordt aangeroepen, waardoor de communicatie tussen de CPU en GPU wordt geoptimaliseerd.
De magie van de compiler: vaarwel aan dataraces
Wat CUDA Rust echt baanbrekend maakt, is de manier waarop het geheugen beheert. Bij traditionele GPU-programmering zijn aliasingfouten (wanneer twee threads naar dezelfde locatie schrijven) nachtmerries die pas in productieomgevingen voorkomen. Rust lost dit op door de eigendomsregels al bij de release van de kernel af te dwingen.
- In het SIMT-model geeft de compiler een foutmelding als je de uitvoerbuffer als invoer probeert te gebruiken. veranderlijke leningfout (E0502).
- In het Tile-model wordt de tensoreigenschap overgedragen, en elke poging om een overgedragen waarde te gebruiken zal een foutmelding veroorzaken. fout E0382.
Dit betekent dat de software verzekering voor de bouwTerwijl in SIMT gedeeld geheugen nog steeds blokken vereist zijn unsafeHet Tile-model elimineert de noodzaak om thread-indexen handmatig te beheren, waardoor de kans op die klassieke fouten wordt weggenomen.
Huidige status en toekomst van het project
Het is belangrijk om realistisch te blijven: beide projecten bevinden zich in de experimentele fase . cuda-oxide is in een vroege alpha-fase, terwijl cutile-rs verder gevorderd is en al wordt gebruikt in projecten zoals de Grout-inferentie-engine van HuggingFace. NVIDIA heeft duidelijk gemaakt dat de API's kunnen veranderen en dat er nog een lange weg te gaan is voordat deze tools geschikt zijn voor grootschalige productieomgevingen.
Ondanks dat het nieuw is, bestaat dit ecosysteem naast en werkt het samen met eerdere initiatieven zoals rust-gpu en CubeCL. Het doel is om van Rust een volwaardige taal voor versnelde berekeningen te maken, waardoor GPU-code net zo robuust en onderhoudbaar wordt als systeemcode. De mogelijkheid om Tile- en SIMT-kernels in dezelfde stream te laten samenwerken, zorgt ervoor dat ontwikkelaars niet gebonden zijn aan één enkele methodologie.
NVIDIA's besluit om Rust te integreren in de kern van CUDA vertegenwoordigt een noodzakelijke evolutie voor AI-infrastructuur, waarbij beveiliging verschuift van runtime naar compilatietijd. Door mogelijkheden te bieden voor zowel gedetailleerde threadcontrole als vereenvoudigde tensormanipulatie, democratiseert het de toegang tot de extreme prestaties van GPU's door de typische geheugenkwetsbaarheid van C++ te elimineren. Dit luidt een tijdperk in waarin efficiëntie en volledige beveiliging in hetzelfde binaire bestand naast elkaar bestaan.
Veel gestelde vragen
Wat is het verschil tussen cuda-oxide en cutile-rs?
Cuda-oxide richt zich op het SIMT-model voor diegenen die volledige controle over schroefdraad en geheugen nodig hebben, terwijl cutile-rs het Tile-model gebruikt om spanners gemakkelijker en veiliger te bedienen.
Is het mogelijk om CUDA Rust tegenwoordig in productieprojecten te gebruiken?
Het is niet aan te raden om deze projecten in productie te nemen, aangezien ze experimenteel zijn, zich in een vroeg stadium bevinden en hun API's nog aanzienlijke wijzigingen kunnen ondergaan.
Welke hardwarevereisten heb ik nodig om deze kernels te kunnen draaien?
Een NVIDIA GPU met compute capability 8.0 of hoger en het gebruik van een Linux-besturingssysteem zijn vereist.
Hoe voorkomt Rust GPU-geheugenfouten?
Het maakt gebruik van het eigendoms- en leensysteem om aliasingconflicten en dataruns tijdens de compilatie te detecteren, waardoor wordt voorkomen dat onveilige code wordt uitgevoerd.
Moet ik voor alles een nightly-versie van Rust gebruiken?
Alleen het cuda-oxide-pad vereist een nightly toolchain, terwijl cutile-rs compatibel is met stabiele versies van Rust 1.89 of hoger.
Kan ik kernels van verschillende modellen in dezelfde applicatie combineren?
Ja, Tile- en SIMT-kernels zijn compatibel en kunnen op dezelfde datastroom draaien met behulp van gedeelde apparaatbuffers.
Wat is PTX-code in de context van CUDA Rust?
Het is de tussenliggende assembleertaal waarnaar Rust-kernels worden gecompileerd, zodat de GPU-driver ze efficiënt kan uitvoeren.




