- „NVIDIA“ pradėjo iniciatyvą integruoti „Rust“ į GPU branduolio kūrimą, taip panaikinant priklausomybę nuo kitų kalbų.
- Ekosistema yra padalinta į du pagrindinius maršrutus: cuda-oksidas, skirtas visiškam valdymui per SIMT, ir cutile-rs, skirtas supaprastintam metodui, pagrįstam Tiles.
- Abu įrankiai suteikia „Rust“ saugumo ir nuosavybės garantijas aparatinei įrangai, aptikdami atminties klaidas ir duomenų vykdymą kompiliavimo metu.
Šiuolaikinį dirbtinį intelektą palaikanti infrastruktūra vystosi žaibišku greičiu, ir norėdama neatsilikti, „NVIDIA“ nusprendė daug investuoti į natyvų programavimą „Rust“ kalba . Nors „CUDA C++“ ir „CUDA Python“ jau yra įsitvirtinę ir patikimi įrankiai įmonių sektoriui, pramonė pereina prie „Rust“ dėl jos gebėjimo pašalinti kritines atminties klaidas dar prieš paleidžiant kodą, neaukojant našumo.
Iki šiol „Rust“ buvo naudojama išoriniuose sluoksniuose, tokiuose kaip išvadų moduliai ar tvarkyklės, tačiau GPU branduoliai liko „akląja zona“, kur kūrėjams teko griebtis kitų kalbų. Atsiradus „CUDA Rust“, „NVIDIA“ siekia užpildyti šią technologinę spragą , leisdama kūrėjams rašyti įrenginių logiką tiesiogiai „Rust“ kalba ir kompiliuoti ją į PTX, taip išvengiant sudėtingų apvalkalų, kurie apsunkino darbo eigą.
Du keliai į GPU užkariavimą
Siekdama prisitaikyti prie įvairių programuotojų poreikių, „NVIDIA“ įdiegė du skirtingus metodus, kurie imituoja CUDA universalumą. Viena vertus, yra SIMT modelis, kita vertus – Tile modelis. Bendroji rekomendacija yra pradėti nuo Tile metodo , nes kompiliatorius optimizuoja duomenų susiejimą kiekvienoje architektūroje, todėl programuotojui nereikės rankiniu būdu priimti varginančių sprendimų dėl konkrečios aparatinės įrangos.
Visiška kontrolė naudojant cuda-oksidą (SIMT)
Tiems, kurie nenori atsisakyti kontrolės ir kuriems reikalingas tikslus gijų ir bendros atminties valdymas, yra „cuda-oxide“ . Šis įrankis veikia kaip pasirinktinio kodo generavimo posistemis „rustc“. Procesas yra sudėtingas: funkcijos, pažymėtos kaip branduoliai, pereina „Rust“ MIR, pereina „Pliron“ sistemą ir LLVM IR, o galiausiai konvertuojamos į PTX kodą, vykdomą GPU.
Kalbant apie techninius reikalavimus, tai nėra lengva užduotis; jums reikia „Linux“, GPU su 8.0 ar naujesne skaičiavimo galia ir įrankių grandinės naktinis rinkinysVienas iš šios sistemos brangakmenių yra naudojimas DisjointSliceduomenų tipas, užtikrinantis, kad kiekvienas siūlas turi išskirtinė prieiga prie jūsų elementoneleidžiant „Rust“ kompiliatoriui blokuoti kodo, bandančio atlikti nesuderinamus keičiamus skolinimus.
Paprastumas ir saugumas su cutile-rs (plytelės)
Jei pageidaujate kažko panašaus į darbą su „NumPy“ ar „PyTorch“, geriausias pasirinkimas yra „cutile-rs“ . Čia neprogramuojate atskirų gijų, o dirbate su „plytelių“ arba duomenų blokais. Kompiliatorius nusprendžia, kiek realių gijų reikia norint perkelti tą bloką, todėl kūrimas tampa daug sklandesnis ir mažiau linkęs į indeksavimo klaidas.
Skirtingai nuo savo giminingo projekto SIMT, šis projektas yra prieinamesnis, nes veikia stabilioje „Rust“ aplinkoje ir nereikalauja rankinio LLVM diegimo. Jis naudoja makrokomandą, kuri sukompiliuoja branduolį naudodama CUDA Tile IR iškart po pirmojo paleidimo (JIT). Puiki funkcija yra jo „ tingių operacijų valdymas“ : programa užregistruoja komandų eilutę ir vykdo visą rinkinį tik tada, kai iškviečiamas sinchronizavimo metodas, taip optimizuojant ryšį tarp procesoriaus ir grafikos procesoriaus.
Kompiliatoriaus magija: atsisveikinkite su duomenų lenktynėmis
Kas iš tiesų keičia „CUDA Rust“ žaidimo taisykles, yra tai, kaip ji tvarko atmintį. Tradiciniame GPU programavime aliasing klaidos (kai dvi gijos rašo į tą pačią vietą) yra košmarai, pasitaikantys tik gamybinėje aplinkoje. „Rust“ šią problemą išsprendžia įgyvendindama nuosavybės taisykles branduolio išleidimo riboje.
- SIMT modelyje, jei bandysite naudoti išvesties buferį kaip įvestį, kompiliatorius išmes klaidą. kintamos paskolos klaida („E0502“).
- Plytelių modelyje tenzoriaus savybė yra perkeliama, ir bet koks bandymas naudoti perkeltą reikšmę sukels klaida E0382.
Tai reiškia, kad programinė įranga yra statybų draudimasKadangi SIMT bendroje atmintyje vis dar reikalingi blokai unsafePlytelių modelis panaikina poreikį rankiniu būdu tvarkyti gijų indeksus, taip pašalindamas galimybę padaryti tas klasikines klaidas.
Dabartinė projekto būklė ir ateitis
Svarbu išlikti realistiškam: abu projektai yra eksperimentinėje fazėje . „cuda-oxide“ yra ankstyvojoje alfa versijoje, o „cutile-rs“ yra labiau pažangus ir jau naudojamas tokiuose projektuose kaip „HuggingFace“ „Grout“ išvadų variklis. „NVIDIA“ aiškiai pasakė, kad API gali keistis ir kad dar reikia nueiti ilgą kelią, kol šie įrankiai bus tinkami masinei gamybai.
Nors ši ekosistema yra nauja, ji egzistuoja ir bendradarbiauja su ankstesnėmis sistemomis, tokiomis kaip „rust-gpu“ ir „CubeCL“. Tikslas – paversti „Rust“ aukščiausios klasės kalba pagreitintiems skaičiavimams, leidžiančia GPU kodui būti tokiam pat patikimam ir lengvai prižiūrimam kaip ir sisteminiam kodui. Galimybė sąveikauti tarp „Tile“ ir SIMT branduolių tame pačiame sraute užtikrina, kad kūrėjai nebūtų pririšti prie vienos metodologijos.
„NVIDIA“ įsipareigojimas integruoti „Rust“ į CUDA branduolį yra būtinas dirbtinio intelekto infrastruktūros evoliucijos žingsnis, perkeliant saugumą iš vykdymo laiko į kompiliavimo laiką. Siūlant tiek detalaus gijų valdymo, tiek supaprastinto tenzorių manipuliavimo būdus, ji demokratizuoja prieigą prie itin našaus GPU, pašalindama tipinį C++ atminties trapumą ir taip pradėdama erą, kai efektyvumas ir visiškas saugumas egzistuoja tame pačiame dvejetainiame faile.
Dažniausiai užduodami klausimai
Kuo skiriasi cuda-oksidas ir cutile-rs?
„Cuda-oxide“ daugiausia dėmesio skiria SIMT modeliui tiems, kuriems reikia visiškos sriegių ir atminties kontrolės, o „cutile-rs“ naudoja Tile modelį, kad įtempiklius valdytų lengviau ir saugiau.
Ar šiandien galima naudoti „CUDA Rust“ gamybiniuose projektuose?
Nerekomenduojama naudoti gamybinėje aplinkoje, nes abu projektai yra eksperimentiniai, ankstyvosiose stadijose ir jų API gali būti reikšmingai pakeisti.
Kokių aparatinės įrangos reikalavimų reikia norint paleisti šiuos branduolius?
Reikalinga NVIDIA GPU su 8.0 ar naujesne skaičiavimo galia ir „Linux“ operacinė sistema.
Kaip „Rust“ apsaugo nuo GPU atminties klaidų?
Jis naudoja nuosavybės ir skolinimosi sistemą, kad aptiktų pseudonimų konfliktus ir duomenų paleidimą kompiliavimo metu, užkertant kelią nesaugaus kodo paleidimui.
Ar man reikia viskam naudoti naktinę „Rust“ versiją?
Tik „cuda-oxide“ keliui reikalinga naktinė įrankių grandinė, o „cutile-rs“ suderinamas su stabiliomis „Rust 1.89“ ar naujesnėmis versijomis.
Ar galiu toje pačioje programoje maišyti skirtingų modelių branduolius?
Taip, „Tile“ ir SIMT branduoliai yra suderinami ir gali veikti tame pačiame sraute, naudodami bendrus įrenginių buferius.
Kas yra PTX kodas CUDA Rust kontekste?
Tai tarpinė asemblerio kalba, į kurią kompiliuojami „Rust“ branduoliai, kad GPU tvarkyklė galėtų juos efektyviai paleisti.




