- NVIDIA ได้ริเริ่มโครงการที่จะผสาน Rust เข้ากับการพัฒนาเคอร์เนล GPU โดยตรง เพื่อขจัดความจำเป็นในการพึ่งพาภาษาโปรแกรมอื่นๆ
- ระบบนิเวศแบ่งออกเป็นสองเส้นทางหลัก ได้แก่ cuda-oxide สำหรับการควบคุมอย่างสมบูรณ์ผ่าน SIMT และ cutile-rs สำหรับวิธีการที่เรียบง่ายกว่าโดยใช้ Tiles
- เครื่องมือทั้งสองนี้ นำเอาความปลอดภัยและการรับประกันความเป็นเจ้าของของ Rust มาสู่ฮาร์ดแวร์ โดยตรวจจับข้อผิดพลาดของหน่วยความจำและการทำงานของข้อมูลในระหว่างการคอมไพล์
โครงสร้างพื้นฐานที่รองรับปัญญาประดิษฐ์สมัยใหม่กำลังพัฒนาไปอย่างรวดเร็ว และเพื่อให้ทันต่อการเปลี่ยนแปลง NVIDIA จึงตัดสินใจลงทุนอย่างมากในการเขียนโปรแกรมแบบเนทีฟด้วยภาษา Rustแม้ว่า CUDA C++ และ CUDA Python จะเป็นเครื่องมือที่ได้รับการยอมรับและแข็งแกร่งอยู่แล้วในภาคธุรกิจ แต่ภาคอุตสาหกรรมกำลังเปลี่ยนไปใช้ Rust เนื่องจากความสามารถในการกำจัดข้อผิดพลาดด้านหน่วยความจำที่สำคัญก่อนที่โค้ดจะเริ่มทำงาน โดยไม่ลดทอนประสิทธิภาพโดยรวม
จนกระทั่งเมื่อไม่นานมานี้ Rust ถูกใช้ในเลเยอร์ภายนอก เช่น เอ็นจิ้นการอนุมานหรือไดรเวอร์ แต่เคอร์เนลของ GPU ยังคงเป็น "จุดบอด" ที่นักพัฒนาต้องหันไปใช้ภาษาอื่น ด้วยการมาถึงของ CUDA Rust ทาง NVIDIA พยายามที่จะปิดช่องว่างทางเทคโนโลยีนี้โดยอนุญาตให้นักพัฒนาเขียนตรรกะของอุปกรณ์โดยตรงใน Rust และคอมไพล์เป็น PTX ซึ่งจะช่วยหลีกเลี่ยงตัวห่อหุ้มที่ยุ่งยากซึ่งทำให้ขั้นตอนการทำงานซับซ้อนขึ้น
สองเส้นทางสู่การพิชิต GPU
เพื่อตอบสนองความต้องการที่หลากหลายของโปรแกรมเมอร์ NVIDIA ได้นำวิธีการสองแบบมาใช้ ซึ่งเลียนแบบความอเนกประสงค์ของ CUDA แบบแรกคือโมเดล SIMT และแบบที่สองคือโมเดล Tile โดยทั่วไปแล้ว แนะนำให้เริ่มต้นด้วยวิธีการ Tileเนื่องจากคอมไพเลอร์จะปรับวิธีการแมปข้อมูลให้เหมาะสมกับสถาปัตยกรรมแต่ละแบบ ทำให้โปรแกรมเมอร์ไม่ต้องตัดสินใจด้วยตนเองอย่างยุ่งยากเกี่ยวกับฮาร์ดแวร์เฉพาะ
ควบคุมได้อย่างเต็มที่ด้วย cuda-oxide (SIMT)
สำหรับผู้ที่ไม่ต้องการเสียการควบคุมและต้องการความแม่นยำสูงในการจัดการเธรดและหน่วยความจำที่ใช้ร่วมกัน มีเครื่องมืออย่างcuda-oxideที่ทำหน้าที่เป็นแบ็กเอนด์สำหรับการสร้างโค้ดแบบกำหนดเองสำหรับ rustc กระบวนการนี้ซับซ้อน: ฟังก์ชันที่ถูกทำเครื่องหมายว่าเป็นเคอร์เนลจะผ่าน MIR ของ Rust ผ่านเฟรมเวิร์ก Pliron และ LLVM IR และในที่สุดจะถูกแปลงเป็นโค้ด PTXที่สามารถทำงานบน GPU ได้
สำหรับข้อกำหนดทางเทคนิคนั้น ไม่ง่ายนัก คุณต้องใช้ Linux, การ์ดจอที่มีความสามารถในการประมวลผลระดับ 8.0 ขึ้นไป และอื่นๆ ชุดเครื่องมือ nightly setหนึ่งในจุดเด่นของระบบนี้คือการใช้ DisjointSliceประเภทข้อมูลที่รับประกันว่าแต่ละเธรดมี สิทธิ์พิเศษในการเข้าถึงองค์ประกอบของคุณป้องกันไม่ให้คอมไพเลอร์ Rust บล็อกโค้ดเนื่องจากพยายามสร้างการยืมแบบเปลี่ยนแปลงได้ที่ไม่เข้ากัน
ความเรียบง่ายและความปลอดภัยด้วยกระเบื้อง cutile-rs
หากคุณชอบการทำงานที่คล้ายกับ NumPy หรือ PyTorch มากกว่าcutile-rsคือตัวเลือกที่ดีที่สุดของคุณ ที่นี่คุณไม่ต้องเขียนโปรแกรมเธรดแต่ละตัว แต่จะทำงานกับ "ไทล์" หรือบล็อกข้อมูลแทน คอมไพเลอร์จะตัดสินใจว่าต้องใช้เธรดจริงกี่เธรดในการย้ายบล็อกนั้น ทำให้การพัฒนาราบรื่นขึ้นและลดโอกาสเกิดข้อผิดพลาดในการจัดทำดัชนี
ต่างจากโปรเจกต์ SIMT ที่เป็นพี่น้องกัน โปรเจกต์นี้เข้าถึงได้ง่ายกว่าเนื่องจากทำงานบนRust เวอร์ชันเสถียรและไม่จำเป็นต้องติดตั้ง LLVM ด้วยตนเอง มันใช้มาโครที่คอมไพล์เคอร์เนลโดยใช้ CUDA Tile IRs ในทันทีที่เรียกใช้งานครั้งแรก (JIT) คุณสมบัติที่ยอดเยี่ยมคือการจัดการการทำงานแบบ Lazy : โปรแกรมจะลงทะเบียนสตริงคำสั่งและจะดำเนินการชุดคำสั่งทั้งหมดก็ต่อเมื่อวิธีการซิงโครไนซ์ถูกเรียกใช้เท่านั้น ซึ่งช่วยเพิ่มประสิทธิภาพการสื่อสารระหว่าง CPU และ GPU
ความมหัศจรรย์ของคอมไพเลอร์: บอกลาปัญหา Data Races ได้เลย
สิ่งที่ทำให้ CUDA Rust เปลี่ยนแปลงวงการอย่างแท้จริงคือวิธีการจัดการหน่วยความจำ ในการเขียนโปรแกรม GPU แบบดั้งเดิม ข้อผิดพลาดเรื่องการเขียนทับซ้อน (เมื่อสองเธรดเขียนไปยังตำแหน่งเดียวกัน) เป็นฝันร้ายที่มักเกิดขึ้นในขั้นตอนการใช้งานจริง Rust แก้ปัญหานี้โดยการบังคับใช้กฎการเป็นเจ้าของที่ขอบเขตการเผยแพร่ของเคอร์เนล
- ในโมเดล SIMT หากคุณพยายามใช้บัฟเฟอร์เอาต์พุตเป็นอินพุต คอมไพเลอร์จะแสดงข้อผิดพลาด ข้อผิดพลาดการกู้ยืมที่เปลี่ยนแปลงได้ (E0502)
- ในโมเดล Tile คุณสมบัติของเทนเซอร์จะถูกส่งต่อ และความพยายามใดๆ ในการใช้ค่าที่ถูกย้ายจะทำให้เกิดข้อผิดพลาด ข้อผิดพลาด E0382.
หมายความว่าซอฟต์แวร์นั้นคือ ประกันภัยสำหรับงานก่อสร้างในขณะที่หน่วยความจำร่วม SIMT ยังคงต้องการบล็อกอยู่ unsafeโมเดล Tile ช่วยขจัดความจำเป็นในการจัดการดัชนีเธรดด้วยตนเอง ซึ่งช่วยขจัดโอกาสที่จะเกิดข้อผิดพลาดแบบคลาสสิกเหล่านั้นได้
สถานะปัจจุบันและอนาคตของโครงการ
สิ่งสำคัญคือต้องมองโลกตามความเป็นจริง: ทั้งสองโครงการยังอยู่ในช่วงทดลอง cuda-oxide อยู่ในเวอร์ชันอัลฟ่าช่วงแรก ในขณะที่ cutile-rs มีความก้าวหน้ามากกว่าและถูกนำไปใช้ในโครงการต่างๆ แล้ว เช่น Grout ซึ่งเป็นเครื่องมือประมวลผลแบบอนุมานของ HuggingFace NVIDIA ชี้แจงอย่างชัดเจนว่าAPI อาจมีการเปลี่ยนแปลงและยังมีอีกหลายขั้นตอนที่ต้องดำเนินการก่อนที่เครื่องมือเหล่านี้จะเหมาะสมสำหรับสภาพแวดล้อมการผลิตขนาดใหญ่
แม้จะเป็นสิ่งใหม่ แต่ระบบนิเวศนี้ก็อยู่ร่วมและทำงานร่วมกับความพยายามก่อนหน้านี้ เช่น rust-gpu และ CubeCL เป้าหมายคือการทำให้ Rust เป็นภาษาหลักสำหรับการประมวลผลแบบเร่งความเร็ว ทำให้โค้ด GPU มีความแข็งแกร่งและบำรุงรักษาได้ง่ายเหมือนกับโค้ดระบบ ความสามารถในการทำงานร่วมกันระหว่างเคอร์เนล Tile และ SIMT ในสตรีมเดียวกันทำให้มั่นใจได้ว่านักพัฒนาจะไม่ถูกจำกัดอยู่กับวิธีการเดียว
ความมุ่งมั่นของ NVIDIA ในการผสาน Rust เข้ากับแกนหลักของ CUDA ถือเป็นการพัฒนาที่จำเป็นสำหรับโครงสร้างพื้นฐาน AI โดยย้ายการรักษาความปลอดภัยจากเวลาทำงานไปสู่เวลาคอมไพล์ ด้วยการนำเสนอแนวทางสำหรับการควบคุมเธรดแบบละเอียดและการจัดการเทนเซอร์ที่ง่ายขึ้น ทำให้ทุกคนสามารถเข้าถึงประสิทธิภาพสูงสุดของ GPU ได้โดยการกำจัดจุดอ่อนด้านหน่วยความจำที่มักพบใน C++ จึงนำไปสู่ยุคที่ประสิทธิภาพและความปลอดภัยอย่างสมบูรณ์แบบอยู่ร่วมกันในไบนารีเดียวกัน
คำถามที่พบบ่อย
คูดาออกไซด์กับคิวทิล-อาร์แตกต่างกันอย่างไร?
Cuda-oxide เน้นที่โมเดล SIMT สำหรับผู้ที่ต้องการควบคุมเกลียวและหน่วยความจำอย่างสมบูรณ์ ในขณะที่ cutile-rs ใช้โมเดล Tile เพื่อใช้งานตัวปรับความตึงได้ง่ายและปลอดภัยยิ่งขึ้น
เป็นไปได้หรือไม่ที่จะใช้ CUDA Rust ในโปรเจ็กต์ที่ใช้งานจริงในปัจจุบัน?
ไม่แนะนำให้นำไปใช้งานจริง เนื่องจากทั้งสองโปรเจกต์ยังอยู่ในขั้นตอนทดลอง อยู่ในช่วงเริ่มต้น และ API ของทั้งสองโปรเจกต์อาจมีการเปลี่ยนแปลงอย่างมาก
ฉันต้องการฮาร์ดแวร์อะไรบ้างเพื่อใช้งานเคอร์เนลเหล่านี้?
จำเป็นต้องใช้ GPU ของ NVIDIA ที่มี Compute Capability 8.0 หรือสูงกว่า และต้องใช้ระบบปฏิบัติการ Linux
Rust ป้องกันข้อผิดพลาดเกี่ยวกับหน่วยความจำ GPU ได้อย่างไร?
ระบบนี้ใช้ระบบการเป็นเจ้าของและการยืมเพื่อตรวจจับความขัดแย้งในการกำหนดชื่อแทนและการทำงานของข้อมูลระหว่างการคอมไพล์ ซึ่งจะช่วยป้องกันไม่ให้โค้ดที่ไม่ปลอดภัยทำงาน
ฉันจำเป็นต้องใช้ Rust เวอร์ชัน nightly สำหรับทุกอย่างหรือไม่?
เฉพาะส่วนของ cuda-oxide เท่านั้นที่ต้องการชุดเครื่องมือเวอร์ชัน nightly ในขณะที่ cutile-rs สามารถใช้งานร่วมกับ Rust เวอร์ชันเสถียร 1.89 หรือสูงกว่าได้
ฉันสามารถใช้เคอร์เนลของโมเดลต่างๆ ร่วมกันในแอปพลิเคชันเดียวกันได้หรือไม่?
ใช่แล้ว เคอร์เนลของ Tile และ SIMT สามารถทำงานร่วมกันได้ และสามารถทำงานบนสตรีมเดียวกันได้โดยใช้บัฟเฟอร์อุปกรณ์ร่วมกัน
โค้ด PTX ในบริบทของ CUDA Rust คืออะไร?
เป็นภาษาแอสเซมบลีระดับกลางที่ใช้ในการคอมไพล์เคอร์เนลของ Rust เพื่อให้ไดรเวอร์ GPU สามารถเรียกใช้งานได้อย่างมีประสิทธิภาพ




