- NVIDIA đã khởi xướng một sáng kiến nhằm tích hợp Rust trực tiếp vào quá trình phát triển nhân GPU, loại bỏ sự phụ thuộc vào các ngôn ngữ khác.
- Hệ sinh thái được chia thành hai lộ trình chính: cuda-oxide để kiểm soát hoàn toàn thông qua SIMT và cutile-rs để tiếp cận đơn giản hơn dựa trên Tiles.
- Cả hai công cụ đều mang lại sự đảm bảo về tính bảo mật và quyền sở hữu của Rust cho phần cứng, phát hiện lỗi bộ nhớ và lỗi truy cập dữ liệu trong quá trình biên dịch.
Cơ sở hạ tầng hỗ trợ trí tuệ nhân tạo hiện đại đang phát triển với tốc độ chóng mặt, và để bắt kịp, NVIDIA đã quyết định đầu tư mạnh vào lập trình gốc bằng Rust . Mặc dù CUDA C++ và CUDA Python đã là những công cụ mạnh mẽ và được sử dụng rộng rãi trong doanh nghiệp, ngành công nghiệp đang chuyển hướng sang Rust nhờ khả năng loại bỏ các lỗi bộ nhớ nghiêm trọng trước khi mã được thực thi, mà không làm giảm hiệu năng tổng thể.
Cho đến gần đây, Rust được sử dụng ở các lớp bên ngoài như công cụ suy luận hoặc trình điều khiển, nhưng nhân GPU vẫn là "điểm mù" mà các nhà phát triển phải sử dụng các ngôn ngữ khác. Với sự ra đời của CUDA Rust, NVIDIA hướng đến việc thu hẹp khoảng cách công nghệ này , cho phép các nhà phát triển viết logic thiết bị trực tiếp bằng Rust và biên dịch nó thành PTX, từ đó tránh được các lớp bao bọc rườm rà làm phức tạp quy trình làm việc.
Hai con đường để chinh phục GPU

Để thích ứng với nhu cầu đa dạng của các lập trình viên, NVIDIA đã triển khai hai phương pháp khác nhau mô phỏng tính linh hoạt của CUDA. Một mặt là mô hình SIMT, mặt khác là mô hình Tile. Khuyến nghị chung là nên bắt đầu với phương pháp Tile , vì trình biên dịch tối ưu hóa cách dữ liệu được ánh xạ trên từng kiến trúc, giúp lập trình viên không phải đưa ra các quyết định thủ công và tốn thời gian về phần cứng cụ thể.
Kiểm soát hoàn toàn với cuda-oxide (SIMT)

Đối với những ai không muốn từ bỏ quyền kiểm soát và cần độ chính xác tuyệt đối đối với các luồng và bộ nhớ chia sẻ, thì có cuda-oxide . Công cụ này hoạt động như một công cụ tạo mã tùy chỉnh cho rustc. Quá trình này khá phức tạp: các hàm được đánh dấu là kernel sẽ đi qua MIR của Rust, qua khung Pliron và LLVM IR, và cuối cùng được chuyển đổi thành mã PTX có thể thực thi trên GPU.
Về yêu cầu kỹ thuật, nó không hề dễ dàng; bạn cần hệ điều hành Linux, một card đồ họa (GPU) có khả năng tính toán từ phiên bản 8.0 trở lên, và một... bộ công cụ hàng đêmMột trong những điểm nổi bật của hệ thống này là việc sử dụng DisjointSlicemột kiểu dữ liệu đảm bảo mỗi luồng có quyền truy cập độc quyền vào yếu tố của bạnNgăn chặn trình biên dịch Rust chặn mã khi cố gắng tạo ra các thuộc tính mượn có thể thay đổi không tương thích.
Đơn giản và an toàn với cutile-rs (Tile)

Nếu bạn thích làm việc với NumPy hoặc PyTorch hơn, cutile-rs là lựa chọn tốt nhất. Ở đây, bạn không lập trình các luồng riêng lẻ, mà thao tác trên các "ô" hoặc khối dữ liệu. Trình biên dịch sẽ quyết định cần bao nhiêu luồng để di chuyển khối đó, giúp quá trình phát triển mượt mà hơn và ít xảy ra lỗi lập chỉ mục hơn.
Không giống như người anh em SIMT, dự án này dễ tiếp cận hơn vì nó chạy trên nền tảng Rust ổn định và không yêu cầu cài đặt LLVM thủ công. Nó sử dụng một macro biên dịch nhân hệ điều hành bằng cách sử dụng CUDA Tile IR ngay tại thời điểm khởi chạy lần đầu (JIT). Một tính năng tuyệt vời là khả năng quản lý thao tác lười biếng : chương trình đăng ký một chuỗi lệnh và chỉ thực thi toàn bộ tập lệnh khi phương thức đồng bộ hóa được gọi, tối ưu hóa giao tiếp giữa CPU và GPU.
Sức mạnh kỳ diệu của trình biên dịch: Tạm biệt lỗi tranh chấp dữ liệu

Điều thực sự khiến CUDA Rust trở thành một bước đột phá chính là cách nó xử lý bộ nhớ. Trong lập trình GPU truyền thống, lỗi xung đột truy cập (khi hai luồng ghi vào cùng một vị trí) là những cơn ác mộng chỉ xuất hiện trong môi trường sản xuất. Rust giải quyết vấn đề này bằng cách thực thi các quy tắc quyền sở hữu của nó ngay từ giai đoạn phát hành kernel.
- Trong mô hình SIMT, nếu bạn cố gắng sử dụng bộ đệm đầu ra làm đầu vào, trình biên dịch sẽ báo lỗi. lỗi khoản vay có thể thay đổi (E0502).
- Trong mô hình Tile, thuộc tính tensor được truyền đi, và bất kỳ nỗ lực nào sử dụng giá trị đã được di chuyển sẽ gây ra lỗi. lỗi E0382.
Điều này có nghĩa là phần mềm là bảo hiểm xây dựngTrong khi đó, bộ nhớ dùng chung trong SIMT vẫn yêu cầu các khối. unsafeMô hình Tile loại bỏ nhu cầu quản lý chỉ mục luồng theo cách thủ công, loại bỏ khả năng mắc phải những lỗi thường gặp.
Tình trạng hiện tại và tương lai của dự án
Điều quan trọng là phải nhìn nhận mọi thứ một cách thực tế: cả hai dự án đều đang trong giai đoạn thử nghiệm . cuda-oxide đang ở giai đoạn alpha ban đầu, trong khi cutile-rs tiên tiến hơn và đã được sử dụng trong các dự án như công cụ suy luận Grout của HuggingFace. NVIDIA đã nói rõ rằng các API có thể thay đổi và vẫn còn một chặng đường dài trước khi các công cụ này phù hợp cho môi trường sản xuất quy mô lớn.
Mặc dù còn mới, hệ sinh thái này cùng tồn tại và hợp tác với các nỗ lực trước đó như rust-gpu và CubeCL. Mục tiêu là biến Rust thành ngôn ngữ hàng đầu cho điện toán tăng tốc, cho phép mã GPU mạnh mẽ và dễ bảo trì như mã hệ thống. Khả năng tương tác giữa các nhân Tile và SIMT trong cùng một luồng đảm bảo rằng các nhà phát triển không bị ràng buộc vào một phương pháp duy nhất.
Việc NVIDIA cam kết tích hợp Rust vào lõi của CUDA thể hiện một bước tiến cần thiết cho cơ sở hạ tầng AI, chuyển đổi bảo mật từ thời gian chạy sang thời gian biên dịch. Bằng cách cung cấp các phương thức cho cả việc kiểm soát luồng chi tiết và thao tác tensor đơn giản, nó dân chủ hóa quyền truy cập vào hiệu năng cực cao của GPU bằng cách loại bỏ sự dễ bị tổn thương về bộ nhớ thường thấy trong C++, từ đó mở ra một kỷ nguyên nơi hiệu quả và bảo mật tuyệt đối cùng tồn tại trong cùng một mã nhị phân.
Câu hỏi thường gặp
Sự khác biệt giữa cuda-oxide và cutile-rs là gì?
Cuda-oxide tập trung vào mô hình SIMT dành cho những người cần kiểm soát hoàn toàn các sợi chỉ và bộ nhớ, trong khi cutile-rs sử dụng mô hình Tile để vận hành bộ căng chỉ dễ dàng và an toàn hơn.
Liệu việc sử dụng CUDA Rust trong các dự án sản xuất hiện nay có khả thi không?
Không nên sử dụng chúng cho mục đích sản xuất vì cả hai dự án đều mang tính thử nghiệm, đang ở giai đoạn đầu và API của chúng có thể trải qua những thay đổi đáng kể.
Tôi cần những yêu cầu phần cứng nào để chạy các nhân hệ điều hành này?
Cần có card đồ họa NVIDIA với khả năng tính toán 8.0 trở lên và sử dụng hệ điều hành Linux.
Rust ngăn ngừa lỗi bộ nhớ GPU như thế nào?
Nó sử dụng hệ thống quyền sở hữu và mượn để phát hiện xung đột bí danh và các lần chạy dữ liệu trong quá trình biên dịch, ngăn chặn mã không an toàn thực thi.
Tôi có cần sử dụng phiên bản Rust nightly cho mọi thứ không?
Chỉ có nhánh cuda-oxide yêu cầu bộ công cụ nightly, trong khi cutile-rs tương thích với các phiên bản ổn định của Rust 1.89 trở lên.
Tôi có thể kết hợp các nhân (kernel) của các mô hình khác nhau trong cùng một ứng dụng không?
Đúng vậy, nhân hệ điều hành Tile và SIMT có khả năng tương tác và có thể chạy trên cùng một luồng bằng cách sử dụng bộ đệm thiết bị dùng chung.
Mã PTX trong ngữ cảnh của CUDA Rust là gì?
Đây là ngôn ngữ hợp ngữ trung gian mà các nhân Rust được biên dịch sang để trình điều khiển GPU có thể chạy chúng một cách hiệu quả.