- Có thể kiểm tra sự hiện diện của NPU thông qua Trình quản lý tác vụ hoặc Trình quản lý thiết bị trong Windows.
- Tất cả các máy Mac sử dụng chip Apple Silicon (M1 trở lên) đều tích hợp bộ xử lý thần kinh.
- Ưu điểm chính của NPU là hiệu quả năng lượng, cho phép thực hiện các suy luận AI với mức tiêu thụ điện năng tối thiểu.
- Hiện tại, khả năng hỗ trợ phần mềm còn hạn chế và phụ thuộc vào các môi trường chạy cụ thể như OpenVINO hoặc QNN.
Gần đây chắc hẳn bạn đã nghe nói về những chiếc "máy tính AI" nổi tiếng và tự hỏi liệu chiếc máy tính trên bàn làm việc của mình có phải là một trong số đó hay không. Mấu chốt nằm ở bộ xử lý thần kinh (NPU) , một linh kiện đang trở nên phổ biến trong hầu hết các máy tính xách tay hiện đại. Bộ xử lý này giúp ngăn chặn trí tuệ nhân tạo làm quá tải hệ thống và trên hết, giúp pin không bị hao nhanh.
Việc biết liệu bạn có bộ tăng tốc này hay không là rất quan trọng nếu bạn muốn chạy các mô hình AI cục bộ , mà không cần phụ thuộc vào điện toán đám mây. Nó không chỉ đơn thuần là để khoe khoang phần cứng của bạn, mà còn là để tận dụng hiệu quả năng lượng đáng kinh ngạc, cho phép bạn thực hiện các tác vụ phức tạp mà không khiến quạt máy tính phát ra tiếng ồn như sắp phóng lên sao Hỏa. Hãy cùng xem cách tìm hiểu xem bạn có nó hay không và bạn thực sự có thể làm gì với nó ngay bây giờ.
Các phương pháp nhanh để phát hiện NPU trong Windows
Nếu bạn sử dụng Windows, bạn không cần phải là chuyên gia máy tính để tìm ra câu trả lời. Cách đơn giản nhất là mở Trình quản lý tác vụ (Ctrl + Shift + Esc) và xem tab Hiệu năng. Nếu máy tính của bạn hỗ trợ, bạn sẽ thấy một mục cụ thể có tên là NPU bên cạnh CPU và GPU, nơi bạn có thể theo dõi khối lượng công việc của nó trong thời gian thực.
Một lựa chọn rất đáng tin cậy khác là vào Trình quản lý thiết bị . Chỉ cần tìm mục có tên "Bộ xử lý thần kinh " (Neural Processors). Nếu mục đó xuất hiện trong danh sách, xin chúc mừng: bạn đã cài đặt một NPU. Điều tốt nhất của phương pháp này là nó cho bạn biết chính xác tên của chip, cho phép bạn tra cứu thông số kỹ thuật trực tuyến để tìm hiểu xem nó có thể đạt được bao nhiêu TOPS (số phép toán mỗi giây).
Giải đáp thắc mắc kỹ thuật và hỗ trợ từ nhà sản xuất
Đôi khi, phần mềm có thể gây ra sự cố hoặc trình điều khiển có thể đã lỗi thời, và đó là lúc tốt nhất nên tìm đến nguồn gốc. Lý tưởng nhất là bạn nên xác định bộ xử lý của mình trong menu Cài đặt và sau đó truy cập trang web chính thức của nhà sản xuất (cho dù đó là Intel, AMD hay Qualcomm). Trong bảng thông số kỹ thuật dành riêng cho kiểu máy của bạn, bạn có thể xác nhận xem chip có tích hợp khả năng AI hay không và nó hỗ trợ những tính năng nào của Windows, chẳng hạn như hiệu ứng studio camera.
Nếu bạn đã mua một thiết bị có nhãn Copilot+ PC , đặc biệt là những thiết bị có bộ xử lý Snapdragon X Elite hoặc Plus, bạn có thể yên tâm rằng NPU đã được tích hợp sẵn. Tuy nhiên, bạn nên kiểm tra xem trình điều khiển đã được cập nhật chưa thông qua Windows Update hoặc trang web của nhà sản xuất để hệ thống nhận diện phần cứng chính xác.
Vị thế của NPU trong hệ sinh thái Mac
Trong thế giới của Apple, câu chuyện đơn giản và dễ hiểu hơn. Bộ xử lý thần kinh (NPU) xuất hiện cùng với sự chuyển đổi sang Apple Silicon . Điều này có nghĩa là bất kỳ máy Mac nào có chip M1, M2, M3 hoặc M4 đều đã có bộ xử lý thần kinh tích hợp. Kiến trúc này, một phần được thừa hưởng từ chip iPhone, là điều cho phép các tính năng như Apple Intelligence hoạt động mượt mà và cục bộ trên máy tính Apple.
Mục đích thực sự của nó là gì và những hạn chế của nó là gì?
Nhiều người lầm tưởng rằng NPU thay thế card đồ họa. Trên thực tế, nó là một bộ xử lý chuyên dụng cho suy luận mạng nơ-ron với trọng số lượng tử hóa (INT8 hoặc INT4). Trong khi GPU là một cỗ máy mạnh mẽ đa năng, NPU là một công cụ chính xác có thể chạy các mô hình nhỏ, như Phi-3 Mini, chỉ tiêu thụ từ 5 đến 10 watt, so với 40-50 watt mà GPU của máy tính xách tay sử dụng.
Tuy nhiên, không phải mọi thứ đều suôn sẻ. NPU không được thiết kế để huấn luyện mô hình hoặc tinh chỉnh; đó vẫn là lĩnh vực độc quyền của GPU với VRAM chuyên dụng. Hơn nữa, nếu bạn có một hệ thống chỉ với 16 GB RAM, việc cố gắng chạy một mô hình với 7 tỷ tham số có thể là một vấn đề nan giải, vì NPU chia sẻ bộ nhớ với hệ thống và bạn có thể thấy máy tính của mình hoạt động không mượt mà.
Thách thức của phần mềm và ứng dụng hiện nay
Đây là lúc mọi thứ trở nên phức tạp. Việc có phần cứng không có nghĩa là tất cả các ứng dụng sẽ sử dụng nó. Hiện tại, mỗi nhà sản xuất đều có "ngôn ngữ" riêng: OpenVINO cho Intel, ROCm/Ryzen AI cho AMD và QNN cho Qualcomm . Mặc dù tiêu chuẩn ONNX Runtime cố gắng thống nhất điều này, nhưng nhiều ứng dụng phổ biến vẫn bỏ qua NPU.
- Studio LM: Nó đã bắt đầu hỗ trợ các bộ xử lý NPU của Qualcomm thông qua QNN.
- Olama: Hiện tại, nó vẫn chủ yếu dựa vào CPU hoặc GPU, bỏ qua NPU.
- Phi công phụ Windows: Sử dụng NPU cho các tác vụ gốc như làm mờ nền trong cuộc gọi video hoặc phụ đề trực tiếp.
Nếu bạn nhận thấy mức sử dụng NPU trong Trình quản lý tác vụ luôn ở mức 0%, thì đó không nhất thiết là vấn đề ở phía bạn; hệ sinh thái phần mềm vẫn đang trong giai đoạn hoàn thiện . Chúng ta đang ở giai đoạn tương tự như khi GPU lần đầu tiên được sử dụng cho tính toán khoa học: phần cứng đã đi trước, và các nhà phát triển đang bắt đầu điều chỉnh công cụ của họ.
Ngày nay, việc sở hữu bộ tăng tốc thần kinh là một lợi thế cạnh tranh, đặc biệt là trong các ultrabook và mini PC, nơi mà sự yên tĩnh và thời lượng pin là tối quan trọng. Mặc dù các ứng dụng của nó hiện còn hạn chế ở các chức năng của Windows hoặc một số mô hình lượng tử hóa, nhưng xu hướng rất rõ ràng: trong ngắn hạn, NPU sẽ trở thành công cụ tiêu chuẩn cho bất kỳ trợ lý cá nhân nào được lưu trữ trên ổ cứng mà không làm hao pin.