- NPU klātbūtni var pārbaudīt, izmantojot uzdevumu pārvaldnieku vai ierīču pārvaldnieku operētājsistēmā Windows.
- Visos Mac datoros ar Apple Silicon mikroshēmām (M1 un jaunākām) ir integrēta neironu apstrādes vienība.
- NPU galvenā priekšrocība ir energoefektivitāte, kas ļauj veikt mākslīgā intelekta secinājumus ar minimālu enerģijas patēriņu.
- Pašreizējais programmatūras atbalsts ir ierobežots un ir atkarīgs no konkrētām izpildlaika vidēm, piemēram, OpenVINO vai QNN.
Jūs droši vien pēdējā laikā esat dzirdējuši par slavenajiem "mākslīgā intelekta datoriem" un domājuši, vai dators uz jūsu galda ir viens no tiem. Galvenais ir NPU (neironu procesors) — komponents, kas kļūst arvien izplatītāks gandrīz visos mūsdienu klēpjdatoros. Tas novērš mākslīgā intelekta pārslodzi pārējā sistēmā un, pats galvenais, pasargā akumulatoru no izlādēšanās dažu minūšu laikā.
Ir ļoti svarīgi zināt, vai jums ir šis paātrinātājs, ja vēlaties lokāli palaist mākslīgā intelekta modeļus , nepaļaujoties uz mākoņpakalpojumiem. Tas nav tikai aparatūras demonstrēšana, bet gan neticamās energoefektivitātes izmantošana, kas ļauj veikt sarežģītus uzdevumus, neradot datora ventilatoram troksni, kas tūlīt aizlidos uz Marsu. Apskatīsim, kā uzzināt, vai jums tas ir, un ko jūs ar to varat darīt tieši tagad.
Ātrās metodes NPU noteikšanai operētājsistēmā Windows
Ja izmantojat operētājsistēmu Windows, jums nav jābūt datorspeciālistam, lai atrastu atbildi. Vistiešākais veids ir atvērt uzdevumu pārvaldnieku (Ctrl + Shift + Esc) un aplūkot cilni Veiktspēja. Ja jūsu dators to atbalsta, blakus centrālajam procesoram un grafiskajam procesoram redzēsiet īpašu sadaļu ar nosaukumu NPU, kur varat reāllaikā uzraudzīt tā darba slodzi.
Vēl viena ļoti uzticama iespēja ir doties uz Ierīču pārvaldnieku . Vienkārši meklējiet sadaļu ar nosaukumu "Neironu procesori ". Ja šī kategorija parādās sarakstā, apsveicam: jums ir instalēts NPU. Šīs metodes lielākā priekšrocība ir tā, ka tā norāda precīzu mikroshēmas nosaukumu, ļaujot jums tiešsaistē meklēt tās tehniskās specifikācijas, lai uzzinātu, cik TOPS (operāciju sekundē) tā var sasniegt.
Tehniski jautājumi un ražotāja atbalsts
Dažreiz problēmas var radīt programmatūra vai draiveri var būt novecojuši, un šādā gadījumā vislabāk ir meklēt avotu. Ideālā gadījumā procesors jāidentificē iestatījumu izvēlnē un pēc tam jāapmeklē ražotāja oficiālā vietne (Intel, AMD vai Qualcomm). Specifikāciju lapā varat apstiprināt, vai mikroshēma integrē mākslīgā intelekta iespējas un kuras Windows funkcijas tā atbalsta, piemēram, kameras studijas efektus.
Ja esat iegādājies ierīci ar apzīmējumu Copilot+ PC , īpaši tādu, kurai ir Snapdragon X Elite vai Plus procesors, varat būt droši, ka NPU ir integrēts standarta komplektācijā. Tomēr vienmēr ieteicams pārbaudīt, vai draiveri ir atjaunināti, izmantojot Windows Update vai ražotāja vietni, lai sistēma pareizi atpazītu aparatūru.
NPU situācija Mac ekosistēmā
Apple pasaulē stāsts ir vienkāršāks un saprotamāks. NPU parādījās līdz ar pāreju uz Apple Silicon . Tas nozīmē, ka jebkuram Mac datoram ar M1, M2, M3 vai M4 mikroshēmu jau ir integrēta neironu vienība. Šī arhitektūra, kas daļēji mantota no iPhone mikroshēmām, ļauj tādām funkcijām kā Apple Intelligence nevainojami un lokāli darboties Apple datoros.
Kam tas īsti paredzēts un kādas ir tā robežas?
Pastāv izplatīts nepareizs uzskats, ka NPU aizstāj grafikas karti. Patiesībā tas ir neironu tīkla secinājumu speciālists ar kvantizētiem svariem (INT8 vai INT4). Lai gan GPU ir universāla jaudīga ierīce, NPU ir precīzs rīks, kas var darbināt mazus modeļus, piemēram, Phi-3 Mini, patērējot tikai 5 līdz 10 vatus, salīdzinot ar 40–50 vatiem, ko patērētu klēpjdatora GPU.
Tomēr ne viss ir tik vienkārši. NPU nav paredzēts modeļu apmācībai vai precīzai regulēšanai; tā joprojām ir tikai GPU ar īpašu videoatmiņu (VRAM) joma. Turklāt, ja jums ir sistēma ar tikai 16 GB RAM, modeļa palaišana ar 7B parametriem var sagādāt īstas galvassāpes, jo NPU koplieto atmiņu ar sistēmu, un jūs varētu konstatēt, ka jūsu datoram ir grūtības darboties nevainojami.
Pašreizējās programmatūras un lietojumprogrammu izaicinājums
Šeit lietas kļūst sarežģītas. Aparatūras esamība nenozīmē, ka visas lietotnes to izmantos. Pašlaik katram ražotājam ir sava "valoda": OpenVINO Intel, ROCm/Ryzen AI AMD un QNN Qualcomm . Lai gan ONNX Runtime standarts mēģina to apvienot, daudzas populāras lietojumprogrammas joprojām ignorē NPU.
- LM studija: Tas jau ir sācis atbalstīt Qualcomm NPU, izmantojot QNN.
- Ollama: Pagaidām tā turpina galvenokārt paļauties uz centrālo procesoru vai grafisko procesoru, atstājot malā neironu procesoru.
- Windows koppilots: Izmantojiet NPU lokāliem uzdevumiem, piemēram, fona izpludināšanai videozvanos vai tiešraides subtitriem.
Ja pamanāt, ka NPU noslodze uzdevumu pārvaldniekā vienmēr ir 0%, tā ne vienmēr ir problēma jūsu pusē; programmatūras ekosistēma joprojām attīstās . Mēs atrodamies līdzīgā fāzē kā tad, kad GPU pirmo reizi sāka izmantot zinātniskajai skaitļošanai: aparatūra ir priekšā, un izstrādātāji sāk pielāgot savus rīkus.
Neironu paātrinātāja esamība mūsdienās ir konkurences priekšrocība, īpaši ultrabook datoros un mini datoros, kur klusums un akumulatora darbības laiks ir vissvarīgākie. Lai gan tā pielietojums pašlaik ir ierobežots ar Windows funkcijām vai dažiem kvantizētiem modeļiem, tendence ir skaidra: īstermiņā NPU būs standarta dzinējs jebkuram personīgajam asistentam, kas atrodas mūsu cietajā diskā, neiztukšojot akumulatoru.