- NPU olemasolu saab kontrollida Windowsi tegumihalduri või seadmehalduri kaudu.
- Kõik Apple Silicon kiipidega Macid (M1 ja uuemad) on integreeritud närviprotsessoriga.
- NPU peamine eelis on energiatõhusus, mis võimaldab tehisintellekti järeldusi teha minimaalse energiatarbega.
- Praegune tarkvaratugi on piiratud ja tugineb konkreetsetele käituskeskkondadele, näiteks OpenVINO või QNN.
Oled ilmselt viimasel ajal kuulnud kuulsatest "tehisintellektiga arvutitest" ja mõelnud, kas sinu laual olev arvuti on üks neist. Võti peitub NPU-s (Neural Processing Unit) - komponendis, mis on muutumas tavaliseks peaaegu kõigis tänapäevastes sülearvutites. See hoiab ära tehisintellekti ülejäänud süsteemi ülekoormamise ja ennekõike hoiab ära aku tühjenemise minutitega.
Selle kiirendi olemasolu on ülioluline, kui soovite tehisintellekti mudeleid lokaalselt käitada , ilma pilvele toetumata. Asi pole ainult riistvara demonstreerimises, vaid ka uskumatu energiatõhususe ärakasutamises, mis võimaldab teil keerulisi ülesandeid täita ilma, et teie arvuti ventilaator kõlaks nii, nagu see kohe Marsile lendaks. Vaatame, kuidas teada saada, kas teil see on olemas ja mida te sellega praegu teha saate.
Kiired meetodid NPU tuvastamiseks Windowsis
Kui kasutate Windowsi, ei pea te vastuse leidmiseks arvutiekspert olema. Kõige otsesem viis on avada tegumihaldur (Ctrl + Shift + Esc) ja vaadata vahekaarti „Jõudlus“. Kui teie arvuti seda toetab, näete protsessori ja graafikakaardi kõrval spetsiaalset jaotist nimega „NPU“, kus saate selle töökoormust reaalajas jälgida.
Teine väga usaldusväärne võimalus on minna seadmehaldurisse . Otsige lihtsalt üles jaotis nimega "Neuraalprotsessorid ". Kui see kategooria loendis kuvatakse, siis palju õnne: teil on NPU installitud. Selle meetodi parim omadus on see, et see näitab teile kiibi täpset nime, mis võimaldab teil otsida selle tehnilisi andmeid veebist, et teada saada, mitu TOPS-i (operatsiooni sekundis) see suudab saavutada.
Tehnilised päringud ja tootja tugi
Mõnikord võib tarkvara probleeme tekitada või draiverid võivad olla aegunud ja just siis on kõige parem pöörduda allika poole. Ideaalis peaksite oma protsessori tuvastama menüüs Seaded ja seejärel külastama tootja ametlikku veebisaiti (kas see on Intel, AMD või Qualcomm). Oma täpse mudeli spetsifikatsioonide lehelt saate kinnitada, kas kiip integreerib tehisintellekti võimalusi ja milliseid Windowsi funktsioone see toetab, näiteks kaamerastuudio efekte.
Kui olete ostnud seadme, millel on märgistus Copilot+ PC , eriti kui sellel on Snapdragon X Elite või Plus protsessor, võite olla kindel, et NPU on standardvarustuses integreeritud. Siiski on alati soovitatav kontrollida draiverite ajakohasust Windows Update'i või tootja veebisaidi kaudu, et süsteem riistvara õigesti ära tunneks.
NPU olukord Maci ökosüsteemis
Apple'i maailmas on lugu lihtsam ja arusaadavam. NPU saabus koos üleminekuga Apple Siliconile . See tähendab, et igal Macil, millel on M1, M2, M3 või M4 kiip , on juba integreeritud närviüksus. See arhitektuur, mis on osaliselt päritud iPhone'i kiipidelt, võimaldab sellistel funktsioonidel nagu Apple Intelligence sujuvalt ja lokaalselt Apple'i arvutites töötada.
Milleks see tegelikult mõeldud on ja millised on selle piirid?
On levinud eksiarvamus, et NPU asendab graafikakaarti. Tegelikkuses on see spetsialist närvivõrgu järeldustes, kasutades kvantiseeritud kaalusid (INT8 või INT4). Kuigi GPU on universaalne jõujaam, on NPU täppistööriist, mis suudab käitada väiksemaid mudeleid, nagu Phi-3 Mini, tarbides vaid 5–10 vatti, võrreldes sülearvuti GPU 40–50 vatiga.
Siiski pole kõik ainult ilus ja ilus. NPU ei ole loodud mudelite treenimiseks ega peenhäälestamiseks; see jääb ainult spetsiaalse videomäluga GPU-de pärusmaaks. Lisaks, kui teil on ainult 16 GB muutmäluga süsteem, võib 7B parameetriga mudeli käivitamine olla tõeline peavalu, kuna NPU jagab mälu süsteemiga ja teie arvuti võib raskustega sujuvalt töötada.
Praeguse tarkvara ja rakenduste väljakutse
Siin lähevad asjad keeruliseks. Riistvara olemasolu ei tähenda, et kõik rakendused seda kasutavad. Praegu on igal tootjal oma "keel": Inteli jaoks OpenVINO, AMD jaoks ROCm/Ryzen AI ja Qualcommi jaoks QNN . Kuigi ONNX Runtime'i standard püüab seda ühtlustada, ignoreerivad paljud populaarsed rakendused endiselt NPU-d.
- LM stuudio: See on juba alustanud Qualcommi NPU-de toetamist QNN-i kaudu.
- Ollama: Praegu tugineb see jätkuvalt peamiselt protsessorile või graafikaprotsessorile, jättes NPU kõrvale.
- Windowsi kopilot: Kasutage NPU-d natiivsete ülesannete jaoks, näiteks tausta hägustamine videokõnedes või reaalajas subtiitrite jaoks.
Kui märkate, et NPU kasutus tegumihalduris on alati 0%, ei ole see tingimata teiepoolne probleem; tarkvara ökosüsteem on alles küpsemas faasis . Oleme sarnases faasis nagu siis, kui graafikaprotsessoreid hakati esmakordselt teadusarvutustes kasutama: riistvara on ees ja arendajad hakkavad oma tööriistu kohandama.
Neuraalse kiirendi omamine on tänapäeval konkurentsieelis, eriti ultrabookides ja miniarvutites, kus vaikus ja aku tööiga on esmatähtsad. Kuigi selle rakendused piirduvad praegu Windowsi funktsioonide või mõnede kvantiseeritud mudelitega, on trend selge: lühiajalises perspektiivis saab NPU-st iga isikliku assistendi standardmootor, mis asub meie kõvakettal ilma akut tühjendamata.