- NPU:n olemassaolo voidaan varmistaa Windowsin Tehtävienhallinnan tai Laitehallinnan kautta.
- Kaikissa Apple Silicon -siruilla (M1 ja uudemmat) varustetuissa Maceissa on integroitu neuroprosessori.
- NPU:n tärkein etu on energiatehokkuus, joka mahdollistaa tekoälyn päättelyn minimaalisella virrankulutuksella.
- Nykyinen ohjelmistotuki on rajallinen ja perustuu tiettyihin suoritusympäristöihin, kuten OpenVINOon tai QNN:ään.
Olet luultavasti kuullut viime aikoina kuuluisista "tekoälytietokoneista" ja miettinyt, onko työpöytäsi tietokone yksi niistä. Avain piilee NPU :ssa (Neural Processing Unit) , komponentissa, josta on tulossa yleinen lähes kaikissa nykyaikaisissa kannettavissa tietokoneissa. Tämä estää tekoälyä ylikuormittamasta muuta järjestelmää ja ennen kaikkea pitää akun tyhjenemisen minuuteissa.
Tämän kiihdyttimen olemassaolo on ratkaisevan tärkeää, jos haluat ajaa tekoälymalleja paikallisesti ilman pilveen turvautumista. Kyse ei ole vain laitteistosi esittelystä, vaan uskomattoman energiatehokkuuden hyödyntämisestä, jonka avulla voit suorittaa monimutkaisia tehtäviä ilman, että tietokoneesi tuuletin kuulostaa siltä kuin se olisi räjähtämässä Marsiin. Katsotaanpa, miten saat selville, onko sinulla se ja mitä voit sillä tehdä juuri nyt.
Nopeita menetelmiä NPU:n tunnistamiseksi Windowsissa
Jos käytät Windowsia, sinun ei tarvitse olla tietokoneasiantuntija löytääksesi vastauksen. Suorin tapa on avata Tehtävienhallinta (Ctrl + Shift + Esc) ja katsoa Suorituskyky-välilehteä. Jos tietokoneesi tukee sitä, näet suorittimen ja näytönohjaimen vieressä erityisen osion nimeltä NPU, jossa voit seurata sen työmäärää reaaliajassa.
Toinen erittäin luotettava vaihtoehto on siirtyä Laitehallintaan . Etsi vain osio nimeltä "Neuraaliprosessorit ". Jos kyseinen luokka näkyy luettelossa, onnittelut: sinulla on asennettuna NPU. Tämän menetelmän paras puoli on, että se kertoo sirun tarkan nimen, jolloin voit etsiä sen tekniset tiedot verkosta ja selvittää, kuinka monta TOPSia (operaatiota sekunnissa) se pystyy saavuttamaan.
Tekniset tiedustelut ja valmistajan tuki
Joskus ohjelmistot voivat aiheuttaa ongelmia tai ajurit voivat olla vanhentuneita, ja silloin on parasta kääntyä lähteen puoleen. Ihannetapauksessa sinun tulisi tunnistaa prosessorisi Asetukset-valikosta ja sitten käydä valmistajan virallisella verkkosivustolla (olipa kyseessä sitten Intel, AMD tai Qualcomm). Tarkan mallisi teknisistä tiedoista voit varmistaa, integroiko siru tekoälyominaisuuksia ja mitä Windows-ominaisuuksia se tukee, kuten kamerastudiotehosteita.
Jos olet ostanut laitteen, jossa on Copilot+ PC -merkintä , etenkin jos siinä on Snapdragon X Elite- tai Plus-prosessori, voit olla varma, että NPU on integroitu vakiona. On kuitenkin aina suositeltavaa tarkistaa, että ajurit ovat ajan tasalla Windows Updaten tai valmistajan verkkosivuston kautta, jotta järjestelmä tunnistaa laitteiston oikein.
NPU:n tilanne Mac-ekosysteemissä
Applen maailmassa tarina on yksinkertaisempi ja suoraviivaisempi. NPU saapui Apple Siliconiin siirtymisen myötä . Tämä tarkoittaa, että kaikissa M1-, M2-, M3- tai M4 -sirulla varustetuissa Maceissa on jo integroitu neuroyksikkö. Tämä osittain iPhone-siruilta peritty arkkitehtuuri mahdollistaa ominaisuuksien, kuten Apple Intelligencen, sujuvan ja paikallisen toiminnan Apple-tietokoneissa.
Mihin sitä oikeastaan käytetään ja mitkä ovat sen rajat?
On yleinen harhaluulo, että NPU korvaa näytönohjaimen. Todellisuudessa se on neuroverkkojen päättelyn erikoisosaaja kvantisoitujen painojen (INT8 tai INT4) avulla. Vaikka GPU on yleiskäyttöinen tehopakkaus, NPU on tarkkuustyökalu, joka voi käyttää pieniä malleja, kuten Phi-3 Miniä, jotka kuluttavat vain 5–10 wattia verrattuna kannettavan tietokoneen GPU:n käyttämään 40–50 wattiin.
Kaikki ei kuitenkaan ole pelkkää auringonpaistetta ja sateenkaaria. NPU:ta ei ole suunniteltu mallien kouluttamiseen tai hienosäätöön; se on edelleen yksinomaan erillisellä VRAM-muistilla varustettujen näytönohjainten tehtäväalue. Lisäksi, jos järjestelmässäsi on vain 16 Gt RAM-muistia, 7B-parametreilla varustetun mallin suorittaminen voi olla todellinen päänsärky, koska NPU jakaa muistia järjestelmän kanssa ja tietokoneesi voi toimia moitteettomasti.
Nykyisten ohjelmistojen ja sovellusten haaste
Tässä kohtaa asiat muuttuvat hankaliksi. Laitteiston olemassaolo ei tarkoita, että kaikki sovellukset käyttävät sitä. Tällä hetkellä jokaisella valmistajalla on oma "kielensä": OpenVINO Intelille, ROCm/Ryzen AI AMD:lle ja QNN Qualcommille . Vaikka ONNX Runtime -standardi pyrkii yhtenäistämään tämän, monet suositut sovellukset jättävät edelleen NPU:n huomiotta.
- LM Studio: Se on jo alkanut tukea Qualcommin NPU-prosessoreita QNN:n kautta.
- Ollama: Toistaiseksi se on edelleen pääasiassa riippuvainen suorittimesta tai näytönohjaimesta, jättäen NPU:n syrjään.
- Windowsin apupilot: Käytä NPU:ta natiivitehtäviin, kuten taustan sumentamiseen videopuheluissa tai reaaliaikaisiin tekstityksiin.
Jos huomaat, että NPU-käyttöaste Tehtävienhallinnassa on aina 0 %, se ei välttämättä ole sinun puolellasi oleva ongelma; ohjelmistoekosysteemi on vielä kypsymässä . Olemme samanlaisessa vaiheessa kuin silloin, kun näytönohjaimia alettiin käyttää tieteellisessä laskennassa: laitteisto on edellä ja kehittäjät alkavat mukauttaa työkalujaan.
Neuraalikiihdyttimen käyttö on kilpailuetu nykyään, erityisesti ultrabookeissa ja minitietokoneissa, joissa hiljaisuus ja akunkesto ovat ensiarvoisen tärkeitä. Vaikka sen sovellukset rajoittuvat tällä hetkellä Windows-toimintoihin tai joihinkin kvantisoituihin malleihin, trendi on selvä: lyhyellä aikavälillä NPU:sta tulee standardimoottori kaikille henkilökohtaisille avustajille, jotka sijaitsevat kiintolevyllämme tyhjentämättä akkua.