- Az NPU megléte a Windows Feladatkezelőjében vagy az Eszközkezelőben ellenőrizhető.
- Minden Apple Silicon chippel (M1 és újabb) szerelt Mac beépített neurális feldolgozóegységgel rendelkezik.
- Az NPU fő előnye az energiahatékonyság, amely minimális energiafogyasztás mellett teszi lehetővé a mesterséges intelligencia általi következtetéseket.
- A jelenlegi szoftvertámogatás korlátozott, és bizonyos futtatókörnyezetektől, például az OpenVINO-tól vagy a QNN-től függ.
Valószínűleg mostanában hallottál a híres „AI PC-kről”, és elgondolkodtál azon, hogy vajon az asztalodon lévő számítógép is közéjük tartozik-e. A kulcs az NPU-ban (Neural Processing Unit) rejlik , egy olyan alkatrészben, amely szinte minden modern laptopban elterjedt. Ez megakadályozza, hogy a mesterséges intelligencia túlterhelje a rendszer többi részét, és mindenekelőtt megakadályozza, hogy az akkumulátor percek alatt lemerüljön.
Ha helyben, a felhőre való támaszkodás nélkül szeretnél MI-modelleket futtatni , elengedhetetlen tudni, hogy rendelkezel-e ezzel a gyorsítóval. Nem csak a hardvered bemutatásáról van szó, hanem a hihetetlen energiahatékonyság kihasználásáról is, amely lehetővé teszi összetett feladatok elvégzését anélkül, hogy a számítógéped ventilátora úgy hangzana, mintha mindjárt a Marsra készülne. Lássuk, hogyan derítheted ki, hogy rendelkezel-e vele, és mit tehetsz vele most.
Gyors módszerek az NPU észlelésére Windows rendszerben
Ha Windowst használsz, nem kell számítógépes szakértőnek lenned a válasz megtalálásához. A legközvetlenebb mód, ha megnyitod a Feladatkezelőt (Ctrl + Shift + Esc), és megnézed a Teljesítmény fület. Ha a számítógéped támogatja, akkor a CPU és a GPU mellett egy külön NPU nevű részt látsz, ahol valós időben figyelheted a munkaterhelését.
Egy másik nagyon megbízható lehetőség az Eszközkezelő megnyitása . Keresd meg a „Neurális processzorok ” nevű részt. Ha ez a kategória megjelenik a listában, gratulálunk: telepítve van egy NPU. A módszer legjobb tulajdonsága, hogy megmondja a chip pontos nevét, így online megnézheted a műszaki adatait, és megtudhatod, hogy hány TOPS-t (művelet másodpercenként) tud elérni.
Műszaki kérdések és gyártói támogatás
Előfordulhat, hogy a szoftverek problémákat okoznak, vagy az illesztőprogramok elavultak, ilyenkor érdemes a forráshoz fordulni. Ideális esetben a Beállítások menüben kell azonosítani a processzort, majd felkeresni a gyártó hivatalos webhelyét (legyen az Intel, AMD vagy Qualcomm). A pontos modell specifikációs lapján ellenőrizheted, hogy a chip integrál-e mesterséges intelligencia képességeket, és hogy mely Windows-funkciókat támogatja, például a kamerastúdió-effekteket.
Ha Copilot+ PC- ként jelölt eszközt vásárolt , különösen Snapdragon X Elite vagy Plus processzorral szerelteket, biztos lehet benne, hogy az NPU alapértelmezés szerint integrálva van. Azonban mindig ajánlott ellenőrizni, hogy az illesztőprogramok naprakészek-e a Windows Update vagy a gyártó webhelyén keresztül, hogy a rendszer megfelelően felismerje a hardvert.
Az NPU helyzete a Mac ökoszisztémában
Az Apple világában a történet egyszerűbb és egyértelműbb. Az NPU az Apple Siliconra való áttéréssel érkezett . Ez azt jelenti, hogy minden M1, M2, M3 vagy M4 chippel rendelkező Mac már rendelkezik integrált neurális egységgel. Ez az architektúra, amelyet részben az iPhone chipekből örököltek, lehetővé teszi, hogy az olyan funkciók, mint az Apple Intelligence, zökkenőmentesen és lokálisan fussanak az Apple számítógépeken.
Mire való valójában, és mik a korlátai?
Gyakori tévhit, hogy az NPU helyettesíti a grafikus kártyát. Valójában a kvantált súlyokkal (INT8 vagy INT4) végzett neurális hálózati következtetések specialistája. Míg a GPU egy általános célú erőmű, az NPU egy precíziós eszköz, amely képes kisebb modelleket, például a Phi-3 Minit futtatni, mindössze 5-10 wattot fogyasztva, szemben egy laptop GPU 40-50 wattjával.
Azonban nem csupa pompa és pompa. Az NPU-t nem modellek betanítására vagy finomhangolására tervezték; ez továbbra is a dedikált VRAM-mal rendelkező GPU-k kizárólagos területe. Továbbá, ha a rendszered csak 16 GB RAM-mal rendelkezik, egy 7B paraméterrel rendelkező modell futtatása igazi fejfájást okozhat, mivel az NPU megosztja a memóriát a rendszerrel, és előfordulhat, hogy a számítógéped nehezen fog zökkenőmentesen működni.
A jelenlegi szoftverek és alkalmazások kihívásai
Itt kezdenek bonyolulttá válni a dolgok. A hardver megléte nem jelenti azt, hogy minden alkalmazás használni fogja. Jelenleg minden gyártónak megvan a saját „nyelve”: az Intelhez OpenVINO, az AMD-hez ROCm/Ryzen AI és a Qualcommhoz QNN . Bár az ONNX Runtime szabvány megpróbálja egységesíteni ezt, sok népszerű alkalmazás még mindig figyelmen kívül hagyja az NPU-t.
- LM Stúdió: Már elkezdte támogatni a Qualcomm NPU-kat QNN-en keresztül.
- Ollama: Egyelőre továbbra is főként a CPU-ra vagy a GPU-ra támaszkodik, az NPU-t félretéve.
- Windows másodpilóta: Használja az NPU-t natív feladatokhoz, például a háttér elmosásához videohívásokban vagy élő feliratozáshoz.
Ha azt veszed észre, hogy a Feladatkezelőben az NPU-használat mindig 0%-on áll, az nem feltétlenül a te oldaladon jelent problémát; a szoftverökoszisztéma még mindig fejlődésben van . Hasonló fázisban vagyunk, mint amikor a GPU-kat először kezdték használni a tudományos számítástechnikában: a hardver előrébb jár, és a fejlesztők kezdik adaptálni az eszközeiket.
Egy neurális gyorsító megléte manapság versenyelőnyt jelent, különösen az ultrabookokban és a mini PC-kben, ahol a csend és az akkumulátor-üzemidő kiemelkedő fontosságú. Bár alkalmazásai jelenleg a Windows-funkciókra vagy néhány kvantált modellre korlátozódnak, a trend egyértelmű: rövid távon az NPU lesz a standard motor minden olyan személyi asszisztenshez, amely a merevlemezünkön található anélkül, hogy lemerítené az akkumulátort.