- Prania e NPU-së mund të verifikohet përmes Task Manager ose Device Manager në Windows.
- Të gjithë Mac-ët me çipa Apple Silicon (M1 e lart) integrojnë një njësi përpunimi nervor.
- Avantazhi kryesor i NPU-së është efikasiteti i energjisë, duke lejuar përfundime me anë të inteligjencës artificiale me konsum minimal të energjisë.
- Mbështetja aktuale e softuerit është e kufizuar dhe mbështetet në kohëzgjatje specifike të ekzekutimit, siç janë OpenVINO ose QNN.
Me siguri keni dëgjuar për "PC-të me inteligjencë artificiale" të famshëm kohët e fundit dhe keni menduar nëse kompjuteri në tavolinën tuaj është një prej tyre. Çelësi qëndron te NPU (Njësia e Përpunimit Neural) , një komponent që po bëhet i zakonshëm në pothuajse të gjithë laptopët modernë. Kjo parandalon mbingarkesën e inteligjencës artificiale të pjesës tjetër të sistemit dhe, mbi të gjitha, parandalon shkarkimin e baterisë brenda pak minutash.
Të dish nëse e ke këtë përshpejtues është thelbësore nëse dëshiron të ekzekutosh modele të IA-së në nivel lokal , pa u mbështetur në cloud. Nuk ka të bëjë vetëm me shfaqjen e pajisjeve të tua, por edhe me shfrytëzimin e efikasitetit të jashtëzakonshëm të energjisë që të lejon të kryesh detyra komplekse pa tingëlluar sikur ventilatori i kompjuterit tënd do të fluturojë drejt Marsit. Le të shohim se si ta zbulojmë nëse e ke dhe çfarë mund të bësh realisht me të tani.
Metoda të shpejta për të zbuluar NPU-në në Windows
Nëse përdorni Windows, nuk keni nevojë të jeni ekspert kompjuterash për të gjetur përgjigjen. Mënyra më e drejtpërdrejtë është të hapni Task Manager (Ctrl + Shift + Esc) dhe të shikoni skedën Performance. Nëse kompjuteri juaj e mbështet këtë, do të shihni një seksion specifik të quajtur NPU pranë CPU-së dhe GPU-së, ku mund të monitoroni ngarkesën e punës në kohë reale.
Një tjetër mundësi shumë e besueshme është të shkosh te Menaxheri i Pajisjeve . Thjesht kërko seksionin e quajtur "Procesorët Neuralë ". Nëse kjo kategori shfaqet në listë, urime: ke instaluar një NPU. Gjëja më e mirë në lidhje me këtë metodë është se të tregon emrin e saktë të çipit, duke të lejuar të kërkosh specifikimet e tij teknike në internet për të zbuluar se sa TOPS (operacione për sekondë) mund të arrijë.
Pyetje teknike dhe mbështetje nga prodhuesi
Ndonjëherë, softuerët mund të shkaktojnë probleme ose drajverët mund të jenë të vjetëruar, dhe atëherë është më mirë të shkoni te burimi. Idealisht, duhet të identifikoni procesorin tuaj në menynë e Cilësimeve dhe më pas të vizitoni faqen zyrtare të internetit të prodhuesit (qoftë Intel, AMD apo Qualcomm). Në fletën e specifikimeve për modelin tuaj të saktë, mund të konfirmoni nëse çipi integron aftësitë e inteligjencës artificiale dhe cilat veçori të Windows mbështet, siç janë efektet e studios së kameras.
Nëse keni blerë një pajisje të etiketuar si PC Copilot+ , veçanërisht ato me procesor Snapdragon X Elite ose Plus, mund të jeni të sigurt se NPU është e integruar si standard. Megjithatë, është gjithmonë e këshillueshme të kontrolloni që drajverët janë të azhurnuar përmes Windows Update ose faqes së internetit të prodhuesit në mënyrë që sistemi ta njohë saktë harduerin.
Situata e NPU-së në ekosistemin Mac
Në botën e Apple, historia është më e thjeshtë dhe më e drejtpërdrejtë. NPU-ja erdhi me kalimin në Apple Silicon . Kjo do të thotë që çdo Mac me një çip M1, M2, M3 ose M4 tashmë ka një njësi nervore të integruar. Kjo arkitekturë, pjesërisht e trashëguar nga çipet e iPhone, është ajo që lejon që veçori si Apple Intelligence të funksionojnë pa probleme dhe lokalisht në kompjuterët Apple.
Për çfarë shërben në të vërtetë dhe cilat janë kufizimet e saj?
Është një keqkuptim i zakonshëm që NPU zëvendëson kartën grafike. Në realitet, është një specialist në nxjerrjen e përfundimeve të rrjeteve nervore me pesha të kuantizuara (INT8 ose INT4). Ndërsa një GPU është një fuqi e përgjithshme, NPU është një mjet preciz që mund të përdorë modele të vogla, si Phi-3 Mini, duke konsumuar vetëm 5 deri në 10 vat, krahasuar me 40-50 vat që do të përdorte një GPU për laptopë.
Megjithatë, nuk është gjithçka vetëm diell e ylber. NPU-ja nuk është projektuar për trajnimin e modeleve ose për rregullime të hollësishme; kjo mbetet ekskluzivisht në pronësi të GPU-ve me VRAM të dedikuar. Për më tepër, nëse keni një sistem me vetëm 16 GB RAM, përpjekja për të ekzekutuar një model me parametra 7B mund të jetë një dhimbje koke e vërtetë, pasi NPU-ja ndan memorien me sistemin dhe mund ta gjeni kompjuterin tuaj të ketë vështirësi në funksionimin e qetë.
Sfida e softuerëve dhe aplikacioneve aktuale
Këtu gjërat bëhen më të ndërlikuara. Të kesh harduerin nuk do të thotë që të gjitha aplikacionet do ta përdorin atë. Aktualisht, çdo prodhues ka "gjuhën" e vet: OpenVINO për Intel, ROCm/Ryzen AI për AMD dhe QNN për Qualcomm . Edhe pse standardi ONNX Runtime përpiqet ta unifikojë këtë, shumë aplikacione të njohura ende e injorojnë NPU-në.
- Studio LM: Tashmë ka filluar të mbështesë NPU-të e Qualcomm nëpërmjet QNN.
- Ollama: Për momentin, vazhdon të mbështetet kryesisht te CPU ose GPU, duke e lënë mënjanë NPU-në.
- Kopilot i Windows: Përdor NPU-në për detyra native, të tilla si turbullimi i sfondit në thirrjet video ose titrat live.
Nëse vini re se përdorimi i NPU-së në Task Manager është gjithmonë në 0%, nuk është domosdoshmërisht një problem nga ana juaj; ekosistemi i softuerit është ende duke u pjekur . Jemi në një fazë të ngjashme me atë kur GPU-të filluan të përdoren për herë të parë për informatikën shkencore: hardueri është përpara dhe zhvilluesit po fillojnë të përshtasin mjetet e tyre.
Të kesh një përshpejtues nervor është një avantazh konkurrues këto ditë, veçanërisht në ultrabook-ët dhe mini PC-të ku heshtja dhe jetëgjatësia e baterisë janë parësore. Edhe pse zbatimet e tij aktualisht janë të kufizuara në funksionet e Windows ose në disa modele të kuantizuara, tendenca është e qartë: në afat të shkurtër, NPU do të jetë motori standard për çdo asistent personal që ndodhet në hard diskun tonë pa e shkarkuar baterinë.