- De aanwezigheid van de NPU kan worden gecontroleerd via Taakbeheer of Apparaatbeheer in Windows.
- Alle Macs met Apple Silicon-chips (M1 en hoger) bevatten een neurale verwerkingseenheid.
- Het belangrijkste voordeel van de NPU is de energie-efficiëntie, waardoor AI-inferenties mogelijk zijn met een minimaal energieverbruik.
- De huidige softwareondersteuning is beperkt en is afhankelijk van specifieke runtimeomgevingen zoals OpenVINO of QNN.
Je hebt de laatste tijd vast wel eens gehoord over de beroemde "AI-pc's" en je afgevraagd of de computer op je bureau er ook een is. Het geheim zit hem in de NPU (Neural Processing Unit) , een component dat steeds vaker voorkomt in moderne laptops. Deze NPU voorkomt dat kunstmatige intelligentie de rest van het systeem overbelast en zorgt er vooral voor dat de batterij niet binnen enkele minuten leeg is.
Weten of je deze accelerator hebt, is cruciaal als je AI-modellen lokaal wilt uitvoeren , zonder afhankelijk te zijn van de cloud. Het gaat niet alleen om het pronken met je hardware, maar ook om het benutten van de ongelooflijke energie-efficiëntie waarmee je complexe taken kunt uitvoeren zonder dat je pc-ventilator klinkt alsof hij op het punt staat naar Mars te vliegen. Laten we eens kijken hoe je erachter kunt komen of je hem hebt en wat je er nu al mee kunt doen.
Snelle methoden om de NPU in Windows te detecteren
Als je Windows gebruikt, hoef je geen computerexpert te zijn om het antwoord te vinden. De meest directe manier is om Taakbeheer te openen (Ctrl + Shift + Esc) en naar het tabblad Prestaties te kijken. Als je computer dit ondersteunt, zie je naast de CPU en GPU een specifiek gedeelte genaamd NPU, waar je de belasting ervan in realtime kunt volgen.
Een andere zeer betrouwbare optie is om naar Apparaatbeheer te gaan . Zoek naar de sectie 'Neurale processors '. Als die categorie in de lijst verschijnt, gefeliciteerd: je hebt een NPU geïnstalleerd. Het beste van deze methode is dat je de exacte naam van de chip te zien krijgt, waardoor je de technische specificaties online kunt opzoeken om te achterhalen hoeveel TOPS (bewerkingen per seconde) deze kan behalen.
Technische vragen en ondersteuning van de fabrikant
Soms kan software problemen veroorzaken of kunnen stuurprogramma's verouderd zijn. In dat geval is het het beste om de bron te raadplegen. Idealiter identificeert u uw processor in het menu Instellingen en bezoekt u vervolgens de officiële website van de fabrikant (of het nu Intel, AMD of Qualcomm is). In de specificaties van uw specifieke model kunt u nagaan of de chip AI-functionaliteiten bevat en welke Windows-functies, zoals camera-effecten, worden ondersteund.
Als u een apparaat hebt gekocht met de aanduiding Copilot+ pc , met name apparaten met een Snapdragon X Elite- of Plus-processor, kunt u er zeker van zijn dat de NPU standaard is geïntegreerd. Het is echter altijd raadzaam om te controleren of de stuurprogramma's up-to-date zijn via Windows Update of de website van de fabrikant, zodat het systeem de hardware correct herkent.
De positie van de NPU in het Mac-ecosysteem
In de Apple-wereld is het verhaal eenvoudiger en duidelijker. De NPU (Neural Processing Unit) kwam met de overstap naar Apple Silicon . Dit betekent dat elke Mac met een M1-, M2-, M3- of M4 -chip al een geïntegreerde neurale eenheid heeft. Deze architectuur, deels overgenomen van iPhone-chips, zorgt ervoor dat functies zoals Apple Intelligence soepel en lokaal op Apple-computers draaien.
Waar dient het nu echt voor en wat zijn de beperkingen ervan?
Het is een veelvoorkomende misvatting dat de NPU de grafische kaart vervangt. In werkelijkheid is het een specialist in neurale netwerkinferentie met gekwantiseerde gewichten (INT8 of INT4). Terwijl een GPU een algemene krachtpatser is, is de NPU een precisie-instrument dat kleine modellen, zoals de Phi-3 Mini, kan aansturen met een stroomverbruik van slechts 5 tot 10 watt, vergeleken met de 40-50 watt die een laptop-GPU zou verbruiken.
Het is echter niet allemaal rozengeur en zonneschijn. De NPU is niet ontworpen voor het trainen van modellen of het finetunen ervan; dat blijft het exclusieve domein van GPU's met dedicated VRAM. Bovendien kan het uitvoeren van een model met 7 miljard parameters een flinke uitdaging zijn als je systeem slechts 16 GB RAM heeft, omdat de NPU geheugen deelt met het systeem en je computer daardoor mogelijk moeite heeft om soepel te draaien.
De uitdaging van de huidige software en applicaties.
Hier wordt het lastig. Het hebben van de hardware betekent niet dat alle apps die ook zullen gebruiken. Momenteel heeft elke fabrikant zijn eigen "taal": OpenVINO voor Intel, ROCm/Ryzen AI voor AMD en QNN voor Qualcomm . Hoewel de ONNX Runtime-standaard dit probeert te verenigen, negeren veel populaire applicaties de NPU nog steeds.
- LM-studio: Het biedt al ondersteuning voor Qualcomm NPU's via QNN.
- Ollama: Voorlopig blijft het systeem voornamelijk afhankelijk van de CPU of GPU, en laat de NPU buiten beschouwing.
- Windows Copilot: Gebruik de NPU voor native taken zoals het vervagen van de achtergrond tijdens videogesprekken of live ondertiteling.
Als je merkt dat het NPU-gebruik in Taakbeheer altijd op 0% staat, hoeft dat niet per se aan jouw kant te liggen; het software-ecosysteem is nog in ontwikkeling . We bevinden ons in een vergelijkbare fase als toen GPU's voor het eerst werden gebruikt voor wetenschappelijke berekeningen: de hardware loopt voor en ontwikkelaars beginnen hun tools daarop aan te passen.
Een neurale accelerator is tegenwoordig een concurrentievoordeel, vooral in ultrabooks en mini-pc's waar stilte en een lange accuduur van cruciaal belang zijn. Hoewel de toepassingen momenteel beperkt zijn tot Windows-functies of enkele gekwantificeerde modellen, is de trend duidelijk: op korte termijn zal de NPU de standaardprocessor worden voor elke persoonlijke assistent die op onze harde schijf staat en de accu niet leegtrekt.