- Tilstedeværelsen af NPU'en kan verificeres via Jobliste eller Enhedshåndtering i Windows.
- Alle Mac-computere med Apple Silicon-chips (M1 og derover) integrerer en neural processorenhed.
- Den største fordel ved NPU'en er energieffektivitet, der muliggør AI-inferenser med minimalt strømforbrug.
- Nuværende softwareunderstøttelse er begrænset og afhænger af specifikke runtime-programmer såsom OpenVINO eller QNN.
Du har sikkert hørt om de berømte "AI-pc'er" på det seneste og spekuleret på, om computeren på dit skrivebord er en af dem. Nøglen ligger i NPU'en (Neural Processing Unit) , en komponent, der er ved at blive almindelig i næsten alle moderne bærbare computere. Dette forhindrer kunstig intelligens i at overbelaste resten af systemet og frem for alt forhindrer batteriet i at blive afladet på få minutter.
Det er afgørende at vide, om du har denne accelerator, hvis du vil køre AI-modeller lokalt uden at være afhængig af skyen. Det handler ikke kun om at vise din hardware frem, men om at udnytte den utrolige energieffektivitet, der giver dig mulighed for at udføre komplekse opgaver uden at din pc-blæser lyder, som om den er ved at flyve til Mars. Lad os se, hvordan du finder ud af, om du har den, og hvad du rent faktisk kan gøre med den lige nu.
Hurtige metoder til at detektere NPU'en i Windows
Hvis du bruger Windows, behøver du ikke at være computerekspert for at finde svaret. Den mest direkte måde er at åbne Jobliste (Ctrl + Shift + Esc) og kigge på fanen Ydeevne. Hvis din computer understøtter det, vil du se et specifikt afsnit kaldet NPU ud for CPU og GPU, hvor du kan overvåge dens arbejdsbyrde i realtid.
En anden meget pålidelig mulighed er at gå til Enhedshåndtering . Bare kig efter afsnittet "Neurale processorer ". Hvis denne kategori vises på listen, tillykke: du har en NPU installeret. Det bedste ved denne metode er, at den fortæller dig det nøjagtige navn på chippen, så du kan slå dens tekniske specifikationer op online for at finde ud af, hvor mange TOPS (operationer pr. sekund) den kan opnå.
Tekniske forespørgsler og producentsupport
Nogle gange kan software forårsage problemer, eller drivere kan være forældede, og det er da bedst at gå til kilden. Ideelt set bør du identificere din processor i menuen Indstillinger og derefter besøge producentens officielle hjemmeside (uanset om det er Intel, AMD eller Qualcomm). I specifikationsarket for din præcise model kan du bekræfte, om chippen integrerer AI-funktioner, og hvilke Windows-funktioner den understøtter, f.eks. kamerastudieeffekter.
Hvis du har købt en enhed mærket som en Copilot+ PC , især dem med en Snapdragon X Elite- eller Plus-processor, kan du være sikker på, at NPU'en er integreret som standard. Det er dog altid tilrådeligt at kontrollere, at driverne er opdaterede via Windows Update eller producentens websted, så systemet genkender hardwaren korrekt.
NPU'ens situation i Mac-økosystemet
I Apple-verdenen er historien enklere og mere ligetil. NPU'en kom med overgangen til Apple Silicon . Det betyder, at enhver Mac med en M1-, M2-, M3- eller M4 -chip allerede har en integreret neural enhed. Denne arkitektur, delvist arvet fra iPhone-chips, er det, der gør det muligt for funktioner som Apple Intelligence at køre problemfrit og lokalt på Apple-computere.
Hvad er det egentlig til for, og hvad er dets begrænsninger?
Det er en almindelig misforståelse, at NPU'en erstatter grafikkortet. I virkeligheden er det specialist i neurale netværksudledning med kvantiserede vægte (INT8 eller INT4). Mens en GPU er et kraftværk til generel brug, er NPU'en et præcisionsværktøj, der kan køre små modeller, som Phi-3 Mini, der kun bruger 5 til 10 watt, sammenlignet med de 40-50 watt, som en bærbar GPU ville bruge.
Det er dog ikke kun solskin og regnbuer. NPU'en er ikke designet til træning af modeller eller finjustering; det er fortsat udelukkende GPU'er med dedikeret VRAM's domæne. Desuden, hvis du har et system med kun 16 GB RAM, kan det være en reel hovedpine at forsøge at køre en model med 7B-parametre, da NPU'en deler hukommelse med systemet, og du kan opleve, at din computer kæmper med at køre problemfrit.
Udfordringen med nuværende software og applikationer
Det er her, tingene bliver vanskelige. At have hardwaren betyder ikke, at alle apps vil bruge den. I øjeblikket har hver producent sit eget "sprog": OpenVINO til Intel, ROCm/Ryzen AI til AMD og QNN til Qualcomm . Selvom ONNX Runtime-standarden forsøger at forene dette, ignorerer mange populære applikationer stadig NPU'en.
- LM Studio: Det er allerede begyndt at understøtte Qualcomm NPU'er via QNN.
- Ollama: For tiden er den fortsat primært afhængig af CPU'en eller GPU'en, og ser bort fra NPU'en.
- Windows Copilot: Brug NPU'en til native opgaver såsom sløring af baggrunden i videoopkald eller livetekstning.
Hvis du bemærker, at NPU-forbruget i Jobliste altid er på 0%, er det ikke nødvendigvis et problem fra din side; softwareøkosystemet modnes stadig . Vi er i en lignende fase, som da GPU'er først begyndte at blive brugt til videnskabelig databehandling: hardwaren er foran, og udviklere begynder at tilpasse deres værktøjer.
At have en neural accelerator er en konkurrencefordel i disse dage, især i ultrabooks og mini-pc'er, hvor stilhed og batterilevetid er altafgørende. Selvom dens anvendelser i øjeblikket er begrænset til Windows-funktioner eller nogle kvantiserede modeller, er tendensen klar: På kort sigt vil NPU'en være standardmotoren for enhver personlig assistent, der befinder sig på vores harddisk uden at dræne batteriet.