Lokal AI og automatisering: agenter, sikkerhed og cases fra den virkelige verden

Informatec Digital » Ressourcer » Lokal AI og automatisering: agenter, sikkerhed og cases fra den virkelige verden

Lokal AI-automatisering er ved at blive en levedygtig mulighed for alle, der søger større kontrol, privatliv og fleksibilitet, og ikke længere kun for tech-entusiaster med hjemmeservere. I dag behøver du ikke længere at stole på en stor virksomheds cloud for at have agenter, der kan læse din skærm, bevæge din mus, arbejde med dine filer eller udføre komplekse arbejdsgange i baggrunden.

Landskabet er eksploderet: fra komplette stakke som NVIDIAs NemoClaw til autonome agenter på din egen hardware, til mobilapps som PocketBot, der forvandler naturligt sprog til telefonautomatiseringer, til åbne platforme som OpenClaw, assistenter som Jan AI og praktiske guider til at bygge din egen "hjemmelavede ChatGPT" med Ollama og Open WebUI. Målet er det samme: at bygge et økosystem, hvor AI lever på din computer, interagerer med dine programmer og automatiserer dine daglige opgaver uden at tage dine data ud af dit system.

Hvad er lokal AI-automatisering, og hvorfor er det vigtigt?

Når vi taler om lokal AI til automatisering , refererer vi til modeller og agenter, der kører på din egen enhed (pc, server, DGX, mobil) uden at sende følsomme data til eksterne servere. Modellen træffer beslutninger, udfører kode, læser filer, kalder API'er og koordinerer værktøjer, men alt sker i dit kontrollerede miljø.

Udviklingen har været dramatisk: Fra simple chatbots, der kun besvarede spørgsmål, er vi gået over til AI-agenter, der er i stand til at udføre sekvenser af opgaver , orkestrere flere trin, konsultere forskellige datakilder og træffe autonome beslutninger. Dette har fuldstændig ændret vores forståelse af automatisering: modellen er ikke længere bare "den, der svarer", den er "den, der handler".

Denne ændring har en åbenlys konsekvens: mere autonomi betyder mere risiko . Hvis du giver en agent adgang til filsystemet, dine legitimationsoplysninger, din browser eller dine udviklingsværktøjer, har du brug for et robust sikkerhedsdesign. Det er her, lokale tilgange skinner igennem, fordi du kan begrænse tilladelser, isolere processer og nøje overvåge, hvad modellen laver på et givet tidspunkt.

Derudover giver open source-modeller med gratis licenser som Apache 2.0 eller MIT (såsom mange Falcon, Bark, Jan osv.) dig mulighed for at bygge løsninger uden at være bundet af kontrakter eller uigennemsigtige brugspolitikker. Du kan revidere koden, justere modellen, anvende finjusteringer og endda integrere den med specifik hardware som A100 GPU'er eller NVIDIA DGX-arbejdsstationer.

For mange sektorer (sundhedsvæsen, bankvæsen, jura, offentlig forvaltning), hvor privatliv og sikker lagring er helligt, gør kombinationen af ​​lokal AI + autonome agenter + åbne modeller en forskel: Du automatiserer, men dataene forlader ikke din perimeter.

Lokale AI-stacks til avanceret automatisering: NemoClaw, OpenShell og OpenClaw

NVIDIA har gjort en stærk indtræden på dette marked med NemoClaw , en open source-stak designet til sikkert at implementere autonome agenter lokalt og sikre, at de altid er tændt. Den er designet til at køre på kraftfulde maskiner som NVIDIA DGX Spark, men filosofien kan anvendes på andre certificerede miljøer.

NemoClaw fungerer som et orkestreringslag : det installerer og koordinerer OpenShell (sikkerhedsruntime) og OpenClaw (multikanalagentframeworket), konfigurerer modelinferens (via Ollama eller NVIDIA NIM) og anvender sikkerhedspolitikker fra starten, ikke som en sidste-øjebliks-patch.

Kernen i stakken er normalt NVIDIA Nemotron 3 Super 120B , en model med 120.000 milliarder parametre, der er optimeret til agenter: meget god til at følge komplekse instruktioner, håndtere værktøjer og ræsonnement i flere trin. For at køre noget af denne størrelse har du dog brug for en seriøs GPU og masser af hukommelse; omkring 87 GB forventes alene for modellen.

Inferens udføres typisk ved hjælp af Ollama som lokal runtime , hvilket eksponerer en REST API på den lokale maskine. NemoClaw kommunikerer med denne API for at sende prompts, modtage svar og koordinere værktøjskald ved hjælp af værktøjskaldsmønsteret.

OpenShell-komponenten er nøglen til sikkerhed : den håndhæver sandboxing, kontrollerer legitimationsoplysninger, fungerer som en netværksproxy og anvender princippet om mindste privilegier. Den overvåger de forbindelser, som agenten forsøger at oprette, og giver dig mulighed for at godkende eller blokere slutpunkter fra en TUI-lignende grænseflade. På denne måde sker der intet uden din godkendelse, hvis modellen forsøger at få adgang til en ny tjeneste.

I sandkassen findes OpenClaw, multikanalagentlaget . Det håndterer kommunikation med platforme som Telegram, Slack og Discord, administrerer agenthukommelse, forbinder værktøjer (scripts, API'er, browsere) og opretholder langvarige samtaler. Hvis du ønsker en altid aktiv assistent, tilgængelig via beskeder og med permanent hukommelse, er dette den komponent, der gør det muligt.

Sikkerhed, sandboxing og lokal implementering trin for trin

En af de store styrker ved denne stak er, at sikkerhed er indbygget fra designfasen og ikke tilføjes senere. Den typiske fejl i agentprojekter er først at implementere alle funktionaliteterne og derefter forsøge at "forstærke" det, der allerede er bygget, hvilket skaber sårbarheder overalt.

Kernemekanismen er eksekveringssandboxing . Al kode, som agenten ønsker at køre, udføres i et isoleret miljø: den har ingen direkte adgang til værtens filsystem, kan ikke foretage vilkårlige netværkskald og kan ikke eskalere privilegier ud over, hvad der er defineret i konfigurationen.

Dette mindsker i høj grad virkningen af ​​prompt injection-angreb eller ondsindede instruktioner. Hvis modellen beslutter sig for at gøre noget usædvanligt, forbliver skaden begrænset til sandkassen. Alligevel anerkender NVIDIA selv, at ingen sandkasse er perfekt, så de anbefaler altid at teste nye værktøjer på isolerede systemer.

Derudover implementerer NemoClaw granulær realtidskontrol af værktøjer og politikker . Som standard kan agenten kun kommunikere med et begrænset antal netværksslutpunkter. Når den forsøger noget nyt, blokerer OpenShell den, og du kan se præcis, hvad den forsøger at gøre (vært, port, proces). Du kan derefter godkende den til den pågældende session eller tilføje en permanent politik på værten.

Implementeringsforløbet i en DGX Spark følger normalt disse trin: konfigurer Ubuntu 24.04 LTS med NVIDIA-drivere ved at følge en computermonteringsvejledning , installer Docker 28.xo eller nyere med GPU-runtime, installer Ollama og download Nemotron 3 Super 120B-modellen, og start endelig NemoClaw-installationen med en enkelt kommando, der udløser en konfigurationsguide.

Denne onboardingproces guider dig gennem sandkassenavnet, inferensudbyderen, den valgte model, sikkerhedsforudindstillinger og, hvis det ønskes, Telegram-integration. Den aktive opsætningstid er estimeret til 20-30 minutter plus yderligere 15-30 minutter for at downloade modellen, afhængigt af båndbredden.

Med hensyn til ydeevne skal vi være realistiske: et svar med en 120B parametermodel kan tage mellem 30 og 90 sekunder i en lokal kontekst. Det er ikke et problem i sig selv, men det skal tages i betragtning, når man designer brugsflows og de typer opgaver, man tildeler agenten.

Fjernadgang, webgrænseflade og hardware designet til lokal AI

Når alt er konfigureret, kan du interagere med agenten på flere måder. Den mest almindelige er via Telegram ved hjælp af en bot oprettet med @BotFather. Det er et praktisk valg: robust API, kryptering, apps til alle typer enheder og intet behov for at eksponere dine serverporte for omverdenen.

Botten modtager dine beskeder, videresender dem til agenten på DGX og sender dig et svar tilbage. Interessant nok, selvom samtalen går gennem Telegrams infrastruktur, forbliver inferensen og adgangen til følsomme data 100% lokal på din maskine.

Derudover tilbyder NemoClaw en privat webgrænseflade, der er tilgængelig via en tokeniseret URL, der kun genereres én gang i slutningen af ​​onboarding-processen. Det er afgørende at gemme denne URL med det samme, da den ikke vises igen. For at se den fra en anden maskine på netværket skal du konfigurere en SSH-tunnel og portvideresendelse ved hjælp af OpenShell.

En lille, men vigtig detalje er, at URL'en skal åbne med 127.0.0.1 i stedet for localhost . Brug af localhost kan forårsage "unauthorized origin" (CORS) fejl, som kan spilde din tid, hvis du ikke er opmærksom på dette.

Til den daglige drift er der adskillige nyttige CLI-kommandoer : åbn en shell inde i sandkassen, se status, følg logs i realtid, vis sandkasser, start eller stop Telegram-broen, aktiver portvideresendelse eller kør et rent afinstallationsscript, der fjerner hele stakken.

Med hensyn til hardware er NVIDIA DGX Spark tydeligvis designet til disse anvendelsesscenarier. Det er et kompakt system med NVIDIA GPU'er og samlet hukommelse med høj båndbredde, ideelt til at køre mellemstore til store modeller med lav latenstid uden at kræve en komplet datacenteropsætning.

Samlet hukommelse er især nyttig med en af ​​de klassiske flaskehalse: flytning af data mellem CPU'en og GPU'en. Ved at dele hukommelsesplads tilgår modellen data meget mere effektivt, hvilket gør det muligt at indlæse modeller med titusindvis af milliarder af parametre i (næsten) realtid – noget, der indtil for nylig var utænkeligt i forbrugerhardware.

Populære lokale AI-agenter: eksempler og brugsscenarier

Ud over NVIDIA-økosystemet findes der en række AI-agenter og automatiseringsorienterede platforme tilgængelige på din egen computer , som er værd at udforske. Hver af dem er rettet mod en forskellig brugertype og et specifikt sæt opgaver.

OpenClaw er for eksempel blevet populær som en open source-agentplatform , der fungerer som en personlig assistent. Det giver brugerne mulighed for at oprette brugerdefinerede agenter til at rydde deres indbakke, sende beskeder, administrere deres kalender, organisere ture eller automatisere gentagne opgaver i deres digitale liv.

Den kan installeres på Windows, macOS og Linux og er designet til at fungere lokalt med LLM-modeller, hvilket forbedrer privatlivets fred og reducerer afhængigheden af ​​skyen. Derudover integreres den med beskedprogrammer som WhatsApp, Telegram, Discord, Slack, Signal og Apple Messages, så din agent kører "bag kulisserne" i de chats, du allerede bruger.

Gennem plugins kan du give adgang til browseren, sociale netværk, e-mailklienter og andre applikationer, samt tillade den at interagere med filsystemet, udføre kommandoer og scripts eller automatisere typiske kontor- og produktivitetsopgaver. Alt dette gøres med et klart fokus på at lade brugeren vælge, hvilke mapper, apps og tjenester agenten har adgang til.

I det mere generalistiske økosystem skiller platforme som Perplexity Computer sig ud og transformerer Perplexity fra en simpel samtalebaseret søgemaskine til en assistent, der er i stand til at udføre komplekse arbejdsgange. Denne computertilstand giver brugerne mulighed for at browse på nettet, oprette og administrere dokumenter, skrive kode, behandle data og koordinere med tjenester som Gmail, Slack, GitHub og Notion.

Dens styrke ligger i at udnytte modeller som Claude, GPT, Gemini eller Perplexitys egen Sonar til at håndtere store datamængder og opdele komplekse opgaver i underopgaver, der kan udføres serielt eller parallelt. Selvom det ikke altid er helt lokalt, er agentmønsteret og integrationen med værktøjer meget lig dem, der findes hos agenter, der kører på din maskine.

I den rent open source og lokale verden præsenterer Jan AI sig selv som en erstatning for ChatGPT, der kan installeres på Windows, Mac og Linux. Den giver dig mulighed for at bruge lokale modeller som Llama (Meta) eller Gemma (Google), eller oprette forbindelse til onlinemodeller som ChatGPT, Claude, Gemini, Mistral, Qwen eller DeepSeek, hvis du er interesseret i en blanding.

Jan AI fungerer både som en klassisk samtaleassistent (spørger, udarbejder, opsummerer, oversætter, omskriver, forklarer) og som en agent, der er i stand til at behandle filer og dokumenter, udføre kommandoer og generere kode på forskellige sprog. Derudover gør dens fokus på tilpasning det nemt at oprette din egen agent med specifikke instruktioner og skifte mellem forskellige "profiler" afhængigt af den aktuelle opgave.

Agenter på enheden: PocketBot og mobilautomatisering

Konceptet med lokal AI er ikke begrænset til pc'er . Det har også en stærk indflydelse på mobile enheder, hvor flere og flere projekter fokuserer på små, men specialiserede modeller til at automatisere telefonen uden at være afhængig af skyen.

Et tydeligt eksempel er PocketBot, en agent, der kører direkte på iPhone ved hjælp af llama.cpp oven på Metal . Dens mission er at konvertere naturligt sprog til telefonautomatiseringer: i stedet for at trykke dig igennem utallige menuer eller genveje, beskriver du, hvad du ønsker, og agenten oversætter det til handlinger.

PocketBot bruger en kvantiseret model med 3 milliarder parametre , der kører udelukkende lokalt og uden at sende data til eksterne servere. Den tilgængelige hukommelse på en iPhone 15 Pro er typisk kun 3.000-4 GB, før iOS begynder at afslutte processer, hvilket gør modelstørrelse og kvantisering kritisk.

En af de udfordringer, som skaberne nævner, er at finde pålidelige, små modeller til værktøjskald og struktureret JSON-output. Ved at bruge Qwen3 støder de for eksempel på problemer som opfundne parameternavne, misdannet JSON (manglende parenteser) og inkonsekvent skemaoverholdelse, hvilket nødvendiggør implementering af autokorrektur- og gentagne lag.

Der er også megen debat om det optimale kvantiseringspunkt for at opnå det bedste kvalitet/hukommelsesforhold, hvor muligheder som q4_K_M eller q5_K_S overvejes afhængigt af chipgenereringen og den tilgængelige hukommelse. Hver mindre bit i kvantiseringen resulterer i mere håndterbare modeller, men det kan have en negativ indvirkning på ræsonnement og nøjagtighed i værktøjskald.

Et andet fokusområde er justering af samplingsparametre i henhold til opgaven. Typiske konfigurationer inkluderer temperatur 0,7, top_p 0,8, top_k 20 og repeat_penalty 1,1, men der er interesse i at adskille generationsstrategier for fritflydende samtale versus værktøjsopkald, hvor determinisme er vigtigere end kreativitet.

Endelig er konteksthåndtering på mobilen særligt følsom: systemprompten caches normalt i KV-cachen for at undgå genbehandling, og glidende vinduer bruges til at undgå at overskride kapaciteten; derfor er det vigtigt at vide, hvordan man gemmer og organiserer sine prompter.

Derudover er der plads til trinvise opsummeringstricks, selektiv hukommelse eller hybride skemaer, der kombinerer komprimeret historie og umiddelbar kontekst.

Opsæt din egen "lokale ChatGPT" med Ollama og Open WebUI

For dem, der ikke har brug for en så kompleks stak som NemoClaw, men ønsker en ChatGPT-lignende assistent, der kører på deres computer , er en meget praktisk tilgang baseret på Ollama og Open WebUI blevet populær.

Ideen er enkel: Ollama downloader og serverer modeller (Llama, Gemma, Qwen osv.) på din maskine via en lokal API, og Open WebUI leverer en webgrænseflade, der minder meget om ChatGPT, men kører udelukkende på din maskine. Al trafik mellem brugergrænsefladen og modellen går over localhost.

En enkel, trinvis vejledning beskriver, hvordan du med omkring 15 terminalkommandoer kan få denne konfiguration op at køre på under en time. Den inkluderer installation af Python 3.11, grundlæggende systemkonfiguration, Ollama-installation og Open WebUI-implementering, sammen med skærmbilleder og fejlfindingstips.

Resultatet er et miljø, hvor du nyder godt af nul abonnementsomkostninger , total privatliv (data forlader aldrig din computer), konkurrencedygtige svartider (ingen delte serverkøer) og fuld frihed til at tilpasse specialiserede assistenter, så de passer til dine egne behov.

Derudover integrerer Open WebUI avancerede funktioner som websøgning, en kodefortolker, oprettelse af brugerdefinerede modeller ud fra specifikke konfigurationer og forbereder avancerede RAG-funktioner til opbygning af personlige vidensbaser. Ideen er, at du kan have en trænet "copilot" til dine dokumenter og arbejdsgange uden at være afhængig af tredjeparter.

Efter et par måneders brug rapporterer mange brugere, at denne kombination fuldstændigt har erstattet deres betalte abonnementer på cloudløsninger , samtidig med at integrationen med deres egne lokale data og værktøjer er forbedret. Det næste logiske skridt er at forbinde denne "hjemmelavede ChatGPT" med agenter, scripts og tjenester for at koordinere mere komplekse automatiseringer.

Automatiser dit digitale liv: Praktiske eksempler med lokal AI

Alt dette lyder godt fra et teknisk synspunkt, men hvad kan man egentlig gøre i den daglige drift med velkonfigurerede lokale agenter ? Mulighederne er ret omfattende, hvis man kombinerer multimodale modeller, skærmadgang, værktøjer og struktureret lagring.

Der er forslag designet til at automatisere brugen af ​​din egen computer med agenter, der modtager skærmbilleder og reagerer på dem. Arbejdsgangen ville være nogenlunde sådan her: Systemet tager et skærmbillede, agenten behandler det med en model, der kan arbejde med billeder, forstår hvilket program der er åbent, hvilke knapper der er til stede, hvilken tekst der vises, og baseret på din prompt beslutter, hvad der skal gøres derefter.

Med denne idé kunne du for eksempel oprette specialiserede oversættelsesagenter : systemet optager den del af skærmen, du vil oversætte, forstørrer den i et "forstørrelsesglas"-oversættervindue og genererer en næsten øjeblikkelig oversættelse ved hjælp af en lille model (f.eks. af 4B-parametre), der er finjusteret til oversættelse, som en finjusteret variant af PHI.

Et andet interessant område er visuelle modeller, der omdanner skærmbilleder til PDF-filer . Forestil dig et værktøj, der ud fra skærmbilleder af præsentationer, dashboards eller dokumenter genererer velformaterede PDF-filer, som du derefter kan forfine eller bruge direkte i dine præsentationer. Ved at integrere Python med Acrobat kan du automatisere hele processen.

For at arbejde med internettet uden at være afhængig af eksterne tjenester, erfarne teknologier som f.eks. BeautifulSoup er stadig meget nyttigeDu kan opsætte en letvægtsscraper, der gennemgår flere sider og kun gemmer den nødvendige HTML (f.eks. kun udtrækker