Lokal AI og automatisering: agenter, sikkerhed og cases fra den virkelige verden

Informatic Digital » Recursos » Lokal AI og automatisering: agenter, sikkerhed og cases fra den virkelige verden

La automatisering med lokal AI Det er ved at gå ud over at være kun for tech-entusiaster med hjemmeservere og bliver en reel mulighed for alle, der ønsker mere kontrol, privatliv og fleksibilitet. I dag er du ikke længere helt afhængig af en stor virksomheds cloud for at have agenter, der kan læse din skærm, bevæge din mus, arbejde med dine filer eller køre komplekse arbejdsgange i baggrunden.

Situationen er eksploderet: fra fulde stakke som NVIDIAs NemoClaw Fra autonome agenter, der kører på din egen hardware, til mobilapps som PocketBot, der konverterer naturligt sprog til telefonautomatiseringer, og inklusive åbne platforme som OpenClaw, assistenter som Jan AI og praktiske guider til opsætning af din egen "hjemmelavede ChatGPT" med Ollama og Open WebUI, er målet det samme: at opbygge et økosystem, hvor AI lever på din computer, interagerer med dine programmer og automatiserer dine daglige opgaver uden at tage dine data ud af dit system.

Hvad er lokal AI-automatisering, og hvorfor er det vigtigt?

Når vi taler om Lokal AI til automatiseringVi refererer til modeller og agenter, der kører på din egen enhed (pc, server, DGX, mobil) uden at sende følsomme data til eksterne servere. Modellen træffer beslutninger, udfører kode, læser filer, kalder API'er og koordinerer værktøjer, men alt sker i dit kontrollerede miljø.

Udviklingen har været dramatisk: fra simple chatbots, der kun besvarede spørgsmål, er vi gået videre til AI-agenter, der er i stand til at udføre opgavekæderat orkestrere flere trin, konsultere forskellige datakilder og træffe autonome beslutninger. Det har fuldstændig ændret vores forståelse af automatisering: modellen er ikke længere bare "den, der svarer", den er "den, der handler".

Denne ændring har én åbenlys konsekvens: Mere autonomi indebærer mere risikoHvis du giver en agent adgang til filsystemet, dine legitimationsoplysninger, din browser eller dine udviklingsværktøjer, har du brug for et robust sikkerhedsdesign. Det er her, lokale tilgange skinner igennem, fordi du kan begrænse tilladelser, isolere processer og nøje overvåge, hvad modellen foretager sig på et givet tidspunkt.

Desuden åbne modeller med gratis licenser som Apache-2.0 eller MIT (Ligesom mange Falcon-, Bark-, Jan- osv.) løsninger giver de dig mulighed for at bygge løsninger uden at være bundet af kontrakter eller uigennemsigtige brugspolitikker. Du kan revidere koden, justere modellen, anvende finjustering og endda integrere den med specifik hardware såsom A100 GPU'er eller NVIDIA DGX-arbejdsstationer.

For mange sektorer (sundhedsvæsen, bankvæsen, jura, offentlig administration), hvor Privatliv og sikker opbevaring Det er helligt, kombinationen af Lokal AI + autonome agenter + åbne modeller Det gør en forskel: Du automatiserer, men dataene forlader ikke din perimeter.

Lokale AI-stacks til avanceret automatisering: NemoClaw, OpenShell og OpenClaw

NVIDIA er gået stærkt ind i dette spil med NemoKloDet er en open source-stak, der er designet til sikkert at implementere autonome agenter lokalt og sikre, at de altid er tændt. Den er designet til at køre på kraftfulde maskiner som NVIDIA DGX Spark, men filosofien kan anvendes på andre certificerede miljøer.

NemoClaw fungerer som orkesterkapacitetInstallerer og koordinerer OpenShell (sikkerhedsruntime) og OpenClaw (multikanalagentframeworket), konfigurerer modelinferens (via Ollama eller NVIDIA NIM) og anvender sikkerhedspolitikker fra starten, ikke som en sidste-øjebliks-patch.

I hjertet af stakken er der normalt NVIDIA Nemotron 3 Super 120BEn model med 120.000 milliarder parametre optimeret til agenter: meget god til at følge komplekse instruktioner, håndtere værktøjer og flertrinslogik. Men for at køre noget af denne størrelse har du brug for en seriøs GPU og en masse hukommelse; omkring 87 GB er nævnt alene for modellen.

Inferens serveres normalt med Ollama som en lokal runtimehvilket eksponerer en REST API på selve maskinen. NemoClaw kommunikerer med denne API for at sende prompts, modtage svar og koordinere værktøjskald ved hjælp af værktøjskaldsmønsteret.

Komponenten OpenShell er nøglen inden for sikkerhedDen håndhæver sandboxing, kontrollerer legitimationsoplysninger, fungerer som en netværksproxy og anvender princippet om mindste rettigheder. Den overvåger de forbindelser, som agenten forsøger at oprette forbindelse til, og giver dig mulighed for at godkende eller blokere slutpunkter fra en TUI-lignende grænseflade. På denne måde sker der intet uden din godkendelse, hvis modellen forsøger at få adgang til en ny tjeneste.

Inde i sandkassen lever livet OpenClaw, agentlaget med flere kanalerDen håndterer kommunikation med platforme som Telegram, Slack og Discord, administrerer agentens hukommelse, forbinder værktøjer (scripts, API'er, browsere) og opretholder samtalen på lang sigt. Hvis du ønsker en assistent, der altid er aktiv, tilgængelig via beskeder og med permanent hukommelse, er dette den komponent, der gør det muligt.

Sikkerhed, sandboxing og lokal implementering trin for trin

En af de store styrker ved denne stak er, at Sikkerhed tages i betragtning fra designfasenikke tilføjet senere. Den typiske fejl i agentprojekter er først at bygge alle funktionaliteterne og derefter forsøge at "beskytte" det, der allerede er bygget, hvilket skaber huller overalt.

Den centrale mekanisme er udførelsessandboxingAl kode, som agenten ønsker at udføre, kører i et isoleret miljø: den har ingen direkte adgang til værtens filsystem, kan ikke foretage vilkårlige netværkskald og kan ikke eskalere privilegier ud over, hvad der er defineret i konfigurationen.

Dette mindsker i høj grad virkningen af øjeblikkelige injektionsangreb eller ondsindede instruktioner. Hvis modellen beslutter sig for at gøre noget usædvanligt, forbliver skaden begrænset til sandkassen. Alligevel anerkender NVIDIA selv, at ingen sandkasse er perfekt, så de anbefaler altid at teste nye værktøjer på isolerede systemer.

Derudover implementerer NemoClaw granulær kontrol over værktøjer og politikker i realtidSom standard kan agenten kun kommunikere med et begrænset antal netværksslutpunkter. Når den forsøger noget nyt, blokerer OpenShell den, og du kan se præcis, hvad den forsøger at gøre (vært, port, proces). Du kan derefter godkende den til den pågældende session eller tilføje en permanent politik på værten.

Implementeringsflowet i en DGX Spark følger typisk disse trin: konfigurer Ubuntu 24.04 LTS med NVIDIA-drivere efter en computermonteringsvejledningInstaller Docker 28.xo eller nyere med GPU-runtime, installer Ollama og download Nemotron 3 Super 120B-modellen, og start til sidst NemoClaw-installationen med en enkelt kommando, der udløser en konfigurationsguide.

Denne onboarding guider dig igennem sandkassenavn, inferensudbyder, valgt model, sikkerhedsforudindstillinger Og, hvis du ønsker det, Telegram-integration. Den aktive opsætningstid er estimeret til 20-30 minutter, plus yderligere 15-30 minutter til at downloade skabelonen, afhængigt af båndbredden.

Med hensyn til ydeevne skal vi være realistiske: et svar med en 120B parametermodel kan tage mellem 30 og 90 sekunder i en lokal kontekst. Det er ikke et problem i sig selv, men det skal tages i betragtning, når man designer brugsflows og den type opgaver, man tildeler agenten.

Fjernadgang, webgrænseflade og hardware designet til lokal AI

Når alt er konfigureret, kan du interagere med agenten på flere måder. Den mest almindelige er via TelegramMed en bot oprettet med @BotFather er det et praktisk valg: robust API, kryptering, apps til alle typer enheder og intet behov for at eksponere dine serverporte for omverdenen.

Botten modtager dine beskeder, videresender dem til agenten på DGX og sender dig et svar tilbage. Det interessante er, at selvom samtalen går gennem Telegrams infrastruktur, Inferens og adgang til følsomme data forbliver 100 % lokal på din maskine.

Derudover tilbyder NemoClaw en privat webgrænseflade Tilgængelig via en tokeniseret URL, der kun genereres én gang ved afslutningen af ​​onboardingen. Det er afgørende at gemme denne URL med det samme, da den ikke vises igen. For at se den fra en anden maskine på netværket skal du konfigurere en SSH-tunnel og portvideresendelse ved hjælp af OpenShell.

En lille, men vigtig detalje er, at URL'en skal åbnes med 127.0.0.1 i stedet for localhostBrug af localhost kan forårsage CORS-fejl (uautoriseret oprindelse), hvilket kan spilde din tid, hvis du ikke er klar over det.

Til den daglige drift er der flere nyttige CLI-kommandoerÅbn en shell inde i sandkassen, se status, følg logs i realtid, vis sandkasser, start eller stop Telegram-broen, aktiver portvideresendelse eller kør et rent afinstallationsscript, der fjerner hele stakken.

Med hensyn til hardware, NVIDIA DGX Spark Det er tydeligvis designet til disse brugsscenarier. Det er et kompakt system med NVIDIA GPU'er og samlet hukommelse med høj båndbredde, ideelt til at køre mellemstore og store modeller med lav latenstid uden at skulle oprette et komplet datacenter.

La samlet hukommelse Det hjælper især med en af ​​de klassiske flaskehalse: flytning af data mellem CPU'en og GPU'en. Ved at dele hukommelsesplads tilgår modellen data meget mere effektivt, hvilket gør det muligt at indlæse modeller med titusindvis af milliarder af parametre i (næsten) realtid – utænkeligt indtil for nylig i forbrugerhardware.

Populære lokale AI-agenter: eksempler og brugsscenarier

Ud over NVIDIA-økosystemet er der en hel del AI-agenter og automatiseringsorienterede platforme på dit eget team som er værd at kende. Hver af dem er rettet mod en forskellig type bruger og et forskelligt sæt opgaver.

OpenClaw er for eksempel blevet populært som open source agentplatform som fungerer som en personlig assistent. Den giver dig mulighed for at oprette brugerdefinerede agenter til at rydde din indbakke, sende beskeder, administrere din kalender, organisere ture eller automatisere gentagne opgaver i dit digitale liv.

Kan installeres i Windows, macOS og LinuxDet er også designet til at fungere med LLM-modeller lokalt, hvilket forbedrer privatlivets fred og reducerer afhængigheden af ​​cloud-tjenester. Derudover integreres det med beskedapps som WhatsApp, Telegram, Discord, Slack, Signal og Apple Messages, så din agent kører "bag kulisserne" i de chats, du allerede bruger.

Gennem plugins kan du give den adgang til browseren, sociale netværk, e-mailklienter og andre applikationer, samt tillade den interagere med filsystemet, udføre kommandoer og scriptseller automatiser typiske kontor- og produktivitetsopgaver. Alt dette med et klart fokus på at lade brugeren vælge, hvilke mapper, apps og tjenester der er tilgængelige for agenten.

I det mere generelle økosystem, platforme som f.eks. ForvirringscomputerDette forvandler Perplexity fra en simpel samtalebaseret søgemaskine til en assistent, der er i stand til at udføre komplekse arbejdsgange. Denne computertilstand giver dig mulighed for at surfe på nettet, oprette og administrere dokumenter, skrive kode, behandle data og koordinere med tjenester som Gmail, Slack, GitHub og Notion.

Dens styrke ligger i at udnytte modeller som Claude, GPT, Gemini eller Perplexitys egen Sonar til at håndtere store datamængder og opdele komplekse opgaver i underopgaver, der kan udføres serielt eller parallelt. Selvom det ikke altid er helt lokalt, er agentmønsteret og integrationen med værktøjer meget lig dem, der findes hos agenter, der kører på din maskine.

Inden for det rent open source og lokale område, Jan AI Den præsenteres som en erstatning for ChatGPT, der kan installeres på Windows, Mac og Linux. Den giver dig mulighed for at bruge lokale modeller som Llama (Meta) eller Gemma (Google), eller oprette forbindelse til onlinemodeller som ChatGPT, Claude, Gemini, Mistral, Qwen eller DeepSeek, hvis du er interesseret i en blanding.

Jan AI fungerer både som klassisk samtaleassistent (spørg, udkast, opsummer, oversæt, omskriv, forklar) som en agent, der er i stand til at behandle filer og dokumenter, udføre kommandoer og generere kode på forskellige sprog. Derudover gør dens tilpasningsfokus det nemt at oprette din egen agent med specifikke instruktioner og skifte mellem forskellige "profiler" afhængigt af hvad du laver.

Agenter på enheden: PocketBot og mobilautomatisering

Begrebet Lokal AI forbliver ikke på pc'enDet har også en stærk indflydelse på mobiltelefoner, hvor flere og flere projekter vælger små, men specialiserede modeller for at automatisere telefonen uden at gå gennem skyen.

Et tydeligt eksempel er PocketBot, en agent der kører direkte på iPhone bruger flame.cpp på MetalDens mission er at omdanne naturligt sprog til telefonautomatiseringer: i stedet for at skulle trykke dig igennem tusind menuer eller genveje, beskriver du, hvad du ønsker, og agenten sørger for at omsætte det til handlinger.

PocketBot bruger en kvantiseret model af 3.000 milliarder parametreKører helt lokalt og uden at sende data til eksterne servere. Den tilgængelige hukommelse på en iPhone 15 Pro er typisk 3-4 GB brugbar, før iOS begynder at dræbe processer, så modelstørrelse og kvantisering er afgørende.

En af de udfordringer, som skaberne nævner, er at finde Pålidelige små modeller til værktøjskald og strukturerede output i JSON. Ved brug af Qwen3 støder de for eksempel på problemer som opdigtede parameternavne, misdannet JSON (manglende parenteser) og inkonsekvent skemaoverholdelse, hvilket tvinger implementeringen af ​​selvkorrigerende og gentagne lag frem.

Der er også megen debat om optimalt kvantiseringspunkt For at opnå det bedste forhold mellem kvalitet og hukommelse, overvej muligheder som q4_K_M eller q5_K_S afhængigt af chipgenereringen og den tilgængelige hukommelse. Hver mindre bit i kvantiseringen betyder mere håndterbare modeller, men det kan have en negativ indvirkning på ræsonnement og nøjagtighed i værktøjskald.

En anden front er tilpasningen af prøveudtagningsparametre afhængigt af opgaven. Typiske konfigurationer inkluderer temperatur 0,7, top_p 0,8, top_k 20 og repeat_penalty 1,1, men der er interesse i at adskille generationsstrategier for fri samtale versus værktøjskald, hvor mere determinisme og mindre kreativitet er af interesse.

Endelig, på mobiltelefonen kontekststyring Det er særligt følsomt: systemprompten caches normalt i KV-cachen for at undgå genbehandling, og glidende vinduer bruges til at undgå at overskride kapaciteten; derfor er det nyttigt at vide, hvordan Gem og organiser dine prompts.

Derudover er der plads til trinvise opsummeringstricks, selektiv hukommelse eller hybride skemaer, der kombinerer komprimeret historie og umiddelbar kontekst.

Opsæt din egen "lokale ChatGPT" med Ollama og Open WebUI

For dem, der ikke har brug for en stak så kompleks som NemoClaw, men gerne vil have en ChatGPT-lignende assistent, der kører på din computerEn meget praktisk tilgang baseret på Ollama og Open WebUI er blevet populær.

Ideen er enkel: Ollama Den er ansvarlig for at downloade og vise modeller (Llama, Gemma, Qwen osv.) på din maskine via en lokal API, og Open WebUI tilbyder en webgrænseflade, der minder meget om ChatGPT, men som kører udelukkende på din maskine. Al trafik mellem brugergrænsefladen og modellen går over localhost.

En meget enkel trin-for-trin guide beskriver, hvordan man med et par få 15 terminalkommandoerDu kan have denne opsætning oppe at køre på under en time. Den inkluderer installation af Python 3.11, grundlæggende systemkonfiguration, Ollama-installation og Open WebUI-implementering, sammen med skærmbilleder og fejlfindingstips.

Resultatet er et miljø, hvor du nyder det nul omkostninger abonnementerTotal privatliv (data forlader aldrig din computer), konkurrencedygtige svartider (ingen delte serverkøer) og fuldstændig frihed til at tilpasse specialiserede assistenter, så de passer til dine egne behov.

Derudover integrerer Open WebUI avancerede funktioner som f.eks. Websøgning, kodefortolker, oprettelse af brugerdefineret model Baseret på specifikke konfigurationer forbereder den avancerede RAG-funktioner til at opbygge personlige vidensbaser. Ideen er, at du kan have en trænet "co-pilot", der er bekendt med dine dokumenter og arbejdsgange uden at være afhængig af tredjeparter.

Efter et par måneders brug rapporterer mange brugere, at denne kombination fuldstændigt har erstattet [det tidligere produkt/den tidligere tjeneste]. deres betalte abonnementer på cloudløsningersamtidig med at de forbedrer integrationen med deres egne lokale data og værktøjer. Det næste naturlige skridt er at forbinde denne "hjemmelavede ChatGPT" med agenter, scripts og tjenester for at koordinere mere komplekse automatiseringer.

Automatiser dit digitale liv: Praktiske eksempler med lokal AI

Alt dette lyder fantastisk på et teknisk niveau, men hvad kan man egentlig gøre med det i hverdagen? veluddannede lokale agenterMulighederne er ret brede, hvis du kombinerer multimodale modeller, skærmadgang, værktøjer og struktureret opbevaring.

Der er forslag designet til automatiser brugen af ​​din egen computer med agenter, der modtager skærmbilleder og handler på dem. Processen ville være nogenlunde sådan her: Systemet tager et skærmbillede, agenten behandler det med en model, der kan arbejde med billeder, forstår hvilket program der er åbent, hvilke knapper der er til stede, hvilken tekst der vises, og baseret på din prompt beslutter den, hvad der skal gøres næste gang.

Med denne idé kunne du f.eks. oprette specialiserede oversættelsesagenterSystemet optager den del af skærmen, du vil oversætte, forstørrer den i et "forstørrelsesglas"-oversættervindue og genererer en næsten øjeblikkelig oversættelse ved hjælp af en lille model (f.eks. 4B-parametre), der er finjusteret til oversættelse, ligesom en finjusteret variant af PHI.

En anden interessant front er den, der Visuelle modeller, der omdanner skærmbilleder til PDF-filerForestil dig et værktøj, der ud fra skærmbilleder af præsentationer, dashboards eller dokumenter genererer velformaterede PDF'er, som du derefter kan forfine eller bruge direkte i dine præsentationer. Ved at integrere Python med Acrobat kan du automatisere hele processen.

For at arbejde med internettet uden at være afhængig af eksterne tjenester, erfarne teknologier som f.eks. BeautifulSoup er stadig meget nyttigeDu kan opsætte en letvægtsscraper, der gennemgår flere sider og kun gemmer den nødvendige HTML (f.eks. kun udtrækker