Lokale AI en automatisering: agents, beveiliging en praktijkvoorbeelden

Informatic Digital » Middelen » Lokale AI en automatisering: agents, beveiliging en praktijkvoorbeelden

La automatisering met lokale AI Het is niet langer alleen voor techliefhebbers met thuisservers, maar wordt een serieuze optie voor iedereen die meer controle, privacy en flexibiliteit wil. Tegenwoordig ben je niet langer volledig afhankelijk van de cloud van een groot bedrijf om agents te hebben die je scherm kunnen uitlezen, je muis kunnen bewegen, met je bestanden kunnen werken of complexe workflows op de achtergrond kunnen uitvoeren.

De situatie is volledig uit de hand gelopen: van complete stacks zoals NVIDIA's NemoClaw Van autonome agenten die op je eigen hardware draaien tot mobiele apps zoals PocketBot die natuurlijke taal omzetten in telefoonautomatiseringen, en inclusief open platforms zoals OpenClaw, assistenten zoals Jan AI en praktische handleidingen voor het opzetten van je eigen "zelfgemaakte ChatGPT" met Ollama en Open WebUI: het doel is hetzelfde: een ecosysteem bouwen waarin AI op je computer draait, met je programma's communiceert en je dagelijkse taken automatiseert zonder je gegevens uit je systeem te halen.

Wat is lokale AI-automatisering en waarom is het belangrijk?

Als we het over hebben Lokale AI voor automatiseringWe hebben het hier over modellen en agents die op uw eigen apparaat (pc, server, DGX, mobiel) draaien zonder gevoelige gegevens naar externe servers te verzenden. Het model neemt beslissingen, voert code uit, leest bestanden, roept API's aan en coördineert tools, maar alles gebeurt binnen uw eigen, gecontroleerde omgeving.

De evolutie is dramatisch geweest: van simpele chatbots die alleen vragen beantwoordden, zijn we geëvolueerd naar... AI-agenten die in staat zijn taakketens uit te voerenHet gaat erom meerdere stappen te coördineren, verschillende gegevensbronnen te raadplegen en autonome beslissingen te nemen. Dat heeft onze kijk op automatisering volledig veranderd: het model is niet langer alleen "degene die antwoordt", maar "degene die handelt".

Deze verandering heeft één duidelijk gevolg: Meer autonomie betekent meer risico.Als je een agent toegang geeft tot het bestandssysteem, je inloggegevens, je browser of je ontwikkeltools, heb je een robuust beveiligingsontwerp nodig. Lokale benaderingen komen hier goed van pas, omdat je machtigingen kunt beperken, processen kunt isoleren en nauwlettend kunt volgen wat het model op elk moment doet.

Bovendien, open modellen met vrije licenties zoals Apache-2.0 of MIT (Net als veel oplossingen van Falcon, Bark, Jan, enz.) stellen ze je in staat om oplossingen te bouwen zonder gebonden te zijn aan contracten of ondoorzichtige gebruiksregels. Je kunt de code controleren, het model aanpassen, finetunen en zelfs integreren met specifieke hardware zoals A100 GPU's of NVIDIA DGX-werkstations.

Voor veel sectoren (gezondheidszorg, bankwezen, juridische sector, openbaar bestuur), waar de Privacy en veilige opslag Het is heilig, de combinatie van Lokale AI + autonome agenten + open modellen Het maakt wel degelijk verschil: je automatiseert, maar de data blijft binnen je eigen netwerk.

Lokale AI-stacks voor geavanceerde automatisering: NemoClaw, OpenShell en OpenClaw

NVIDIA is met een sterke intrede in deze markt gekomen met NemoClawHet is een open-source platform dat is ontworpen om autonome agents veilig lokaal te implementeren en ervoor te zorgen dat ze altijd actief zijn. Het is ontworpen om te draaien op krachtige machines zoals de NVIDIA DGX Spark, maar de filosofie is toepasbaar op andere gecertificeerde omgevingen.

NemoClaw fungeert als capa de orquestaciónInstalleert en coördineert OpenShell (de beveiligingsruntime) en OpenClaw (het multi-channel agentframework), configureert modelinferentie (via Ollama of NVIDIA NIM) en past beveiligingsbeleid vanaf het begin toe, niet als een patch op het laatste moment.

In het hart van de stapel bevindt zich meestal NVIDIA Nemotron 3 Super 120BEen model met 120.000 miljard parameters, geoptimaliseerd voor agenten: zeer goed in het opvolgen van complexe instructies, het hanteren van tools en redeneren in meerdere stappen. Om iets van deze omvang te draaien, heb je echter een krachtige GPU en veel geheugen nodig; er wordt gesproken over ongeveer 87 GB alleen al voor het model.

Inferentie wordt normaal gesproken geserveerd met Ollama als lokale runtimedie een REST API beschikbaar stelt op de machine zelf. NemoClaw communiceert met deze API om prompts te verzenden, reacties te ontvangen en toolaanroepen te coördineren met behulp van het tool-calling-patroon.

Het onderdeel OpenShell is cruciaal vanuit beveiligingsoogpunt.Het zorgt voor sandboxing, beheert inloggegevens, fungeert als netwerkproxy en past het principe van minimale bevoegdheden toe. Het monitort de verbindingen die de agent probeert te maken en stelt u in staat om eindpunten goed te keuren of te blokkeren via een TUI-achtige interface. Op deze manier gebeurt er niets zonder uw goedkeuring als het model probeert toegang te krijgen tot een nieuwe service.

Binnen de zandbak leven OpenClaw, de multi-channel agentlaagHet verzorgt de communicatie met platforms zoals Telegram, Slack en Discord, beheert het geheugen van de assistent, verbindt tools (scripts, API's, browsers) en bewaart het gesprek langdurig. Als u een altijd beschikbare assistent wilt, bereikbaar via berichten en met een permanent geheugen, dan is dit de component die dat mogelijk maakt.

Beveiliging, sandboxing en lokale implementatie stap voor stap

Een van de grote sterke punten van deze stapel is dat Veiligheid wordt vanaf de ontwerpfase in overweging genomen.Niet later toegevoegd. De typische fout bij agentprojecten is om eerst alle functionaliteiten te bouwen en vervolgens te proberen te "beschermen" wat al gebouwd is, waardoor er overal gaten ontstaan.

Het centrale mechanisme is de uitvoeringssandboxAlle code die de agent wil uitvoeren, draait in een geïsoleerde omgeving: de agent heeft geen directe toegang tot het bestandssysteem van de host, kan geen willekeurige netwerkoproepen doen en kan geen bevoegdheden verkrijgen die verder gaan dan wat in de configuratie is gedefinieerd.

Dit vermindert de impact aanzienlijk van snelle injectie-aanvallen of kwaadaardige instructies. Als het model besluit iets ongebruikelijks te doen, blijft de schade beperkt tot de sandbox. NVIDIA erkent echter zelf dat geen enkele sandbox perfect is en raadt daarom aan om nieuwe tools altijd op geïsoleerde systemen te testen.

Daarnaast implementeert NemoClaw het volgende: Gedetailleerde controle van tools en beleid in realtime.Standaard kan de agent slechts met een beperkt aantal netwerk-eindpunten communiceren. Wanneer de agent iets nieuws probeert, blokkeert OpenShell dit en kunt u precies zien wat de agent probeert te doen (host, poort, proces). U kunt de agent vervolgens goedkeuren voor die sessie of een permanent beleid toevoegen aan de host.

Het implementatieproces in een DGX Spark volgt doorgaans deze stappen: configureren Ubuntu 24.04 LTS met NVIDIA-stuurprogramma's na een handleiding voor het assembleren van computersInstalleer Docker 28.xo of hoger met GPU-runtime, installeer Ollama en download het Nemotron 3 Super 120B-model. Start vervolgens de NemoClaw-installatie met één commando dat een configuratiewizard opent.

Deze onboarding begeleidt je door sandboxnaam, inferentieprovider, gekozen model, beveiligingsvoorinstellingen En, als je wilt, Telegram-integratie. De actieve installatie duurt naar schatting 20-30 minuten, plus nog eens 15-30 minuten om de template te downloaden, afhankelijk van je bandbreedte.

Wat de prestaties betreft, moeten we realistisch zijn: een reactie met een 120B-parametermodel kan tussen de ... en ... duren. 30 en 90 seconden In een lokale context. Op zich is het geen probleem, maar er moet wel rekening mee worden gehouden bij het ontwerpen van gebruiksstromen en het type taken dat aan de agent wordt toegewezen.

Toegang op afstand, webinterface en hardware ontworpen voor lokale AI.

Zodra alles is ingesteld, kunt u op verschillende manieren met de agent communiceren. De meest gebruikelijke manier is... via TelegramHet gebruik van een bot die is gemaakt met @BotFather is een praktische keuze: een robuuste API, encryptie, apps voor alle soorten apparaten en je hoeft je serverpoorten niet aan de buitenwereld bloot te stellen.

De bot ontvangt je berichten, stuurt ze door naar de agent op de DGX en stuurt je een antwoord terug. Het interessante is dat, hoewel het gesprek via de infrastructuur van Telegram verloopt, Het afleiden van conclusies en de toegang tot gevoelige gegevens blijven volledig lokaal. op uw machine.

Daarnaast biedt NemoClaw het volgende aan: een privé webinterface Toegankelijk via een getokeniseerde URL die slechts eenmalig aan het einde van het onboardingproces wordt gegenereerd. Het is cruciaal om deze URL direct op te slaan, aangezien deze niet opnieuw wordt weergegeven. Om de URL vanaf een andere machine in het netwerk te bekijken, moet u een SSH-tunnel en poortforwarding configureren met OpenShell.

Een klein maar belangrijk detail is dat de URL geopend moet worden met 127.0.0.1 in plaats van localhostHet gebruik van localhost kan leiden tot CORS-fouten (Unauthorized Origin), wat tijdverspilling kan opleveren als u zich daar niet van bewust bent.

Voor de dagelijkse werkzaamheden zijn er verschillende nuttige CLI-opdrachtenJe kunt een shell openen in de sandbox, de status bekijken, logboeken in realtime volgen, sandboxes weergeven, de Telegram-bridge starten of stoppen, poortforwarding activeren of een script uitvoeren om de hele stack volledig te verwijderen.

Wat betreft de hardware, NVIDIA DGX-Spark Het is duidelijk ontworpen voor deze gebruiksscenario's. Het is een compact systeem met NVIDIA GPU's en een uniform geheugen met hoge bandbreedte, ideaal voor het uitvoeren van middelgrote en grote modellen met een lage latentie zonder dat er een volledig datacenter hoeft te worden opgezet.

La verenigd geheugen Het helpt met name bij een van de klassieke knelpunten: het verplaatsen van data tussen de CPU en de GPU. Door het delen van geheugenruimte heeft het model veel efficiënter toegang tot data, waardoor modellen met tientallen miljarden parameters in (vrijwel) realtime kunnen worden geladen – iets wat tot voor kort ondenkbaar was op consumentenhardware.

Populaire lokale AI-agenten: voorbeelden en toepassingsmogelijkheden

Buiten het NVIDIA-ecosysteem zijn er nogal wat andere opties. AI-agenten en automatiseringsplatformen in je eigen team. die het waard zijn om te kennen. Elk model is gericht op een ander type gebruiker en een andere reeks taken.

OpenClaw is bijvoorbeeld populair geworden omdat open source agent platform die fungeert als een persoonlijke assistent. Hiermee kunt u aangepaste agenten creëren om uw inbox op te schonen, berichten te verzenden, uw agenda te beheren, reizen te organiseren of repetitieve taken in uw digitale leven te automatiseren.

Kan worden geïnstalleerd in Windows, macOS en LinuxHet is ook ontworpen om lokaal met LLM-modellen te werken, wat de privacy verbetert en de afhankelijkheid van de cloud vermindert. Bovendien integreert het met berichtenapps zoals WhatsApp, Telegram, Discord, Slack, Signal en Apple Messages, zodat uw agent "achter de schermen" werkt van de chats die u al gebruikt.

Via plug-ins kunt u het toegang geven tot de browser, sociale netwerken, e-mailprogramma's en andere applicaties, en het ook toestaan ​​om... Interactie met het bestandssysteem, het uitvoeren van commando's en scripts.Of automatiseer typische kantoor- en productiviteitstaken. Dit alles met een duidelijke focus op het laten kiezen door de gebruiker welke mappen, apps en services beschikbaar zijn voor de agent.

In het meer algemene ecosysteem zijn er platforms zoals Perplexiteit ComputerDit transformeert Perplexity van een eenvoudige zoekmachine voor conversaties naar een assistent die complexe workflows kan uitvoeren. In deze computermodus kunt u op het web surfen, documenten maken en beheren, code schrijven, gegevens verwerken en samenwerken met services zoals Gmail, Slack, GitHub en Notion.

De kracht ervan ligt in het benutten van modellen zoals Claude, GPT, Gemini of Perplexity's eigen Sonar om grote hoeveelheden data te beheren en complexe taken op te delen in subtaken die serieel of parallel kunnen worden uitgevoerd. Hoewel niet altijd volledig lokaal, lijken het agentpatroon en de integratie met tools sterk op die van agents die op uw eigen machine draaien.

In de puur open source en lokale wereld, Jan AI Het wordt gepresenteerd als een vervanging voor ChatGPT die kan worden geïnstalleerd op Windows, Mac en Linux. Het stelt je in staat om lokale modellen zoals Llama (Meta) of Gemma (Google) te gebruiken, of verbinding te maken met online modellen zoals ChatGPT, Claude, Gemini, Mistral, Qwen of DeepSeek als je geïnteresseerd bent in een combinatie.

Jan AI werkt zowel als klassieke conversatieassistent (vragen, opstellen, samenvatten, vertalen, herschrijven, uitleggen) als een agent die bestanden en documenten kan verwerken, commando's kan uitvoeren en code kan genereren in verschillende talen. Bovendien maakt de focus op aanpassing het eenvoudig om je eigen agent te creëren met specifieke instructies en te schakelen tussen verschillende "profielen", afhankelijk van wat je doet.

Agenten op het apparaat: PocketBot en mobiele automatisering

Het begrip Lokale AI blijft niet op de pc.Het heeft ook een grote impact op mobiele telefoons, waar steeds meer projecten kiezen voor kleine maar gespecialiseerde modellen om de telefoon te automatiseren zonder gebruik te maken van de cloud.

Een duidelijk voorbeeld is PocketBot, een agent die direct op iPhone gebruikt flame.cpp op MetalDe missie is om natuurlijke taal om te zetten in telefoonautomatiseringen: in plaats van door duizenden menu's of snelkoppelingen te navigeren, beschrijft u wat u wilt en de agent zorgt ervoor dat dit wordt omgezet in acties.

PocketBot gebruikt een gekwantiseerd model van 3.000 miljard parametersDe app draait volledig lokaal en verzendt geen gegevens naar externe servers. Het beschikbare geheugen op een iPhone 15 Pro is doorgaans 3-4 GB, waarna iOS processen begint te beëindigen. Modelgrootte en kwantisering zijn daarom cruciaal.

Een van de uitdagingen die de makers noemen, is het vinden van... Betrouwbare kleine modellen voor het aanroepen van tools en gestructureerde uitvoer. in JSON. Bij gebruik van Qwen3 bijvoorbeeld, stuiten ze op problemen zoals verzonnen parameternamen, onjuist opgemaakte JSON (ontbrekende haakjes) en inconsistente naleving van het schema, waardoor de implementatie van zelfcorrigerende en herhalingslagen noodzakelijk is.

Er bestaat ook veel discussie over de optimaal kwantiseringspunt Om de beste verhouding tussen kwaliteit en geheugen te bereiken, kunt u opties zoals q4_K_M of q5_K_S overwegen, afhankelijk van de chipgeneratie en het beschikbare geheugen. Elke bit minder in de kwantisering betekent beter beheersbare modellen, maar dit kan een negatieve invloed hebben op de redenering en nauwkeurigheid bij het aanroepen van tools.

Een ander aandachtspunt is de aanpassing van bemonsteringsparameters afhankelijk van de taak. Typische configuraties omvatten een temperatuur van 0,7, top_p van 0,8, top_k van 20 en een herhalingsstraf van 1,1, maar er is interesse in het scheiden van generatiestrategieën voor vrije conversatie versus tool-calling, waarbij meer determinisme en minder creativiteit gewenst zijn.

Tot slot, op de mobiele telefoon contextbeheer Het is een bijzonder delicate kwestie: de systeemprompt wordt meestal in de KV-cache opgeslagen om herverwerking te voorkomen, en er worden schuifvensters gebruikt om te voorkomen dat de capaciteit wordt overschreden; daarom is het handig om te weten hoe dat werkt. Bewaar en organiseer je prompts..

Daarnaast is er ruimte voor incrementele samenvattingstrucs, selectief geheugen of hybride schema's die een gecomprimeerde geschiedenis combineren met de directe context.

Zet je eigen "lokale ChatGPT" op met Ollama en Open WebUI.

Voor degenen die geen zo complexe stack als NemoClaw nodig hebben, maar wel iets dergelijks willen een assistent van het type ChatGPT die op uw computer draaitEen zeer praktische aanpak gebaseerd op Ollama en Open WebUI is populair geworden.

Het idee is simpel: Ollama Het is verantwoordelijk voor het downloaden en weergeven van modellen. (Llama, Gemma, Qwen, enz.) op uw computer via een lokale API, en Open WebUI biedt een webinterface die sterk lijkt op ChatGPT, maar volledig op uw computer draait. Al het verkeer tussen de gebruikersinterface en het model verloopt via localhost.

Een zeer duidelijke stapsgewijze handleiding beschrijft hoe je dit kunt doen, met een paar 15 terminalopdrachtenJe kunt deze installatie binnen een uur operationeel hebben. Het omvat de installatie van Python 3.11, basis systeemconfiguratie, Ollama-installatie en Open WebUI-implementatie, samen met schermafbeeldingen en tips voor probleemoplossing.

Het resultaat is een omgeving waarin je kunt genieten gratis abonnementenVolledige privacy (uw gegevens verlaten uw computer nooit), concurrerende reactietijden (geen gedeelde serverwachtrijen) en volledige vrijheid om gespecialiseerde assistenten aan te passen aan uw eigen behoeften.

Daarnaast integreert Open WebUI geavanceerde functies zoals Webzoekfunctie, code-interpreter, creatie van aangepaste modellen Op basis van specifieke configuraties worden geavanceerde RAG-functionaliteiten ontwikkeld om persoonlijke kennisbanken op te bouwen. Het idee is dat u een getrainde "co-piloot" hebt die vertrouwd is met uw documenten en workflows, zonder afhankelijk te zijn van derden.

Na een paar maanden gebruik melden veel gebruikers dat deze combinatie [het vorige product/de vorige dienst] volledig heeft vervangen. hun betaalde abonnementen op cloudoplossingenterwijl de integratie met hun eigen lokale data en tools wordt verbeterd. De volgende logische stap is om deze "zelfgemaakte ChatGPT" te koppelen aan agents, scripts en services om complexere automatiseringen te coördineren.

Automatiseer je digitale leven: praktische voorbeelden met lokale AI

Dit klinkt allemaal geweldig op technisch vlak, maar wat kun je er in het dagelijks leven eigenlijk mee doen? goed opgeleide lokale agentenDe mogelijkheden zijn enorm als je multimodale modellen, schermtoegang, tools en gestructureerde opslag combineert.

Er zijn voorstellen ontworpen voor Automatiseer het gebruik van je eigen computer. met agents die screenshots ontvangen en daarop reageren. Het proces zou er ongeveer zo uitzien: het systeem maakt een screenshot, de agent verwerkt deze met een model dat met afbeeldingen kan werken, begrijpt welke applicatie open is, welke knoppen aanwezig zijn, welke tekst er verschijnt, en besluit op basis van uw prompt wat er vervolgens moet gebeuren.

Met dit idee zou je bijvoorbeeld kunnen: gespecialiseerde vertaalbureaus opzettenHet systeem legt het gedeelte van het scherm vast dat u wilt vertalen, vergroot het in een "vergrootglas-vertaler"-venster en genereert vrijwel direct een vertaling met behulp van een klein model (bijv. 4B-parameters) dat is geoptimaliseerd voor vertaling, zoals een verfijnde variant van PHI.

Een ander interessant front is dat van Visuele modellen die schermafbeeldingen omzetten in PDF's.Stel je een tool voor die, op basis van schermafbeeldingen van presentaties, dashboards of documenten, goed opgemaakte PDF's genereert die je vervolgens kunt bewerken of direct in je presentaties kunt gebruiken. Door Python met Acrobat te integreren, kun je dit hele proces automatiseren.

Om met het web te werken zonder afhankelijk te zijn van externe diensten, zijn beproefde technologieën zoals BeautifulSoup is nog steeds erg handig.Je kunt een lichtgewicht scraper opzetten die meerdere pagina's doorzoekt en alleen de noodzakelijke HTML bewaart (bijvoorbeeld door alleen de HTML te extraheren).