Intelligenza artificiale e automazione a livello locale: agenti, sicurezza e casi reali

Informatec Digital » Risorse » Intelligenza artificiale e automazione a livello locale: agenti, sicurezza e casi reali

L'automazione locale basata sull'intelligenza artificiale non è più appannaggio esclusivo degli appassionati di tecnologia con server domestici, ma sta diventando un'opzione valida per chiunque desideri maggiore controllo, privacy e flessibilità. Oggi non è più necessario affidarsi al cloud di una grande azienda per avere agenti in grado di leggere lo schermo, muovere il mouse, lavorare con i file o eseguire flussi di lavoro complessi in background.

Il panorama è esploso: da stack completi come NemoClaw di NVIDIA per agenti autonomi sul proprio hardware, ad app per dispositivi mobili come PocketBot che trasformano il linguaggio naturale in automazioni telefoniche, fino a piattaforme aperte come OpenClaw, assistenti come Jan AI e guide pratiche per creare il proprio "ChatGPT fatto in casa" con Ollama e Open WebUI. L'obiettivo è lo stesso: costruire un ecosistema in cui l'IA risieda sul computer, interagisca con i programmi e automatizzi le attività quotidiane senza prelevare i dati dal sistema.

Che cos'è l'automazione AI locale e perché è importante?

Quando parliamo di IA locale per l'automazione , ci riferiamo a modelli e agenti che vengono eseguiti sul tuo dispositivo (PC, server, DGX, dispositivo mobile) senza inviare dati sensibili a server esterni. Il modello prende decisioni, esegue codice, legge file, chiama API e coordina gli strumenti, ma tutto avviene all'interno del tuo ambiente controllato.

L'evoluzione è stata radicale: dai semplici chatbot che si limitavano a rispondere alle domande, siamo passati ad agenti di intelligenza artificiale capaci di eseguire sequenze di attività , orchestrare più passaggi, consultare diverse fonti di dati e prendere decisioni autonome. Questo ha completamente cambiato il nostro modo di intendere l'automazione: il modello non è più solo "quello che risponde", ma "quello che agisce".

Questo cambiamento ha una conseguenza ovvia: maggiore autonomia significa maggiore rischio . Se si concede a un agente l'accesso al file system, alle credenziali, al browser o agli strumenti di sviluppo, è necessario un design di sicurezza robusto. È qui che gli approcci locali si rivelano vincenti, perché permettono di limitare le autorizzazioni, isolare i processi e monitorare attentamente le attività del modello in ogni dato momento.

Inoltre, i modelli open-source con licenze libere come Apache 2.0 o MIT (ad esempio Falcon, Bark, Jan, ecc.) consentono di creare soluzioni senza essere vincolati da contratti o politiche di utilizzo poco trasparenti. È possibile analizzare il codice, modificare il modello, effettuare ottimizzazioni e persino integrarlo con hardware specifico come GPU A100 o workstation NVIDIA DGX.

Per molti settori (sanità, banche, settore legale, pubblica amministrazione), dove la privacy e la sicurezza dell'archiviazione sono sacre, la combinazione di IA locale, agenti autonomi e modelli aperti sta facendo la differenza: si automatizza, ma i dati non escono dal perimetro aziendale.

Stack di intelligenza artificiale locali per l'automazione avanzata: NemoClaw, OpenShell e OpenClaw

NVIDIA ha fatto un ingresso di rilievo in questo mercato con NemoClaw , uno stack open-source progettato per implementare in modo sicuro agenti autonomi in locale e garantirne la costante operatività. È progettato per funzionare su macchine potenti come NVIDIA DGX Spark, ma la filosofia alla base è applicabile anche ad altri ambienti certificati.

NemoClaw funge da livello di orchestrazione : installa e coordina OpenShell (il runtime di sicurezza) e OpenClaw (il framework dell'agente multicanale), configura l'inferenza del modello (tramite Ollama o NVIDIA NIM) e applica le policy di sicurezza fin dall'inizio, non come patch dell'ultimo minuto.

Al centro dello stack si trova solitamente la NVIDIA Nemotron 3 Super 120B , un modello con 120.000 miliardi di parametri ottimizzato per gli agenti: particolarmente efficace nel seguire istruzioni complesse, gestire strumenti e svolgere ragionamenti a più fasi. Tuttavia, per eseguire un'operazione di queste dimensioni, è necessaria una GPU potente e molta memoria; si stima che il solo modello richieda circa 87 GB.

L'inferenza viene in genere eseguita utilizzando Ollama come runtime locale , che espone un'API REST sulla macchina locale. NemoClaw comunica con questa API per inviare richieste, ricevere risposte e coordinare le chiamate agli strumenti utilizzando il modello di chiamata degli strumenti.

Il componente OpenShell è fondamentale per la sicurezza : impone il sandboxing, controlla le credenziali, funge da proxy di rete e applica il principio del minimo privilegio. Monitora le connessioni tentate dall'agente e consente di approvare o bloccare gli endpoint tramite un'interfaccia simile a una TUI (Tune Interface Interface). In questo modo, se il modello tenta di accedere a un nuovo servizio, non accade nulla senza la tua approvazione.

All'interno della sandbox risiede OpenClaw, il livello agente multicanale . Gestisce la comunicazione con piattaforme come Telegram, Slack e Discord, amministra la memoria dell'agente, connette gli strumenti (script, API, browser) e mantiene conversazioni a lungo termine. Se desideri un assistente sempre attivo, accessibile tramite messaggistica e con memoria persistente, questo è il componente che lo rende possibile.

Sicurezza, sandboxing e distribuzione locale passo dopo passo

Uno dei maggiori punti di forza di questo approccio è che la sicurezza viene integrata fin dalla fase di progettazione , anziché essere aggiunta in seguito. L'errore tipico nei progetti basati su agenti è quello di implementare prima tutte le funzionalità e poi cercare di "rafforzare" ciò che è già stato realizzato, creando vulnerabilità ovunque.

Il meccanismo principale è il sandboxing dell'esecuzione . Tutto il codice che l'agente desidera eseguire viene eseguito all'interno di un ambiente isolato: non ha accesso diretto al file system dell'host, non può effettuare chiamate di rete arbitrarie e non può elevare i privilegi oltre quanto definito nella configurazione.

Questo riduce notevolmente l'impatto degli attacchi di prompt injection o delle istruzioni dannose. Se il modello decide di fare qualcosa di insolito, il danno rimane confinato all'interno della sandbox. Ciononostante, la stessa NVIDIA riconosce che nessuna sandbox è perfetta, quindi raccomanda di testare sempre i nuovi strumenti su sistemi isolati.

Inoltre, NemoClaw implementa un controllo granulare e in tempo reale di strumenti e policy . Per impostazione predefinita, l'agente può comunicare solo con un numero limitato di endpoint di rete. Quando tenta di fare qualcosa di nuovo, OpenShell lo blocca e puoi vedere esattamente cosa sta cercando di fare (host, porta, processo). Puoi quindi approvarlo per quella sessione o aggiungere una policy permanente sull'host.

Il flusso di installazione in un DGX Spark segue in genere questi passaggi: configurare Ubuntu 24.04 LTS con i driver NVIDIA seguendo una guida all'assemblaggio del computer , installare Docker 28.xo o versioni successive con runtime GPU, installare Ollam e scaricare il modello Nemotron 3 Super 120B e, infine, avviare l'installazione di NemoClaw con un singolo comando che attiva una procedura guidata di configurazione.

Questo processo di onboarding ti guida attraverso il nome della sandbox, il provider di inferenza, il modello scelto, le impostazioni di sicurezza predefinite e, se lo desideri, l'integrazione con Telegram. Il tempo di configurazione effettivo è stimato in 20-30 minuti, più altri 15-30 minuti per il download del modello, a seconda della larghezza di banda.

In termini di prestazioni, dobbiamo essere realistici: una risposta con un modello di parametri a 120 byte può richiedere dai 30 ai 90 secondi in un contesto locale. Non è un problema di per sé, ma va considerato nella progettazione dei flussi di utilizzo e dei tipi di attività da assegnare all'agente.

Accesso remoto, interfaccia web e hardware progettato per l'IA locale

Una volta completata la configurazione, è possibile interagire con l'agente in diversi modi. Il più comune è tramite Telegram , utilizzando un bot creato con @BotFather. Si tratta di una scelta pratica: API robuste, crittografia, app per tutti i tipi di dispositivi e nessuna necessità di esporre le porte del server all'esterno.

Il bot riceve i tuoi messaggi, li inoltra all'agente sul DGX e ti invia una risposta. È interessante notare che, sebbene la conversazione passi attraverso l'infrastruttura di Telegram, l'interpretazione e l'accesso ai dati sensibili rimangono al 100% locali sul tuo computer.

Inoltre, NemoClaw offre un'interfaccia web privata accessibile tramite un URL tokenizzato generato una sola volta al termine del processo di onboarding. È fondamentale salvare immediatamente questo URL, poiché non verrà visualizzato in seguito. Per visualizzarlo da un altro computer della rete, è necessario configurare un tunnel SSH e il port forwarding tramite OpenShell.

Un piccolo ma importante dettaglio è che l'URL deve iniziare con 127.0.0.1 anziché localhost . L'utilizzo di localhost può causare errori di "origine non autorizzata" (CORS), che possono farti perdere tempo se non ne sei a conoscenza.

Per le operazioni quotidiane, sono disponibili diversi comandi CLI utili : aprire una shell all'interno della sandbox, visualizzare lo stato, seguire i log in tempo reale, elencare le sandbox, avviare o arrestare il bridge Telegram, attivare il port forwarding o eseguire uno script di disinstallazione completo che rimuove l'intero stack.

In termini di hardware, NVIDIA DGX Spark è chiaramente progettato per questi casi d'uso. Si tratta di un sistema compatto con GPU NVIDIA e memoria unificata ad alta larghezza di banda, ideale per eseguire modelli di medie e grandi dimensioni con bassa latenza senza la necessità di un data center completo.

La memoria unificata è particolarmente utile per risolvere uno dei classici colli di bottiglia: il trasferimento dei dati tra CPU e GPU. Condividendo lo spazio di memoria, il modello accede ai dati in modo molto più efficiente, consentendo di caricare modelli con decine di miliardi di parametri in tempo (quasi) reale, qualcosa di impensabile fino a poco tempo fa nell'hardware di consumo.

Agenti IA locali popolari: esempi e casi d'uso

Oltre all'ecosistema NVIDIA, esistono numerosi agenti di intelligenza artificiale e piattaforme di automazione disponibili sul proprio computer che vale la pena esplorare. Ognuno di essi si rivolge a una diversa tipologia di utente e a una serie specifica di attività.

OpenClaw, ad esempio, è diventato popolare come piattaforma open-source che funge da assistente personale. Consente agli utenti di creare agenti personalizzati per ripulire la propria casella di posta, inviare messaggi, gestire il calendario, organizzare viaggi o automatizzare attività ripetitive nella propria vita digitale.

Può essere installato su Windows, macOS e Linux ed è progettato per funzionare localmente con i modelli LLM, migliorando la privacy e riducendo la dipendenza dal cloud. Inoltre, si integra con applicazioni di messaggistica come WhatsApp, Telegram, Discord, Slack, Signal e Apple Messages, in modo che il tuo agente operi "dietro le quinte" delle chat che già utilizzi.

Tramite i plugin, è possibile concedere l'accesso al browser, ai social network, ai client di posta elettronica e ad altre applicazioni, nonché consentire all'agente di interagire con il file system, eseguire comandi e script o automatizzare le tipiche attività d'ufficio e di produttività. Tutto ciò è realizzato con una chiara attenzione a lasciare all'utente la scelta delle cartelle, delle app e dei servizi a cui l'agente può accedere.

Nell'ecosistema più generalista, spiccano piattaforme come Perplexity Computer , che trasforma Perplexity da un semplice motore di ricerca conversazionale in un assistente capace di eseguire flussi di lavoro complessi. Questa modalità Computer consente agli utenti di navigare sul web, creare e gestire documenti, scrivere codice, elaborare dati e coordinarsi con servizi come Gmail, Slack, GitHub e Notion.

Il suo punto di forza risiede nello sfruttare modelli come Claude, GPT, Gemini o Sonar di Perplexity per gestire grandi volumi di dati e suddividere attività complesse in sottoattività che possono essere eseguite in serie o in parallelo. Sebbene non siano sempre completamente locali, il modello ad agente e l'integrazione con gli strumenti sono molto simili a quelli degli agenti in esecuzione sulla tua macchina.

Nell'ambito puramente open-source e locale, Jan AI si presenta come un'alternativa a ChatGPT installabile su Windows, Mac e Linux. Consente di utilizzare modelli locali come Llama (Meta) o Gemma (Google), oppure di connettersi a modelli online come ChatGPT, Claude, Gemini, Mistral, Qwen o DeepSeek, qualora si preferisca una soluzione ibrida.

Jan AI funziona sia come un classico assistente conversazionale (ponendo domande, redigendo bozze, riassumendo, traducendo, riscrivendo e spiegando) sia come un agente in grado di elaborare file e documenti, eseguire comandi e generare codice in diversi linguaggi. Inoltre, la sua attenzione alla personalizzazione consente di creare facilmente un agente personalizzato con istruzioni specifiche e di passare da un "profilo" all'altro a seconda dell'attività da svolgere.

Agenti sul dispositivo: PocketBot e automazione mobile

Il concetto di intelligenza artificiale locale non si limita ai PC . Sta avendo un forte impatto anche sui dispositivi mobili, dove sempre più progetti si concentrano su modelli piccoli ma specializzati per automatizzare il telefono senza fare affidamento sul cloud.

Un chiaro esempio è PocketBot, un agente che funziona direttamente su iPhone utilizzando llama.cpp su Metal . La sua missione è convertire il linguaggio naturale in automazioni per il telefono: invece di dover navigare tra innumerevoli menu o scorciatoie, l'utente descrive ciò che desidera e l'agente lo traduce in azioni.

PocketBot utilizza un modello quantizzato con 3 miliardi di parametri , che viene eseguito interamente in locale e senza inviare dati a server esterni. La memoria disponibile su un iPhone 15 Pro è in genere di soli 3.000-4 GB prima che iOS inizi a terminare i processi, rendendo le dimensioni del modello e la quantizzazione di fondamentale importanza.

Una delle sfide menzionate dai suoi creatori è trovare modelli affidabili e compatti per la chiamata di strumenti e l'output JSON strutturato. Utilizzando Qwen3, ad esempio, si imbattono in problemi come nomi di parametri inventati, JSON malformato (parentesi mancanti) e aderenza incoerente allo schema, il che rende necessaria l'implementazione di livelli di correzione automatica e di tentativi.

Si discute molto anche sul punto di quantizzazione ottimale per ottenere il miglior rapporto qualità/memoria, con opzioni come q4_K_M o q5_K_S considerate a seconda della generazione del chip e della memoria disponibile. Ogni bit in meno nella quantizzazione si traduce in modelli più gestibili, ma può avere un impatto negativo sul ragionamento e sulla precisione nelle chiamate agli strumenti.

Un altro ambito di interesse è la regolazione dei parametri di campionamento in base al compito. Le configurazioni tipiche includono temperature 0,7, top_p 0,8, top_k 20 e repeat_penalty 1,1, ma c'è interesse a separare le strategie di generazione per conversazioni a flusso libero rispetto alla chiamata di strumenti, dove il determinismo è più importante della creatività.

Infine, sui dispositivi mobili, la gestione del contesto è particolarmente delicata: il prompt di sistema viene solitamente memorizzato nella cache KV per evitare di rielaborarlo, e si utilizzano finestre scorrevoli per evitare di superare la capacità; ecco perché è importante sapere come salvare e organizzare i propri prompt.

Oltre a ciò, c'è spazio per trucchi di riassunto incrementale, memoria selettiva o schemi ibridi che combinano la storia compressa e il contesto immediato.

Configura il tuo “ChatGPT locale” con Ollama e Open WebUI

Per coloro che non necessitano di uno stack complesso come NemoClaw, ma desiderano comunque un assistente di tipo ChatGPT funzionante sul proprio computer , si è diffuso un approccio molto pratico basato su Ollama e Open WebUI.

L'idea è semplice: Ollama scarica e distribuisce modelli (Llama, Gemma, Qwen, ecc.) sul tuo computer tramite un'API locale, e Open WebUI fornisce un'interfaccia web molto simile a ChatGPT, ma che gira interamente sul tuo computer. Tutto il traffico tra l'interfaccia utente e il modello passa attraverso localhost.

Una guida semplice e dettagliata spiega come, con circa 15 comandi da terminale , è possibile configurare e rendere operativo questo sistema in meno di un'ora. Include l'installazione di Python 3.11, la configurazione di base del sistema, l'installazione di Ollama e la distribuzione di Open WebUI, oltre a screenshot e suggerimenti per la risoluzione dei problemi.

Il risultato è un ambiente in cui non si pagano costi di abbonamento , si gode di totale privacy (i dati non lasciano mai il computer), di tempi di risposta competitivi (nessuna coda su server condivisi) e della completa libertà di personalizzare gli assistenti specializzati in base alle proprie esigenze.

Inoltre, Open WebUI integra funzionalità avanzate come la ricerca web, un interprete di codice, la creazione di modelli personalizzati a partire da configurazioni specifiche e sta preparando funzionalità RAG avanzate per la creazione di basi di conoscenza personali. L'idea è quella di poter avere un "copilota" addestrato per i propri documenti e flussi di lavoro senza dover dipendere da terze parti.

Dopo alcuni mesi di utilizzo, molti utenti riferiscono che questa combinazione ha completamente sostituito i loro abbonamenti a pagamento a soluzioni cloud , migliorando al contempo l'integrazione con i propri dati e strumenti on-premise. Il passo successivo, logico, è quello di connettere questo "ChatGPT interno" con agenti, script e servizi per coordinare automazioni più complesse.

Automatizza la tua vita digitale: esempi pratici con l'intelligenza artificiale locale

Dal punto di vista tecnico, tutto ciò sembra fantastico, ma cosa si può fare concretamente nelle operazioni quotidiane con agenti locali ben configurati ? Le possibilità sono piuttosto ampie se si combinano modelli multimodali, accesso tramite schermo, strumenti e archiviazione strutturata.

Esistono proposte volte ad automatizzare l'utilizzo del proprio computer tramite agenti che ricevono screenshot e agiscono di conseguenza. Il flusso di lavoro sarebbe più o meno il seguente: il sistema acquisisce uno screenshot, l'agente lo elabora con un modello in grado di lavorare con le immagini, comprende quale applicazione è aperta, quali pulsanti sono presenti, quale testo appare e, in base alle istruzioni impartite dall'utente, decide cosa fare successivamente.

Con questa idea si potrebbero, ad esempio, configurare agenti di traduzione specializzati : il sistema cattura la parte dello schermo da tradurre, la ingrandisce in una finestra di traduzione simile a una lente d'ingrandimento e genera una traduzione quasi istantanea utilizzando un piccolo modello (ad esempio, di 4 miliardi di parametri) ottimizzato per la traduzione, come una variante ottimizzata di PHI.

Un altro ambito interessante è quello dei modelli visivi che trasformano gli screenshot in PDF . Immaginate uno strumento che, a partire da screenshot di presentazioni, dashboard o documenti, generi PDF ben formattati che potrete poi perfezionare o utilizzare direttamente nelle vostre presentazioni. Integrando Python con Acrobat, potreste automatizzare l'intero processo.

Per lavorare con il web senza dipendere da servizi esterni, tecnologie veterane come BeautifulSoup è ancora molto utileÈ possibile configurare uno scraper leggero che esegue la scansione di diverse pagine e conserva solo l'HTML necessario (ad esempio, estraendo solo