Requisiti hardware per utilizzare Ollama senza problemi

Informatec Digital » Risorse » Requisiti hardware per utilizzare Ollama senza problemi

Se state pensando di eseguire modelli di intelligenza artificiale sul vostro computer, prima o poi vi imbatterete in Ollama. Ed è qui che sorge la domanda cruciale: quali sono i requisiti hardware necessari affinché i modelli funzionino senza intoppi e senza rallentamenti? Non basta che si avviino; la chiave è che possano essere utilizzati comodamente nelle attività quotidiane, e comprendere i diversi tipi di hardware è fondamentale.

In questo articolo analizzeremo nel dettaglio le funzionalità di Llama, i requisiti dei diversi modelli (7B, 13B, 70B, ecc.), l'influenza di CPU, GPU, RAM e disco sulle prestazioni e le configurazioni più adatte a seconda delle esigenze , che si tratti di un semplice assistente testuale o di applicazioni complesse come Llama 3 con decine di miliardi di parametri o modelli di visione artificiale e OCR.

Cos'è Ollama e perché l'hardware fa così tanta differenza?

Ollama è essenzialmente un client per modelli linguistici che consente di eseguire modelli linguistici locali (LLM) sulla propria macchina, senza dipendere dal cloud. Utilizza motori come llama.cpp per l'inferenza e racchiude tutta la complessità in uno strumento semplice, con interfaccia a riga di comando (CLI) e API REST, aiutando anche a comprendere i concetti delle reti neurali artificiali alla base dei modelli.

Il suo ruolo è quello di essere il "centro di comando" da cui scaricare, gestire ed eseguire modelli come Llama 3, Mistral, Gemma, Phi, Qwen, DeepSeek o modelli multimodali come Llava . Il bello è che puoi usarli completamente offline, mantenendo i tuoi dati in locale e senza dover pagare per ogni token come accade con le API cloud.

Ora, sebbene Ollama in sé sia ​​leggero e non richieda molte risorse, i modelli che esegue sono estremamente esigenti in termini di risorse . Ogni LLM è composto da milioni o miliardi di parametri, il che si traduce in gigabyte di memoria e spazio di archiviazione, oltre a un carico elevato sulla CPU e, se presente, sulla GPU.

Ecco perché, quando qualcuno cerca di eseguire un modello di grandi dimensioni (ad esempio, un Llama 70B) su un sistema con una CPU potente ma una GPU dedicata e una quantità di RAM appena sufficiente, il risultato è solitamente che "funziona", ma è così lento da risultare praticamente inutilizzabile . La chiave sta nel trovare il giusto equilibrio tra CPU, GPU, RAM, disco rigido e tipo di modello.

Tipi di modelli in Ollama e come influenzano i requisiti

Nella libreria Ollama troverai modelli organizzati per famiglie e dimensioni: 1B, 2B, 4B, 7B, 13B, 30B, 65B, 70B, 405B… . Quel numero (B per miliardi) indica il numero approssimativo di parametri ed è uno dei fattori che più determina l'hardware necessario.

Possiamo raggrupparli in linea generale in quattro categorie , che aiutano notevolmente a stimare di quale macchina hai bisogno per sentirti a tuo agio con ciascun gruppo di modelli e quantificazioni:

• Modelli Mini (270M – 4B): progettato per dispositivi modesti (semplici computer portatili, persino alcuni telefoni cellulari o mini-PC). Veloci, ma con meno capacità di ragionamento.
• Modelli piccoli (4B – 14B): ideale come modelli “domestici” bilanciatiAdatto per chat generiche, attività d'ufficio, assistenza leggera nella codifica, ecc.
• Modelli medi (14B – 70B)Stanno già giocando in un campionato diverso; Hanno bisogno di hardware potente., molta RAM e, se possibile, una GPU con molta VRAM.
• Modelli di grandi dimensioni (> 70B)Sono bestie progettate per infrastrutture molto serie (GPU di fascia alta, più schede grafiche, server dedicati, Mac di fascia alta molto utilizzati, ecc.).

Oltre alle dimensioni, entra in gioco anche la quantizzazione : in Ollama troverai suffissi come q4_K_M, q5_1, q3_K_S, q8_0, f16 , ecc. Questi formati indicano il grado di compressione dei pesi del modello.

• FP16 / FP32 (f16, f32): appena compresso, qualità eccellente ma consumo di memoria brutaleUn 7B in FP16 può arrivare a più di 20 GB di VRAM.
• Q4 (q4_0, q4_K_M…): quantizzazione a 4 bit, grande riduzione delle dimensioni con impatto moderato sulla qualitàDi solito rappresentano il "punto debole".
• Q3, Q2 (q3_K_S, q2_K…): quantizzazioni più aggressive, dimensioni molto ridotte in cambio di una leggera perdita di precisioneUtile su hardware molto limitato.
• Domanda 5, Domanda 6, Domanda 8: passaggi intermedi tra la compressione forte e FP16; Maggiore qualità, maggiore consumo.

La conseguenza pratica è chiara: lo stesso modello 7B può occupare circa 26 GB in FP16 o circa 4 GB in Q4 . Questo si traduce direttamente nella VRAM della GPU necessaria e nella quantità di RAM che deve supportare il carico di lavoro.

Requisiti hardware minimi e consigliati per Ollama sulla rete locale

Se ti preoccupa la compatibilità del tuo computer con Ollama, la risposta è solitamente affermativa; la domanda è quale modello sia in grado di eseguirlo senza problemi . Analizziamo i componenti: RAM, CPU, GPU e disco rigido, con consigli realistici basati sull'esperienza pratica e sulla documentazione di diverse guide specializzate.

RAM: la risorsa critica per eccellenza

La RAM rappresenta il principale collo di bottiglia quando si parla di LLM locali. In generale, possiamo considerare i seguenti intervalli:

• 8 GB di RAM: il terreno pratico. Permette modelli piccoli (1B, 3B, alcune varianti altamente quantizzate di 7B)Tuttavia, noterai delle limitazioni, soprattutto se il sistema e il browser stanno già utilizzando molta memoria. È probabile che tutto funzioni un po' più lentamente e con più lag.
• 16 GB di RAM: lo standard ragionevole oggi. Ideale per modelli 7B e persino 13B quantizzati in Q4Soprattutto se si utilizzano GPU. È possibile lavorare con chat complesse senza che il sistema rallenti.
• Almeno 32 GB di RAMConsigliato se vuoi modelli medi (30B, 40B, 70B) oppure fare cose più pesanti come contesti molto lunghi, diversi modelli in parallelo, server multiutente o strumenti grafici di tipo Open WebUI su Ollama.

Tieni presente che la RAM non viene utilizzata solo dal dispositivo stesso: anche il sistema operativo, il browser, l'IDE, Docker, Open WebUI e altre applicazioni la consumano . Se desideri liberare memoria in scenari specifici, puoi imparare come ridurre l'utilizzo della RAM in applicazioni come il browser. Per un utilizzo intensivo, attualmente si consigliano almeno 16 GB, mentre 32 GB sono più che sufficienti.

CPU: istruzioni moderne e numero di core

Ollama può funzionare anche su una singola CPU, ma l'esperienza d'uso varia notevolmente a seconda del processore. Più importante del numero di core è il supporto per istruzioni avanzate come AVX2 e, ancor meglio, AVX-512 , che accelerano le operazioni su matrici e vettori ampiamente utilizzate nei modelli lineari lineari (LLM).

Una linea guida ragionevole sarebbe:

• Minimo accettabileUna moderna CPU quad-core (ad esempio, un processore Intel i5 di ultima generazione o un Ryzen equivalente) con supporto AVX2. Sarai in grado di Eseguire i modelli 7B con pazienza, soprattutto se sono ben quantizzati.
• Raccomandato: ultimi tipi di processori Intel di 11a generazione o successivo o AMD Zen4, Con 8 core o più e supporto AVX-512 ove possibile. In questo modo si ottiene tempi di risposta migliorati e meno colli di bottiglia, anche con le GPU.

Se il tuo piano è quello di utilizzare modelli molto grandi (ad esempio, provare un Llama 3 da 70 bit con una CPU e una GPU modeste), la CPU farà fatica e noterai tempi di generazione dei token molto elevati . In questi scenari, l'approccio più sensato è optare per modelli più piccoli o investire in una GPU adeguata.

GPU e VRAM: quando sono essenziali e quanta ne serve

La GPU non è indispensabile, ma fa un'enorme differenza. Una GPU decente con sufficiente VRAM può trasformare un'esperienza lenta in qualcosa di perfettamente utilizzabile , soprattutto con modelli quantizzati da 7 a 13 miliardi di pixel.

Come utile riferimento , per i modelli quantizzati (circa Q4) si può stimare qualcosa del genere:

• 7B → ~4 GB di VRAM
• 13B → ~8 GB di VRAM
• 30B → ~16 GB di VRAM
• 65-70B → ~32 GB di VRAM

Questi sono valori approssimativi, ma mostrano chiaramente che una GPU RTX 2060 SUPER con 8 GB di VRAM è più che in grado di gestire 7 miliardi e può arrivare a 13 miliardi, ma non riesce a raggiungere i 70 miliardi nemmeno con un i9 e 64 GB di RAM. In tal caso, il sistema sarà costretto a distribuire gran parte del carico tra RAM e CPU, e la latenza aumenterà vertiginosamente.

In termini pratici :

• Con 4-6 GB di VRAM: concentrarsi su modelli 7B ben quantizzatiSono molto utili per chattare, scrivere e svolgere attività di carattere generale.
• Con 8-12 GB di VRAMPuoi lavorare comodamente con 7B e 13B e anche qualche 30B se sei disposto ad andare un po' più piano.
• Con 20-24 GB di VRAMOra stai entrando nel territorio di Modelli 30B-40B con notevole dignitàe alcuni 70B altamente quantizzati, soprattutto se supportati da una buona RAM.
• Con 32 GB di VRAM o più: è quando 70B inizia davvero a sembrare ragionevole per un uso interattivo, a condizione che il resto del team sia presente.

Per un modello OCR o altri modelli specializzati (ad esempio, per la visione artificiale), una GPU con 20-24 GB di VRAM rappresenta una base molto solida per prestazioni fluide , soprattutto se il modello coinvolge decine di miliardi di parametri. Per varianti OCR o di visione artificiale più leggere (2-7 miliardi), 8-12 GB dovrebbero essere perfettamente sufficienti.

Archiviazione su disco: quanto spazio occupano i modelli

Per quanto riguarda lo spazio su disco, l'applicazione Ollama in sé occupa pochissimo; ciò che effettivamente occupa spazio sono i modelli. In un ambiente base o di prova, circa 50 GB sono sufficienti , ma se si inizia a raccogliere modelli, lo spazio aumenta rapidamente.

Come linea guida approssimativa per i modelli quantizzati:

• Piccoli modelli (1B-4B) → intorno 2 GB per modello.
• Modelli di medie dimensioni (7B-13B) → normalmente 4-8 GB per modello secondo la quantificazione.
• Modelli di grandi dimensioni (30B-70B) → facilmente 16-40 GB ciascuno
• Modelli molto grandi (> 100B) → può superare 200 GB per modello e in alcuni casi estremi superano persino i terabyte.

Idealmente, si consiglia di utilizzare un'unità SSD veloce (NVMe se possibile) per un caricamento iniziale più rapido dei modelli. Inoltre, Ollama consente di modificare la posizione di archiviazione dei modelli tramite la variabile d'ambiente OLLAMA_MODELS , permettendo così di utilizzare un'unità secondaria di grandi dimensioni e liberare spazio sull'unità principale. Per ulteriori informazioni sulla capacità di archiviazione e sui tipi di unità, consultare la guida all'hardware di archiviazione.

Requisiti specifici per l'esecuzione di modelli specifici con Ollama

Sebbene ogni modello abbia le sue peculiarità, con l'attuale ecosistema Ollama è possibile fornire alcune linee guida chiare per le categorie di utilizzo tipiche: chat generale, codifica, modelli di visione/OCR e modelli di grandi dimensioni di tipo 70B.

Modelli di chat generali (Llama, Mistral, Gemma, Qwen…)

Per un utilizzo tipico di "ChatGPT locale" con modelli di medie dimensioni come Llama 3.x 7B/8B, Mistral 7B, Gemma 2B/7B o Qwen , una configurazione ragionevole oggi potrebbe essere qualcosa del genere:

• Minimo consigliato:
  • Moderna CPU quad-core con AVX2.
  • 16 GB di RAM.
  • Nessuna GPU o GPU di base con 4-6 GB di VRAM.
  • Almeno 50 GB di SSD per il sistema + uno o due modelli.
• Configurazione ottimale per avere ampio spazio per la testa con 7B-13B:
  • CPU con 8 core o più (i7/i9 moderni o Ryzen 7/9).
  • 32 GB di RAM se vuoi tenere aperte molte cose.
  • GPU con 8-12 GB di VRAM (RTX 3060/3070 o equivalente, AMD RX 6700 o superiore, oppure un Mac con M1/M2/M3 ben utilizzato).
  • SSD da 1 TB se intendi collezionare modelli.

In questi scenari, i modelli 7B con quantizzazione Q4_K_M o Q5_K_M offrono prestazioni eccellenti e una qualità più che sufficiente per uso personale, documentazione tecnica, attività di studio o supporto alla scrittura.

Modelli di codifica (DeepSeek, CodeLlama, Phi orientato al codice)

I modelli specializzati nella programmazione hanno solitamente esigenze simili ai modelli di chat generici di pari dimensioni , ma è consigliabile riservare un margine leggermente maggiore in RAM e VRAM se si intende utilizzarli insieme a un IDE complesso e a molti progetti aperti.

Ad esempio, per utilizzare qualcosa come DeepSeek-Coder (7B-8B) o un CodeLlama di dimensioni simili nelle giuste condizioni , una combinazione molto ragionevole sarebbe:

• CPU moderni 6-8 core.
• 32 GB di RAM se lavori con più strumenti contemporaneamente (IDE, browser a schede, Docker, ecc.).
• GPU con almeno 8 GB di VRAM per muovere il modello senza problemi.

Funziona anche su hardware meno potente, ma si noteranno tempi di risposta più lenti durante la generazione di lunghi blocchi di codice o l'esecuzione di analisi complesse . Per i modelli compatti come il Phi-4 Mini, i requisiti sono molto inferiori e le prestazioni sono buone anche su sistemi con 16 GB di RAM e una GPU di fascia bassa.

Modelli di visione e OCR (chiave, modelli OCR, multimodali)

I modelli con capacità di elaborazione delle immagini (visione/OCR), come Llama o le varianti multimodali di Llama 3.x, così come i modelli OCR specifici, aggiungono un ulteriore livello di complessità. A livello hardware, si avvicinano ai requisiti di un modello di testo delle stesse dimensioni, ma con il vantaggio maggiore di utilizzare una GPU.

Se parliamo di un modello OCR di medie dimensioni (diciamo tra i 7 e i 13 bit) e si desidera utilizzarlo comodamente in locale per il riconoscimento di documenti, immagini scansionate, ecc., ha senso considerare qualcosa come:

• GPU con 20-24 GB di VRAM se il modello è davvero grande o se si desidera lasciare quasi tutta l'elaborazione sulla scheda.
• GPU con 8-12 GB di VRAM Se si scelgono varianti più leggere e ben quantizzate, il sistema continuerà a funzionare bene, a patto che non si utilizzino dimensioni eccessive delle immagini o contesti giganteschi.
• Minimo 16 GB di RAM, sebbene 32 GB offrano un margine molto comodo per un uso intensivo.
• CPU moderna in modo che non si crei un collo di bottiglia quando viene caricata la GPU.

La risposta diretta alla tipica domanda "Posso eseguire un modello OCR su una GPU con 20-24 GB di VRAM?" è sì, è un intervallo eccellente per modelli di visione/OCR di medie e grandi dimensioni in Ollama , a condizione che si disponga anche di RAM sufficiente e di una CPU decente.

Modelli giganti (Llama 3:70B e simili)

Tentare di eseguire un Llama 3 da 70 KB su Windows con una CPU molto potente (ad esempio, un i9 di undicesima generazione) e 64 GB di RAM, ma con una GPU come una RTX 2060 SUPER da 8 GB, è un perfetto esempio di "sì, ma no". Il modello potrebbe anche caricarsi, ma:

• Una parte del modello non è compatibile con la VRAM e fa molto affidamento sulla RAM.
• La CPU deve svolgere molto lavoro di inferenza.
• Il tempo per token aumenta vertiginosamente e l'esperienza diventa praticamente inutilizzabile..

Perché un 70B abbia senso in ambito domestico o semi-professionale, è necessario, come minimo , qualcosa di simile a questo:

• 32 GB di RAM come base, 64 GB se si desidera maggiore spazio.
• GPU con almeno 24-32 GB di VRAM per caricare la maggior parte del modello con una quantizzazione ragionevole (Q4_K_M o simile).
• Potente CPU di fascia alta con 8-16 core.

Se non si raggiungono questi valori, è molto più pratico utilizzare modelli 7B-13B ben quantizzati oppure, se sono davvero necessari 70B per la qualità, considerare un server specializzato (locale o nel cloud), un Mac molto potente o diverse GPU che lavorano in parallelo.

Requisiti per installare Ollama su un VPS o server

Un'altra opzione comune è installare Ollama su un VPS o un server dedicato e accedervi tramite API o interfaccia web (ad esempio, con Open WebUI). Ciò implica non solo risorse, ma anche il sistema operativo e i permessi.

Nelle guide di provider come Hostinger, vengono raccomandati i seguenti requisiti minimi per un VPS ottimizzato per Ollam:

• RAM: minimo 16 GB in modo che i modelli piccoli/medi non sovraccarichino il sistema.
• CPU: 4-8 vCorea seconda delle dimensioni dei modelli e del numero di utenti contemporanei.
• Archiviazione: minimo 12 GBTuttavia, nella pratica è consigliabile puntare a cifre più elevate (50-100 GB) se si vogliono provare diversi modelli.
• OS: soprattutto Linux, con preferenza per Ubuntu 22.04 o superiore, oppure una Debian stabile recente.
• Accesso root o permessi sudo per installare dipendenze, configurare systemd, ecc.

Se il tuo VPS include una GPU NVIDIA, dovrai installare e configurare CUDA o il toolkit per container NVIDIA se utilizzi Docker. Con AMD, in genere si usa ROCm su Linux e i driver Adrenalin appropriati su Windows. Negli ambienti senza GPU, il server si baserà su CPU e RAM, quindi non lesinare su queste risorse; puoi anche gestirlo da remoto tramite desktop remoto se hai bisogno di un'interfaccia grafica.

Scenari hardware specifici e quali modelli utilizzare

Per garantire che quanto detto finora non rimanga puramente teorico, può essere utile esaminare alcune combinazioni hardware tipiche e quali modelli si adattano meglio a ciascun caso utilizzando Ollama.

Computer desktop modesto o computer portatile di medie dimensioni

Immaginiamo una squadra tipica :

• CPU i5 o Ryzen 5 di qualche anno fa (4-6 core).
• 16 GB di RAM.
• GPU da 4 GB integrata o dedicata.
• SSD da 512 GB.

In questo scenario, la cosa più sensata da fare è puntare a :

• Modelli quantizzati 1B-3B (Gemma 2B, Phi-4 Mini, Llama 3.x 1B) per la massima fluidità.
• 7 miliardi di modelli nel quarto trimestre se accetti un tempo di risposta leggermente più lungo.
• Utilizzare Ollama con un terminale e, se si desidera un'interfaccia web, aprire WebUI con attenzione per non sovraccaricare la RAM.

È possibile utilizzare un assistente di testo locale, creare riassunti, eseguire analisi e semplici attività di programmazione, ma non è l'ambiente ideale per i modelli 13B e superiori.

Apparecchiature di fascia medio-alta focalizzate sull'intelligenza artificiale locale

Qui stiamo parlando di un tipo di PC :

• Moderna CPU i7/i9 o Ryzen 7/9, da 8 a 16 core.
• 32 GB di RAM.
• GPU con 12-24 GB di VRAM (RTX 4070/4080, 3090, 4090, equivalenti AMD o simili).
• SSD da 1-2 TB.

Questa configurazione amplia notevolmente la gamma di possibilità :

• Modelli 7B-13B nel quarto/quinto trimestre per chat, codice, analisi dati... con tempi di risposta molto buoni.
• Modelli 30B e alcuni 70B quantizzato se accetti un po' più di latenza.
• Modelli di visione/OCR di medie dimensioni che utilizzano ampiamente la GPU.

Si tratta di una macchina con cui è possibile configurare un ambiente di intelligenza artificiale locale di alto livello, con modelli multipli, un'interfaccia web, integrazione tramite API REST e un flusso di lavoro professionale, senza dipendere da servizi esterni.

Server o workstation "Beast"

All'estremità superiore si trovano ambienti con:

• Diverse GPU con 24-48 GB di VRAM ciascuna, oppure una sola di fascia alta.
• 64-128 GB di RAM.
• CPU con molti core, come i recenti modelli Threadripper o Xeon.

È qui che i modelli giganteschi (>70 miliardi, MoE, con un'elevata mole di dati visivi, ecc.) iniziano a diventare realistici, anche con più utenti simultanei o integrazioni complesse. Si tratta ovviamente di uno scenario ad alto costo, ma consente anche di disporre di funzionalità simili ad alcune API commerciali, con il controllo completo dei dati all'interno della propria infrastruttura.

Consigli pratici per sfruttare al meglio l'hardware Ollama

Oltre ad acquistare più RAM o una GPU migliore, esistono diverse strategie che ti aiutano a sfruttare al massimo le risorse che già possiedi e ad evitare sorprese durante l'esecuzione di modelli complessi con Ollama.

Innanzitutto, è importante scegliere il modello giusto in base all'utilizzo previsto : non ha senso usare un 70B per scrivere semplici email quando un 7B ben configurato è perfettamente adeguato. Allo stesso modo, un 30B non ha senso se la tua GPU ha solo 6 GB di VRAM; un 7B sarà una scelta migliore nel quarto trimestre.

Un'altra misura fondamentale è quella di sperimentare con i parametri di runtime (temperatura, num_ctx, num_predict, ecc.), sia nel file Modelfile che tramite CLI/API. L'utilizzo di contesti eccessivamente grandi ( num_ctx pari o superiore a 32k ) con poca RAM o VRAM rallenterà l'intero sistema senza apportare grandi benefici nella maggior parte dei casi.

È anche consigliato monitorare quali modelli sono caricati e su quale processore utilizzando ollama psLì vedrai se il modello è effettivamente in esecuzione sulla GPU o sulla CPU e quale dimensione è stata caricata. Regola la variabile OLLAMA_KEEP_ALIVE Aiuta i modelli a scaricare la memoria quando non sono in uso, liberando così risorse.

Infine, ricordate che la quantizzazione è vostra alleata : la creazione di varianti Q4_K_M o Q5_K_M di un modello FP16 originale vi permette di sfruttare hardware molto più modesto con una perdita di qualità spesso quasi impercettibile nell'utilizzo reale.

Considerando tutto ciò, la conclusione più chiara è che Ollama non è la parte più impegnativa; lo sono i modelli . Comprendere la relazione tra dimensioni, quantizzazione, RAM e VRAM permette di scegliere la giusta combinazione di hardware e LLM per le proprie esigenze: da un laptop con 16 GB di RAM e un processore 7B leggero a una workstation con una GPU da 24 GB in grado di gestire modelli di visione e OCR complessi. Regolando attentamente aspettative e parametri, è perfettamente possibile avere un'IA potente e privata in esecuzione sul proprio computer senza costi mensili.