Configuration matérielle requise pour utiliser Ollama sans problème

Informatec Digital » Ressources » Configuration matérielle requise pour utiliser Ollama sans problème

Si vous envisagez d'exécuter des modèles d'intelligence artificielle sur votre ordinateur, vous rencontrerez forcément Ollama tôt ou tard. Et c'est là que se pose la question cruciale : quelles sont les exigences matérielles pour que les modèles fonctionnent de manière fluide et sans saccades ? Il ne suffit pas qu'ils démarrent ; l'essentiel est qu'ils puissent être utilisés confortablement au quotidien, et il est donc indispensable de comprendre les différents types de matériel informatique.

Tout au long de cet article, nous verrons en détail ce que fait Llama, ce que les différents types de modèles (7B, 13B, 70B, etc.) requièrent, comment le processeur, le GPU, la RAM et le disque influencent les performances, et quelles configurations sont raisonnables selon votre cas , que vous souhaitiez un simple assistant de texte ou que vous envisagiez d'exécuter des monstres comme Llama 3 avec des dizaines de milliards de paramètres ou des modèles de vision et d'OCR.

Qu'est-ce qu'Ollama et pourquoi le matériel fait-il une telle différence ?

Ollama est un client de modèles de langage qui permet d'exécuter des LLM localement sur votre machine, sans dépendre du cloud. Il utilise des moteurs comme llama.cpp pour l'inférence et simplifie l'utilisation grâce à une interface en ligne de commande et une API REST, tout en facilitant la compréhension des concepts des réseaux neuronaux artificiels sous-jacents.

Son rôle est de servir de « centre de commande » pour télécharger, gérer et exécuter des modèles comme Llama 3, Mistral, Gemma, Phi, Qwen, DeepSeek ou des modèles multimodaux comme Llava . L'avantage principal est leur utilisation entièrement hors ligne, avec des données stockées sur site et sans frais supplémentaires pour chaque jeton, contrairement aux API cloud.

Bien qu'Ollama soit léger et peu gourmand en ressources, les modèles qu'il exécute sont extrêmement exigeants . Chaque LLM comprend des millions, voire des milliards de paramètres, ce qui se traduit par des gigaoctets de mémoire et de stockage, ainsi que par une forte sollicitation du processeur et, le cas échéant, de la carte graphique.

C'est pourquoi, lorsqu'on tente d'exécuter un modèle volumineux (par exemple, un lama de 70 octets) sur un système doté d'un processeur puissant, mais d'une carte graphique dédiée et d'une quantité de RAM insuffisante, le résultat est généralement le même : « ça fonctionne », mais c'est tellement lent que c'est pratiquement inutilisable . La solution consiste à trouver le bon équilibre entre le processeur, la carte graphique, la RAM, le disque dur et le type de modèle.

Types de modèles dans Ollama et leur impact sur les exigences

Dans la bibliothèque Ollama, vous trouverez des modèles organisés par familles et par tailles : 1B, 2B, 4B, 7B, 13B, 30B, 65B, 70B, 405B… . Ce nombre (B pour milliards) indique le nombre approximatif de paramètres et constitue l’un des facteurs qui déterminent le plus le matériel nécessaire.

Nous pouvons les regrouper de manière générale en quatre catégories , ce qui aide grandement à estimer la machine dont vous avez besoin pour être à l'aise avec chaque groupe de modèles et de quantifications :

• Mini modèles (270M – 4B): conçu pour appareils modestes (Ordinateurs portables simples, voire certains téléphones portables ou mini-PC). Rapides, mais avec des capacités de raisonnement moindres.
• Petits modèles (4B – 14B): idéal comme modèles « domestiques » équilibrésIdéal pour les discussions générales, les tâches de bureau, l'aide à la programmation légère, etc.
• Modèles moyens (14B – 70B)Ils jouent déjà dans une autre ligue ; Ils ont besoin de matériel performant., beaucoup de RAM et, si possible, une carte graphique avec beaucoup de VRAM.
• Grands modèles (> 70B)Ce sont des bêtes conçues pour infrastructures très sérieuses (Cartes graphiques haut de gamme, plusieurs cartes graphiques, serveurs dédiés, Mac haut de gamme largement utilisés, etc.).

Outre la taille, la quantification entre également en jeu : dans Ollama, vous verrez des suffixes comme q4_K_M, q5_1, q3_K_S, q8_0, f16 , etc. Ces formats indiquent à quel point les poids du modèle sont compressés.

• FP16 / FP32 (f16, f32): à peine compressé, Qualité supérieure mais consommation de mémoire brutaleUn processeur 7B en FP16 peut aller jusqu'à plus de 20 Go de VRAM.
• Q4 (q4_0, q4_K_M…): quantification sur 4 bits, Réduction importante de la taille avec un impact modéré sur la qualitéIls représentent généralement le « juste milieu ».
• Q3, Q2 (q3_K_S, q2_K…): des quantifications plus agressives, taille très réduite en échange d'une légère perte de précisionUtile sur un matériel très limité.
• T5, T6, T8: étapes intermédiaires entre la compression forte et FP16 ; Qualité supérieure, consommation accrue.

La conséquence pratique est claire : le même modèle 7B peut occuper environ 26 Go en FP16 ou environ 4 Go en Q4 . Cela se traduit directement en termes de VRAM GPU nécessaire et de quantité de RAM requise pour supporter la charge de travail.

Configuration matérielle minimale et recommandée pour Ollama sur le réseau local

Si vous vous demandez si votre ordinateur est compatible avec Ollama, la réponse est généralement oui ; la question est de savoir quel modèle vous permettra de l'exécuter de manière fluide . Analysons cela composant par composant : RAM, processeur, carte graphique et disque dur, avec des recommandations réalistes basées sur l'expérience pratique et la documentation de plusieurs guides spécialisés.

RAM : la ressource critique ultime

La RAM est le principal facteur limitant lorsqu'on aborde les LLM locaux. De manière générale, on peut considérer les plages suivantes :

• 8 Go de RAM: le terrain pratique. Il permet l'utilisation de petits modèles (1B, 3B, certaines variantes hautement quantifiées de 7B).Vous constaterez toutefois des limitations, surtout si le système et le navigateur consomment déjà beaucoup de mémoire. Il est probable que tout fonctionne un peu plus lentement et avec davantage de latence.
• 16 Go de RAM: la norme raisonnable aujourd'hui. Idéal pour les modèles 7B et même 13B quantifiés au T4Surtout si vous utilisez des cartes graphiques. Vous pouvez gérer des conversations complexes sans que le système ne ralentisse.
• 32 Go de RAM ou plusRecommandé si vous le souhaitez modèles moyens (30B, 40B, 70B) ou réaliser des tâches plus lourdes comme des contextes très longs, plusieurs modèles en parallèle, des serveurs multi-utilisateurs ou des outils graphiques de type Open WebUI sur Ollama.

N'oubliez pas que la RAM n'est pas uniquement utilisée par l'appareil : le système d'exploitation, le navigateur, l'IDE, Docker, Open WebUI et d'autres applications en consomment également . Si vous souhaitez libérer de la mémoire dans certains cas, vous pouvez apprendre à réduire l'utilisation de la RAM par des applications comme votre navigateur. Pour une utilisation intensive, 16 Go constituent actuellement le minimum recommandé, et 32 Go sont largement suffisants.

Processeur : Instructions modernes et nombre de cœurs

Ollama peut fonctionner sur un seul processeur, mais les performances varient considérablement selon le processeur. Plus important que le nombre de cœurs est la prise en charge des instructions avancées telles que AVX2 et, mieux encore, AVX-512 , qui accélèrent les opérations matricielles et vectorielles largement utilisées dans les LLM.

Une ligne directrice raisonnable serait :

• Minimum acceptableUn processeur quadricœur moderne (par exemple, un Intel i5 de dernière génération ou un processeur Ryzen équivalent) compatible AVX2. Vous pourrez alors : Exécutez patiemment les modèles 7B, surtout s'ils sont bien quantifiés..
• Recommandé: type de processeurs les plus récents Processeur Intel de 11e génération ou ultérieur, ou AMD Zen4avec 8 cœurs ou plus et la prise en charge d'AVX-512 lorsque cela est possible. De cette façon, vous obtenez Des temps de réponse améliorés et une réduction des goulots d'étranglement, même avec les GPU..

Si vous prévoyez d'utiliser des modèles très volumineux (par exemple, un Llama 3 de 70 octets avec un processeur et une carte graphique modestes), le processeur sera mis à rude épreuve et vous constaterez des temps de génération de jetons très longs . Dans ce cas, la solution la plus judicieuse consiste à opter pour des modèles plus petits ou à investir dans une carte graphique adaptée.

GPU et VRAM : quand sont-ils essentiels et quelle quantité est nécessaire ?

La carte graphique n'est pas indispensable, mais elle change tout. Une carte graphique performante avec suffisamment de mémoire vidéo peut transformer une expérience lente en une expérience parfaitement utilisable , notamment avec les modèles quantifiés de 7 à 13 milliards de bits.

À titre de référence très utile , pour les modèles quantifiés (environ Q4), on peut estimer quelque chose comme ceci :

• 7 octets → ~4 Go de VRAM
• 13 octets → ~8 Go de VRAM
• 30 octets → ~16 Go de VRAM
• 65-70 octets → ~32 Go de VRAM

Ce sont des valeurs approximatives, mais elles montrent clairement qu'une carte graphique RTX 2060 SUPER avec 8 Go de VRAM est largement capable de gérer 7 octets et peut en gérer 13, mais qu'elle atteint ses limites à 70 octets, même avec un i9 et 64 Go de RAM. Dans ce cas, le système sera contraint de répartir une grande partie de la charge entre la RAM et le processeur, et la latence augmentera considérablement.

Concrètement :

• Avec 4 à 6 Go de VRAM: se concentrer sur modèles 7B bien quantifiésIls sont très performants pour les discussions en ligne, la rédaction et les tâches générales.
• Avec 8 à 12 Go de VRAMVous pouvez travailler confortablement avec 7B et 13B et même du 30B si vous êtes prêt à ralentir un peu.
• Avec 20 à 24 Go de VRAMVous entrez maintenant en territoire de Modèles 30B-40B d'une dignité considérableet certains 70B hautement quantifiés, surtout si vous les prenez en charge avec une bonne RAM.
• Avec 32 Go de VRAM ou plus: c'est quand 70B commence vraiment à paraître raisonnable pour une utilisation interactive, à condition que le reste de l'équipe accompagne.

Pour un modèle OCR ou d'autres modèles spécialisés (par exemple, de vision), un GPU doté de 20 à 24 Go de VRAM constitue une base solide pour des performances optimales , notamment si le modèle comporte des dizaines de milliards de paramètres. Pour des variantes OCR ou de vision plus légères (2 à 7 milliards de paramètres), 8 à 12 Go devraient suffire amplement.

Stockage disque : quel espace occupent les modèles ?

En ce qui concerne l'espace disque, l'application Ollama elle-même est très légère ; ce sont les modèles qui occupent le plus d'espace. Dans un environnement de base ou de test, environ 50 Go suffisent , mais si vous commencez à collectionner les modèles, l'espace requis augmente rapidement.

À titre indicatif pour les modèles quantifiés :

• Petits modèles (1B-4B) → autour 2 GB par modèle.
• Modèles de taille moyenne (7B-13B) → normalement 4-8 Go par modèle selon la quantification.
• Grands modèles (30B-70B) → facilement 16-40 Go chacun.
• Modèles de très grande taille (> 100B) → peut dépasser 200 GB Selon le modèle, et même au moins quelques téraoctets dans certains cas extrêmes.

Idéalement, utilisez un SSD rapide (NVMe si possible) pour un chargement initial du modèle plus rapide. De plus, Ollama vous permet de modifier l'emplacement de stockage du modèle à l'aide de la variable d'environnement OLLAMA_MODELS ; vous pouvez ainsi utiliser un disque secondaire de grande capacité et libérer de l'espace sur votre disque principal. Pour plus d'informations sur la capacité de stockage et les types de disques, consultez le guide du matériel de stockage.

Exigences spécifiques pour l'exécution de modèles spécifiques avec Ollama

Bien que chaque modèle ait ses nuances, l'écosystème Ollama actuel peut donner quelques directives claires pour les catégories d'utilisation typiques : chat général, encodage, modèles de vision/OCR et modèles géants de type 70B.

Modèles de chat généraux (Llama, Mistral, Gemma, Qwen…)

Pour une utilisation typique de « ChatGPT local » avec des modèles de taille moyenne comme Llama 3.x 7B/8B, Mistral 7B, Gemma 2B/7B ou Qwen , une configuration raisonnable aujourd'hui serait quelque chose comme ceci :

• Minimum recommandé:
  • Processeur quadricœur moderne avec AVX2.
  • 16 Go de RAM.
  • Pas de carte graphique ou carte graphique basique avec 4 à 6 Go de VRAM.
  • Au moins 50 Go de SSD pour le système + un ou deux modèles.
• Configuration optimale pour disposer d'une marge de manœuvre suffisante avec 7B-13B:
  • Processeur avec 8 cœurs ou plus (i7/i9 moderne ou Ryzen 7/9).
  • 32 Go de RAM si vous voulez garder plusieurs options ouvertes.
  • GPU avec 8 à 12 Go de VRAM (RTX 3060/3070 ou équivalent, AMD RX 6700 ou supérieur, ou un Mac avec un M1/M2/M3 bien utilisé).
  • Un SSD de 1 To si vous comptez collectionner les modèles.

Dans ces scénarios, les modèles 7B avec quantification Q4_K_M ou Q5_K_M fonctionnent très bien et offrent une qualité plus que suffisante pour un usage personnel, la documentation technique, les tâches d'étude ou l'aide à la rédaction.

Modèles de codage (DeepSeek, CodeLlama, Code-oriented Phi)

Les modèles spécialisés en programmation ont généralement des besoins similaires aux modèles de chat généraux de même taille , mais il est conseillé de prévoir une marge un peu plus importante en RAM et VRAM si vous comptez les utiliser avec un IDE lourd et de nombreux projets ouverts.

Par exemple, pour utiliser un logiciel comme DeepSeek-Coder (7B-8B) ou un CodeLlama de taille similaire dans les bonnes conditions , une combinaison très raisonnable serait :

• Processeur processeurs modernes à 6-8 cœurs.
• 32 Go de RAM si vous travaillez avec plusieurs outils en même temps (IDE, navigateur à onglets, Docker, etc.).
• Carte graphique avec au moins 8 Go de VRAM déplacer le modèle en douceur.

Il fonctionne également sur du matériel moins puissant, mais vous constaterez des temps de réponse plus longs lors de la génération de longs blocs de code ou de l'exécution d'analyses complexes . Pour les modèles compacts comme le Phi-4 Mini, les exigences sont bien moindres et il fonctionne parfaitement même sur des systèmes dotés de 16 Go de RAM et d'un GPU léger.

Modèles de vision et de reconnaissance optique de caractères (Modèles clés, modèles de reconnaissance optique de caractères, multimodal)

Les modèles dotés de capacités de traitement d'images (vision/OCR), tels que Llama ou les variantes multimodales de Llama 3.x, ainsi que certains modèles OCR spécifiques, ajoutent un niveau de complexité supplémentaire. Au niveau matériel, leurs exigences se rapprochent de celles d'un modèle de texte de taille équivalente, avec l'avantage considérable de l'utilisation d'un GPU.

Si l'on parle d'un modèle OCR de taille moyenne (disons dans la gamme 7B-13B) et que vous souhaitez l'utiliser facilement en local pour la reconnaissance de documents, d'images numérisées, etc., il est judicieux d'envisager quelque chose comme :

• Carte graphique avec 20 à 24 Go de VRAM que le modèle soit vraiment volumineux ou si vous souhaitez laisser la quasi-totalité du traitement sur la carte.
• Carte graphique avec 8 à 12 Go de VRAM Si vous choisissez des variantes plus légères et bien quantifiées, cela continuera de bien fonctionner tant que vous n'abusez pas de la taille des images ou des contextes gigantesques.
• Minimum 16 Go de RAM, bien que 32 Go offrent une marge très confortable pour une utilisation intensive.
• Un processeur moderne afin qu'il ne constitue pas un goulot d'étranglement lorsque le GPU est sollicité.

La réponse directe à la question typique « Puis-je exécuter un modèle OCR sur un GPU avec 20 à 24 Go de VRAM ? » est oui, c'est une excellente plage pour les modèles de vision/OCR de moyenne à grande taille dans Ollama , à condition que vous ayez également suffisamment de RAM et un processeur correct.

Modèles géants (Llama 3:70B et similaires)

Tenter de faire tourner Llama 3 (70 Ko) sous Windows avec un processeur très puissant (par exemple, un i9 de 11e génération) et 64 Go de RAM, mais une carte graphique comme une RTX 2060 SUPER de 8 Go, est un parfait exemple de « oui, mais non ». Le modèle finira peut-être par se charger, mais :

• Une partie du modèle ne tient pas dans la VRAM et dépend fortement de la RAM.
• Le processeur doit effectuer une grande quantité de travail d'inférence.
• Le temps d'utilisation par jeton explose et l'expérience devient pratiquement inutilisable..

Pour qu'une lampe 70B soit adaptée à un usage domestique ou semi-professionnel, il vous faut au minimum quelque chose comme ceci :

• 32 Go de RAM en standard, 64 Go en option pour plus de flexibilité..
• Carte graphique avec au moins 24 à 32 Go de VRAM charger la majeure partie du modèle avec une quantification raisonnable (Q4_K_M ou similaire).
• Processeur haut de gamme puissant avec 8 à 16 cœurs.

Si vous n'atteignez pas ces chiffres, il est beaucoup plus pratique d'utiliser des modèles 7B-13B bien quantifiés ou, si vous avez vraiment besoin de 70B pour la qualité, envisagez un serveur spécialisé (local ou dans le cloud), un Mac très puissant ou plusieurs GPU fonctionnant en parallèle.

Configuration requise pour installer Ollama sur un VPS ou un serveur

Une autre option courante consiste à installer Ollama sur un VPS ou un serveur dédié et à y accéder via une API ou une interface web (par exemple, avec Open WebUI). Cela implique non seulement des ressources, mais aussi le système d'exploitation et les permissions.

Dans les guides de fournisseurs comme Hostinger, les exigences minimales suivantes sont recommandées pour un VPS optimisé pour Ollama :

• RAM : minimum 16 Go afin que les modèles de petite et moyenne taille ne surchargent pas le système.
• Processeur : 4 à 8 cœurs virtuelsen fonction de la taille des modèles et du nombre d'utilisateurs simultanés.
• Espace de stockage : 12 Go minimumCependant, en pratique, il est conseillé de viser une capacité plus élevée (50-100 Go) si vous comptez essayer plusieurs modèles.
• Système d'exploitation: surtout Linux, avec une préférence pour Ubuntu 22.04 ou version ultérieure, ou une version stable récente de Debian.
• Accès root ou permissions sudo afin d'installer les dépendances, de configurer systemd, etc.

Si votre VPS est équipé d'un GPU NVIDIA, vous devrez installer et configurer CUDA ou le kit de développement de conteneurs NVIDIA si vous utilisez Docker. Avec AMD, on utilise généralement ROCm sous Linux et les pilotes Adrenalin appropriés sous Windows. Dans les environnements sans GPU, le serveur s'appuiera sur le processeur et la RAM ; ne lésinez donc pas sur ces ressources. Vous pouvez également le gérer à distance via le Bureau à distance si vous avez besoin d'une interface graphique.

scénarios matériels spécifiques et modèles à utiliser

Pour éviter que tout ce qui précède ne reste purement théorique, il peut être utile d'examiner quelques combinaisons matérielles typiques et les types de modèles qui conviennent le mieux à chaque cas en utilisant Ollama.

Ordinateur de bureau modeste ou ordinateur portable de taille moyenne

Imaginons une équipe type :

• Processeur i5 ou Ryzen 5 d'il y a quelques années (4-6 cœurs).
• 16 Go de RAM.
• GPU intégré ou dédié de 4 Go.
• SSD de 512 Go.

Dans ce cas de figure, la chose sensée à faire est de viser à :

• Modèles 1B-3B quantifiés (Gemma 2B, Phi-4 Mini, Llama 3.x 1B) pour une fluidité maximale.
• Modèles 7B au quatrième trimestre si vous acceptez un délai de réponse légèrement plus long.
• Utilisez Ollama avec un terminal et, si vous souhaitez une interface web, ouvrez WebUI avec précaution afin de ne pas surcharger la RAM.

Vous pouvez utiliser votre assistant de texte local, faire des résumés, effectuer des analyses et des tâches de programmation légères, mais ce n'est pas l'environnement idéal pour les modèles 13B et supérieurs.

Équipements de milieu à haut de gamme axés sur l'IA locale

Ici, nous parlons d'un type de PC :

• Processeur moderne i7/i9 ou Ryzen 7/9, 8 à 16 cœurs.
• 32 Go de RAM.
• Carte graphique avec 12 à 24 Go de VRAM (RTX 4070/4080, 3090, 4090, équivalents AMD ou similaires).
• SSD de 1 à 2 To.

Cette configuration élargit considérablement l'éventail des possibilités :

• Modèles 7B-13B au T4/T5 Pour le chat, le code, l'analyse de données… avec des temps de réponse très rapides.
• Modèles 30B et certains 70B quantifié si vous acceptez une latence légèrement supérieure.
• Modèles de vision/OCR de taille moyenne utilisant intensivement le GPU.

C'est le genre de machine qui permet de mettre en place un environnement d'IA local performant, avec plusieurs modèles, une interface web, une intégration via API REST et un flux de travail professionnel sans dépendre de services externes.

Serveur ou poste de travail « Beast »

Au sommet de la pyramide se trouvent les environnements avec :

• Plusieurs cartes graphiques dotées chacune de 24 à 48 Go de VRAM, ou une seule carte haut de gamme.
• 64-128 Go de RAM.
• Les processeurs à nombreux cœurs, tels que les modèles Threadripper ou Xeon récents.

C’est à ce stade que les modèles de grande envergure (plus de 70 milliards d’euros, MoE, avec une forte composante visuelle, etc.) deviennent envisageables, même avec plusieurs utilisateurs simultanés ou des intégrations complexes. Il s’agit évidemment d’une solution onéreuse, mais elle permet également de bénéficier de fonctionnalités similaires à certaines API commerciales, tout en conservant un contrôle total des données au sein de votre propre infrastructure.

Conseils pratiques pour tirer le meilleur parti de votre matériel Ollama

Au-delà de l'achat de plus de RAM ou d'une meilleure carte graphique, plusieurs pratiques permettent de tirer le meilleur parti de votre matériel actuel et d'éviter les surprises lors de l'exécution de modèles volumineux avec Ollama.

Pour commencer, il est important de choisir le modèle adapté à votre utilisation : inutile d'utiliser un 70B pour rédiger de simples e-mails alors qu'un 7B bien configuré est parfaitement suffisant. De même, un 30B n'est pas judicieux si votre carte graphique ne dispose que de 6 Go de VRAM ; un 7B sera un meilleur choix au quatrième trimestre.

Une autre mesure essentielle consiste à expérimenter avec les paramètres d'exécution (température, num_ctx, num_predict, etc.), soit dans le fichier de modèle, soit via l'interface de ligne de commande/l'API. Utiliser des contextes excessivement grands ( num_ctx de 32 000 ou plus ) avec peu de RAM ou de VRAM ralentira l'ensemble du système sans apporter d'avantage significatif dans de nombreux cas.

Il est également conseillé surveiller quels modèles sont chargés et sur quel processeur à l'aide ollama psVous pourrez alors voir si le modèle s'exécute sur le GPU ou le CPU, et quelle est sa taille chargée. Ajustez la variable. OLLAMA_GARDER_EN_VIE Cela permet aux modèles de libérer de la mémoire lorsqu'ils ne sont pas utilisés, libérant ainsi des ressources.

Enfin, n'oubliez pas que la quantification est votre alliée : la création de variantes Q4_K_M ou Q5_K_M d'un modèle FP16 original vous permet de tirer parti d'un matériel beaucoup plus modeste avec une perte de qualité souvent presque imperceptible pour une utilisation réelle.

Après avoir examiné tous ces éléments, il apparaît clairement qu'Ollama n'est pas la partie la plus gourmande en ressources ; ce sont les modèles . Comprendre le lien entre la taille, la quantification, la RAM et la VRAM vous permet de choisir la combinaison matérielle et LLM la mieux adaptée à vos besoins : d'un ordinateur portable avec 16 Go de RAM exécutant une version légère de 7 octets à une station de travail avec un GPU de 24 Go capable de gérer des modèles de vision et d'OCR robustes. En ajustant judicieusement vos attentes et vos paramètres, il est tout à fait possible de disposer d'une IA puissante et privée fonctionnant sur votre propre machine, sans frais mensuels.