Hardvérové ​​požiadavky na používanie Ollamy bez problémov

Informatec Digital » Zdroje » Hardvérové ​​požiadavky na používanie Ollamy bez problémov

Ak uvažujete o spustení modelov umelej inteligencie na vlastnom počítači, skôr či neskôr sa nevyhnutne stretnete s Ollamou. A tu vyvstáva veľká otázka: aké hardvérové ​​požiadavky potrebujem, aby modely bežali hladko a bez zasekávania? Nestačí, aby sa len spustili; kľúčové je, aby sa dali pohodlne používať pri každodenných úlohách a pochopenie rôznych typov počítačového hardvéru je nevyhnutné.

V tomto článku si podrobne ukážeme , čo Llama robí, čo vyžadujú rôzne typy modelov (7B, 13B, 70B atď.), ako CPU, GPU, RAM a disk ovplyvňujú výkon a aké konfigurácie sú rozumné v závislosti od vášho prípadu , či už chcete jednoduchého textového asistenta, alebo chcete spúšťať monštrá ako Llama 3 s desiatkami miliárd parametrov alebo modelmi videnia a OCR.

Čo je Ollama a prečo je hardvér taký dôležitý?

Ollama je v podstate klient jazykového modelu, ktorý vám umožňuje spúšťať LLM lokálne na vašom počítači bez toho, aby ste sa museli spoliehať na cloud. Na inferenciu používa enginy ako llama.cpp a všetku komplexnosť balí do jednoduchého nástroja s rozhraním CLI a REST API, ktorý vám tiež pomáha pochopiť koncepty umelých neurónových sietí, ktoré stoja za modelmi.

Jeho úlohou je byť „riadiacim centrom“, z ktorého sťahujete, spravujete a spúšťate modely ako Llama 3, Mistral, Gemma, Phi, Qwen, DeepSeek alebo multimodálne modely ako Llava . Krása spočíva v tom, že ich môžete používať úplne offline, pričom si dáta uchovávate lokálne a bez platenia za každý token, ako je to v prípade cloudových API.

Hoci je Ollama sama o sebe ľahká a nenáročná, modely, ktoré spúšťa, sú veľmi náročné na zdroje . Každý LLM pozostáva z miliónov alebo miliárd parametrov, čo sa premieta do gigabajtov pamäte a úložiska, ako aj do veľkého zaťaženia CPU a, ak ho máte, aj GPU.

Preto, keď sa niekto pokúsi spustiť veľký model (napríklad 70B Llama) na systéme s výkonným CPU, ale samostatnou GPU a dostatočným množstvom RAM, výsledkom je zvyčajne to, že „to funguje“, ale je to tak pomalé, že je to prakticky zbytočné . Kľúčom je správne vyvážiť CPU, GPU, RAM, pevný disk a typ modelu.

Typy modelov v Ollame a ako ovplyvňujú požiadavky

V knižnici Ollama uvidíte modely usporiadané podľa rodín a veľkostí: 1B, 2B, 4B, 7B, 13B, 30B, 65B, 70B, 405B… . Toto číslo (B pre miliardy) označuje približný počet parametrov a je jedným z faktorov, ktoré najviac určujú potrebný hardvér.

Môžeme ich vo všeobecnosti rozdeliť do štyroch kategórií , ktoré vám výrazne pomôžu odhadnúť, aký stroj potrebujete, aby ste sa pri každej skupine modelov a kvantifikácií cítili pohodlne:

• Mini modely (270M – 4B)určené pre skromné ​​zariadenia (jednoduché notebooky, dokonca aj niektoré mobilné telefóny alebo mini-PC). Rýchle, ale s menšou schopnosťou uvažovania.
• Malé modely (4B – 14B)ideálne ako vyvážené „domáce“ modelyVhodné na všeobecný chat, kancelárske úlohy, pomoc s ľahkým kódovaním atď.
• Stredné modely (14B – 70B)Už hrajú v inej lige; Potrebujú výkonný hardvér, dostatok pamäte RAM a ak je to možné, grafickú kartu s veľkým množstvom VRAM.
• Veľké modely (> 70B)Sú to beštie určené pre veľmi seriózna infraštruktúra (Špičkové grafické karty, viacero grafických kariet, dedikované servery, dobre využívané špičkové počítače Mac atď.).

Okrem veľkosti zohráva úlohu aj kvantizácia : v Ollame uvidíte prípony ako q4_K_M, q5_1, q3_K_S, q8_0, f16 atď. Tieto formáty označujú, ako komprimované sú váhy modelu.

• FP16 / FP32 (f16, f32)sotva stlačený, špičková kvalita, ale brutálna spotreba pamäte7B v FP16 môže ísť na viac ako 20 GB VRAM.
• Štvrťrok (q4_0, q4_K_M…)4-bitová kvantizácia, veľké zmenšenie veľkosti s miernym vplyvom na kvalituZvyčajne sú to tie „ideálne“.
• Q3, Q2 (q3_K_S, q2_K…)agresívnejšie kvantizácie, veľmi malá veľkosť výmenou za miernu stratu presnostiUžitočné na veľmi obmedzenom hardvéri.
• O5, O6, O8medzistupne medzi silnou kompresiou a FP16; Vyššia kvalita, vyššia spotreba.

Praktický dôsledok je jasný: ten istý 7B model môže v 16. rozpočtovom roku zaberať približne 26 GB alebo v 4. štvrťroku približne 4 GB . To sa priamo premieta do potrebnej grafickej karty (GPU VRAM) a množstva pamäte RAM, ktorá musí podporovať dané pracovné zaťaženie.

Minimálne a odporúčané hardvérové ​​požiadavky pre Ollamu v lokálnej sieti

Ak sa obávate, či váš počítač zvládne Ollamu, odpoveď je zvyčajne áno; otázkou je, ktorý model dokážete bez problémov spustiť . Rozoberme si to podľa komponentov: RAM, CPU, GPU a pevný disk s realistickými odporúčaniami založenými na praktických skúsenostiach a dokumentácii z niekoľkých špecializovaných sprievodcov.

RAM: najdôležitejší zdroj

RAM je hlavným úzkym hrdlom pri diskusii o lokálnych LLM. Vo všeobecnosti môžeme zvážiť tieto rozsahy:

• 8 GB pamäte RAM: praktický základ. Umožňuje malé modely (1B, 3B, niektoré vysoko kvantované varianty 7B)Všimnete si však obmedzenia, najmä ak systém a prehliadač už teraz využívajú veľa pamäte. Je pravdepodobné, že všetko bude bežať trochu pomaly a s väčším oneskorením.
• 16 GB pamäte RAM: dnešný rozumný štandard. Ideálne pre 7B a dokonca aj 13B modely kvantované v 4. štvrťrokuObzvlášť ak používate grafické karty. Môžete pracovať so zložitými chatmi bez spomalenia systému.
• 32 GB RAM alebo viacOdporúčané, ak chcete stredné modely (30B, 40B, 70B) alebo robiť náročnejšie veci, ako sú veľmi dlhé kontexty, niekoľko modelov paralelne, servery pre viacerých používateľov alebo grafické nástroje typu Open WebUI na Ollame.

Majte na pamäti, že pamäť RAM nepoužíva len samotné zariadenie: spotrebúva ju aj operačný systém, prehliadač, IDE, Docker, Open WebUI a ďalšie aplikácie . Ak chcete uvoľniť pamäť v konkrétnych situáciách, môžete sa naučiť, ako znížiť využitie pamäte RAM v aplikáciách, ako je váš prehliadač. Pre intenzívne používanie sa v súčasnosti odporúča minimum 16 GB a 32 GB je viac než dosť.

CPU: Moderné inštrukcie a počet jadier

Ollama môže bežať iba na CPU, ale používateľský zážitok sa značne líši v závislosti od procesora. Dôležitejšie ako počet jadier je podpora pokročilých inštrukcií ako AVX2 a ešte lepšie AVX-512 , ktoré urýchľujú maticové a vektorové operácie hojne používané v LLM.

Rozumným usmernením by bolo:

• Minimálne prijateľnéModerný štvorjadrový procesor (napríklad najnovšia generácia Intel i5 alebo ekvivalentný procesor Ryzen) s podporou AVX2. Budete môcť Trpezlivo spúšťajte 7B modely, najmä ak sú dobre kvantované.
• Recomendadonajnovší typ procesorov Intel 11. generácie alebo novšieho alebo AMD Zen4, S 8 jadier alebo viac a podporu AVX-512, kde je to možné. Týmto spôsobom získate zlepšené časy odozvy a menej úzkych hrdla, a to aj s grafickými procesormi.

Ak plánujete použiť veľmi veľké modely (napríklad vyskúšať 70B Llama 3 so skromným CPU a GPU), CPU bude mať problémy a všimnete si veľmi dlhé časy generovania tokenov . V týchto scenároch je najrozumnejším prístupom zvoliť si menšie modely alebo investovať do vhodnej GPU.

GPU a VRAM: kedy sú nevyhnutné a koľko ich treba

Grafická karta nie je povinná, ale má obrovský význam. Slušná grafická karta s dostatočnou pamäťou VRAM dokáže premeniť pomalý zážitok na niečo dokonale použiteľné , najmä pri kvantizovaných modeloch so 7B až 13B.

Ako veľmi užitočná referencia , pre kvantované modely (približne Q4) možno odhadnúť niečo takéto:

• 7B → ~4 GB VRAM
• 13B → ~8 GB VRAM
• 30B → ~16 GB VRAM
• 65-70B → ~32 GB VRAM

Toto sú približné hodnoty, ale jasne ukazujú, že grafická karta RTX 2060 SUPER s 8 GB VRAM zvládne viac než 7B dát a 13B dát, ale ani s procesorom i9 a 64 GB RAM nedosahuje ani 70B dát. V takom prípade bude systém nútený rozdeliť veľkú časť záťaže medzi RAM a CPU a latencia prudko stúpne.

V praxi :

• s 4 – 6 GB VRAMzamerať sa na dobre kvantované 7B modelyFungujú veľmi dobre na chat, písanie a všeobecné úlohy.
• s 8 – 12 GB VRAMMôžete s ním pohodlne pracovať 7B a 13B a dokonca aj nejakých 30B, ak ste ochotní ísť trochu pomalšie.
• s 20 – 24 GB VRAMTeraz vstupujete na územie Modely 30B-40B so značnou dôstojnosťoua niektoré vysoko kvantované 70B, najmä ak ich podporíte dobrou RAM.
• s 32 GB VRAM alebo viacje kedy 70B sa naozaj začína zdať rozumné na interaktívne použitie, za predpokladu, že sa pridá aj zvyšok tímu.

Pre model OCR alebo iné špecializované modely (napr. videnie) je grafická karta s 20 – 24 GB VRAM veľmi solídnym základom pre plynulý výkon , najmä ak model zahŕňa desiatky miliárd parametrov. Pre ľahšie (2B – 7B) varianty OCR alebo videnia by malo byť 8 – 12 GB úplne postačujúcich.

Úložisko na disku: koľko miesta zaberajú modely

Čo sa týka miesta na disku, samotná aplikácia Ollama zaberá veľmi málo miesta; čo skutočne zaberajú miesta, sú modely. V základnom alebo testovacom prostredí stačí približne 50 GB , ale ak začnete zbierať modely, miesto sa rýchlo zväčší.

Ako hrubý návod pre kvantované modely:

• Malé modely (1B-4B) → okolo 2 GB podľa modelu.
• Stredne veľké modely (7B-13B) → normálne 4 8-GB podľa modelu podľa kvantifikácie.
• Veľké modely (30B-70B) → ľahko 16 40-GB každý
• Veľmi veľké modely (> 100B) → môže prekročiť 200 GB podľa modelu a v niektorých extrémnych prípadoch dokonca prekračujú terabajty.

V ideálnom prípade použite rýchly SSD disk (ak je to možné, NVMe) pre rýchlejšie počiatočné načítanie modelu. Ollama vám navyše umožňuje zmeniť umiestnenie úložiska modelu pomocou premennej prostredia OLLAMA_MODELS , takže môžete použiť veľký sekundárny disk a uvoľniť miesto na primárnom disku. Viac informácií o kapacite úložiska a typoch diskov nájdete v sprievodcovi hardvérom úložiska.

Špecifické požiadavky na spustenie špecifických modelov s Ollamou

Hoci každý model má svoje vlastné nuansy, v súčasnom ekosystéme Ollama možno poskytnúť jasné usmernenia pre typické kategórie použitia: všeobecný chat, kódovanie, modely pre vizuálne/OCR a obrovské modely typu 70B.

Všeobecné šablóny chatu (Llama, Mistral, Gemma, Qwen…)

Pre typické použitie „lokálneho ChatGPT“ so stredne veľkými modelmi ako Llama 3.x 7B/8B, Mistral 7B, Gemma 2B/7B alebo Qwen by dnes bolo rozumné nastavenie niečo takéto:

• Odporúčané minimum:
  • Moderný štvorjadrový procesor s technológiou AVX2.
  • 16 GB pamäte RAM.
  • Žiadna grafická karta alebo základná grafická karta so 4 – 6 GB VRAM.
  • Minimálne 50 GB SSD pre systém + jeden alebo dva modely.
• Optimálna konfigurácia pre dostatok priestoru nad hlavou s 7B-13B:
  • CPU s 8 alebo viacerými jadrami (moderný i7/i9 alebo Ryzen 7/9).
  • 32 GB pamäte RAM ak chcete mať veľa vecí otvorených.
  • Grafický procesor s 8 – 12 GB VRAM (RTX 3060/3070 alebo ekvivalent, AMD RX 6700 alebo vyšší, alebo Mac s dobre využitým M1/M2/M3).
  • 1 TB SSD, ak budete zbierať modely.

V týchto scenároch modely 7B s kvantizáciou Q4_K_M alebo Q5_K_M fungujú veľmi dobre a ponúkajú viac než dostatočnú kvalitu na osobné použitie, technickú dokumentáciu, študijné úlohy alebo podporu písania.

Modely kódovania (DeepSeek, CodeLlama, kódovo orientovaný Phi)

Modely špecializované na programovanie majú zvyčajne podobné požiadavky ako všeobecné modely chatu rovnakej veľkosti , ale je vhodné rezervovať si trochu väčšiu rezervu v RAM a VRAM, ak ich budete používať spolu s náročným IDE a mnohými otvorenými projektmi.

Napríklad, ak chcete za správnych podmienok použiť niečo ako DeepSeek-Coder (7B-8B) alebo podobne veľký CodeLlama , veľmi rozumná kombinácia by bola:

• CPU moderné 6-8 jadrá.
• 32 GB pamäte RAM ak pracujete s viacerými nástrojmi súčasne (IDE, prehliadač s kartami, Docker atď.).
• GPU s aspoň 8 GB VRAM pre plynulý pohyb modelu.

Funguje aj na menej výkonnom hardvéri, ale pri generovaní dlhých blokov kódu alebo vykonávaní zložitých analýz si všimnete pomalšie časy odozvy . Pri kompaktných modeloch, ako je Phi-4 Mini, sú požiadavky oveľa nižšie a fungujú dobre aj na systémoch so 16 GB RAM a ľahkou grafickou kartou.

Modely Vision a OCR (Key, OCR modely, multimodálne)

Modely s možnosťami spracovania obrazu (videnie/OCR), ako napríklad Llama alebo multimodálne varianty Llama 3.x, ako aj špecifické modely OCR, pridávajú ďalšiu vrstvu zložitosti. Na hardvérovej úrovni sa približujú požiadavkám textového modelu rovnakej veľkosti, ale s väčšou výhodou použitia GPU.

Ak hovoríme o stredne veľkom modeli OCR (povedzme v rade 7B-13B) a chcete ho pohodlne používať lokálne na rozpoznávanie dokumentov, naskenovaných obrázkov atď., má zmysel zvážiť niečo ako:

• Grafický procesor s 20 – 24 GB VRAM či je model naozaj veľký, alebo či chcete nechať takmer všetko spracovanie na karte.
• Grafický procesor s 8 – 12 GB VRAM Ak si vyberiete ľahšie a dobre kvantizované varianty, bude to fungovať dobre, pokiaľ nepreháňate veľkosť obrázka alebo gigantické kontexty.
• Minimálne 16 GB RAM, hoci 32 GB ponúka veľmi pohodlnú rezervu pre intenzívne používanie.
• moderný procesor, aby nedošlo k jeho zaťaženiu pri zaťažení grafického procesora.

Priama odpoveď na typickú otázku „môžem spustiť OCR model na GPU s 20 – 24 GB VRAM?“ je áno, je to vynikajúci rozsah pre stredné až veľké modely vizuálne/OCR v Ollame , za predpokladu, že máte aj dostatok RAM a slušný procesor.

Obrovské modely (Llama 3:70B a podobné)

Pokus o spustenie 70KB Llama 3 na Windowse s veľmi výkonným CPU (napríklad i9 11. generácie) a 64 GB RAM, ale s GPU ako 8GB RTX 2060 SUPER, je perfektným príkladom „áno, ale aj nie“. Model sa nakoniec môže načítať, ale:

• Časť modelu sa nezmestí do VRAM a je silne závislá od RAM.
• CPU musí prevziať veľa inferenčnej práce.
• Čas strávený na jeden token prudko stúpa a zážitok sa stáva prakticky nepoužiteľným..

Aby mal 70B zmysel v domácom alebo poloprofesionálnom prostredí, potrebujete minimálne niečo v tomto zmysle:

• 32 GB RAM ako základ, 64 GB, ak chcete viac miesta.
• GPU s aspoň 24 – 32 GB VRAM načítať väčšinu modelu s rozumnou kvantizáciou (Q4_K_M alebo podobnou).
• Výkonný špičkový procesor s 8 – 16 jadrami.

Ak tieto čísla nespĺňate, je oveľa praktickejšie použiť dobre kvantizované modely 7B-13B alebo, ak naozaj potrebujete 70B pre kvalitu, zvážte špecializovaný server (lokálny alebo v cloude), veľmi výkonný Mac alebo niekoľko GPU pracujúcich paralelne.

Požiadavky na inštaláciu Ollamy na VPS alebo server

Ďalšou bežnou možnosťou je nainštalovať Ollamu na VPS alebo dedikovaný server a pristupovať k nej cez API alebo webové rozhranie (napríklad s Open WebUI). To zahŕňa nielen zdroje, ale aj operačný systém a oprávnenia.

V sprievodcoch od poskytovateľov ako Hostinger sa pre VPS zameraný na Ollamu odporúčajú nasledujúce minimálne požiadavky :

• RAM: minimálne 16 GB aby malé/stredné modely nepreťažili systém.
• CPU: 4 – 8 virtuálnych jadierv závislosti od veľkosti modelov a počtu súbežných používateľov.
• Úložisko: minimálne 12 GBV praxi je však vhodné zamerať sa na vyššiu kapacitu (50 – 100 GB), ak chcete vyskúšať viacero modelov.
• OSpredovšetkým Linux, s preferenciou pre Ubuntu 22.04 alebo novší, alebo novší stabilný Debian.
• Root prístup alebo oprávnenia sudo aby sa nainštalovali závislosti, nakonfiguroval systemd atď.

Ak váš VPS obsahuje grafickú kartu NVIDIA, budete musieť nainštalovať a nakonfigurovať CUDA alebo sadu nástrojov NVIDIA container toolkit, ak používate Docker. V systémoch AMD sa v systéme Linux zvyčajne používa ROCm a v systéme Windows príslušné ovládače Adrenalin. V prostrediach bez grafickej karty sa server spolieha na CPU a RAM, takže na týchto zdrojoch nešetrite; ak potrebujete grafické rozhranie, môžete ho spravovať aj na diaľku prostredníctvom vzdialenej plochy .

Konkrétne hardvérové ​​scenáre a ktoré modely použiť

Aby sa zabezpečilo, že všetko vyššie uvedené nezostane čisto teoretické, môže byť užitočné pozrieť sa na niektoré typické hardvérové ​​kombinácie a na to, aké typy modelov sa v každom prípade hodia pomocou Ollamy.

Skromný stolný počítač alebo stredne veľký prenosný počítač

Predstavme si typický tím :

• Procesor i5 alebo Ryzen 5 spred niekoľkých rokov (4-6 jadier).
• 16 GB pamäte RAM.
• Integrovaná alebo dedikovaná 4 GB grafická karta.
• 512 GB SSD.

V tomto scenári je rozumné zamerať sa na :

• Kvantované modely 1B-3B (Gemma 2B, Phi-4 Mini, Llama 3.x 1B) pre maximálnu tekutosť.
• Modely 7B v 4. štvrťroku ak akceptujete o niečo dlhší čas odozvy.
• Používajte Ollamu s terminálom a ak chcete webové rozhranie, otvárajte WebUI opatrne, aby ste nepreťažili RAM.

Môžete mať svojho miestneho textového asistenta, vytvárať súhrny, vykonávať nejaké analýzy a ľahké programátorské úlohy, ale nie je to ideálne prostredie pre modely 13B a ​​vyššie.

Stredne až špičkové zariadenia zamerané na lokálnu umelú inteligenciu

Hovoríme tu o type PC :

• Moderný procesor i7/i9 alebo Ryzen 7/9, 8 – 16 jadier.
• 32 GB pamäte RAM.
• Grafický procesor s 12 – 24 GB VRAM (RTX 4070/4080, 3090, 4090, ekvivalenty od AMD alebo podobné).
• 1-2 TB SSD.

Táto konfigurácia výrazne rozširuje škálu možností :

• Modely 7 miliárd – 13 miliárd v 4./5. štvrťroku pre chat, kód, analýzu dát… s veľmi dobrou dobou odozvy.
• Modely 30B a niektoré 70B kvantované ak akceptujete trochu väčšiu latenciu.
• Modely modelu zrak/OCR stredne veľké s rozsiahlym využitím GPU.

Je to typ stroja, s ktorým si môžete vytvoriť seriózne lokálne prostredie umelej inteligencie s viacerými modelmi, webovým rozhraním, integráciou cez REST API a profesionálnym pracovným postupom bez závislosti od externých služieb.

Server alebo pracovná stanica „Beast“

Na vrchole sú prostredia s:

• Niekoľko grafických kariet s 24 – 48 GB VRAM alebo jedna špičková.
• 64 – 128 GB RAM.
• CPU s mnohými jadrami, ako napríklad nedávne modely Threadripper alebo Xeon.

Tu sa začínajú stávať realistickými obrovské modely (>70B, MoE, náročné na vizuálne spracovanie atď.), a to aj s viacerými súbežnými používateľmi alebo zložitými integráciami. Je to samozrejme scenár s vysokými nákladmi, ale zároveň vám umožňuje mať funkcie podobné niektorým komerčným API s úplnou kontrolou údajov v rámci vašej vlastnej infraštruktúry.

Praktické tipy, ako čo najlepšie využiť hardvér Ollama

Okrem kúpy väčšej pamäte RAM alebo lepšej grafickej karty existuje niekoľko postupov, ktoré vám pomôžu čo najlepšie využiť to, čo už máte, a vyhnúť sa prekvapeniam pri spúšťaní veľkých modelov s Ollamou.

Na začiatok je dôležité vybrať si správny model na základe zamýšľaného použitia : nemá zmysel používať 70B na písanie jednoduchých e-mailov, keď je dobre vyladený 7B úplne postačujúci. Podobne 30B nedáva zmysel, ak má vaša grafická karta iba 6 GB VRAM; 7B bude v štvrtom štvrťroku lepšou voľbou.

Ďalším kľúčovým opatrením je experimentovanie s parametrami behu (teplota, num_ctx, num_predict atď.), buď v Modelfile, alebo prostredníctvom CLI/API. Používanie smiešne veľkých kontextov ( num_ctx 32k alebo viac ) s malým množstvom RAM alebo VRAM spomalí celý systém bez toho, aby to v mnohých prípadoch prinieslo väčší úžitok.

Tiež sa odporúča monitorovať, ktoré modely sú načítané a na ktorom procesore použitie ollama psTam uvidíte, či model skutočne beží na GPU alebo CPU a akú veľkosť má načítané. Upravte premennú OLLAMA_KEEP_ALIVE Pomáha modelom uvoľniť pamäť, keď sa nepoužívajú, čím sa uvoľnia zdroje.

Nakoniec nezabudnite, že kvantizácia je vaším spojencom : vytváranie variantov Q4_K_M alebo Q5_K_M pôvodného modelu FP16 vám umožňuje využiť oveľa skromnejší hardvér so stratou kvality, ktorá je v reálnom svete často takmer nepostrehnuteľná.

Po zvážení všetkého uvedeného je najjasnejším záverom, že Ollama nie je náročná časť; modely sú ... Pochopenie toho, ako spolu súvisia veľkosť, kvantizácia, RAM a VRAM, vám umožňuje vybrať si správnu kombináciu hardvéru a LLM pre vaše potreby: od notebooku so 16 GB RAM s ľahkým 7B procesorom až po pracovnú stanicu s 24 GB GPU spracovávajúcu robustné modely videnia a OCR. Starostlivým nastavením očakávaní a parametrov je úplne možné mať výkonnú, súkromnú umelú inteligenciu bežiacu na vašom vlastnom počítači bez mesačných poplatkov.