Kërkesat e harduerit për përdorimin e Ollama pa bllokime

Informatec Digital » Burime » Kërkesat e harduerit për përdorimin e Ollama pa bllokime

Nëse po mendoni të përdorni modele të inteligjencës artificiale në kompjuterin tuaj, herët a vonë do të hasni në Ollama. Dhe këtu lind pyetja e madhe: çfarë kërkesash hardueri më duhen që modelet të funksionojnë pa probleme dhe pa ngecje? Nuk mjafton që ato thjesht të ndizen; çelësi është që ato të mund të përdoren rehat në detyrat e përditshme, dhe të kuptuarit e llojeve të ndryshme të pajisjeve kompjuterike është thelbësore.

Gjatë gjithë këtij artikulli do të shohim në detaje se çfarë bën Llama, çfarë kërkojnë llojet e ndryshme të modeleve (7B, 13B, 70B, etj.), si ndikojnë në performancë CPU-ja, GPU-ja, RAM-i dhe disku, dhe cilat konfigurime janë të arsyeshme në varësi të rastit tuaj , nëse dëshironi një asistent të thjeshtë teksti apo keni ndërmend të ekzekutoni përbindësha si Llama 3 me dhjetëra miliarda parametra ose modele vizioni dhe OCR.

Çfarë është Ollama dhe pse hardueri bën kaq shumë ndryshim?

Ollama është në thelb një klient modeli gjuhe që ju lejon të ekzekutoni LLM-të lokalisht në makinën tuaj, pa u mbështetur në cloud. Ai përdor motorë si llama.cpp për nxjerrjen e përfundimeve dhe mbështjell të gjithë kompleksitetin në një mjet të thjeshtë, me CLI dhe REST API, duke ju ndihmuar gjithashtu të kuptoni konceptet e rrjeteve nervore artificiale pas modeleve.

Roli i tij është të jetë "qendra e komandës" nga e cila shkarkoni, menaxhoni dhe ekzekutoni modele si Llama 3, Mistral, Gemma, Phi, Qwen, DeepSeek ose modele multimodale si Llava . Bukuria është se mund t'i përdorni plotësisht jashtë linje, duke i mbajtur të dhënat tuaja brenda ambienteve dhe pa paguar për secilin token siç është rasti me API-të e cloud-it.

Tani, ndërsa vetë Ollama është i lehtë dhe nuk kërkon shumë burime, modelet që përdor kërkojnë shumë burime . Çdo LLM përbëhet nga miliona ose miliarda parametra, të cilët përkthehen në gigabajt memorie dhe hapësirë ​​ruajtjeje, si dhe në një ngarkesë të madhe në CPU dhe, nëse keni një të tillë, në GPU.

Kjo është arsyeja pse, kur dikush përpiqet të ekzekutojë një model të madh (për shembull, një Llama 70B) në një sistem me një CPU të fuqishme, por një GPU diskrete dhe RAM të mjaftueshëm, rezultati zakonisht është se "funksionon", por është aq i ngadaltë sa është praktikisht i padobishëm . Çelësi është të balanconi siç duhet CPU-në, GPU-në, RAM-in, hard diskun dhe llojin e modelit.

Llojet e modeleve në Ollama dhe si ndikojnë ato në kërkesat

Në bibliotekën Ollama do të shihni modele të organizuara sipas familjeve dhe madhësive: 1B, 2B, 4B, 7B, 13B, 30B, 65B, 70B, 405B… Ky numër (B për miliarda) tregon numrin e përafërt të parametrave dhe është një nga faktorët që përcakton më së shumti harduerin e nevojshëm.

Mund t’i grupojmë ato në një mënyrë të përgjithshme në katër kategori , të cilat ndihmojnë shumë për të vlerësuar se çfarë makine ju nevojitet për t’u përshtatur me secilin grup modelesh dhe kuantifikimesh:

• Mini modele (270M – 4B): projektuar për pajisje modeste (laptopë të thjeshtë, madje edhe disa telefona celularë ose mini-PC). Të shpejtë, por me më pak aftësi arsyetimi.
• Modele të vogla (4B – 14B): ideale si modele të balancuara "shtëpiake"I mirë për biseda të përgjithshme, detyra zyre, ndihmë me kodimin e dritave, etj.
• Modele të mesme (14B – 70B)Ata tashmë po luajnë në një ligë tjetër; Ata kanë nevojë për pajisje të fuqishme., shumë RAM dhe, nëse është e mundur, një GPU me shumë VRAM.
• Modele të mëdha (> 70B)Ato janë kafshë të projektuara për infrastrukturë shumë serioze (GPU të nivelit të lartë, karta grafike të shumta, servera të dedikuar, Mac të nivelit të lartë të përdorur mirë, etj.).

Përveç madhësisë, edhe kuantizimi hyn në lojë : në Ollama do të shihni prapashtesa si q4_K_M, q5_1, q3_K_S, q8_0, f16 , etj. Këto formate tregojnë se sa të kompresuara janë peshat e modelit.

• FP16 / FP32 (f16, f32): mezi i ngjeshur, cilësi e lartë, por konsum brutal i memoriesNjë 7B në FP16 mund të përdorë më shumë se 20 GB VRAM.
• Q4 (q4_0, q4_K_M…)kuantizim 4-bitësh, zvogëlim i madh i madhësisë me ndikim të moderuar në cilësiZakonisht ato janë "pika e ëmbël".
• Q3, Q2 (q3_K_S, q2_K…)kuantizime më agresive, madhësi shumë e vogël në këmbim të një humbjeje të lehtë të saktësisëI dobishëm në pajisje shumë të kufizuara.
• P5, T6, T8hapa të ndërmjetëm midis kompresimit të fortë dhe FP16; Cilësi më e lartë, konsum më i lartë.

Pasoja praktike është e qartë: i njëjti model 7B mund të zërë afërsisht 26 GB në FP16 ose rreth 4 GB në tremujorin e katërt . Kjo përkthehet drejtpërdrejt në GPU VRAM që ju nevojitet dhe sasinë e RAM që duhet të mbështesë ngarkesën e punës.

Kërkesat minimale dhe të rekomanduara të harduerit për Ollama në rrjetin lokal

Nëse jeni të shqetësuar nëse kompjuteri juaj mund ta përballojë Ollama-n, përgjigjja zakonisht është po; pyetja është se cilin model mund ta përdorni pa probleme . Le ta ndajmë sipas komponentëve: RAM, CPU, GPU dhe hard disk, me rekomandime realiste bazuar në përvojën praktike dhe dokumentacionin nga disa udhëzues të specializuar.

RAM: burimi më i rëndësishëm

RAM është pengesa kryesore kur diskutohen LLM-të lokale. Në përgjithësi, mund të marrim në konsideratë këto diapazone:

• GB RAM 8: terreni praktik. Lejon modele të vogla (1B, 3B, disa variante shumë të kuantizuara të 7B)Megjithatë, do të vini re kufizime, veçanërisht nëse sistemi dhe shfletuesi tashmë po përdorin shumë memorie. Ka të ngjarë që gjithçka të funksionojë pak ngadalë dhe me më shumë vonesa.
• GB RAM 16standardi i arsyeshëm sot. Ideale për modelet 7B dhe madje 13B të kuantizuara në tremujorin e 4-tëSidomos nëse përdorni GPU. Mund të punoni me biseda komplekse pa ngadalësuar sistemin.
• 32 GB RAM ose më shumëRekomandohet nëse dëshironi modele të mesme (30B, 40B, 70B) ose bëni gjëra më të rënda si kontekste shumë të gjata, disa modele paralelisht, servera me shumë përdorues ose mjete grafike të tipit Open WebUI në Ollama.

Mbani mend se RAM-i nuk përdoret vetëm nga vetë pajisja: sistemi operativ, shfletuesi, IDE, Docker, Open WebUI dhe aplikacione të tjera gjithashtu e konsumojnë atë . Nëse doni të lironi memorie në skenarë specifikë, mund të mësoni se si të zvogëloni përdorimin e RAM-it në aplikacione si shfletuesi juaj. Për përdorim intensiv, 16 GB është aktualisht minimumi i rekomanduar dhe 32 GB është më se e mjaftueshme.

CPU: Udhëzime moderne dhe numri i bërthamave

Ollama mund të funksionojë vetëm në një CPU, por përvoja ndryshon shumë në varësi të procesorit. Më e rëndësishme se numri i bërthamave është mbështetja për udhëzime të avancuara si AVX2 dhe, akoma më mirë, AVX-512 , të cilat përshpejtojnë operacionet e matricës dhe vektorit të përdorura gjerësisht në LLM-të.

Një udhëzim i arsyeshëm do të ishte:

• Minimumi i pranueshëmNjë CPU moderne me katër bërthama (për shembull, një procesor Intel i5 i gjeneratës së fundit ose ekuivalent Ryzen) me mbështetje AVX2. Do të jeni në gjendje të Ekzekutoni modelet 7B me durim, veçanërisht nëse ato janë të kuantizuara mirë..
• Recomendado: lloji më i fundit i procesorëve Intel i gjeneratës së 11-të ose më i ri ose AMD Zen4, Me 8 bërthama ose më shumë dhe mbështetje për AVX-512 aty ku është e mundur. Në këtë mënyrë ju merrni kohë reagimi më të mira dhe më pak bllokime, madje edhe me GPU-të.

Nëse plani juaj është të përdorni modele shumë të mëdha (për shembull, duke provuar një Llama 3 70B me një CPU dhe GPU modeste), CPU do të ketë vështirësi dhe do të vini re kohë shumë të larta gjenerimi të tokenëve . Në këto skenarë, qasja më e arsyeshme është të zgjidhni modele më të vogla ose të investoni në një GPU të përshtatshme.

GPU dhe VRAM: kur është thelbësore dhe sa është e nevojshme

GPU-ja nuk është e detyrueshme, por bën një ndryshim të madh. Një GPU e mirë me VRAM të mjaftueshëm mund ta transformojë një përvojë të ngadaltë në diçka të përdorshme në mënyrë të përkryer , veçanërisht me modelet e kuantizuara 7B deri në 13B.

Si një referencë shumë e dobishme , për modelet e kuantizuara (përafërsisht Q4) mund të vlerësohet diçka e tillë:

• 7B → ~4 GB VRAM
• 13B → ~8 GB VRAM
• 30B → ~16 GB VRAM
• 65-70B → ~32 GB VRAM

Këto janë vlera të përafërta, por ato tregojnë qartë se një GPU RTX 2060 SUPER me 8 GB VRAM është më shumë se e aftë për 7B dhe mund të përballojë 13B, por nuk arrin 70B edhe me një i9 dhe 64 GB RAM. Në këtë rast, sistemi do të detyrohet të shpërndajë pjesën më të madhe të ngarkesës midis RAM dhe CPU, dhe latenca do të rritet ndjeshëm.

Në terma praktikë :

• me 4-6 GB VRAM: përqendrohu në modele 7B të kuantizuara mirëAto funksionojnë shumë mirë për biseda, shkrim dhe detyra të përgjithshme.
• me 8-12 GB VRAMMund të punoni rehat me 7B dhe 13B dhe madje edhe rreth 30B nëse jeni të gatshëm të shkoni pak më ngadalë.
• me 20-24 GB VRAMTani po hyni në territorin e Modele 30B-40B me dinjitet të konsiderueshëm, dhe disa 70B shumë të kuantizuara, veçanërisht nëse e mbështetni me RAM të mirë.
• me 32 GB VRAM ose më shumë: është kur 70B me të vërtetë fillon të duket e arsyeshme për përdorim interaktiv, me kusht që pjesa tjetër e ekipit të shoqërohet.

Për një model OCR ose modele të tjera të specializuara (p.sh., vizion), një GPU me 20-24 GB VRAM është një bazë shumë e fortë për performancë të qetë , veçanërisht nëse modeli përfshin dhjetëra miliarda parametra. Për variante më të lehta (2B-7B) të OCR ose vizion, 8-12 GB duhet të jenë plotësisht të mjaftueshme.

Hapësira e ruajtjes në disk: sa hapësirë ​​zënë modelet

Sa i përket hapësirës në disk, aplikacioni Ollama vetë zë shumë pak hapësirë; ajo që zë vërtet hapësirë ​​janë modelet. Në një mjedis bazë ose testimi, rreth 50 GB është e mjaftueshme , por nëse filloni të mbledhni modele, hapësira rritet shpejt.

Si një udhëzues i përafërt për modelet e kuantizuara:

• Modele të vogla (1B-4B) → rreth 2 GB sipas modelit.
• Modele me madhësi të mesme (7B-13B) → normalisht 4-8 GB sipas modelit sipas kuantifikimit.
• Modele të mëdha (30B-70B) → lehtë 16-40 GB secili prej tyre
• Modele shumë të mëdha (> 100B) → mund të tejkalojë 200 GB sipas modelit dhe madje tejkalojnë terabajt në disa raste ekstreme.

Idealisht, përdorni një SSD të shpejtë (NVMe nëse është e mundur) për ngarkim fillestar më të shpejtë të modelit. Përveç kësaj, Ollama ju lejon të ndryshoni vendndodhjen e ruajtjes së modelit duke përdorur variablin e mjedisit OLLAMA_MODELS , në mënyrë që të mund të përdorni një disk të dytë të madh dhe të lironi hapësirë ​​në diskun tuaj kryesor. Për më shumë informacion mbi kapacitetin e ruajtjes dhe llojet e disqeve, shihni udhëzuesin e pajisjeve të ruajtjes.

Kërkesa specifike për funksionimin e modeleve specifike me Ollama

Edhe pse çdo model ka nuancat e veta, me ekosistemin aktual Ollama mund të jepen disa udhëzime të qarta për kategoritë tipike të përdorimit: biseda e përgjithshme, kodimi, modelet e vizionit/OCR dhe modelet gjigante të tipit 70B.

Shabllone të përgjithshme për biseda (Llama, Mistral, Gemma, Qwen…)

Për përdorim tipik të "ChatGPT lokal" me modele të mesme si Llama 3.x 7B/8B, Mistral 7B, Gemma 2B/7B ose Qwen , një konfigurim i arsyeshëm sot do të ishte diçka si kjo:

• Minimumi i rekomanduar:
  • CPU moderne me katër bërthama me AVX2.
  • GB RAM 16.
  • Pa GPU ose GPU bazë me 4-6 GB VRAM.
  • Të paktën 50 GB SSD për sistemin + një ose dy modele.
• Konfigurim optimal për të pasur shumë hapësirë ​​mbi kokë me 7B-13B:
  • CPU me 8 bërthama ose më shumë (i7/i9 modern ose Ryzen 7/9).
  • GB RAM 32 nëse doni të mbani shumë gjëra të hapura.
  • GPU me 8-12 GB VRAM (RTX 3060/3070 ose ekuivalent, AMD RX 6700 ose më i lartë, ose një Mac me një M1/M2/M3 të përdorur mirë).
  • SSD 1 TB nëse do të mbledhësh modele.

Në këto skenarë, modelet 7B me kuantizim Q4_K_M ose Q5_K_M performojnë shumë mirë dhe ofrojnë cilësi më se të mjaftueshme për përdorim personal, dokumentacion teknik, detyra studimi ose mbështetje shkrimi.

Modelet e kodimit (DeepSeek, CodeLlama, Code-oriented Phi)

Modelet e specializuara në programim zakonisht kanë nevoja të ngjashme me modelet e përgjithshme të bisedave me të njëjtën madhësi , por këshillohet të rezervoni pak më shumë hapësirë ​​në RAM dhe VRAM nëse do t'i përdorni ato së bashku me një IDE të rëndë dhe shumë projekte të hapura.

Për shembull, për të përdorur diçka si DeepSeek-Coder (7B-8B) ose një CodeLlama me madhësi të ngjashme në kushtet e duhura , një kombinim shumë i arsyeshëm do të ishte:

• CPU bërthama moderne 6-8.
• GB RAM 32 nëse punoni me shumë mjete në të njëjtën kohë (IDE, shfletues me skeda, Docker, etj.).
• GPU me të paktën 8 GB VRAM për të lëvizur modelin pa probleme.

Funksionon edhe në harduer më pak të fuqishëm, por do të vini re kohë reagimi më të ngadalta kur gjeneroni blloqe të gjata kodi ose kryeni analiza komplekse . Për modelet kompakte si Phi-4 Mini, kërkesat janë shumë më të ulëta dhe ato funksionojnë mirë edhe në sisteme me 16 GB RAM dhe një GPU të lehtë.

Modelet e vizionit dhe OCR (Çelësi, modelet OCR, multimodale)

Modelet me aftësi përpunimi imazhi (vizion/OCR) si Llama ose variantet multimodale të Llama 3.x, si dhe modelet specifike OCR, shtojnë një shtresë të mëtejshme kompleksiteti. Në nivelin e harduerit, ato i afrohen kërkesave të një modeli teksti me të njëjtën madhësi, por me përfitimin më të madh të përdorimit të një GPU-je.

Nëse po flasim për një model OCR të madhësisë mesatare (le të themi në rangun 7B-13B) dhe doni ta përdorni atë në mënyrë të rehatshme në nivel lokal për njohjen e dokumenteve, imazhet e skanuara, etj., ka kuptim të merrni në konsideratë diçka si:

• GPU me 20-24 GB VRAM nëse modeli është vërtet i madh apo nëse doni ta lini pothuajse të gjithë përpunimin në kartë.
• GPU me 8-12 GB VRAM Nëse zgjidhni variante më të lehta dhe të kuantizuara mirë, do të vazhdojë të funksionojë mirë për sa kohë që nuk e teproni me madhësinë e imazhit ose kontekstet gjigante.
• Minimumi 16 GB RAM, megjithëse 32 GB ofron një hapësirë ​​shumë të rehatshme për përdorim intensiv.
• një CPU moderne në mënyrë që të mos ketë bllokim kur GPU është e ngarkuar.

Përgjigja e drejtpërdrejtë për pyetjen tipike "a mund të ekzekutoj një model OCR në një GPU me 20-24 GB VRAM?" është po, është një gamë e shkëlqyer për modele me pamje/OCR të mesme deri të mëdha në Ollama , me kusht që të keni edhe RAM të mjaftueshëm dhe një CPU të mirë.

Modele gjigante (Llama 3:70B dhe të ngjashme)

Përpjekja për të ekzekutuar një Llama 3 me 70KB në Windows me një CPU shumë të fuqishme (për shembull, një i9 të gjeneratës së 11-të) dhe 64GB RAM, por me një GPU si një RTX 2060 SUPER me 8GB është një shembull i përsosur i "po, por jo". Modeli mund të ngarkohet përfundimisht, por:

• Një pjesë e modelit nuk përshtatet në VRAM dhe mbështetet shumë në RAM.
• CPU-ja duhet të marrë përsipër shumë punë për nxjerrjen e përfundimeve.
• Koha për token rritet ndjeshëm dhe përvoja bëhet praktikisht e papërdorshme..

Që një 70B të ketë kuptim në mjediset shtëpiake ose gjysmë-profesionale, ju nevojitet, të paktën , diçka si këto:

• 32 GB RAM si bazë, 64 GB nëse dëshironi hapësirë ​​shtesë në kokë.
• GPU me të paktën 24-32 GB VRAM për të ngarkuar pjesën më të madhe të modelit me një kuantizim të arsyeshëm (Q4_K_M ose të ngjashëm).
• CPU e fuqishme e nivelit të lartë me 8-16 bërthama.

Nëse nuk i përmbushni këto shifra, është shumë më praktike të përdorni modele 7B-13B të kuantizuara mirë ose, nëse keni vërtet nevojë për 70B për cilësi, merrni në konsideratë një server të specializuar (lokal ose në cloud), një Mac shumë të fuqishëm ose disa GPU që punojnë paralelisht.

Kërkesat për të instaluar Ollama në një VPS ose server

Një tjetër mundësi e zakonshme është instalimi i Ollama-s në një VPS ose server të dedikuar dhe qasja në të nëpërmjet API-t ose ndërfaqes web (për shembull, me Open WebUI). Kjo përfshin jo vetëm burimet, por edhe sistemin operativ dhe lejet.

Në udhëzuesit nga ofruesit si Hostinger, kërkesat minimale të mëposhtme rekomandohen për një VPS të orientuar drejt Ollama-s:

• RAM: minimumi 16 GB në mënyrë që modelet e vogla/mesme të mos e mbingarkojnë sistemin.
• CPU: 4-8 vBërthamavarësisht nga madhësia e modeleve dhe numri i përdoruesve të njëkohshëm.
• Hapësira e ruajtjes: Minimumi 12 GBMegjithatë, në praktikë këshillohet të synoni më lart (50-100 GB) nëse do të provoni disa modele.
• Sistemi operativo: mbi të gjitha Linux, me preferencë për Ubuntu 22.04 ose më i lartë, ose një Debian i qëndrueshëm i kohëve të fundit.
• Qasje rrënjësore ose leje sudo për të instaluar varësi, konfiguruar systemd, etj.

Nëse VPS-ja juaj përfshin një GPU NVIDIA, do t'ju duhet të instaloni dhe konfiguroni CUDA ose NVIDIA container toolkit nëse përdorni Docker. Me AMD, ROCm përdoret zakonisht në Linux, dhe drajverët e duhur Adrenalin në Windows. Në mjediset pa GPU, serveri do të mbështetet në CPU dhe RAM, kështu që mos kurseni në këto burime; gjithashtu mund ta menaxhoni atë nga distanca përmes desktopit të largët nëse keni nevojë për një ndërfaqe grafike.

Skenarë specifikë të harduerit dhe cilat modele duhen përdorur

Për t'u siguruar që të gjitha sa më sipër të mos mbeten thjesht teorike, mund të jetë e dobishme të shikoni disa kombinime tipike të pajisjeve dhe cilat lloje modelesh përshtaten mirë në secilin rast duke përdorur Ollama.

Kompjuter desktop modest ose laptop i mesëm

Le të imagjinojmë një ekip tipik :

• CPU i5 ose Ryzen 5 nga disa vite më parë (4-6 bërthama).
• GB RAM 16.
• GPU e integruar ose e dedikuar 4 GB.
• SSD 512GB.

Në këtë skenar, gjëja më e arsyeshme për të bërë është të synosh :

• Modelet e kuantizuara 1B-3B (Gemma 2B, Phi-4 Mini, Llama 3.x 1B) për rrjedhshmëri maksimale.
• Modelet 7B në tremujorin e katërt nëse pranoni një kohë përgjigjeje pak më të gjatë.
• Duke përdorur Ollama-n me një terminal dhe, nëse dëshironi një ndërfaqe web, hapni WebUI me kujdes në mënyrë që të mos mbingarkoni RAM-in.

Mund të kesh asistentin tënd lokal të tekstit, të bësh përmbledhje, të bësh disa analiza dhe detyra të lehta programimi, por nuk është mjedisi ideal për modelet 13B e lart.

Pajisje të nivelit të mesëm dhe të lartë të fokusuara në inteligjencën artificiale lokale

Këtu po flasim për një lloj PC-je :

• CPU moderne i7/i9 ose Ryzen 7/9, 8-16 bërthama.
• GB RAM 32.
• GPU me 12-24 GB VRAM (RTX 4070/4080, 3090, 4090, ekuivalentë të AMD ose të ngjashëm).
• SSD 1-2 TB.

Ky konfigurim zgjeron shumë gamën e mundësive :

• Modele 7B-13B në tremujorin e katërt/të pesëmbëdhjetë për bisedë, kod, analizë të dhënash… me kohë përgjigjeje shumë të mira.
• Modelet 30B dhe disa 70B i kuantizuar nëse pranon pak më shumë vonesë.
• Modele të vizion/OCR të mesme duke përdorur gjerësisht GPU-në.

Është lloji i makinës me të cilën mund të krijoni një mjedis serioz lokal të IA-së, me modele të shumta, një ndërfaqe web, integrim nëpërmjet REST API dhe një rrjedhë pune profesionale pa u varur nga shërbimet e jashtme.

Serveri ose stacioni i punës "Beast"

Në skajin e sipërm janë mjediset me:

• Disa GPU me 24-48 GB VRAM secila, ose një e vetme e nivelit të lartë.
• 64-128 GB RAM.
• CPU me shumë bërthama, siç janë modelet e fundit Threadripper ose Xeon.

Këtu është vendi ku modelet gjigante (>70B, MoE, me vizion të rëndë, etj.) fillojnë të bëhen realiste, madje edhe me përdorues të shumtë të njëkohshëm ose integrime komplekse. Është padyshim një skenar me kosto të lartë, por gjithashtu ju lejon të keni aftësi të ngjashme me disa API komerciale, me kontroll të plotë të të dhënave brenda infrastrukturës suaj.

Këshilla praktike për të përfituar sa më shumë nga pajisjet tuaja Ollama

Përtej blerjes së më shumë RAM ose një GPU më të mirë, ka disa praktika që ju ndihmojnë të përfitoni sa më shumë nga ajo që keni tashmë dhe të shmangni surprizat kur përdorni modele të mëdha me Ollama.

Për të filluar, është e rëndësishme të zgjidhni modelin e duhur bazuar në përdorimin e synuar : nuk ka kuptim të përdorni një 70B për të shkruar email-e të thjeshta kur një 7B i akorduar mirë është plotësisht i përshtatshëm. Në mënyrë të ngjashme, një 30B nuk ka kuptim nëse GPU-ja juaj ka vetëm 6GB VRAM; një 7B do të jetë një zgjedhje më e mirë në tremujorin e katërt.

Një masë tjetër kyçe është eksperimentimi me parametrat e kohës së ekzekutimit (temperatura, num_ctx, num_predict, etj.), qoftë në Modelfile ose nëpërmjet CLI/API. Përdorimi i konteksteve jashtëzakonisht të mëdha ( num_ctx prej 32k ose më shumë ) me pak RAM ose VRAM do ta ngadalësojë të gjithë sistemin pa ofruar shumë përfitime në shumë raste.

Rekomandohet gjithashtu monitoroni se cilat modele janë të ngarkuara dhe në cilin procesor përdorim ollama psAtje do të shihni nëse modeli po funksionon në të vërtetë në GPU ose CPU, dhe çfarë madhësie ka ngarkuar. Rregulloni variablin OLLAMA_KEEP_ALIVE Ndihmon modelet të shkarkojnë memorien kur nuk janë në përdorim, duke liruar kështu burimet.

Së fundmi, mos harroni se kuantizimi është aleati juaj : krijimi i varianteve Q4_K_M ose Q5_K_M të një modeli origjinal FP16 ju lejon të përfitoni nga harduer shumë më modest me një humbje të cilësisë që shpesh është pothuajse e padukshme për përdorim në botën reale.

Pasi të keni marrë në konsideratë të gjitha këto, përfundimi më i qartë është se Ollama nuk është pjesa më e kërkuar; modelet janë ... Të kuptuarit se si madhësia, kuantizimi, RAM-i dhe VRAM-i lidhen me njëra-tjetrën ju lejon të zgjidhni kombinimin e duhur të harduerit dhe LLM-së për nevojat tuaja: nga një laptop me 16 GB që përdor një 7B të lehtë deri te një stacion pune me një GPU 24 GB që trajton modele të fuqishme të shikimit dhe OCR-së. Duke rregulluar me kujdes pritjet dhe parametrat, është plotësisht e realizueshme të keni një IA të fuqishme dhe private që funksionon në makinën tuaj pa tarifa mujore.