Laitteistovaatimukset Ollaman käytölle ilman katkoksia

Informatec Digital » Resurssit » Laitteistovaatimukset Ollaman käytölle ilman katkoksia

Jos harkitset tekoälymallien suorittamista omalla tietokoneellasi, törmäät väistämättä Ollamaan ennemmin tai myöhemmin. Ja siinä herää suuri kysymys: mitä laitteistovaatimuksia tarvitsen, jotta mallit toimivat sujuvasti ja pätkimättä? Ei riitä, että ne vain käynnistyvät; avainasemassa on, että niitä voidaan käyttää mukavasti jokapäiväisissä tehtävissä, ja erilaisten tietokonelaitteistojen ymmärtäminen on olennaista.

Tässä artikkelissa käsittelemme yksityiskohtaisesti , mitä Llama tekee, mitä erityyppiset mallit (7B, 13B, 70B jne.) vaativat, miten suoritin, näytönohjain, RAM ja levy vaikuttavat suorituskykyyn ja mitkä kokoonpanot ovat järkeviä tapauksestasi riippuen , haluatko sitten yksinkertaisen tekstinsyötön avustajan vai aiotko ajaa Llama 3:n kaltaisia ​​hirviöitä kymmenillä miljardeilla parametreilla tai konenäkö- ja OCR-malleilla.

Mikä on Ollama ja miksi laitteistolla on niin suuri merkitys?

Ollama on pohjimmiltaan kielimallinnusohjelma, jonka avulla voit suorittaa kielimallinnuksia paikallisesti omalla koneellasi ilman, että sinun tarvitsee luottaa pilveen. Se käyttää päättelyyn moottoreita, kuten llama.cpp , ja käärii kaiken monimutkaisuuden yksinkertaiseen työkaluun komentorivi- ja REST-rajapinnan avulla, auttaen sinua myös ymmärtämään mallien taustalla olevien tekoälyverkkojen käsitteitä .

Sen tehtävänä on toimia "komentokeskuksena", josta voit ladata, hallita ja ajaa malleja, kuten Llama 3, Mistral, Gemma, Phi, Qwen, DeepSeek, tai multimodaalisia malleja, kuten Llava . Niiden etuna on, että voit käyttää niitä täysin offline-tilassa, jolloin datasi pysyy paikallisesti ja maksamatta jokaisesta tunnuksesta kuten pilvi-APIen tapauksessa.

Vaikka Ollama itsessään on kevyt eikä vaadi paljoa resursseja, sen käyttämät mallit ovat erittäin resurssi-intensiivisiä . Jokainen LLM koostuu miljoonista tai miljardeista parametreista, mikä tarkoittaa gigatavuja muistia ja tallennustilaa sekä raskasta kuormitusta suorittimelle ja, jos sinulla on sellainen, myös näytönohjaimelle.

Siksi, kun joku yrittää ajaa suurta mallia (esimerkiksi 70B Llamaa) järjestelmässä, jossa on tehokas suoritin, mutta erillinen näytönohjain ja juuri sopivasti RAM-muistia, tulos on yleensä, että "se toimii", mutta niin hidas, että se on käytännössä hyödytön . Avainasemassa on suorittimen, näytönohjaimen, RAM-muistin, kiintolevyn ja mallityypin oikea tasapaino.

Ollaman mallityypit ja niiden vaikutus vaatimuksiin

Ollama-kirjastossa näet mallit järjestettyinä perheiden ja kokojen mukaan: 1B, 2B, 4B, 7B, 13B, 30B, 65B, 70B, 405B… Tämä luku (B miljardeille) osoittaa parametrien likimääräisen lukumäärän ja on yksi tekijöistä, jotka eniten määräävät tarvittavan laitteiston.

Voimme ryhmitellä ne yleisesti neljään luokkaan , mikä auttaa suuresti arvioimaan, minkä koneen tarvitset tunteaksesi olosi mukavaksi kunkin malliryhmän ja kvantifioinnin kanssa:

• Minimallit (270M – 4B)suunniteltu vaatimattomia laitteita (yksinkertaiset kannettavat tietokoneet, jopa jotkut matkapuhelimet tai minitietokoneet). Nopea, mutta heikommalla päättelykyvyllä.
• Pienet mallit (4B–14B)ihanteellinen kuten tasapainoiset "kotimaiset" mallitHyvä yleiseen keskusteluun, toimistotehtäviin, kevyen koodauksen apuun jne.
• Keskikokoiset mallit (14B – 70B)He pelaavat jo eri liigassa; Ne tarvitsevat tehokasta laitteistoa., runsaasti RAM-muistia ja mahdollisuuksien mukaan näytönohjain, jossa on paljon VRAM-muistia.
• Suuret mallit (> 70B)Ne ovat petoja, jotka on suunniteltu erittäin vakavat infrastruktuurit (Huippuluokan näytönohjaimet, useita näytönohjaimia, erilliset palvelimet, paljon käytetyt huippuluokan Macit jne.).

Koon lisäksi myös kvantisoinnilla on merkitystä : Ollamassa näet päätteitä, kuten q4_K_M, q5_1, q3_K_S, q8_0, f16 jne. Nämä muodot osoittavat, kuinka paljon mallin painot on pakattu.

• FP16 / FP32 (f16, f32): tuskin puristettu, huippulaatua, mutta brutaalia muistinkulutustaFP16:n 7B voi käyttää yli 20 Gt:n VRAM-muistia.
• Neljäs neljännes (neljännes_0, neljännes_K_M…)4-bittinen kvantisointi, suuri koon pienennys, jolla on kohtalainen vaikutus laatuunNe ovat yleensä "makea paikka".
• Q3, Q2 (q3_K_S, q2_K…)aggressiivisemmat kvantisoinnit, erittäin pieni koko vastineeksi pienestä tarkkuuden menetyksestäHyödyllinen erittäin rajoitetulla laitteistolla.
• Q5, Q6, Q8: välivaiheet voimakkaan puristuksen ja FP16:n välillä; Korkeampi laatu, korkeampi kulutus.

Käytännön seuraus on selvä: sama 7B-malli voi käyttää noin 26 Gt FP16:ssa tai noin 4 Gt Q4:ssä . Tämä heijastuu suoraan tarvitsemaasi GPU VRAM -muistiin ja työkuorman tukemiseen tarvittavaan RAM-muistin määrään.

Ollaman vähimmäis- ja suositellut laitteistovaatimukset paikallisverkossa

Jos olet huolissasi siitä, pystyykö tietokoneesi käsittelemään Ollamaa, vastaus on yleensä kyllä; kysymys kuuluu, mitä mallia voit käyttää ongelmitta . Jaetaanpa se komponenttien mukaan: RAM, CPU, GPU ja kiintolevy, realististen suositusten avulla, jotka perustuvat käytännön kokemukseen ja useiden erikoistuneiden oppaiden dokumentaatioon.

RAM: äärimmäisen kriittinen resurssi

RAM on ensisijainen pullonkaula paikallisissa LLM-malleissa. Yleisesti ottaen voimme tarkastella seuraavia alueita:

• 8 Gt RAM-muistia: käytännönläheinen maa. Se sallii pienet mallit (1B, 3B, jotkut 7B:n erittäin kvantisoidut variantit)Huomaat kuitenkin rajoituksia, varsinkin jos järjestelmä ja selain käyttävät jo paljon muistia. On todennäköistä, että kaikki toimii hieman hitaasti ja viiveellä.
• 16 Gt RAM-muistia: kohtuullinen standardi tänä päivänä. Ihanteellinen 7B- ja jopa 13B-malleille, jotka kvantisoidaan neljännellä neljännekselläVarsinkin jos käytät näytönohjaimia. Voit työskennellä monimutkaisten keskustelujen kanssa järjestelmän hidastumatta.
• 32 Gt RAM-muistia tai enemmänSuositellaan, jos haluat keskikokoiset mallit (30B, 40B, 70B) tai tehdä raskaampia asioita, kuten erittäin pitkiä konteksteja, useita malleja rinnakkain, usean käyttäjän palvelimia tai Open WebUI -tyyppisiä graafisia työkaluja Ollamalla.

Muista, että RAM-muistia ei käytä vain itse laite: myös käyttöjärjestelmä, selain, IDE, Docker, Open WebUI ja muut sovellukset kuluttavat sitä . Jos haluat vapauttaa muistia tietyissä tilanteissa, voit oppia vähentämään RAM-muistin käyttöä sovelluksissa, kuten selaimessasi. Intensiiviseen käyttöön suositellaan tällä hetkellä vähintään 16 Gt, ja 32 Gt on enemmän kuin tarpeeksi.

CPU: Nykyaikaiset ohjeet ja ytimien lukumäärä

Ollama voi toimia pelkällä suorittimella, mutta käyttökokemus vaihtelee suuresti suorittimesta riippuen. Ytimien lukumäärää tärkeämpää on tuki edistyneille käskyille, kuten AVX2:lle ja vielä parempi, AVX-512:lle , jotka nopeuttavat LLM-järjestelmissä laajasti käytettyjä matriisi- ja vektorioperaatioita.

Kohtuullinen ohje olisi:

• Hyväksyttävä vähimmäismääräModerni neliydinsuoritin (esimerkiksi uusimman sukupolven Intel i5 tai vastaava Ryzen-suoritin) AVX2-tuella. Pystyt Suorita 7B-malleja kärsivällisesti, varsinkin jos ne ovat hyvin kvantisoituja.
• Recomendadouusimmat prosessorityypit 11. sukupolven Intel tai uudempi tai AMD Zen4, With 8 ydintä tai enemmän ja AVX-512-tuen mahdollisuuksien mukaan. Tällä tavoin saat parannetut vasteajat ja vähemmän pullonkauloja, jopa näytönohjaimilla.

Jos suunnitelmasi on käyttää erittäin suuria malleja (esimerkiksi 70B Llama 3:a vaatimattomalla suorittimella ja näytönohjaimella), suoritin on kyvytön toimimaan ja huomaat erittäin pitkiä tokenien generointiaikoja . Näissä tilanteissa järkevin lähestymistapa on valita pienempiä malleja tai investoida sopivaan näytönohjaimeen.

Näytönohjain ja näyttömuisti: milloin ne ovat välttämättömiä ja kuinka paljon niitä tarvitaan

Näytönohjain ei ole pakollinen, mutta sillä on valtava merkitys. Kunnollinen näytönohjain, jossa on riittävästi VRAM-muistia, voi muuttaa hitaan kokemuksen täysin käyttökelpoiseksi , etenkin 7B–13B kvantisoiduilla malleilla.

Erittäin hyödyllisenä viitteenä kvantisoiduille malleille (noin Q4) voidaan arvioida jotain tällaista:

• 7B → ~4 Gt VRAM-muistia
• 13B → ~8 Gt VRAM-muistia
• 30B → ~16 Gt VRAM-muistia
• 65–70 B → ~32 Gt VRAM-muistia

Nämä ovat likimääräisiä arvoja, mutta ne osoittavat selvästi, että RTX 2060 SUPER -näytönohjain 8 Gt:n VRAM-muistilla pystyy käsittelemään enemmän kuin 7 B:tä ja 13 B:tä, mutta jää 70 B:llä jälkeen jopa i9:llä ja 64 Gt:n RAM-muistilla. Tässä tapauksessa järjestelmän on jaettava suuri osa kuormituksesta RAM-muistin ja suorittimen kesken, ja latenssi kasvaa räjähdysmäisesti.

Käytännössä näin :

• kanssa 4–6 Gt VRAM-muistia: keskittyä hyvin kvantisoidut 7B-mallitNe toimivat erittäin hyvin keskustelussa, kirjoittamisessa ja yleisissä tehtävissä.
• kanssa 8–12 Gt VRAM-muistiaVoit työskennellä mukavasti 7B ja 13B ja jopa noin 30B, jos olet valmis menemään hieman hitaammin.
• kanssa 20–24 Gt VRAM-muistiaOlet nyt saapumassa alueelle, jonka 30B-40B-mallit, joilla on huomattava arvokkuusja joitakin erittäin kvantisoituja 70B:tä, varsinkin jos tuet sitä hyvällä RAM-muistilla.
• kanssa 32 Gt tai enemmän VRAM-muistia: on silloin, kun 70B alkaa todella tuntua kohtuulliselta. interaktiiviseen käyttöön, edellyttäen että muu tiimi on mukana.

OCR-mallille tai muille erikoismalleille (esim. konenäkömalleille) 20–24 Gt:n VRAM-muistilla varustettu näytönohjain on erittäin vankka perusta sujuvalle suorituskyvylle , varsinkin jos malli sisältää kymmeniä miljardeja parametreja. Kevyempien (2B–7B) OCR- tai konenäkömallien kohdalla 8–12 Gt:n pitäisi olla täysin riittävä.

Levytila: kuinka paljon tilaa mallit vievät

Levytilan osalta Ollama-sovellus itsessään vie hyvin vähän tilaa; tilaa vievät todellisuudessa mallit. Perus- tai testiympäristössä noin 50 Gt riittää , mutta jos mallien kerääminen alkaa, tila kasvaa nopeasti.

Karkea ohje kvantisoiduille malleille:

• Pienet mallit (1B-4B) → noin 2 GB mallin mukaan.
• Keskikokoiset mallit (7B-13B) → normaalisti 4 8-GB mallin mukaan kvantifioinnin mukaan.
• Suuret mallit (30B-70B) → helposti 16 40-GB jokainen
• Erittäin suuret mallit (> 100B) → voi ylittää 200 GB mallin mukaan ja jopa ylittää teratavuja äärimmäisissä tapauksissa.

Ihannetapauksessa käytä nopeaa SSD-levyä (NVMe-levyä, jos mahdollista), jotta malli latautuu nopeammin alkuvaiheessa. Lisäksi Ollama sallii mallin tallennuspaikan muuttamisen OLLAMA_MODELS -ympäristömuuttujan avulla , joten voit käyttää suurta toissijaista asemaa ja vapauttaa tilaa ensisijaisella asemalla. Lisätietoja tallennuskapasiteetista ja asematyypeistä on tallennuslaitteiston oppaassa.

Ollaman kanssa tiettyjen mallien käyttövaatimukset

Vaikka jokaisella mallilla on omat vivahteensa, nykyisessä Ollama-ekosysteemissä voidaan antaa joitakin selkeitä ohjeita tyypillisille käyttökategorioille: yleinen keskustelu, koodaus, visio/OCR-mallit ja jättimäiset 70B-tyyppiset mallit.

Yleiset chat-mallit (Llama, Mistral, Gemma, Qwen…)

Tyypilliseen "paikalliseen ChatGPT" -käyttöön keskikokoisten mallien, kuten Llama 3.x 7B/8B:n, Mistral 7B:n, Gemma 2B/7B:n tai Qwenin , kanssa kohtuullinen kokoonpano olisi nykyään jotakuinkin seuraavanlainen:

• Suositeltu vähimmäismäärä:
  • Moderni neliydinsuoritin AVX2:lla.
  • 16 Gt RAM-muistia.
  • Ei näytönohjainta tai perusnäytönohjain ja 4–6 Gt:n näyttömuisti.
  • Vähintään 50 Gt:n SSD-levy järjestelmälle + yhdelle tai kahdelle mallille.
• Optimaalinen kokoonpano, jossa on runsaasti pääntilaa 7B-13B:n kanssa:
  • Vähintään 8-ytiminen suoritin (nykyaikainen i7/i9 tai Ryzen 7/9).
  • 32 Gt RAM-muistia jos haluat pitää monia asioita auki.
  • Näytönohjain ja 8–12 Gt VRAM-muistia (RTX 3060/3070 tai vastaava, AMD RX 6700 tai uudempi tai Mac, jossa on hyvin hyödynnetty M1/M2/M3).
  • 1 Tt:n SSD-levy, jos aiot kerätä malleja.

Näissä tilanteissa 7B-mallit, joissa on Q4_K_M- tai Q5_K_M-kvantisointi, toimivat erittäin hyvin ja tarjoavat enemmän kuin tarpeeksi laatua henkilökohtaiseen käyttöön, tekniseen dokumentointiin, opiskelutehtäviin tai kirjoitustuen tekemiseen.

Koodausmallit (DeepSeek, CodeLlama, koodiorientoitunut Phi)

Ohjelmointiin erikoistuneilla malleilla on yleensä samankokoiset yleiset chat-mallit , mutta on suositeltavaa varata hieman enemmän RAM- ja VRAM-muistia, jos aiot käyttää niitä yhdessä raskaan IDE:n ja monien avointen projektien kanssa.

Esimerkiksi DeepSeek-Coderin (7B-8B) tai vastaavan kokoisen CodeLlaman käyttämiseksi oikeissa olosuhteissa erittäin järkevä yhdistelmä olisi:

• prosessori modernit 6-8 ydintä.
• 32 Gt RAM-muistia jos työskentelet useiden työkalujen kanssa samanaikaisesti (IDE, välilehtiselaimen, Dockerin jne.).
• Näytönohjain, jossa on vähintään 8 Gt VRAM-muistia mallin sujuvaan liikuttamiseen.

Se toimii myös vähemmän tehokkaalla laitteistolla, mutta huomaat hitaampia vasteaikoja pitkiä koodilohkoja luotaessa tai monimutkaisia ​​analyysejä suoritettaessa . Kompakteissa malleissa, kuten Phi-4 Minissä, vaatimukset ovat paljon alhaisemmat, ja ne toimivat hyvin jopa järjestelmissä, joissa on 16 Gt RAM-muistia ja kevyt näytönohjain.

Visio- ja OCR-mallit (avain, OCR-mallit, multimodaaliset)

Kuvankäsittelyominaisuuksilla (konenäkö/OCR) varustetut mallit, kuten Llama tai Llama 3.x:n multimodaaliset variantit, sekä tietyt OCR-mallit lisäävät monimutkaisuutta entisestään. Laitteistotasolla ne lähestyvät saman kokoisen tekstimallin vaatimuksia, mutta niillä on suurempi etu GPU:n käytön ansiosta.

Jos puhumme keskikokoisesta OCR-mallista (esimerkiksi kokoluokkaa 7B-13B) ja haluat käyttää sitä mukavasti paikallisesti asiakirjojen tunnistukseen, skannattuihin kuviin jne., on järkevää harkita esimerkiksi seuraavaa:

• Näytönohjain ja 20–24 Gt VRAM-muistia onko malli todella suuri vai haluatko jättää lähes kaiken prosessoinnin kortille.
• Näytönohjain ja 8–12 Gt VRAM-muistia Jos valitset kevyempiä ja hyvin kvantisoituja variantteja, se toimii edelleen hyvin, kunhan et käytä liikaa kuvakokoa tai jättimäisiä konteksteja.
• Vähintään 16 Gt RAM-muistia, vaikka 32 Gt tarjoaa erittäin mukavan pelivaran intensiiviseen käyttöön.
• moderni CPU, jotta se ei aiheuta pullonkauloja näytönohjaimen kuormituksen aikana.

Suora vastaus tyypilliseen kysymykseen "voinko ajaa OCR-mallia näytönohjaimella, jossa on 20–24 Gt VRAM-muistia?" on kyllä, se on erinomainen valikoima keskikokoisille ja suurille konenäkö-/OCR-malleille Ollamassa , edellyttäen, että sinulla on myös riittävästi RAM-muistia ja kunnollinen suoritin.

Jättiläismallit (Laama 3:70B ja vastaavat)

70 kt:n Llama 3:n ajaminen Windowsissa erittäin tehokkaalla suorittimella (esimerkiksi 11. sukupolven i9) ja 64 Gt:n RAM-muistilla, mutta näytönohjaimella, kuten 8 Gt:n RTX 2060 SUPER, on täydellinen esimerkki "kyllä, mutta ei" -tilanteesta. Malli saattaa lopulta latautua, mutta:

• Osa mallista ei sovi VRAM-muistiin ja on erittäin riippuvainen RAM-muistista.
• CPU:n on tehtävä paljon päättelytyötä.
• Aika per token nousee pilviin ja kokemuksesta tulee käytännössä käyttökelvoton..

Jotta 70B toimisi järkevästi koti- tai puoliammattimaisessa ympäristössä, tarvitset vähintään jotain seuraavanlaista:

• 32 Gt RAM-muistia perusversiona, 64 Gt, jos haluat lisää tallennustilaa.
• Näytönohjain, jossa on vähintään 24–32 Gt VRAM-muistia lataamaan suurimman osan mallista kohtuullisella kvantisoinnilla (Q4_K_M tai vastaava).
• Tehokas huippuluokan suoritin, jossa on 8–16 ydintä.

Jos et täytä näitä lukuja, on paljon käytännöllisempää käyttää hyvin kvantisoituja 7B-13B-malleja tai, jos todella tarvitset 70B:tä laadun saavuttamiseksi, harkitse erikoispalvelinta (paikallista tai pilvessä), erittäin tehokasta Macia tai useita rinnakkain toimivia näytönohjaimia.

Vaatimukset Ollaman asentamiseksi VPS:lle tai palvelimelle

Toinen yleinen vaihtoehto on asentaa Ollama VPS :lle tai erilliselle palvelimelle ja käyttää sitä API:n tai web-käyttöliittymän kautta (esimerkiksi Open WebUI:n avulla). Tämä edellyttää paitsi resursseja myös käyttöjärjestelmää ja käyttöoikeuksia.

Hostingerin kaltaisten palveluntarjoajien oppaissa suositellaan seuraavia vähimmäisvaatimuksia Ollama-käyttöön tarkoitetulle VPS:lle:

• RAM-muistia: vähintään 16 Gt jotta pienet/keskikokoiset mallit eivät ylikuormita järjestelmää.
• CPU: 4–8 virtuaaliydintäriippuen mallien koosta ja samanaikaisten käyttäjien määrästä.
• Tallennustila: Vähintään 12 GtKäytännössä on kuitenkin suositeltavaa tähdätä suurempaan kokoon (50–100 Gt), jos aiot kokeilla useita malleja.
• Sistema operativo: ennen kaikkea Linux, mieluiten Ubuntu 22.04 tai uudempi tai uudempi vakaa Debian.
• Pääkäyttäjän oikeudet tai sudo-oikeudet riippuvuuksien asentamiseksi, systemd:n ​​määrittämiseksi jne.

Jos VPS:ssäsi on NVIDIA-näytönohjain, sinun on asennettava ja konfiguroitava CUDA tai NVIDIA-säilötyökalupakki, jos käytät Dockeria. AMD:n kanssa Linuxissa käytetään tyypillisesti ROCm:ää ja Windowsissa asianmukaisia ​​Adrenalin-ajureita. Ympäristöissä, joissa ei ole näytönohjainta, palvelin käyttää suoritinta ja RAM-muistia, joten älä pihistele näissä resursseissa; voit hallita sitä myös etänä etätyöpöydän kautta, jos tarvitset graafisen käyttöliittymän.

Tietyt laitteistotilanteet ja käytettävät mallit

Jotta kaikki edellä mainittu ei jää pelkästään teoreettiseksi, voi olla hyödyllistä tarkastella Ollaman avulla joitakin tyypillisiä laitteistoyhdistelmiä ja sitä, minkä tyyppiset mallit sopivat hyvin kuhunkin tapaukseen .

Vaatimaton pöytätietokone tai keskikokoinen kannettava tietokone

Kuvitellaanpa tyypillinen joukkue :

• Muutaman vuoden takainen i5- tai Ryzen 5 -suoritin (4-6 ydintä).
• 16 Gt RAM-muistia.
• Integroitu tai erillinen 4 Gt:n näytönohjain.
• 512 Gt: n SSD.

Tässä tilanteessa järkevää on pyrkiä seuraavaan :

• Kvantisoidut 1B-3B-mallit (Gemma 2B, Phi-4 Mini, Llama 3.x 1B) maksimaalisen juoksevuuden saavuttamiseksi.
• 7B-mallit neljännellä neljänneksellä jos hyväksyt hieman pidemmän vastausajan.
• Ollaman käyttö terminaalin kanssa ja jos haluat web-käyttöliittymän, avaa WebUI varovasti, jotta RAM-muistia ei ylikuormiteta.

Voit käyttää paikallista tekstinkäsittelyavustajaa yhteenvetojen tekemiseen, analyyseihin ja kevyisiin ohjelmointitehtäviin, mutta se ei ole ihanteellinen ympäristö 13B-malleille ja sitä vanhemmille.

Keskitason ja huippuluokan laitteet, jotka keskittyvät paikalliseen tekoälyyn

Tässä puhutaan PC-tyypistä :

• Moderni i7/i9- tai Ryzen 7/9 -suoritin, 8–16 ydintä.
• 32 Gt RAM-muistia.
• Näytönohjain ja 12–24 Gt VRAM-muistia (RTX 4070/4080, 3090, 4090, AMD:n vastineet tai vastaavat).
• 1-2 Tt:n SSD-levy.

Tämä kokoonpano laajentaa mahdollisuuksia huomattavasti :

• Mallit 7B-13B neljännellä/viidennellä neljänneksellä chatissa, koodauksessa, data-analyysissä… erittäin hyvillä vasteajoilla.
• 30B-mallit ja jotkut 70B kvantisoitu jos hyväksyt hieman suuremman viiveen.
• Malleja näkö/OCR keskikokoinen käyttäen laajasti näytönohjainta.

Se on sellainen kone, jolla voit perustaa vakavasti otettavan paikallisen tekoälyympäristön, jossa on useita malleja, web-käyttöliittymä, integrointi REST API:n kautta ja ammattimainen työnkulku ilman ulkoisten palveluiden tarvetta.

"Beast"-palvelin tai työasema

Yläpäässä ovat ympäristöt, joissa on :

• Useita näytönohjaimia, joissa kussakin on 24–48 Gt VRAM-muistia, tai yksi huippuluokan näytönohjain.
• 64–128 Gt RAM-muistia.
• Moniytimiset suorittimet, kuten viimeaikaiset Threadripper- tai Xeon-mallit.

Tässä vaiheessa jättimäiset mallit (yli 70 miljardia dollaria, potentiaalisia resursseja, paljon visioita jne.) alkavat olla realistisia, jopa useiden samanaikaisten käyttäjien tai monimutkaisten integraatioiden kanssa. Tämä on luonnollisesti kustannustehokas skenaario, mutta se mahdollistaa myös kaupallisten API-rajapintojen kaltaiset ominaisuudet ja täydellisen datanhallinnan omassa infrastruktuurissa.

Käytännön vinkkejä Ollama-laitteiston parhaaseen hyödyntämiseen

Lisääntyneen RAM-muistin tai paremman näytönohjaimen ostamisen lisäksi on olemassa useita käytäntöjä, jotka auttavat sinua saamaan kaiken irti jo olemassa olevasta laitteistostasi ja välttämään yllätyksiä, kun käytät suuria malleja Ollamalla.

Aluksi on tärkeää valita oikea malli käyttötarkoituksen mukaan : 70B:n käyttämisestä yksinkertaisten sähköpostien kirjoittamiseen ei ole mitään hyötyä, kun hyvin viritetty 7B riittää täysin. Samoin 30B ei ole järkevä valinta, jos näytönohjaimessasi on vain 6 Gt VRAM-muistia; 7B on parempi valinta neljännellä neljänneksellä.

Toinen tärkeä toimenpide on kokeilla ajonaikaisia ​​parametreja (lämpötila, num_ctx, num_predict jne.) joko Modelfile-tiedostossa tai CLI/API:n kautta. Naurettavan suurten kontekstien ( num_ctx 32k tai enemmän ) käyttö pienellä RAM- tai VRAM-muistilla hidastaa koko järjestelmää tarjoamatta paljoakaan hyötyä monissa tapauksissa.

Se on myös suositeltavaa seurata, mitkä mallit on ladattu ja millä prosessorilla käyttäen ollama psSiellä näet, toimiiko malli todella näytönohjaimella vai suorittimella ja kuinka paljon se on ladannut tiedostoja. Säädä muuttujaa OLLAMA_KEEP_ALIVE Se auttaa malleja purkamaan muistia, kun niitä ei käytetä, mikä vapauttaa resursseja.

Lopuksi, muista, että kvantisointi on liittolaisesi : alkuperäisen FP16-mallin Q4_K_M- tai Q5_K_M-varianttien luominen antaa sinulle mahdollisuuden hyödyntää paljon vaatimattomampaa laitteistoa, mutta laadun heikkeneminen on usein lähes huomaamatonta tosielämän käytössä.

Kaiken tämän huomioon ottaen selkein päätelmä on, että Ollama ei ole vaativa osa; mallit ovat . Ymmärtämällä, miten koko, kvantisointi, RAM-muisti ja VRAM-muisti liittyvät toisiinsa, voit valita tarpeisiisi sopivan laitteisto- ja LLM-yhdistelmän: 16 Gt:n kannettavasta tietokoneesta, jossa on kevyt 7B-suoritin, työasemaan, jossa on 24 Gt:n näytönohjain, joka käsittelee vankkoja konenäkö- ja OCR-malleja. Säätämällä odotuksia ja parametreja huolellisesti on täysin mahdollista saada tehokas, yksityinen tekoäly toimimaan omalla koneellasi ilman kuukausimaksuja.