Olet luultavasti jo perehtynyt työkaluihin, kuten ChatGPT, Claude tai Gemini. Vaikka ne ovat mahtavia, niissä on yksi haittapuoli: ne toimivat pilvessä. Tämä tarkoittaa, että jokainen kirjoittamasi sana matkustaa yrityksen palvelimille, mikä voi aiheuttaa vakavan yksityisyysriskin, jos käsittelet arkaluonteisia tietoja tai työskentelet aloilla, joilla laki kieltää tietojen poistumisen toimistosta.
Tässä kohtaa Ollama astuu kuvaan, sovellus, joka muuttaa tietokoneesi tekoälyn hermokeskukseksi . Unohda kuukausimaksut ja vakaan internetyhteyden varaan luottaminen; tämän työkalun avulla voit ladata avoimen lähdekoodin malleja ja suorittaa niitä suoraan omalla laitteistollasi säilyttäen täyden hallinnan datastasi.
Mitä Ollama tarkalleen ottaen on ja mitkä ovat sen edut?
Ollama on avoimen lähdekoodin ohjelmisto, joka toimii asiakasohjelmana suurten kielimallien (LLM) hallintaan. Sen tärkein etu on, että se yksinkertaistaa teknistä monimutkaisuutta , käsittelee GPU-optimoinnin ja muistin hallinnan, joten sinun tarvitsee vain suorittaa komento ja aloittaa keskustelu.
Edut ovat selvät. Ensinnäkin yksityisyys on ehdotonta, koska mikään ei poistu koneeltasi. Toiseksi säästät API-token-kustannuksissa tai Plus-tilausten kuukausimaksuissa. Ja kolmanneksi, kun mallipohja on kiintolevylläsi, voit käyttää sitä täysin offline-tilassa , mikä on ihanteellista lentokoneessa tai paikoissa, joissa on heikko verkkoyhteys.
Kaikki ei kuitenkaan ole pelkkää auringonpaistetta ja sateenkaaria. Suurin haittapuoli on, että tarvitset tehokkaan laitteiston . Jos yrität ajaa valtavaa mallia tietokoneella, jossa on vähän RAM-muistia, vaste on niin hidas, että ehdit tehdä kahvin ennen kuin se lopettaa lauseensa. Lisäksi tekoäly tietää vain sen, mitä se on oppinut koulutuspäiväänsä mennessä, joten sillä ei ole pääsyä uutisiin reaaliajassa.
Järjestelmävaatimukset ja suositeltu laitteisto
Välttääksesi turhauttavan kokemuksen, sinun kannattaa tarkistaa komponentit. Kriittisin resurssi on näytönohjaimesi RAM- ja VRAM-muistit . Yleissääntönä on, että 1.5 B:n malli vie noin 1 Gt tilaa, mutta se tarvitsee enemmän muistia toimiakseen sujuvasti.
- Mini-mallit (270M - 4B): Ihanteellinen pienikokoisille tai liikkuville laitteille.
- Pienet mallit (4B - 14B): Tasapainoinen vaihtoehto kotikäyttäjälle.
- Keskikokoiset mallit (14B - 70B): Tässä tarvitaan kunnon laitteistoa.
- Suuret mallit (yli 70B): Vain koneille, joilla on jättimäiset resurssit.
Näytönohjaimen osalta NVIDIA-näytönohjaimella ja CUDA:lla, AMD-näytönohjaimella ja ROCm:lla tai Macilla ja Apple Metalilla on valtava ero, sillä se nopeuttaa tekstin luomista 5–10 kertaa verrattuna pelkän suorittimen käyttöön. Jos aiot ostaa laitteita, etsi näytönohjainta, jossa on vähintään 16 Gt VRAM-muistia, jotta muisti ei lopu nopeasti.
Vaiheittainen asennusopas
Ollaman asentaminen on yllättävän yksinkertaista ja se onnistuu muutamassa minuutissa käyttämästäsi käyttöjärjestelmästä riippuen:
Windowsissa lataa .exe-tiedosto viralliselta verkkosivustolta. Se asentuu yleensä käyttäjän AppData-kansioon. Kontteja suosivat voivat ottaa sen käyttöön myös Docker Desktopilla suorittamalla virallisen asennuskomennon terminaalissa.
Käyttäjille LinuxNopein tapa on käyttää terminaalia komennolla curl -fsSL https://ollama.com/install.sh | shAsennuksen jälkeen palvelu toimii yleensä taustalla. Jos sinun on muutettava mallien tallennuspaikkaa välttääksesi päälevyn täyttymisen, voit muokata ympäristömuuttujaa. UUNI_MALLIT systemd-palvelun määritystiedostossa.
En macOSAsennus on helppoa ladatun asennusohjelman avulla tai jopa käyttämällä brew install ollamaJärjestelmä hyödyntää automaattisesti Metallin kiihtyvyys Applen piisiruista.
Tekoälymallien hallinta ja suorittaminen
Kun Ollama-palvelin on aktiivinen (näet sen tehtäväpalkin kuvakkeessa), voit aloittaa mallien lataamisen. Peruskomento on ollama pull [nombre-del-modelo]vaikka jos käytät ollama run, systeemi lataa mallin automaattisesti jos sinulla ei ole sitä vielä.
Malleja on saatavilla useita eri luokkia tarpeidesi mukaan:
- Keskustelullinen: Llama 3 tai Mistral ovat täällä kuninkaita laadun ja nopeuden välisen tasapainonsa ansiosta.
- ohjelmointi: CodeLlama tai DeepSeek-Coder sopivat erinomaisesti koodin virheenkorjaukseen tai funktioiden luomiseen.
- Multimodaalinen (Visio): LLaVA:n kaltaiset mallit mahdollistavat kuvien lataamisen ja tekoälyn pyytämisen kuvailemaan niitä.
- Päättely (Ajattelu): Mallit, jotka on suunniteltu selittämään prosesseja askel askeleelta.
Vuorovaikutukseen pääset käyttämällä vain ollama run llama3 ja annat interaktiivisen kehotteen. Tässä istunnossa voit käyttää komentoja, kuten /? apua tai /bye Poistuaksesi. Jos haluat nähdä, mitä olet asentanut, ollama list Se antaa sinulle täydellisen luettelon ja ollama ps Voit tarkistaa, onko malli ladattu GPU:lle tai CPU:lle.
Lisäasetukset ja mukauttaminen
Jos olet kehittäjä, Ollama on kultakaivos, koska se tarjoaa REST-rajapinnan portissa 11434. Tämän avulla voit yhdistää paikallisen tekoälyn mihin tahansa sovellukseen. Se on yhteensopiva OpenAI-formaatin kanssa, joten voit integroida sen VS Codeen GitHub Copilotin kautta (BYOK-vaihtoehdolla) tai käyttää agentteja, kuten OpenCodea.
Toinen tehokas ominaisuus on Modelfile . Se on samanlainen kuin Dockerfile, mutta tekoälyä varten. Sen avulla voit luoda mukautetun version mallista määrittämällä tietyn järjestelmäkehotteen (esimerkiksi muuttamalla Llaman espanjalaisen lain asiantuntijaksi), säätämällä lämpötilaa luovemman tai tarkemman vaihtoehdon saavuttamiseksi ja tallentamalla määrityksen mukautetulla nimellä.
Niille, jotka etsivät ChatGPT:tä muistuttavampaa visuaalista käyttöliittymää, suosittelemme Open WebUI:n asentamista . Se muodostaa yhteyden Ollamaan taustajärjestelmänä ja tarjoaa täydellisen verkkokokemuksen keskusteluhistorian ja dokumenttien hallinnan kera, kaikki omassa paikallisverkossasi.
Optimointi- ja suorituskykyvinkkejä
Kun huomaat tekoälyn toimivan hitaasti, ensimmäinen askel on kvantisoinnin tarkistaminen . Tämä prosessi vähentää mallin painojen tarkkuutta (esimerkiksi 16 bitistä 4 tai 8 bittiin), mikä vähentää merkittävästi tarvittavan RAM-muistin määrää tinkimättä liikaa laadusta. Q4_K_M -malli on yleensä tasapaino suorituskyvyn ja tarkkuuden välillä.
Voit estää Ollamaa kuluttamasta resursseja, kun sitä ei käytetä, poistamalla automaattisen käynnistyksen käytöstä Windowsin Tehtävienhallinnassa. On myös hyödyllistä seurata VRAM-muistin käyttöä reaaliajassa, jotta voidaan selvittää, purkaako malli järjestelmämuistia , mikä hidastaa suorituskykyä merkittävästi.
Paikallisen infrastruktuurin hallinta demokratisoi tekoälyn käyttöä, poistaa tilausten taloudelliset esteet ja pilvipalvelun tietoturvariskit. Yhdistämällä Llama 3:n tai Mistralin kaltaisten mallien tehon Ollaman helppoon hallintaan kuka tahansa harrastaja tai yritys voi rakentaa oman yksityisen tekoälyekosysteeminsä , optimoida käytettävissä olevaa laitteistoa ja mukauttaa mallin toimintaa integroitujen mallitiedostojen ja API-rajapintojen avulla.