Olet luultavasti jo perehtynyt työkaluihin, kuten ChatGPT, Claude tai Gemini. Vaikka ne ovat mahtavia, niissä on yksi pieni haittapuoli: ne toimivat pilvessä. Tämä tarkoittaa, että jokainen kirjoittamasi sana matkustaa yrityksen palvelimille, mikä voi olla hieman hankalaa. vakava yksityisyysongelma jos käsittelet luottamuksellisia tietoja tai työskentelet aloilla, joilla laki kieltää tietojen poistumisen toimiston ulkopuolelle.
Tässä kohtaa Ollama astuu kuvaan, sovellus, joka muuttaa tietokoneesi käytännössä Tekoälyn hermokeskusUnohda kuukausitilaukset ja vakaan internetyhteyden varaan luottaminen; tällä työkalulla voit ladata avoimen lähdekoodin malleja ja suorittaa niitä suoraan omalla laitteistollasi säilyttäen täydellisen hallinnan tietojesi yli.
Mitä Ollama tarkalleen ottaen on ja mitkä ovat sen edut?
Ollama on avoimen lähdekoodin ohjelmisto, joka toimii laajojen kielimallien (LLM) hallintaohjelmana. Sen tärkein vahvuus on, että yksinkertaistaa teknistä monimutkaisuutta, huolehtien GPU-optimoinnista ja muistinhallinnasta, joten sinun tarvitsee suorittaa vain yksi komento ja aloittaa keskustelu.
Edut ovat selvät. Ensinnäkin Yksityisyys on täydellinen Koska mikään ei poistu koneeltasi. Toiseksi säästät API-token-kustannuksissa tai kuukausittaisissa Plus-sopimuksen maksuissa. Ja kolmanneksi, kun malli on kiintolevylläsi, voit käyttää sitä. täysin offline-tilassaIhanteellinen lentokoneessa tai paikoissa, joissa on huono kuuluvuus.
Kaikki ei kuitenkaan ole pelkkää auringonpaistetta ja ruusuja. Suurin haittapuoli on se, että Tarvitset tehokkaan laitteistonJos yrität ajaa valtavaa mallia tietokoneella, jossa on vähän RAM-muistia, vasteaika on niin hidas, että ehdit tehdä kahvin ennen kuin se saa lauseen valmiiksi. Lisäksi tekoäly tietää vain sen, mitä se on oppinut koulutuspäiväänsä mennessä, joten sillä ei ole pääsyä uutisiin reaaliajassa.
Järjestelmävaatimukset ja suositeltu laitteisto
Välttääksesi turhauttavan kokemuksen, sinun kannattaa tarkistaa komponentit. Tärkein resurssi on RAM- ja VRAM-muistit näytönohjaimestasi. Yleissääntönä on, että 1.5 B:n malli vie noin 1 Gt tilaa, mutta tarvitsee enemmän muistia toimiakseen sujuvasti.
- Mini-mallit (270M - 4B): Ihanteellinen pienikokoisille tai liikkuville laitteille.
- Pienet mallit (4B - 14B): Tasapainoinen vaihtoehto kotikäyttäjälle.
- Keskikokoiset mallit (14B - 70B): Tässä tarvitaan kunnon laitteistoa.
- Suuret mallit (yli 70B): Vain koneille, joilla on jättimäiset resurssit.
Näytönohjaimen osalta NVIDIA ja CUDA, AMD ja ROCm tai Mac ja Apple Metal tekevät valtavan eron, koska se nopeuttaa tekstin luomista. 5–10 kertaa Pelkän suorittimen käytöstä: Jos aiot ostaa laitteita, etsi näytönohjaimia, joissa on vähintään 16 Gt VRAM-muistia, jotta se ei lopu nopeasti.
Vaiheittainen asennusopas
Ollaman asentaminen on yllättävän yksinkertaista ja se onnistuu muutamassa minuutissa käyttämästäsi käyttöjärjestelmästä riippuen:
En WindowsLataa .exe-tiedosto viralliselta verkkosivustolta. Se asentuu yleensä käyttäjän AppData-kansioon. Kontteja suosivat voivat asentaa sen myös käyttämällä Telakkatyöpöytä, suorittamalla virallisen asennuskomennon terminaalissa.
Käyttäjille LinuxNopein tapa on käyttää terminaalia komennolla curl -fsSL https://ollama.com/install.sh | shAsennuksen jälkeen palvelu toimii yleensä taustalla. Jos sinun on muutettava mallien tallennuspaikkaa välttääksesi päälevyn täyttymisen, voit muokata ympäristömuuttujaa. UUNI_MALLIT systemd-palvelun määritystiedostossa.
En macOSAsennus on helppoa ladatun asennusohjelman avulla tai jopa käyttämällä brew install ollamaJärjestelmä hyödyntää automaattisesti Metallin kiihtyvyys Applen piisiruista.
Tekoälymallien hallinta ja suorittaminen
Kun Ollama-palvelin on aktiivinen (näet sen tehtäväpalkin kuvakkeessa), voit aloittaa mallien lataamisen. Peruskomento on ollama pull [nombre-del-modelo]vaikka jos käytät ollama run, systeemi lataa mallin automaattisesti jos sinulla ei ole sitä vielä.
Malleja on saatavilla useita eri luokkia tarpeidesi mukaan:
- Keskustelullinen: Llama 3 tai Mistral ovat täällä kuninkaita laadun ja nopeuden välisen tasapainonsa ansiosta.
- ohjelmointi: CodeLlama tai DeepSeek-Coder sopivat erinomaisesti koodin virheenkorjaukseen tai funktioiden luomiseen.
- Multimodaalinen (Visio): LLaVA:n kaltaiset mallit mahdollistavat kuvien lataamisen ja tekoälyn pyytämisen kuvailemaan niitä.
- Päättely (Ajattelu): Mallit, jotka on suunniteltu selittämään prosesseja askel askeleelta.
Vuorovaikutukseen pääset käyttämällä vain ollama run llama3 ja annat interaktiivisen kehotteen. Tässä istunnossa voit käyttää komentoja, kuten /? apua tai /bye Poistuaksesi. Jos haluat nähdä, mitä olet asentanut, ollama list Se antaa sinulle täydellisen luettelon ja ollama ps Voit tarkistaa, onko malli ladattu GPU:lle tai CPU:lle.
Lisäasetukset ja mukauttaminen
Jos olet kehittäjä, Ollama on kultakaivos, koska se paljastaa REST-rajapinta portissa 11434Tämän avulla voit yhdistää paikallisen tekoälyn mihin tahansa sovellukseen. Se on yhteensopiva OpenAI-formaatin kanssa, joten voit integroida sen VS Codeen GitHub Copilotin kautta (BYOK-vaihtoehdolla) tai käyttää agentteja, kuten OpenCodea.
Toinen tehokas ominaisuus on MallitiedostoSe on samanlainen kuin Dockerfile, mutta tekoälyä varten. Sen avulla voit luoda mukautetun version mallista määrittelemällä Järjestelmäkehote tiettyä (esimerkiksi Laaman muuttamista Espanjan lain asiantuntijaksi), säädä lämpötilaa luovemmaksi tai tarkemmaksi ja tallenna määritys oikealla nimellä.
Niille, jotka etsivät visuaalista käyttöliittymää, joka muistuttaa enemmän ChatGPT:tä, suositellaan asentamista Avaa WebUISe yhdistyy Ollamaan taustajärjestelmänä ja tarjoaa sinulle täydellisen verkkokokemuksen keskusteluhistorian ja dokumenttienhallinnan kera, kaikki omassa paikallisverkossasi.
Optimointi- ja suorituskykyvinkkejä
Kun huomaat tekoälyn olevan hidas, ensimmäinen askel on tarkistaa kvantisointiTämä prosessi vähentää mallin painojen tarkkuutta (esimerkiksi 16 bitistä 4 tai 8 bittiin), mikä vähentää merkittävästi tarvittavaa RAM-muistia tinkimättä liikaa laadusta. Q4_K_M Se on yleensä tasapaino suorituskyvyn ja tarkkuuden välillä.
Voit estää Ollamaa kuluttamasta resursseja, kun et käytä sitä, poistamalla käytöstä automaattinen käynnistys Windowsin Tehtävienhallinnassa. On myös hyödyllistä seurata VRAM-muistin käyttöä reaaliajassa, jotta nähdään, tekeekö malli purkaminen järjestelmän RAM-muistiin, mikä hidastaa vasteaikaa merkittävästi.
Paikallisen infrastruktuurin hallinta demokratisoi tekoälyn käyttöä, poistaen tilausten taloudelliset esteet ja pilvipalvelun tietoturvariskit. Yhdistämällä Llama 3:n tai Mistralin kaltaisten mallien tehon Ollaman helppoon hallintaan, kuka tahansa harrastaja tai yritys voi perustaa oman. yksityinen tekoälyekosysteemi, optimoimalla käytettävissä olevaa laitteistoa ja mukauttamalla mallien toimintaa Modelfiles-tiedostojen ja integroitujen API-rajapintojen avulla.