Jūs droši vien jau esat iepazinušies ar tādiem rīkiem kā ChatGPT, Claude vai Gemini. Lai gan tie ir lieliski, tiem ir viens āķis: tie darbojas mākonī. Tas nozīmē, ka katrs jūsu ierakstītais vārds nonāk uzņēmuma serveros, kas var radīt nopietnu privātuma risku, ja apstrādājat sensitīvus datus vai strādājat nozarēs, kur likums aizliedz informācijas izplatīšanos ārpus biroja.
Šeit noder Ollama — lietojumprogramma, kas būtībā pārvērš jūsu datoru par mākslīgā intelekta nervu centru . Aizmirstiet par ikmēneša abonementiem un paļaušanos uz stabilu interneta savienojumu; ar šo rīku varat lejupielādēt atvērtā pirmkoda modeļus un palaist tos tieši savā aparatūrā, saglabājot pilnīgu kontroli pār saviem datiem.
Kas īsti ir Ollama un kādas ir tā priekšrocības?
Ollama ir atvērtā pirmkoda programmatūra, kas darbojas kā klients lielu valodu modeļu (LLM) pārvaldībai. Tās galvenā priekšrocība ir tā, ka tā vienkāršo tehnisko sarežģītību , apstrādā GPU optimizāciju un atmiņas pārvaldību, tāpēc jums tikai jāizpilda komanda un jāsāk tērzēt.
Priekšrocības ir acīmredzamas. Pirmkārt, privātums ir absolūts, jo nekas neiziet no jūsu datora. Otrkārt, jūs ietaupāt uz API tokena izmaksām vai Plus plānu ikmēneša maksu. Un, treškārt, kad veidne ir jūsu cietajā diskā, varat to izmantot pilnīgi bezsaistē , kas ir ideāli piemērots lidmašīnā vai vietās ar sliktu tīkla pārklājumu.
Tomēr ne viss ir tik spoži kā saule un varavīksne. Galvenais trūkums ir tas, ka nepieciešama jaudīga aparatūra . Ja mēģināsiet palaist milzīgu modeli datorā ar mazu RAM, reakcija būs tik lēna, ka jums būs laiks pagatavot kafiju, pirms tas pabeigs savu teikumu. Turklāt mākslīgais intelekts zina tikai to, ko tas ir iemācījies līdz apmācības datumam, tāpēc tam nav piekļuves jaunākajām ziņām reāllaikā.
Sistēmas prasības un ieteicamā aparatūra
Lai izvairītos no nepatīkamas pieredzes, jums vajadzētu apskatīt savas komponentes. Vissvarīgākais resurss ir jūsu grafikas kartes RAM un VRAM . Parasti 1.5B modelis aizņem aptuveni 1 GB vietas, taču tam ir nepieciešams vairāk atmiņas, lai darbotos nevainojami.
- Mini modeļi (no 270M līdz 4B): Ideāli piemērots nelielam vai mobilam aprīkojumam.
- Mazie modeļi (no 4B līdz 14B): Sabalansēta izvēle mājas lietotājam.
- Vidējie modeļi (no 14B līdz 70B): Šeit jums ir nepieciešama nopietna aparatūra.
- Lieli modeļi (virs 70 B): Tikai mašīnām ar gigantiskiem resursiem.
Runājot par grafisko procesoru (GPU), NVIDIA karte ar CUDA, AMD karte ar ROCm vai Mac ar Apple Metal ievērojami paātrina teksta ģenerēšanu 5 līdz 10 reizes, salīdzinot ar tikai centrālā procesora izmantošanu. Ja plānojat iegādāties aprīkojumu, meklējiet grafikas kartes ar vismaz 16 GB VRAM, lai tā ātri nepietrūktu.
Soli pa solim instalēšanas rokasgrāmata
Ollama instalēšana ir pārsteidzoši vienkārša un to var paveikt dažu minūšu laikā atkarībā no izmantotās operētājsistēmas:
Operētājsistēmā Windows vienkārši lejupielādējiet .exe failu no oficiālās vietnes. Tas parasti tiks instalēts lietotāja AppData mapē. Tiem, kas dod priekšroku konteineriem, to var arī izvietot, izmantojot Docker Desktop, terminālī palaižot oficiālo instalēšanas komandu.
Lietotājiem LinuxĀtrākais veids ir izmantot termināli ar komandu curl -fsSL https://ollama.com/install.sh | shPēc instalēšanas pakalpojums parasti darbojas fonā. Ja vēlaties mainīt modeļu glabāšanas vietu, lai neaizpildītu galveno disku, varat rediģēt vides mainīgo. CEPEŠKRĀSNIS_MODEĻI systemd pakalpojuma konfigurācijas failā.
En macOSInstalēšana ir vienkārša, izmantojot lejupielādēto instalētāju vai pat izmantojot brew install ollamaSistēma automātiski izmantos priekšrocības, ko sniedz Metāla paātrinājums Apple Silicon mikroshēmu.
Kā pārvaldīt un palaist mākslīgā intelekta modeļus
Kad Ollama serveris ir aktīvs (to redzēsiet uzdevumjoslas ikonā), varat sākt modeļu lejupielādi. Pamatkomanda ir ollama pull [nombre-del-modelo]lai gan, ja jūs izmantojat ollama run, sistēma modelis tiks lejupielādēts automātiski ja jums tā vēl nav.
Atkarībā no jūsu vajadzībām ir pieejamas dažādas modeļu kategorijas:
- Sarunvalodas: Lama 3 jeb Mistral šeit ir karaļi, pateicoties to kvalitātes un ātruma līdzsvaram.
- Programmēšana: CodeLlama vai DeepSeek-Coder ir ideāli piemēroti koda atkļūdošanai vai funkciju ģenerēšanai.
- Multimodāls (redze): Tādi modeļi kā LLaVA ļauj augšupielādēt attēlus un lūgt mākslīgajam intelektam tos aprakstīt.
- Spriešana (domāšana): Modeļi, kas izstrādāti, lai soli pa solim izskaidrotu procesus.
Lai mijiedarbotos, vienkārši izmantojiet ollama run llama3 un jūs ievadīsiet interaktīvu uzvedni. Šajā sesijā varat izmantot tādas komandas kā /? pēc palīdzības vai /bye Lai izietu. Ja vēlaties redzēt, kas ir instalēts, ollama list Tas sniegs jums pilnu sarakstu un ollama ps Varat pārbaudīt, vai modelis ir ielādēts GPU vai CPU.
Papildu iestatījumi un pielāgošana
Ja esat izstrādātājs, Ollama ir zelta raktuve, jo tas nodrošina REST API piekļuvi 11434. portam. Tas ļauj savienot lokālo mākslīgo intelektu ar jebkuru lietojumprogrammu. Tas ir saderīgs ar OpenAI formātu, tāpēc varat to integrēt VS Code, izmantojot GitHub Copilot (izmantojot BYOK opciju), vai izmantot aģentus, piemēram, OpenCode.
Vēl viena jaudīga funkcija ir Modelfile . Tas ir līdzīgs Dockerfile, bet paredzēts mākslīgajam intelektam. Tas ļauj izveidot pielāgotu modeļa versiju, definējot konkrētu sistēmas uzvedni (piemēram, pārvēršot Lamu par Spānijas tiesību ekspertu), pielāgojot temperatūru, lai padarītu to radošāku vai precīzāku, un saglabājot šo konfigurāciju ar pielāgotu nosaukumu.
Tiem, kas meklē vizuālu saskarni, kas līdzīgāka ChatGPT, iesakām instalēt Open WebUI . Tā izveido savienojumu ar Ollama kā aizmugursistēmu un nodrošina pilnīgu tīmekļa pieredzi ar tērzēšanas vēsturi un dokumentu pārvaldību, kas viss darbojas jūsu lokālajā tīklā.
Optimizācijas un veiktspējas padomi
Kad pamanāt, ka mākslīgais intelekts darbojas lēni, pirmais solis ir pārbaudīt kvantizāciju . Šis process samazina modeļa svaru precizitāti (piemēram, no 16 bitiem līdz 4 vai 8 bitiem), kas ievērojami samazina nepieciešamo RAM apjomu, neupurējot pārāk daudz kvalitātes. Q4_K_M modelis parasti ir optimālais parametrs starp veiktspēju un precizitāti.
Lai neļautu Ollama patērēt resursus, kad tas netiek lietots, Windows uzdevumu pārvaldniekā varat atspējot automātisko startēšanu . Ir arī noderīgi uzraudzīt VRAM izmantošanu reāllaikā, lai noteiktu, vai modelis neizslogo sistēmas RAM, kas ievērojami palēnina veiktspēju.
Lokālās infrastruktūras kontrole demokratizē mākslīgā intelekta izmantošanu, novēršot abonēšanas ekonomiskos šķēršļus un mākoņa drošības riskus. Apvienojot tādu modeļu kā Llama 3 vai Mistral jaudu ar Ollama pārvaldības vienkāršību, jebkurš entuziasts vai uzņēmums var izveidot savu privāto mākslīgā intelekta ekosistēmu , optimizējot pieejamo aparatūru un pielāgojot modeļa darbību, izmantojot integrētus modeļu failus un API.