Muhtemelen ChatGPT, Claude veya Gemini gibi araçlara zaten aşinasınızdır. Bunlar harika araçlar olsa da, bir dezavantajı var: bulutta çalışıyorlar. Bu, yazdığınız her kelimenin bir şirketin sunucularına gittiği anlamına gelir; bu da hassas verilerle çalışıyorsanız veya bilgilerin ofis dışına çıkmasının yasalarca yasaklandığı sektörlerde çalışıyorsanız ciddi bir gizlilik riski oluşturabilir.
İşte tam bu noktada Ollama devreye giriyor; bu uygulama, bilgisayarınızı yapay zekanın sinir merkezine dönüştürüyor . Aylık abonelikleri ve istikrarlı bir internet bağlantısına güvenmeyi unutun; bu araçla, açık kaynaklı modelleri indirebilir ve kendi donanımınızda doğrudan çalıştırarak verileriniz üzerinde tam kontrol sahibi olabilirsiniz.
Ollama tam olarak nedir ve avantajları nelerdir?
Ollama, büyük dil modellerini (LLM) yönetmek için istemci görevi gören açık kaynaklı bir yazılımdır. Başlıca avantajı, teknik karmaşıklığı basitleştirmesi , GPU optimizasyonu ve bellek yönetimini üstlenmesidir; böylece yalnızca bir komut çalıştırmanız ve sohbete başlamanız yeterlidir.
Avantajlar açık. Birincisi, hiçbir şey bilgisayarınızdan dışarı çıkmadığı için gizlilik mutlak . İkincisi, API token maliyetlerinden veya Plus planlarının aylık ücretlerinden tasarruf edersiniz. Üçüncüsü, şablon sabit diskinize kaydedildikten sonra, tamamen çevrimdışı olarak kullanabilirsiniz ; bu da uçakta veya zayıf ağ kapsama alanına sahip yerlerdeyken idealdir.
Ancak her şey güllük gülistanlık değil. En büyük dezavantajı, güçlü donanıma ihtiyaç duymanızdır . Az RAM'e sahip bir bilgisayarda büyük bir modeli çalıştırmaya çalışırsanız, yanıt o kadar yavaş olur ki, cümlesini bitirmeden önce kahve yapmaya vaktiniz olur. Dahası, yapay zeka yalnızca eğitim tarihine kadar öğrendiklerini bilir, bu nedenle gerçek zamanlı son dakika haberlerine erişimi yoktur.
Sistem gereksinimleri ve önerilen donanım
Hayal kırıklığı yaşamamak için bileşenlerinize bir göz atmalısınız. En kritik kaynak, ekran kartınızın RAM ve VRAM'idir . Genel bir kural olarak, 1.5B model yaklaşık 1 GB yer kaplar, ancak sorunsuz çalışması için daha fazla belleğe ihtiyaç duyar.
- Mini Modeller (270M - 4B): Küçük veya taşınabilir ekipmanlar için idealdir.
- Küçük Modeller (4B - 14B): Ev kullanıcıları için dengeli bir seçenek.
- Orta Boy Modeller (14B - 70B): Burada ciddi donanıma ihtiyacınız var.
- Büyük Boy Modeller (70B üzeri): Sadece devasa kaynaklara sahip makineler için.
GPU'ya gelince, CUDA'lı bir NVIDIA kartı, ROCm'li bir AMD kartı veya Apple Metal'li bir Mac kullanmak, yalnızca CPU kullanmaya kıyasla metin oluşturmayı 5 ila 10 kat hızlandırarak büyük bir fark yaratır . Ekipman satın alacaksanız, kısa sürede yetersiz kalmaması için en az 16 GB VRAM'e sahip grafik kartları arayın.
Adım adım kurulum kılavuzu
Ollama'yı kurmak şaşırtıcı derecede basittir ve kullandığınız işletim sistemine bağlı olarak birkaç dakika içinde tamamlanabilir:
Windows'ta , resmi web sitesinden .exe dosyasını indirmeniz yeterlidir. Genellikle kullanıcının AppData klasörüne yüklenir. Konteynerleri tercih edenler için, terminalde resmi kurulum komutunu çalıştırarak Docker Desktop üzerinden de dağıtım yapılabilir.
Kullanıcıları için LinuxEn hızlı yol, terminali komut satırı aracıyla kullanmaktır. curl -fsSL https://ollama.com/install.sh | shKurulum tamamlandıktan sonra, servis genellikle arka planda çalışır. Ana diskinizin dolmasını önlemek için modellerin depolandığı yeri değiştirmeniz gerekiyorsa, ortam değişkenini düzenleyebilirsiniz. FIRIN_MODELLERİ systemd hizmeti yapılandırma dosyasında.
En macOSİndirilen yükleyiciyi kullanarak veya hatta aşağıdaki yöntemleri kullanarak kurulum oldukça kolaydır. brew install ollamaSistem otomatik olarak bundan faydalanacaktır. Metal hızlandırma Apple Silicon çiplerinin.
Yapay zeka modelleri nasıl yönetilir ve çalıştırılır?
Ollama sunucusu aktif hale geldikten sonra (görev çubuğundaki simgede göreceksiniz), modelleri indirmeye başlayabilirsiniz. Temel komut şudur: ollama pull [nombre-del-modelo]ancak kullanırsanız ollama run, sistem modeli otomatik olarak indirecektir. henüz sahip değilseniz.
İhtiyaçlarınıza bağlı olarak çeşitli model kategorileri mevcuttur:
- Konuşma tarzında: Llama 3 veya Mistral, kalite ve hız arasındaki denge nedeniyle burada en iyiler arasında yer alıyor.
- Programlama: CodeLlama veya DeepSeek-Coder, kodda hata ayıklamak veya fonksiyon oluşturmak için idealdir.
- Çok Modlu (Görsel): LLaVA gibi modeller, görselleri yüklemenize ve yapay zekadan bunları tanımlamasını istemenize olanak tanır.
- Akıl yürütme (Düşünme): Süreçleri adım adım açıklamak için tasarlanmış modeller.
Etkileşim kurmak için, şunu kullanmanız yeterlidir: ollama run llama3 ve etkileşimli bir komut istemine gireceksiniz. Bu oturumda, aşağıdaki gibi komutları kullanabilirsiniz: /? yardım için veya /bye Çıkmak için. Yüklediğiniz şeyleri görmek istiyorsanız, ollama list Size eksiksiz listeyi verecek ve bununla birlikte ollama ps Modelin olup olmadığını kontrol edebilirsiniz. GPU veya CPU'ya yüklendi.
Gelişmiş ayarlar ve özelleştirme
Eğer bir geliştiriciyseniz, Ollama tam bir altın madeni çünkü 11434 numaralı portta bir REST API sunuyor . Bu sayede yerel yapay zekayı herhangi bir uygulamaya bağlayabilirsiniz. OpenAI formatıyla uyumlu olduğu için, GitHub Copilot (BYOK seçeneğini kullanarak) aracılığıyla VS Code'a entegre edebilir veya OpenCode gibi aracıları kullanabilirsiniz.
Bir diğer güçlü özellik ise Modelfile'dır . Dockerfile'a benzer ancak yapay zeka içindir. Belirli bir Sistem Komutu tanımlayarak (örneğin, Llama'yı İspanyol hukuku uzmanı haline getirerek), sıcaklığı daha yaratıcı veya daha hassas hale getirmek için ayarlayarak ve bu yapılandırmayı özel bir ad altında kaydederek bir modelin özelleştirilmiş bir sürümünü oluşturmanıza olanak tanır.
ChatGPT'ye daha benzer bir görsel arayüz arayanlar için Open WebUI'yi kurmanızı öneririz . Ollama'ya arka uç olarak bağlanır ve sohbet geçmişi ve belge yönetimi de dahil olmak üzere eksiksiz bir web deneyimi sunar; bunların hepsi kendi yerel ağınızda çalışır.
Optimizasyon ve performans ipuçları
Yapay zekanın yavaş çalıştığını fark ettiğinizde, ilk adım nicelemeyi kontrol etmektir . Bu işlem, modelin ağırlıklarının hassasiyetini azaltır (örneğin 16 bitten 4 veya 8 bite), bu da kaliteyi çok fazla feda etmeden gereken RAM miktarını önemli ölçüde azaltır. Q4_K_M modeli genellikle performans ve hassasiyet arasında en uygun noktadır.
Ollama'nın kullanılmadığı zamanlarda kaynak tüketmesini önlemek için, Windows Görev Yöneticisi'nde otomatik başlatmayı devre dışı bırakabilirsiniz. Ayrıca, modelin sistem RAM'ini boşaltıp boşaltmadığını belirlemek için VRAM kullanımını gerçek zamanlı olarak izlemek de faydalıdır ; bu durum performansı önemli ölçüde yavaşlatır.
Yerel altyapının kontrolü, yapay zekanın kullanımını demokratikleştirerek aboneliklerin ekonomik engellerini ve bulutun güvenlik risklerini ortadan kaldırır. Llama 3 veya Mistral gibi modellerin gücünü Ollama'nın yönetim kolaylığıyla birleştirerek, herhangi bir meraklı veya şirket, mevcut donanımı optimize ederek ve entegre Model dosyaları ve API'ler aracılığıyla model davranışını özelleştirerek kendi özel yapay zeka ekosistemini kurabilir.