- Hem Raspberry Pi 4'ün hem de güçlü Model 5'in donanım özelliklerinin analizi.
- Üretken çıkarımı optimize etmek için AI HAT+ 2 gibi harici hızlandırıcıların araştırılması.
- Yerel nicelleştirilmiş modellerin kullanımı ile harici API altyapılarındaki desteğin karşılaştırılması.
- Ollama, llama.cpp ve Python ortamları gibi araçlar kullanılarak gerçekleştirilen uygulama metodolojileri.
Eğer evinizde, buluta bağımlı kalmadan ve tam gizlilik içinde çalışan JARVIS tarzı bir akıllı asistanınız olmasını hayal ettiyseniz, Raspberry Pi gibi küçük bir kartın bunu başarabileceğini merak etmişsinizdir. Kısa cevap evet, ancak deneyim , temel donanımı kullanmanıza veya özel hızlandırıcılarla ekstra güç eklemeye karar vermenize bağlı olarak büyük ölçüde değişir.
Uç bilişimde kapsamlı dil modelleri (LLM) çalıştırmak, işlemenin doğrudan cihaz üzerinde gerçekleşmesini sağlar. Bu, yalnızca aylık bulut hizmeti ücretlerini ortadan kaldırmakla kalmaz, aynı zamanda verilerinizin eviniz içinde kalmasını da sağlar; bu da ev ağı ve IoT güvenliğine önem veren ve dış kısıtlamalar olmadan yapay zeka ile deney yapmak isteyenler için çok önemlidir .
Donanım ve özellikler: Pi 4'ten Pi 5'e
Öncelikle, tüm kartların aynı kalitede olmadığını anlamak çok önemlidir. Raspberry Pi 4'te hafif modeller çalıştırmak mümkün olsa da, performans mütevazıdır. Ollama gibi araçlar kullanarak, terminal üzerinden sohbet etmenizi sağlayan tinydolphin gibi modelleri yükleyebilirsiniz . İlk önyükleme işlemi birkaç dakika sürebilir ve makine yanıt vermeden önce biraz "düşünme" süresi alabilir, ancak yazmaya başladıktan sonra, basit görevler için kabul edilebilir bir hızda çalışır.
Raspberry Pi 5'e geçildiğinde, daha güçlü ARM mimarisi sayesinde durum iyileşiyor. Burada RAM kritik faktör haline geliyor; 8 GB RAM sürümü şiddetle tavsiye edilir . Alanı optimize etmek için, modelin boyutunu küçülterek, çok fazla doğruluktan ödün vermeden belleğe sığmasını sağlayan niceleme teknikleri (int4 veya 4-bit gibi) kullanılır.
En talepkar kullanıcılar için Raspberry Pi AI HAT+ 2 geldi . Bu eklenti, Hailo-10H hızlandırıcıyı entegre ederek oyunun kurallarını değiştiriyor . Önceki HAT bilgisayar görüşüne (nesne tespiti veya sahne bölümlendirme) odaklanırken, yeni model özellikle üretken yapay zekadaki boşluğu doldurmak için tasarlandı ve 40 TOPS çıkarım performansı ve hızlandırıcıya özel olarak ayrılmış 8 GB RAM sunuyor.
Teknik uygulama ve yazılım
Pi 5'te tamamen yazılım tabanlı bir yaklaşım izlemeye karar verirseniz, lama.cpp Bu standart bir araçtır. Python bağlayıcıları aracılığıyla, GGUF formatındaki modeller (örneğin Orca-Mini-3B) yüklenebilir. İş akışı, sanal bir ortam oluşturmayı ve kurulumu içerir. llama-cpp-python İşlemci iş parçacıklarını ve kullanıcı istemlerini yönetmek için bir komut dosyası yapılandırın. Kartın çökmemesini izlemek için, aşağıdaki yöntemi kullanmak çok faydalıdır. mprofBu özellik, yürütme sırasında tüketilen en yüksek RAM belleğini analiz etmenizi sağlar.
AI HAT+ 2 satın alanlar için mimari daha sağlam hale geliyor. İdeal yaklaşım, Hailo çekirdek sürücüsünü ve ilgili çalışma zamanını kurmaktır. Pratiklik açısından, kart açıldığında otomatik olarak başlayan ve 8000 portunda Ollama uyumlu bir API sunan bir sistem hizmeti (systemd) olarak hailo-ollama'yı yapılandırmak önerilir.
Komut satırıyla sürekli uğraşmaktan kaçınmak için şunu yükleyebilirsiniz: WebUI'yi açınBu web arayüzü, Raspberry Pi'yi yerel ağdaki herhangi bir tarayıcıdan erişilebilen profesyonel bir sohbet sunucusuna dönüştürür. Yapılandırma işlemi şu şekildedir: OLLAMA_BASE_URL Doğrusu, Hailo donanımıyla iletişim kuran ve aşağıdaki gibi modellerin kullanımına olanak sağlayan akıcı bir arayüzümüz var: Qwen2 veya Qwen2.5-Coder Yerel programlama ve çeviri görevleri için.
Önerilen modeller ve optimizasyon
Gerçekçi olmak çok önemli: Raspberry Pi üzerinde çalışan 1 ila 7 milyar parametreye sahip bir model, milyarlarca parametreye sahip GPT-4 veya Claude ile genel bilgi konusunda rekabet edemez. Bununla birlikte, ince ayar yapıldığında küçük modeller mükemmel sonuçlar verebilir. AI HAT+ 2 , LoRA (Düşük Dereceli Uyarlama) kullanımına olanak tanır ; bu da tüm sistemi yeniden eğitmek zorunda kalmadan modeli çok özel bir görev için özelleştirebileceğiniz anlamına gelir.
- TinyDolphin: Çok düşük güç tüketimi nedeniyle Raspberry Pi 4 için idealdir.
- Orca-Mini-3B: llama.cpp kullanarak Pi 5 için sağlam bir denge ayarı.
- Qwen2 / Qwen2.5: Hailo-10H ekosistemi için optimize edilmiş, kod ve sohbet için ideal.
- VLM'ler (Görsel-Dil Modelleri): Raspberry Pi'nin kamerası tarafından gerçek zamanlı olarak yakalanan görüntüleri tanımlayabilme özelliğine sahiptir.
Eğer yerel performans bir üretim uygulaması için yetersiz kalıyorsa, hibrit bir alternatif mevcuttur. Yerel olarak geliştirme yapabilir ancak çıkarım işlemlerini SiliconFlow gibi harici API'lere devredebilirsiniz . Bu, mantığı Raspberry Pi üzerinde tutmanıza ancak bulut üzerinden son derece düşük maliyetlerle (milyon token başına) anında yanıtlar almanıza olanak tanır ve böylece cihazın aşırı ısınmasını veya yavaşlamasını önler.
Uç noktada bir yapay zeka düğümü kurmak, özellikle Ubuntu Server gibi dağıtımlardaki çekirdek bağımlılıkları nedeniyle sabır gerektirir. Resmi Raspberry Pi depolarını kullanmak , her şeyi sıfırdan derlemekten genellikle daha kararlıdır. Ekosistem hala biraz olgunlaşmamış gibi görünse ve GenAI paket sürümleri ile resmi belgeler arasında tutarsızlıklar olsa da, sonuçta sessiz, özel ve son derece çok yönlü bir sistem elde edilir; bu sistem, kartı ev otomasyonu için kendi kendine yeten bir beyne dönüştürür.
