Yerel yapay zeka ve otomasyon: ajanlar, güvenlik ve gerçek dünya örnekleri

Informatec Dijital » Ücretsiz Destekler » Yerel yapay zeka ve otomasyon: ajanlar, güvenlik ve gerçek dünya örnekleri

La Yerel yapay zeka ile otomasyon Bu, artık sadece ev sunucularına sahip teknoloji meraklıları için olmaktan çıkıp, daha fazla kontrol, gizlilik ve esneklik isteyen herkes için gerçek bir seçenek haline geliyor. Bugün, ekranınızı okuyabilen, farenizi hareket ettirebilen, dosyalarınızla çalışabilen veya arka planda karmaşık iş akışlarını yürütebilen ajanlara sahip olmak için artık tamamen büyük bir şirketin bulutuna bağımlı değilsiniz.

Durum kontrolden çıktı: NVIDIA'nın NemoClaw'ı gibi tam yığınlı işlemciler Kendi donanımınızda çalışan otonom ajanlardan, doğal dili telefon otomasyonlarına dönüştüren PocketBot gibi mobil uygulamalara, OpenClaw gibi açık platformlara, Jan AI gibi asistanlara ve Ollama ve Open WebUI ile kendi "ev yapımı ChatGPT"nizi kurmak için pratik kılavuzlara kadar, amaç aynı: Yapay zekanın bilgisayarınızda yaşadığı, programlarınızla etkileşim kurduğu ve verilerinizi sisteminizden çıkarmadan günlük görevlerinizi otomatikleştirdiği bir ekosistem oluşturmak.

Yerel yapay zeka otomasyonu nedir ve neden önemlidir?

Biz konuşurken Otomasyon için yerel yapay zekaBurada, hassas verileri harici sunuculara göndermeden kendi cihazınızda (PC, sunucu, DGX, mobil) çalışan modeller ve ajanlardan bahsediyoruz. Model kararlar alır, kod yürütür, dosyaları okur, API'leri çağırır ve araçları koordine eder, ancak her şey sizin kontrolünüz altındaki ortamda gerçekleşir.

Evrim çarpıcı oldu: Sadece soruları yanıtlayan basit sohbet botlarından, çok daha gelişmiş teknolojilere geçtik. Görev zincirlerini yürütebilen yapay zeka ajanlarıBirden fazla adımı koordine etmek, farklı veri kaynaklarına danışmak ve özerk kararlar almak. Bu, otomasyonu anlama biçimimizi tamamen değiştirdi: model artık sadece "cevap veren" değil, "harekete geçen"dir.

Bu değişikliğin bariz bir sonucu var: Daha fazla özerklik, daha fazla risk anlamına gelir.Bir ajana dosya sistemine, kimlik bilgilerinize, tarayıcınıza veya geliştirme araçlarınıza erişim izni verirseniz, sağlam bir güvenlik tasarımına ihtiyacınız vardır. İşte bu noktada yerel yaklaşımlar öne çıkar, çünkü izinleri kısıtlayabilir, süreçleri izole edebilir ve modelin herhangi bir anda ne yaptığını yakından izleyebilirsiniz.

Buna ek olarak, Apache-2.0 veya MIT gibi ücretsiz lisanslara sahip açık kaynaklı modeller. (Birçok Falcon, Bark, Jan vb. çözümünde olduğu gibi) sözleşmelere veya şeffaf olmayan kullanım politikalarına bağlı kalmadan çözümler geliştirmenize olanak tanırlar. Kodu denetleyebilir, modeli ayarlayabilir, ince ayarlar uygulayabilir ve hatta A100 GPU'lar veya NVIDIA DGX iş istasyonları gibi belirli donanımlarla entegre edebilirsiniz.

Pek çok sektör için (sağlık, bankacılık, hukuk, kamu yönetimi), Gizlilik ve güvenli depolama Kutsaldır, şu ikisinin birleşimi Yerel yapay zeka + otonom ajanlar + açık modeller Bu bir fark yaratıyor: Otomasyonu kullanıyorsunuz, ancak veriler sizin sınırlarınızın dışına çıkmıyor.

Gelişmiş otomasyon için yerel yapay zeka yığınları: NemoClaw, OpenShell ve OpenClaw

NVIDIA bu alana güçlü bir giriş yaptı. NemoClawBu, otonom ajanları yerel olarak güvenli bir şekilde dağıtmak ve her zaman çalışır durumda olmalarını sağlamak için tasarlanmış açık kaynaklı bir yazılım yığınıdır. NVIDIA DGX Spark gibi güçlü makinelerde çalışacak şekilde tasarlanmıştır, ancak felsefesi diğer sertifikalı ortamlara da uygulanabilir.

NemoClaw şu şekilde hareket eder: capa de orquestaciónOpenShell (güvenlik çalışma ortamı) ve OpenClaw'ı (çok kanallı ajan çerçevesi) kurar ve koordine eder, model çıkarımını (Ollama veya NVIDIA NIM aracılığıyla) yapılandırır ve güvenlik politikalarını son dakika yaması olarak değil, baştan itibaren uygular.

Yığın yapısının merkezinde genellikle şu bulunur: NVIDIA Nemotron 3 Super 120BAjanlar için optimize edilmiş, 120.000 milyar parametreye sahip bir model: karmaşık talimatları takip etmede, araçları kullanmada ve çok adımlı akıl yürütmede çok başarılı. Ancak, bu büyüklükte bir şeyi çalıştırmak için ciddi bir GPU'ya ve çok miktarda belleğe ihtiyacınız var; yalnızca model için yaklaşık 87 GB'tan bahsediliyor.

Çıkarım genellikle şu şekilde sunulur: Ollama yerel çalışma zamanı olarakBu, makinenin kendisinde bir REST API'si sunar. NemoClaw, komut istemleri göndermek, yanıtlar almak ve araç çağırma modelini kullanarak araç çağrılarını koordine etmek için bu API ile iletişim kurar.

Bileşen OpenShell, güvenlik açısından kilit öneme sahiptir.Bu sistem, sanal ortamda çalışma (sandboxing) sağlar, kimlik bilgilerini kontrol eder, ağ proxy'si görevi görür ve en az ayrıcalık ilkesini uygular. Aracının denediği bağlantıları izler ve TUI benzeri bir arayüzden uç noktaları onaylamanıza veya engellemenize olanak tanır. Bu sayede, model yeni bir hizmete erişmeye çalıştığında, sizin onayınız olmadan hiçbir şey olmaz.

Kum havuzunun içinde yaşayanlar OpenClaw, çok kanallı aracı katmanıTelegram, Slack ve Discord gibi platformlarla iletişimi yönetir, asistanın belleğini kontrol eder, araçları (komut dosyaları, API'ler, tarayıcılar) birbirine bağlar ve konuşmayı uzun vadeli olarak sürdürür. Mesajlaşma yoluyla erişilebilen ve kalıcı belleğe sahip, her zaman aktif bir asistana ihtiyacınız varsa, bunu mümkün kılan bileşen budur.

Güvenlik, sanal ortam oluşturma ve yerel dağıtım adımları

Bu yığının en büyük güçlü yönlerinden biri şudur ki... Güvenlik, tasarım aşamasından itibaren dikkate alınır.Sonradan eklenmedi. Ajan projelerinde yapılan tipik hata, önce tüm işlevleri oluşturmak ve ardından zaten oluşturulmuş olanı "korumaya" çalışmaktır; bu da her yerde açıklar yaratır.

Merkezi mekanizma şudur: yürütme sanal alanıAracının çalıştırmak istediği tüm kodlar, yalıtılmış bir ortamda çalışır: ana bilgisayarın dosya sistemine doğrudan erişimi yoktur, rastgele ağ çağrıları yapamaz ve yapılandırmada tanımlananın ötesinde ayrıcalıkları yükseltemez.

Bu, etkisini büyük ölçüde azaltır. hızlı enjeksiyon saldırıları veya kötü amaçlı talimatlar. Model alışılmadık bir şey yapmaya karar verirse, hasar sanal alan içinde sınırlı kalır. Yine de NVIDIA, hiçbir sanal alanın mükemmel olmadığını kabul ediyor ve bu nedenle yeni araçları her zaman izole sistemlerde test etmeyi öneriyor.

Ek olarak, NemoClaw şunları uygular: Araçların ve politikaların gerçek zamanlı olarak ayrıntılı kontrolüVarsayılan olarak, aracı yalnızca sınırlı sayıda ağ uç noktasıyla iletişim kurabilir. Yeni bir şey denediğinde, OpenShell bunu engeller ve tam olarak ne yapmaya çalıştığını (ana bilgisayar, bağlantı noktası, işlem) görebilirsiniz. Ardından, o oturum için onaylayabilir veya ana bilgisayara kalıcı bir politika ekleyebilirsiniz.

DGX Spark'ta dağıtım akışı tipik olarak şu adımları izler: yapılandırma NVIDIA sürücüleriyle Ubuntu 24.04 LTS ardından bilgisayar montaj kılavuzuGPU çalışma ortamı ile Docker 28.xo veya daha üst sürümünü kurun, Ollama'yı yükleyin ve Nemotron 3 Super 120B modelini indirin, son olarak da yapılandırma sihirbazını tetikleyen tek bir komutla NemoClaw kurulumunu başlatın.

Bu oryantasyon programı size şu konularda rehberlik eder: sanal alan adı, çıkarım sağlayıcısı, seçilen model, güvenlik ön ayarları Ve isterseniz Telegram entegrasyonu da mevcut. Aktif kurulum süresi yaklaşık 20-30 dakika, şablonun indirilmesi ise bant genişliğinize bağlı olarak 15-30 dakika daha sürebilir.

Performans açısından gerçekçi olmalıyız: 120 milyar parametreli bir modelle verilen yanıt şu kadar sürebilir: 30 ve 90 saniye Yerel bir bağlamda. Kendi başına bir sorun değil, ancak kullanım akışlarını ve ajana atadığınız görev türlerini tasarlarken dikkate alınması gerekiyor.

Yerel yapay zeka için tasarlanmış uzaktan erişim, web arayüzü ve donanım.

Her şey ayarlandıktan sonra, ajanla çeşitli şekillerde etkileşim kurabilirsiniz. En yaygın olanı şudur: Telegram aracılığıyla@BotFather ile oluşturulmuş bir bot kullanmak pratik bir seçimdir: sağlam API, şifreleme, her tür cihaz için uygulamalar ve sunucu portlarınızı dış dünyaya açmanıza gerek yok.

Bot mesajlarınızı alır, DGX üzerindeki ajana iletir ve size bir yanıt gönderir. İlginç olan şu ki, konuşma Telegram'ın altyapısı üzerinden gerçekleşse de, Çıkarım yapma ve hassas verilere erişim tamamen yerel kalmaktadır. makinenizde.

Ek olarak, NemoClaw şunları sunmaktadır: özel bir web arayüzü Bu URL'ye, kayıt işleminin sonunda yalnızca bir kez oluşturulan tokenleştirilmiş bir URL üzerinden erişilebilir. Bu URL'yi hemen kaydetmek çok önemlidir, çünkü bir daha görüntülenmeyecektir. Ağdaki başka bir makineden görüntülemek için, OpenShell kullanarak bir SSH tüneli ve port yönlendirmesi yapılandırmanız gerekir.

Küçük ama önemli bir ayrıntı, URL'nin şu şekilde açılması gerektiğidir: localhost yerine 127.0.0.1Localhost kullanımı, yetkisiz kaynak (CORS) hatalarına yol açabilir ve bunun farkında değilseniz zamanınızı boşa harcayabilirsiniz.

Günlük operasyonlar için çeşitli seçenekler mevcuttur. kullanışlı CLI komutlarıSanal ortam içinde bir kabuk açın, durumu görüntüleyin, günlükleri gerçek zamanlı olarak takip edin, sanal ortamları listeleyin, Telegram köprüsünü başlatın veya durdurun, port yönlendirmeyi etkinleştirin veya tüm yığını kaldıran temiz bir kaldırma komut dosyası çalıştırın.

Donanıma gelince, NVIDIA DGX Spark Bu sistemin bu kullanım senaryoları için tasarlandığı açıkça belli. NVIDIA GPU'ları ve yüksek bant genişliğine sahip birleşik belleğe sahip kompakt bir sistem olup, tam teşekküllü bir veri merkezi kurmaya gerek kalmadan orta ve büyük ölçekli modelleri düşük gecikmeyle çalıştırmak için idealdir.

La birleşik hafıza Özellikle klasik darboğazlardan biri olan CPU ve GPU arasında veri aktarımında büyük fayda sağlıyor. Bellek alanını paylaşarak, model verilere çok daha verimli bir şekilde erişiyor ve on milyarlarca parametreye sahip modellerin (neredeyse) gerçek zamanlı olarak yüklenmesine olanak tanıyor; bu, yakın zamana kadar tüketici donanımlarında düşünülemez bir şeydi.

Popüler yerel yapay zeka ajanları: örnekler ve kullanım durumları

NVIDIA ekosisteminin ötesinde, oldukça fazla sayıda başka seçenek de mevcut. Kendi ekibinizde yapay zeka ajanları ve otomasyon odaklı platformlar geliştirin. Bilinmesi gerekenler bunlar. Her biri farklı bir kullanıcı türünü ve farklı bir görev kümesini hedefliyor.

Örneğin OpenClaw, şu nedenlerle popüler hale geldi: açık kaynak ajan platformu Kişisel asistan görevi gören bu uygulama, gelen kutunuzu temizlemek, mesaj göndermek, takviminizi yönetmek, seyahatlerinizi organize etmek veya dijital yaşamınızdaki tekrarlayan görevleri otomatikleştirmek için özel asistanlar oluşturmanıza olanak tanır.

İçine kurulabilir Windows, macOS ve LinuxAyrıca, yerel olarak LLM modelleriyle çalışacak şekilde tasarlanmıştır, bu da gizliliği artırır ve bulut bağımlılığını azaltır. Dahası, WhatsApp, Telegram, Discord, Slack, Signal ve Apple Mesajlar gibi mesajlaşma uygulamalarıyla entegre olur, böylece ajanınız zaten kullandığınız sohbetlerin "arka planında" çalışır.

Eklentiler aracılığıyla, tarayıcıya, sosyal ağlara, e-posta istemcilerine ve diğer uygulamalara erişim izni verebilir ve ayrıca ona yetki tanıyabilirsiniz. Dosya sistemiyle etkileşim kurmak, komutları ve betikleri çalıştırmakveya tipik ofis ve verimlilik görevlerini otomatikleştirebilir. Tüm bunlar, kullanıcının aracıya hangi klasörlerin, uygulamaların ve hizmetlerin sunulacağını seçmesine olanak tanımaya odaklanarak gerçekleştirilir.

Daha genel ekosistemde, aşağıdaki gibi platformlar yer almaktadır: Şaşkınlık BilgisayarıBu, Perplexity'yi basit bir konuşma tabanlı arama motorundan karmaşık iş akışlarını yürütebilen bir asistana dönüştürüyor. Bu Bilgisayar modu, web'de gezinmenize, belge oluşturup yönetmenize, kod yazmanıza, veri işlemenize ve Gmail, Slack, GitHub ve Notion gibi hizmetlerle koordinasyon sağlamanıza olanak tanır.

Gücü, büyük veri hacimlerini yönetmek ve karmaşık görevleri seri veya paralel olarak yürütülebilecek alt görevlere bölmek için Claude, GPT, Gemini veya Perplexity'nin kendi Sonar'ı gibi modellerden yararlanmasından kaynaklanmaktadır. Tamamen yerel olmasa da, ajan modeli ve araçlarla entegrasyonu, makinenizde çalışan ajanlarınkine çok benzer.

Tamamen açık kaynaklı ve yerel alanda, Ocak AI Windows, Mac ve Linux'a kurulabilen bir ChatGPT alternatifi olarak sunuluyor. Llama (Meta) veya Gemma (Google) gibi yerel modelleri kullanmanıza veya ChatGPT, Claude, Gemini, Mistral, Qwen veya DeepSeek gibi çevrimiçi modellere bağlanmanıza olanak tanıyor.

Jan AI hem şu şekilde çalışır: klasik konuşma asistanı (Soru sorma, taslak oluşturma, özetleme, çevirme, yeniden yazma, açıklama) gibi işlevleri yerine getirebilen, dosya ve belgeleri işleyebilen, komutları yürütebilen ve çeşitli dillerde kod üretebilen bir aracıdır. Dahası, özelleştirme odaklı yapısı sayesinde, belirli talimatlarla kendi aracınızı oluşturmak ve yaptığınız işe bağlı olarak farklı "profiller" arasında geçiş yapmak kolaydır.

Cihazdaki aracılar: PocketBot ve mobil otomasyon

Kavramı Yerel yapay zeka bilgisayarda kalmıyor.Bu durum, mobil telefonlar üzerinde de güçlü bir etki yaratıyor; giderek daha fazla proje, buluta gerek kalmadan telefonu otomatikleştirmek için küçük ama özel modelleri tercih ediyor.

Bunun açık bir örneği, doğrudan üzerinde çalışan bir ajan olan PocketBot'tur. Metal üzerinde flame.cpp kullanan iPhoneMisyonu, doğal dili telefon otomasyonlarına dönüştürmektir: binlerce menü veya kısayol arasında gezinmek yerine, ne istediğinizi açıklarsınız ve temsilci bunu eylemlere dönüştürmeyi üstlenir.

PocketBot, nicelleştirilmiş bir model kullanır. 3.000 milyar parametreTamamen yerel olarak ve harici sunuculara veri göndermeden çalışır. iPhone 15 Pro'da kullanılabilir bellek genellikle 3-4 GB'tır; bu değerden sonra iOS işlemleri sonlandırmaya başlar, bu nedenle model boyutu ve niceleme kritik öneme sahiptir.

Yaratıcılarının bahsettiği zorluklardan biri de bulmaktır. Araç çağırma ve yapılandırılmış çıktılar için güvenilir küçük modeller JSON formatında. Örneğin, Qwen3 kullanırken, uydurma parametre adları, hatalı JSON (eksik parantezler) ve tutarsız şema uyumu gibi sorunlarla karşılaşıyorlar; bu da kendi kendini düzeltme ve yeniden deneme katmanlarının uygulanmasını zorunlu kılıyor.

Bu konuda da çok fazla tartışma var. nicelleştirmenin optimum noktası En iyi kalite/bellek oranını elde etmek için, çip nesline ve mevcut belleğe bağlı olarak q4_K_M veya q5_K_S gibi seçenekleri değerlendirin. Nicelleştirmede her bir bitin azalması, daha yönetilebilir modeller anlamına gelir, ancak bu durum araç çağrılarındaki mantıksal çıkarımı ve doğruluğu olumsuz etkileyebilir.

Bir diğer cephe ise uyum sağlama sürecidir. örnekleme parametreleri Göreve bağlı olarak değişir. Tipik yapılandırmalar arasında sıcaklık 0,7, top_p 0,8, top_k 20 ve repeat_penalty 1,1 bulunur, ancak daha fazla determinizm ve daha az yaratıcılığın söz konusu olduğu serbest konuşma ve araç çağırma için üretim stratejilerini ayırmaya ilgi vardır.

Son olarak, cep telefonunda bağlam yönetimi Bu özellikle hassas bir konu: Sistem istemi genellikle yeniden işlenmesini önlemek için KV önbelleğinde saklanır ve kapasite aşımını önlemek için kayan pencereler kullanılır; bu nedenle nasıl yapılacağını bilmek faydalıdır. İstemlerinizi kaydedin ve düzenleyin..

Bunun ötesinde, artımlı özetleme yöntemlerine, seçici belleğe veya sıkıştırılmış geçmişi ve anlık bağlamı birleştiren hibrit şemalara yer vardır.

Ollama ve Open WebUI ile kendi "yerel ChatGPT"nizi kurun.

NemoClaw kadar karmaşık bir yapıya ihtiyaç duymayan ancak yine de isteyenler için Bilgisayarınızda çalışan ChatGPT benzeri bir yardımcı.Ollama ve Open WebUI'ye dayalı oldukça pratik bir yaklaşım popüler hale geldi.

Fikir basit: Ollama Modellerin indirilmesinden ve sunulmasından sorumludur. (Llama, Gemma, Qwen, vb.) yerel bir API aracılığıyla makinenizde çalışır ve Open WebUI, ChatGPT'ye çok benzeyen ancak tamamen makinenizde çalışan bir web arayüzü sunar. Kullanıcı arayüzü ile model arasındaki tüm trafik localhost üzerinden gerçekleşir.

Çok basit, adım adım bir kılavuz, birkaç yöntemle nasıl yapılacağını ayrıntılı olarak anlatıyor. 15 terminal komutuBu kurulumu bir saatten kısa sürede tamamlayıp çalışır hale getirebilirsiniz. Python 3.11 kurulumu, temel sistem yapılandırması, Ollama kurulumu ve Open WebUI dağıtımı, ekran görüntüleri ve sorun giderme ipuçlarını içerir.

Sonuç olarak, keyif aldığınız bir ortam ortaya çıkar. Aboneliklerde sıfır maliyetTam gizlilik (veriler asla bilgisayarınızdan ayrılmaz), rekabetçi yanıt süreleri (paylaşımlı sunucu kuyrukları yok) ve ihtiyaçlarınıza uygun özel asistanları özelleştirme konusunda tam özgürlük.

Ek olarak, Open WebUI aşağıdaki gibi gelişmiş özellikleri de entegre eder: Web araması, kod yorumlayıcı, özel model oluşturma Belirli yapılandırmalara bağlı olarak, kişisel bilgi tabanları oluşturmak için gelişmiş RAG yetenekleri hazırlanmaktadır. Buradaki fikir, üçüncü taraflara bağımlı kalmadan, belgelerinize ve iş akışlarınıza aşina, eğitimli bir "yardımcı pilot"a sahip olabilmenizdir.

Birkaç aylık kullanımdan sonra, birçok kullanıcı bu kombinasyonun [önceki ürün/hizmetin] yerini tamamen aldığını bildiriyor. bulut çözümlerine yönelik ücretli abonelikleriKendi yerel verileri ve araçlarıyla entegrasyonu geliştirirken, bir sonraki doğal adım bu "ev yapımı ChatGPT"yi daha karmaşık otomasyonları koordine etmek için aracılar, komut dosyaları ve hizmetlerle bağlamaktır.

Dijital yaşamınızı otomatikleştirin: Yerel yapay zeka ile pratik örnekler

Tüm bunlar teknik açıdan harika görünüyor, peki günlük hayatta bunlarla neler yapabilirsiniz? iyi eğitimli yerel acentelerÇok modlu modelleri, ekran erişimini, araçları ve yapılandırılmış depolamayı bir araya getirdiğinizde olasılıklar oldukça geniştir.

Tasarlanmış bazı öneriler bulunmaktadır. Kendi bilgisayarınızın kullanımını otomatikleştirin Ekran görüntülerini alan ve bunlara göre işlem yapan aracılarla. Akış şöyle olurdu: sistem bir ekran görüntüsü alır, aracı bunu görüntülerle çalışabilen bir modelle işler, hangi uygulamanın açık olduğunu, hangi düğmelerin bulunduğunu, hangi metnin göründüğünü anlar ve sizin isteğinize göre bir sonraki adımda ne yapacağına karar verir.

Bu fikirle, örneğin, şunları yapabilirsiniz: uzmanlaşmış çeviri acenteleri kurmakSistem, çevirmek istediğiniz ekran bölümünü yakalar, "büyüteç çevirmen" penceresinde büyütür ve PHI'nin ince ayarlı bir varyantı gibi, çeviri için ince ayarlanmış küçük bir model (örneğin, 4B parametreleri) kullanarak neredeyse anında bir çeviri oluşturur.

Bir diğer ilginç cephe ise şudur: Ekran görüntülerini PDF'ye dönüştüren görsel modellerSunumların, kontrol panellerinin veya belgelerin ekran görüntülerinden, daha sonra düzenleyebileceğiniz veya doğrudan sunumlarınızda kullanabileceğiniz, iyi biçimlendirilmiş PDF'ler oluşturan bir araç hayal edin. Python'ı Acrobat ile entegre ederek, tüm süreci otomatikleştirebilirsiniz.

Harici hizmetlere bağımlı kalmadan web ile çalışmak için, aşağıdaki gibi köklü teknolojiler gereklidir: BeautifulSoup hala çok kullanışlı.Birden fazla sayfayı tarayan ve yalnızca gerekli HTML'yi saklayan (örneğin, yalnızca gerekli HTML'yi ayıklayan) hafif bir veri çekme aracı kurabilirsiniz.