Informatec Dijital » Yapay Zeka » INTELLECT-2: Yapay zekayı devrim niteliğinde değiştiren dağıtılmış ve açık AI modeli

Endüstriyi Devrimleştiren İşbirlikçi ve Merkezi Olmayan Yapay Zeka: INTELLECT-2'yi Keşfedin

Günümüzde yapay zekâ hızla ilerliyor ve sektörü devrimleştirmeyi vaat eden yeni modeller ve teknolojiler sürekli olarak ortaya çıkıyor. Bu yenilikler arasında, hem çığır açan yaklaşımı hem de dil modellerinin eğitimi ve dağıtımında oyun değiştirici olma potansiyeliyle büyük ilgi uyandıran INTELLECT-2 projesi öne çıkıyor. INTELLECT-2'yi duymuş ancak ne olduğunu, nasıl çalıştığını veya diğerlerinden farkının ne olduğunu tam olarak bilmiyorsanız, bu makale tam size göre.

Önümüzdeki birkaç bölümde, INTELLECT-2 hakkında bilmeniz gereken her şeyi ele alacağız: temel konseptinden, arkasındaki benzersiz teknik mimariye, iş birlikçi ve merkezi olmayan eğitim yöntemlerinden, elde edilen sonuçlara, çözülen zorluklara ve gelecekte açacağı olasılıklara kadar. Dünya çapında binlerce GPU'nun bir araya gelerek, büyük şirketlere veya kapalı altyapılara ihtiyaç duymadan devasa ve güçlü modeller eğitmenize nasıl olanak sağladığını keşfetmeye hazır olun.

INTELLECT-2 Nedir?

INTELLECT-2, 32.000 milyar parametreye sahip, tamamen merkeziyetsiz bir takviyeli öğrenme sistemi kullanılarak eğitilmiş bir dil modelidir ve bilgi işlem gücü sağlamak isteyen herkesin katılımına açıktır. Bu proje, herhangi bir bireyin, şirketin veya kurumun kaynaklarını (özellikle GPU'larını) yeni nesil yapay zeka modellerinin küresel eğitimine katkıda bulunma olasılığını sunarak bir dönüm noktası oluşturmaktadır.

Klasik merkezi yaklaşım yerine, INTELLECT-2, işin binlerce düğüme dağıtıldığı ağ tabanlı bir yapı benimser. Bu düğümler, güçlü bir GPU'ya sahip bir bireyden büyük veri merkezlerine kadar değişebilir ve tümü bu görev için özel olarak tasarlanmış protokoller ve yazılımlar aracılığıyla koordine edilir. Amaç: akıl yürütme, matematik ve programlama görevlerinde en üst düzey performansı elde etmek, gelişmiş modellere erişimi ve bunları eğitme yeteneğini demokratikleştirmektir.

Kökeni ve motivasyonu: Hangi sorunları çözüyor?

Yapay zeka dünyasının en büyük sorunlarından biri, güç ve bilginin bir avuç büyük organizasyonda yoğunlaşmasıdır. GPT, Gemini, Llama gibi bilinen büyük ölçekli modellerin çoğu, yalnızca teknoloji devlerinin kullanımına açık olan devasa altyapılar ve kaynaklar gerektiriyor. Bu durum topluluk için engeller yaratıyor, şeffaflığı engelliyor ve açık deneyleri sınırlandırıyor.

INTELLECT-2, eğitimin merkezi bir kümeye veya tek bir varlığa bağlı olmadığı, bunun yerine dünyanın dört bir yanına dağılmış katılımcıların kolektif ve koordineli çabalarına dayalı olduğu alternatif bir model önermektedir.

Bu, şu yolu açar:

• Yapay zeka araştırmalarının gerçek anlamda merkezsizleştirilmesi, bilginin ve modelleri etkileme yeteneğinin birkaç kişiyle sınırlı kalmamasını sağlamak.
• Maliyet düşürme, Birden fazla GPU'ya sahip ev bilgisayarlarından veri merkezlerine kadar herkes elindeki gücü katkıda bulunabiliyor.
• Sansüre, manipülasyona veya çökmelere karşı daha fazla direnç, çünkü sistem tek bir arıza noktasına bağlı değildir.
• Şeffaflığı, işbirliğini ve açık erişimi kolaylaştırır, Herkes için daha etik ve faydalı bir yapay zekaya doğru ilerlemenin anahtarları.

Teknik yapı: INTELLECT-2'nin iç yapısı şu şekilde çalışır:

INTELLECT-2'nin arkasında, dağıtılmış eğitimleri koordine etmeyi, sonuçları doğrulamayı ve katılımcıları ödüllendirmeyi mümkün kılan etkileyici bir bileşen mimarisi bulunmaktadır. Aşağıda temel unsurları açıklıyoruz:

PRIME-RL: Merkezi Olmayan Eğitim Motoru

Sistemin kalbi, heterojen düğümlere sahip ve aralarında önceden güven ilişkisi bulunmayan ortamlarda takviyeli öğrenme (RL) yönetimini özel olarak tasarlayan açık kaynaklı bir çerçeve olan PRIME-RL'dir . Onu özel kılan nedir? Çünkü uygulama oluşturma sürecini (görev ortamlarında model testi), gerçek eğitimi ve yeni ağırlıkların dağıtımını birbirinden ayırarak her aşamayı eş zamanlı olmayan bir şekilde ve yüksek verimlilikle yönetmeyi sağlar.

Pratikte bu şu anlama gelir:

• Eğitim verileri ve deneyimleri, eğitim oturumlarından bağımsız olarak, paralel olarak dünyanın farklı yerlerinden üretilip gönderiliyor.
• Model ağırlıkları ve gradyanları, PyTorch FSDP gibi son teknoloji kullanılarak parçalar halinde depolanır ve yönetilir; bilgi alışverişi ise Parquet dosyaları ve sağlam protokoller aracılığıyla sağlanır.
• Sistem, katılımcıların bağlantı ve altyapı değişkenliğine uyum sağlayabilmektedir. Sürecin verimliliğini veya güvenliğini cezalandırmadan.

SHARDCAST: Verimli model dağıtımı

Tüm düğümlerin her zaman eğitilmiş modelin en son sürümüne sahip olmasını ve güncel çıkarımlar yapabilmesini sağlamak için SHARDCAST oluşturulmuştur . Bu kütüphane, büyük dosyaları (model kontrol noktaları gibi) HTTP kullanarak ağaç yapısındaki bir sunucu ağına parçalara ayırır ve dağıtır. Bu, şunlara olanak tanır:

• Yeni ağırlıkların yayılma sürelerini büyük ölçüde azaltın, birkaç dakika içinde tüm katılımcılara ulaşıyor.
• Herhangi bir ağ yolunu doyurmadan yedeklilik, bütünlük denetimi (SHA-256) ve ölçeklenebilirlik uygulayın.
• Trafiği her düğümün yeteneklerine göre uyarlayın (hız sınırlaması, performansa dayalı dinamik röle seçimi).

TOPLOC: Çıkarımda Doğrulama ve Güvenlik

İşbirlikçi ve merkezi olmayan sistemlerdeki temel kaygılardan biri güvendir: Her bir düğümün katkılarının geçerli olduğundan ve herhangi bir kötü uygulama, manipülasyon veya hata olmadığından nasıl emin olabiliriz?

İşte burada TOPLOC devreye giriyor; çalışanlar tarafından yapılan her çıkarımı doğrulayan, değişiklikleri, hataları veya sahtekarlık girişimlerini tespit eden, konuma duyarlı, karma tabanlı bir doğrulama sistemi. İşlevleri şunlardır:

• İşlemler sırasında sonuçların donanım veya yazılım tarafından değiştirilmediğini kontrol edin.
• Günümüz GPU'larında yaygın olan belirsizlik koşullarında bile sağlamlığını koruyor.
• Verilerin yeniden üretilmesinin maliyetinden çok daha hızlı bir şekilde doğrulama yapılmasına olanak tanır ve küresel ölçekte izlemeyi mümkün kılar.

Prime Intellect Protokolü: Orkestrasyon ve İşbirliği Ekonomisi

Prime Intellect Protokolü olarak adlandırılan koordinasyon protokolü, kayıt, kimlik doğrulama, görev tahsisi, teşvik yönetimi ve iş izlenebilirliğini sağlayan bileşendir. Başlıca katkıları şunlardır:

• Her bir düğümün performansını ve katkısını kaydeden, merkezi olmayan bir muhasebe sistemi (blockchain'den esinlenilmiştir).
• Katılımcıların müsaitliklerini bildirmeleri, sonuçları göndermeleri, güncellemeleri almaları ve Docker kullanarak izole ortamlarda çalışabilmeleri için özel yazılım.
• Katılımcıların ödüller alabileceği (henüz testnet'te gerçek token olarak değil) ve dürüst olmayan davranışlarda bulunulması halinde geri çekilecek belirli bir miktarı taahhüt etmeleri gereken ekonomik ve itibar teşvikleri için bir mekanizma.
• Gönderilen her çalışma için 24 saatlik bir doğrulama süreci olacak ve bu süre içerisinde hata veya sahtecilik tespit edilirse orantılı cezalar uygulanabilecektir.

INTELLECT-2 Eğitimi: Güncellemeler ve Sonuçlar

Model eğitimi, öğrenme kalitesini, uyarlanabilirliği ve verimliliği en üst düzeye çıkarmak için tescilli çözümleri bünyesinde barındıran son teknoloji yöntemlerden ilham almaktadır. En önemli yenilikler arasında şunlar yer alıyor:

Uzunluk kontrolü ile takviyeli öğrenme

Günümüz dil modellerinin karşılaştığı en büyük zorluklardan biri, karmaşık görevlerde kaliteyi tehlikeye atmadan çıkarım süresini ve maliyetini optimize etmektir. Bu sorunu çözmek için, modelin bir yanıt vermeden önce kullanması gereken belirteç sayısını komutlar aracılığıyla ayarlamaya olanak tanıyan bir "düşünme bütçesi" sistemi uygulandı .

Bu özellik sayesinde, işlem donanımının kapasitesine bağlı olarak, basit problemlere kısa bütçeler, karmaşık zorluklara ise büyük bütçeler (daha fazla "akıl yürütme belirteci") tahsis edilebilir. Bu, yalnızca verimliliği ve hızı artırmakla kalmaz, aynı zamanda heterojen ağ kaynaklarının daha iyi kullanılmasını sağlar ve modelin daha esnek gerçek dünya uygulamalarına uyarlanmasına yardımcı olur.

Akıllı veri filtreleme: nicelikten çok nitelik

Geliştiriciler, veri setini ve eğitim stratejilerini tasarlarken önemli bir noktayı tespit ettiler: Modeli halihazırda mükemmel bir şekilde çözdüğü problemler üzerinde eğitmenin bir anlamı yok. Bu nedenle çift filtreleme uygulanır:

• Çevrimdışı filtreleme: Birçok problem analiz edilir, birkaç cevap elde edilir ve sadece model için gerçek bir zorluk teşkil edenler tutulur (çözünürlük oranı %75'e eşit veya daha az (önceki testlerde).
• Çevrimiçi filtreleme: Eğitim sırasında, bir görev için yapılan tüm girişimler aynı ödülle sonuçlanıyorsa, sorunun öğrenme sağlamadığı kabul edilir ve modeli güncellemek için kullanılmaz. Bu şekilde gerçekten öğretici görevler ve örnekler her zaman önceliklendirilir, bu da kaynak kullanımını ve sistemin nihai kalitesini iyileştirir.

Tarifler, kıyaslamalar ve diğer modellerle karşılaştırma

Kullanılan temel model QwQ-32B olup, buna GRPO (Genelleştirilmiş Takviye Politikası Optimizasyonu) , matematik ve programlama alanlarından doğrulanabilir ödüller ve özellikle eşzamansız dağıtılmış eğitim için tasarlanmış stabilizasyon mekanizmaları gibi gelişmiş teknikler uygulanmıştır.

Çift amaçlı bir sistem kullanılır: matematik ve kodlama problemlerinde doğru cevaplar için ödüller (0 veya 1) ve hedef akıl yürütme uzunluğuna yakınlık için ödüller. Güncellemeyi istikrara kavuşturmak için, belirteç olasılıklarına çift yönlü kırpma uygulanır ve kazanılan avantaja bağlı olarak hem artışlar hem de azalışlar sınırlandırılır (marjı düzenlemek için delta ve epsilon gibi parametreler kullanılır).

Yayımlanan verilere göre INTELLECT-2, matematik ve programlama görevlerinde QwQ-32B'den önemli ölçüde daha iyi performans gösteriyor, ancak veri setinin özel bileşiminden dolayı muhtemelen IFEval gibi kıyaslamalarda hafif bir düşüş gösteriyor.

Katılım: Herkesin nasıl katkıda bulunabileceği ve faydalanabileceği

INTELLECT-2'nin en devrimci yönlerinden biri açıklığıdır: uygun bir GPU'ya sahip herkes ağa katılabilir, işlem gücü sağlayabilir ve en yeni yapay zeka modellerinin eğitimine aktif olarak katılabilir. Süreç basit olacak şekilde tasarlanmıştır: özel kontrol panelindeki talimatları izleyin, gerekli yazılımı yükleyin ve görevler almaya, sonuçları doğrulamaya ve ödüller kazanmaya başlayın.

Bu şu anlama gelir:

• Büyük modellerin geliştirilmesine demokratik ve küresel erişim, Geleneksel olarak büyük şirketlere yasaktır.
• Küçük grupların, üniversitelerin veya bağımsız geliştiricilerin kolektif teknolojik gelişmeye katkıda bulunmaları ve bundan yararlanmaları için fırsat.
• Sorunları birlikte çözebilen, hataları giderebilen ve teknolojiyi geliştirebilen, kendi kendine yetebilen bir topluluk yaratmak.

Güvenlik, doğrulama ve ekonomi: dürüstlük ve namus nasıl garanti altına alınır

Dolandırıcılığı, manipülasyonu ve sistemi "aldatmaya" yönelik girişimleri (sahte veri gönderme, donanımı taklit etme veya sonuçları şişirme gibi) önlemek için INTELLECT-2 birden fazla güvenlik önlemi sunar:

• Her düğümün belirli miktarda token'ı (şimdilik test ağında) taahhüt etmesi gerekiyor ve uygunsuz davranış tespit edilirse bu token'lar geri çekiliyor.
• TOPLOC doğrulaması ve günlük incelemesi dahil olmak üzere diğer düğümler ve protokol tarafından sürekli doğrulama.
• Çalışmaları gözden geçirmek ve gerektiğinde ceza uygulamak için 24 saatlik pencereler.

Sistemin arkasındaki ekonomi, kripto paralardan ve blok zinciri felsefesinden ilham alıyor, ancak işbirlikçi yapay zeka eğitiminin gerçekliğine uyarlanıyor: İyi yapılmış bir iş için teşvikler, sabotaj veya manipülasyon girişimleri içinse caydırıcılar.

INTELLECT-2'nin güncel kullanımları ve uygulamaları

Şu anda INTELLECT-2 öncelikle matematiksel akıl yürütme, programlama problem çözme ve gelişmiş mantık kıyaslamalarına odaklanmıştır. Bu tesadüf değildir: bu alanlar hesaplama açısından zorlayıcıdır ve yapılandırılmış ve uzun süreli "düşünme" yeteneğine sahip modeller gerektirir. Yapay zekanın temelleri ve temelleri hakkında daha fazla bilgi edinmek için Yapay Sinir Ağları sayfasını ziyaret edebilirsiniz.

Ancak, INTELLECT-2'nin altyapısı ve yaklaşımı, bilimsel araştırmalardan karmaşık içerik üretimine ve belirsiz ortamlarda karar vermeye kadar birçok başka alana da mükemmel şekilde uygulanabilir. Özellikle topluluk büyümeye ve uygulama alanlarını genişletmeye devam ederse, gelecekteki potansiyeli neredeyse sınırsızdır.

İşbirlikçi yapay zekanın geleceği: sonraki adımlar ve zorluklar

INTELLECT-2 geliştiricileri, mevcut dağıtımın sadece bir başlangıç ​​olduğunu duyurdu. Planlanan bundan sonraki adımlar arasında şunlar yer alıyor:

• Kod yorumlayıcıları veya bilimsel uygulamalar gibi harici araçları kullanmayı öğrenebilen AI aracılarının uçtan uca eğitimi.
• Görev kütüphanelerinin ve doğrulama ortamlarının genişletilmesi ve iyileştirilmesi, çözülecek sorunların seçimi ve kalite kontrolünde topluluk katkılarının kolaylaştırılması.
• Yeni katılımcılar için gecikmeyi, çıkarımı, eğitim maliyetlerini ve katılım zorluklarını daha da azaltmak için sürekli altyapı optimizasyonu.

Karşılaşılan zorluklar arasında performanstan ödün vermeden ölçeklenebilirliği sağlamak, potansiyel saldırılara karşı güvenliği güçlendirmek ve giderek çeşitlenen bir topluluğun aktif katılımını sürdürmek yer almaktadır. Altyapı ölçeklenebilirliğinin nasıl yönetildiği hakkında daha fazla bilgi edinmek için , uzman kaynaklara başvurmanızı öneririz.

INTELLECT-2, gelişmiş yapay zekayı açık, küresel iş birliğine taşıma yolunda en iddialı ve gelecek vaat eden girişimlerden birini temsil ediyor. Merkeziyetsizlik, şeffaflık ve topluluk ödüllerine olan bağlılığı, onu gelecek nesil yapay zeka için bir model haline getirerek, son teknolojiyi demokratik ve işbirlikçi bir ruhla birleştirdiğini gösteriyor. Yapay zekaya ilgi duyuyorsanız ve bilgisayar kaynaklarınız varsa, katılma olasılığını keşfetmekten çekinmeyin: Yapay zekanın geleceği kelimenin tam anlamıyla sizin ellerinizde olabilir.