- Giriş, gizli ve çıkış katmanlarından oluşan ve aktivasyon fonksiyonları aracılığıyla verileri işleyen sinir ağlarının temel yapısı.
- İleri yayılıma ve geri yayılım ile gradyan inişi yoluyla hata optimizasyonuna odaklanan denetimli öğrenme mekanizmaları.
- Enerji tüketimini azaltmak için maliyetli çarpma işlemlerini ortadan kaldıran hafif ağlar ve ağırlıksız modeller gibi verimli mimarilerin ortaya çıkışı.
Yapay zekanın büyüsünün ardında ne olduğunu hiç merak ettiyseniz, kısa cevap şu ki, insan beyninin işleyişini taklit etmeye çalışıyoruz . Dünyayı anlamamızı sağlayan, birbirlerine elektriksel uyarılar gönderen nöron adı verilen son derece karmaşık bir hücre ağı hayal edin; işte bilgisayar bilimcileri, bizim saatlerce sürecek matematiksel problemleri çözmek için düğümler ve algoritmalar içeren bir yazılım versiyonu oluşturdular.
Yapay zekâ dünyasında her şey aynı değil. Basit modellerden milyonlarca bağlantıyı yöneten derin sinir ağlarına geçtik ve şimdi de on yıllardır kullandığımız paradigmaları kırarak çok daha sürdürülebilir ve hızlı olmayı hedefleyen mimarilere yöneliyoruz. Tüm bunları ayrıntılı olarak ele alalım ki hiçbir şüpheniz kalmasın.
Sinir ağının temel yapısı
Bir ağın işlev görmesi için, tipik olarak üç tür katmana ayrılır. İlk olarak, dışarıdan gelen verilerin girdiği giriş katmanı bulunur; burada düğümler, bilgiyi bir sonraki seviyeye göndermeden önce analiz eder ve sınıflandırır. Ardından , tek bir katman veya derin öğrenme durumunda binlerce katman olabilen gizli katmanlar gelir. Bu katmanlar, önceki katmanın çıktısını işleyerek kalıpları çıkarmak gibi ağır işleri yapar.
Son olarak, bize nihai sonucu veren çıktı katmanına ulaşıyoruz . Ne aradığımıza bağlı olarak, tek bir düğüm (evet/hayır sorusunda olduğu gibi) veya çok sınıflı bir sınıflandırma problemiyle uğraşıyorsak birkaç düğüm olabilir . Derin ağlarda, anahtar nokta ağırlıklardadır ; bu sayılar bir nöronun diğerini uyardığını veya engellediğini gösterir ve böylece her bağlantının nihai sonuç üzerindeki etkisini belirler.
Öğrenme süreci: Teoriden pratiğe
Öğrenme, basitçe hataları önlemek için bu ağırlıkları ayarlamaktan ibarettir. İlk adım , esasen verilerin ağın solundan sağına doğru hareket etmesi olan ileri yayılımdır . Nöronlar girdilerin ağırlıklı toplamını gerçekleştirir, (daha fazla cebirsel esneklik sağlamak için) sapma adı verilen bir parametre ekler ve sonucu bir aktivasyon fonksiyonundan geçirir.
Şimdi bu fonksiyonlardan bahsedelim, çünkü bunlar ağın basit bir doğrusal regresyon olmasını engelleyen unsurlardır. En yaygın olanları , 0 ile 1 arasında değerler döndüren (olasılıklar için ideal) Sigmoid fonksiyonu ve çok basit olduğu ve eğitim sırasında gradyanın kaybolmasını önlediği için derin öğrenmenin kraliçesi olan ReLu fonksiyonudur .
Geri yayılım ve gradyan inişinin büyüsü
Ağ başarısız olduğunda, geri yayılım devreye girer . Burada süreç tersine çevrilir: hatayı hesaplamak için çıktıdan girdiye doğru çalışırız. Gerçeklikten ne kadar saptığımızı belirlemek için Ortalama Kare Hata (MSE) gibi fonksiyonlar kullanırız. Buradan, hatayı en aza indirmek için ağırlıkları hangi yönde ayarlamamız gerektiğini bize söyleyen gradyan inişini uygularız.
Burada kritik nokta öğrenme oranıdır . Çok yüksek olursa, ağ hızlı öğrenir ancak optimum noktayı aşabilir ve yanlış sonuçlar verebilir; çok düşük olursa, süreç sonsuz olur ve öğrenme asla tamamlanmayabilir. Bu, eğitimin kalitesini belirleyen hassas bir dengedir.
Sürdürülebilir yapay zekaya doğru evrim: Hafif ağlar ve ağırlıksız modeller
Günümüzdeki derin öğrenmenin sorunu, gerçekleştirdiği milyarlarca çarpma işlemi nedeniyle muazzam miktarda enerji tüketmesidir. Bu nedenle, gereksiz bağlantıları ortadan kaldırmak ve işlem gücünden çok fazla ödün vermeden enerji ayak izlerini azaltmak için budama gibi teknikler kullanan hafif sinir ağları ortaya çıkmıştır.
Ancak asıl çığır açan atılım, Lizy K. John gibi uzmanlar tarafından araştırılan ağırlıksız sinir ağlarıyla geliyor . Girişleri ağırlıklarla çarpmak yerine, ikili veriler içeren birbirine bağlı arama tabloları kullanıyorlar. Bu, tam bir paradigma değişimi: pahalı aritmetik hesaplamalar yapmaktan hızlı sorgular yapmaya geçiyoruz, bu da ağın 1.000 kata kadar daha küçük ve daha verimli olmasını sağlıyor .
Uç Bilişimin Gerçek Dünya Uygulamaları ve Geleceği
Bu ultra verimli mimariler, işlemlemenin bulutta değil, doğrudan cihazda gerçekleştiği uç bilişim için paha biçilmez değerdedir. Dakikalar içinde pili tüketmeden EKG veya tansiyonu gerçek zamanlı olarak izleyen tıbbi sensörleri veya günümüzün nanojoule'lerinin çok küçük bir kısmını tüketen anahtar kelime algılama sistemlerini (Alexa'nınki gibi) hayal edin.
Ayrıca, endüstriyel sektörde, hafif modeller kullanılarak veri merkezlerinde soğutmanın optimize edilmesi, enerji tüketimini %30'a kadar azaltmıştır. Eğilim açık: Artık sadece daha büyük modeller aramıyoruz, gezegeni yok etmeden ölçeklenebilen daha sorumlu yapay zekâ arıyoruz.
1943 tarihli McCulloch-Pitts modelinden ağırlıksız transformatörlere ve ağlara uzanan yolculuk, verimliliğin yeni sınır olduğunu göstermektedir. Klasik derin öğrenme bize metin ve görüntü üretme gücü verirken, basitleştirilmiş mimariler ve arama tabloları aracılığıyla optimizasyon , yapay zekayı herhangi bir günlük nesneye entegre etmemize, kaba hesaplama gücünden ziyade gizlilik ve enerji tasarrufuna öncelik vermemize olanak tanıyacaktır.
