- Pagrindinė neuroninių tinklų struktūra, pagrįsta įvesties, paslėptu ir išvesties sluoksniais, kurie apdoroja duomenis per aktyvinimo funkcijas.
- Prižiūrimo mokymosi mechanizmai, orientuoti į tiesioginį sklidimą ir klaidų optimizavimą taikant atgalinį sklidimą ir gradientinį nusileidimą.
- Efektyvių architektūrų, tokių kaip lengvi tinklai ir nesvarūs modeliai, atsiradimas, kurios pašalina brangų dauginimą, siekiant sumažinti energijos suvartojimą.
Jei kada nors susimąstėte, kas slypi už dirbtinio intelekto magijos, trumpas atsakymas yra tas, kad mes bandome imituoti žmogaus smegenų veikimą . Įsivaizduokite labai sudėtingą ląstelių, vadinamų neuronais, tinklą, kuris siunčia vienas kitam elektrinius impulsus, kad galėtume suprasti pasaulį; na, kompiuterių mokslininkai sukūrė programinės įrangos versiją su mazgais ir algoritmais, skirtą matematinėms problemoms, kurioms išspręsti mums prireiktų valandų, spręsti.
Dirbtinio intelekto pasaulyje ne viskas yra tas pats. Perėjome nuo paprastų modelių prie giliųjų neuroninių tinklų , kurie valdo milijonus jungčių, o dabar ieškome architektūrų, kurios siekia būti daug tvaresnės ir greitesnės, laužydamos dešimtmečius naudotas paradigmas. Panagrinėkime visa tai, kad nekiltų abejonių.
Pagrindinė neuroninio tinklo struktūra
Kad tinklas veiktų, jis paprastai yra suskirstytas į trijų tipų sluoksnius. Pirmasis yra įvesties sluoksnis , į kurį patenka duomenys iš išorės; čia mazgai analizuoja ir klasifikuoja informaciją prieš siųsdami ją į kitą lygį. Tada ateina paslėptieji sluoksniai , kurie gali būti vienas sluoksnis arba tūkstančiai gilaus mokymosi atveju. Šie sluoksniai atlieka sunkų darbą, apdorodami ankstesnio sluoksnio išvestį, kad išskirtų modelius.
Galiausiai pasiekiame išvesties sluoksnį , kuris pateikia galutinį rezultatą. Priklausomai nuo to, ko ieškome, gali būti vienas mazgas (kaip klausime su atsakymu „taip“ arba „ne“) arba keli, jei susiduriame su daugiaklase klasifikavimo problema . Giliuose tinkluose raktas slypi svoriuose – skaičiuose, kurie rodo, ar vienas neuronas stimuliuoja, ar slopina kitą, taip nustatant kiekvieno ryšio įtaką galutiniam rezultatui.
Mokymosi procesas: nuo teorijos iki praktikos
Mokymasis – tai tiesiog šių svorių koregavimas siekiant išvengti klaidų. Pirmasis žingsnis yra tiesioginis sklidimas , t. y. duomenų perdavimas iš kairės į dešinę tinklo pusę. Neuronai atlieka įvesties svertinę sumą , prideda parametrą, vadinamą šališkumu (kad būtų užtikrintas didesnis algebrinis lankstumas), ir perduoda rezultatą per aktyvinimo funkciją.
Pakalbėkime apie šias funkcijas, nes būtent jos neleidžia tinklui būti paprasta tiesine regresija. Dažniausiai pasitaikančios yra Sigmoidinė funkcija , kuri grąžina reikšmes nuo 0 iki 1 (idealiai tinka tikimybėms), ir ReLu funkcija , kuri yra gilaus mokymosi karalienė, nes yra labai paprasta ir neleidžia gradientui išnykti mokymo metu.
Atgalinio sklidimo ir gradientinio nusileidimo magija
Kai tinklas sugenda, pradedamas taikyti atgalinis sklidimas . Čia procesas atvirkštinis: paklaidai apskaičiuoti dirbame nuo išvesties prie įvesties. Norėdami nustatyti, kiek nukrypome nuo realybės, naudojame tokias funkcijas kaip vidutinė kvadratinė paklaida (MSE) . Tada taikome gradiento nuosmukį , kuris nurodo, kuria kryptimi koreguoti svorius, kad paklaida būtų kuo mažesnė.
Svarbus momentas čia yra mokymosi greitis . Jei jis per didelis, tinklas mokosi greitai, bet gali viršyti optimalų tašką ir tapti netikslus; jei per mažas, procesas yra begalinis ir tinklas gali niekada nebaigti mokytis. Tai subtili pusiausvyra, apibrėžianti mokymo kokybę.
Evoliucija link tvaraus dirbtinio intelekto: lengvi tinklai ir nesvarūs modeliai
Dabartinio gilaus mokymosi problema yra ta, kad jis sunaudoja didžiulį energijos kiekį dėl milijardų atliekamų daugybos operacijų. Štai kodėl atsirado lengvi neuroniniai tinklai , naudojantys tokius metodus kaip genėjimas , siekiant pašalinti nereikalingas jungtis ir sumažinti energijos sąnaudas neprarandant per daug apdorojimo galios.
Tačiau tikrasis proveržis įvyksta su nesvariais neuroniniais tinklais , kuriuos tyrinėja tokios ekspertės kaip Lizy K. John. Užuot dauginę įvestis iš svorių, jie naudoja tarpusavyje sujungtas paieškos lenteles su dvejetainiais duomenimis. Tai visiškas paradigmos pokytis: pereiname nuo brangių aritmetinių skaičiavimų prie greitų užklausų, todėl tinklas gali būti iki 1.000 kartų mažesnis ir efektyvesnis.
Realaus pasaulio taikymas ir kraštinių skaičiavimų ateitis
Šios itin efektyvios architektūros yra grynas auksas periferiniams skaičiavimams , kur apdorojimas vyksta tiesiai įrenginyje, o ne debesyje. Įsivaizduokite medicininius jutiklius, stebinčius EKG ar kraujospūdį realiuoju laiku, neiškraunant akumuliatoriaus per kelias minutes, arba raktinių žodžių aptikimo sistemas (pvz., „Alexa“), kurios sunaudoja tik dalį šiandienos nanodžaulių.
Be to, pramonės sektoriuje optimizavus duomenų centrų aušinimą naudojant lengvus modelius, energijos suvartojimas sumažėjo iki 30 %. Tendencija aiški: mes nebeieškome tik didesnių modelių, bet ir atsakingesnio dirbtinio intelekto , kurį būtų galima plėstis nesunaikinant planetos.
Kelionė nuo 1943 m. McCulloch-Pitts modelio iki nesvarių transformatorių ir tinklų rodo, kad efektyvumas yra nauja sritis. Nors klasikinis gilusis mokymasis suteikė mums galimybę generuoti tekstą ir vaizdus, optimizavimas naudojant supaprastintas architektūras ir paieškos lenteles leis mums integruoti dirbtinį intelektą į bet kurį kasdienį objektą, teikiant pirmenybę privatumui ir energijos taupymui, o ne brutaliai skaičiavimo galiai.
