- Neuraalvõrkude põhistruktuur, mis põhineb sisend-, varjatud ja väljundkihtidel, mis töötlevad andmeid aktiveerimisfunktsioonide abil.
- Juhendatud õppemehhanismid, mis keskenduvad edasilevimisele ja vigade optimeerimisele tagasilevi ja gradiendi laskumise kaudu.
- Tõhusate arhitektuuride, näiteks kergete võrkude ja kaaluta mudelite tekkimine, mis välistavad kulukad korrutamised energiatarbimise vähendamiseks.
Kui olete kunagi mõelnud, mis peitub tehisintellekti võlujõu taga, siis lühike vastus on see, et me püüame jäljendada inimaju tööd . Kujutage ette väga keerukat rakkude võrgustikku, mida nimetatakse neuroniteks ja mis saadavad üksteisele elektrilisi impulsse, et me saaksime maailmast aru; arvutiteadlased on loonud tarkvaraversiooni koos sõlmede ja algoritmidega, et lahendada matemaatilisi probleeme, mille lahendamine võtaks meil tunde.
Tehisintellekti maailmas pole kõik ühesugune. Oleme liikunud lihtsatest mudelitest sügavate närvivõrkudeni , mis haldavad miljoneid ühendusi, ja nüüd otsime arhitektuure, mille eesmärk on olla palju jätkusuutlikumad ja kiiremad, murdes maha paradigmad, mida oleme aastakümneid kasutanud. Vaatleme seda kõike lähemalt, et teil poleks kahtlusi.
Neuraalvõrgu põhistruktuur
Võrgu toimimiseks on see tavaliselt korraldatud kolme tüüpi kihtideks. Esiteks on sisendkiht , kuhu sisenevad väljastpoolt tulevad andmed; siin analüüsivad ja klassifitseerivad sõlmed teavet enne järgmisele tasemele saatmist. Seejärel tulevad varjatud kihid , mis võivad olla ühekihilised või süvaõppe puhul tuhandeid. Need kihid teevad raske töö ära, töödeldes eelmise kihi väljundit mustrite eraldamiseks.
Lõpuks jõuame väljundkihini , mis annab meile lõpptulemuse. Sõltuvalt sellest, mida me otsime, võib olla üks sõlm (nagu jah/ei küsimuses) või mitu, kui tegemist on mitmeklassilise klassifitseerimisprobleemiga . Sügavates võrkudes peitub võti kaaludes ehk numbrites, mis näitavad, kas üks neuron stimuleerib või pärsib teist, määrates seega iga ühenduse mõju lõpptulemusele.
Õppeprotsess: teooriast praktikani
Õppimine on lihtsalt nende kaalude kohandamine vigade vältimiseks. Esimene samm on edasiliikumine , mis tähendab sisuliselt andmete liikumist võrgu vasakult poolt paremale. Neuronid teevad sisendite kaalutud summeerimise , lisavad parameetri nimega bias (suurema algebralise paindlikkuse tagamiseks) ja edastavad tulemuse aktiveerimisfunktsiooni kaudu.
Räägime neist funktsioonidest, sest just need takistavad võrgu lihtsa lineaarse regressioonina toimimist. Kõige levinumad on Sigmoidfunktsioon , mis tagastab väärtused vahemikus 0 kuni 1 (ideaalne tõenäosuste jaoks), ja ReLu-funktsioon , mis on süvaõppe kuninganna, kuna see on väga lihtne ja takistab gradiendi kadumist treeningu ajal.
Tagasilevi ja gradiendi laskumise maagia
Kui võrk peaks rikki minema, tuleb mängu tagasilevi . Siin on protsess vastupidine: vea arvutamiseks töötame väljundist sisendini. Reaalsusest kõrvalekaldumise määramiseks kasutame selliseid funktsioone nagu keskmine ruutviga (MSE). Sealt edasi rakendame gradientlaskumist , mis näitab meile, millises suunas vea minimeerimiseks kaalusid korrigeerida.
Kriitiline punkt on siinkohal õppimiskiirus . Kui see on liiga kõrge, õpib võrk kiiresti, kuid võib optimaalsest punktist üle lennata ja muutuda ebatäpseks; kui see on liiga madal, on protsess lõputu ja õppimine ei pruugi kunagi lõppeda. See on õrn tasakaal, mis määrab treeningu kvaliteedi.
Evolutsioon jätkusuutliku tehisintellekti suunas: kergekaalulised võrgud ja kaaluta mudelid
Praeguse süvaõppe probleem on see, et see tarbib miljardite korrutustehingute tõttu tohutul hulgal energiat. Seetõttu on tekkinud kerged närvivõrgud , mis kasutavad selliseid tehnikaid nagu kärpimine , et kõrvaldada ebavajalikud ühendused ja vähendada oma energiajalajälge ilma liigset töötlemisvõimsust ohverdamata.
Kuid tõeline murranguline hüpe tuleb kaaluta närvivõrkudega , mida on uurinud sellised eksperdid nagu Lizy K. John. Sisendite kaaludega korrutamise asemel kasutavad nad omavahel ühendatud otsingutabeleid binaarandmetega. See on täielik paradigma muutus: me läheme kulukate aritmeetiliste arvutuste tegemiselt üle kiirete päringute tegemisele, mis võimaldab võrgul olla kuni 1.000 korda väiksem ja tõhusam.
Edge Computing'u reaalmaailma rakendused ja tulevik
Need ülitõhusad arhitektuurid on servapüüdluste jaoks puhas kuld , kus töötlemine toimub otse seadmes, mitte pilves. Kujutage ette meditsiinilisi andureid, mis jälgivad EKG-d või vererõhku reaalajas ilma akut minutitega tühjendamata, või märksõnade tuvastamise süsteeme (nagu Alexa omad), mis tarbivad murdosa tänapäeva nanodžaulidest.
Lisaks on tööstussektoris kergete mudelite abil andmekeskuste jahutuse optimeerimine vähendanud energiatarbimist kuni 30%. Trend on selge: me ei otsi enam ainult suuremaid mudeleid, vaid vastutustundlikumat tehisintellekti , mis suudab planeeti hävitamata skaleeruda.
Teekond 1943. aasta McCulloch-Pittsi mudelist kaaluta trafode ja võrkudeni näitab, et efektiivsus on uus piir. Kui klassikaline süvaõpe andis meile võimaluse genereerida teksti ja pilte, siis lihtsustatud arhitektuuride ja otsingutabelite abil optimeerimine võimaldab meil integreerida tehisintellekti igasse igapäevasesse esemesse, seades privaatsuse ja energiasäästu esikohale võrreldes toore arvutusvõimsusega.
