- Vahemälu sidusus tagab, et kõik samade andmete koopiad erinevates vahemäludes ja muutmälus jäävad mitmetuumalistes süsteemides järjepidevaks.
- Jagatud viimase tasemega vahemälu hierarhia lihtsustab järjepidevuse kontrolli ja vähendab otsest juurdepääsu põhimälule.
- Sidususprotokollid kasutavad koopia kehtetuks tunnistamise või värskendamise strateegiaid, mida toetavad olekud ja juhtbitid vahemälu rea kohta.
- Kompilaator ja operatsioonisüsteem saavad riistvara järjepidevust täiendada, lisades juhiseid ja konfigureerides mälu kriitilistel perioodidel.
Kui vaadata mis tahes tänapäevase mitmetuumalise protsessori diagrammi, ilmneb alati sama muster: mitu südamikku, millel kõigil on oma lähedalasuvad vahemälud, ja jagatud viimase taseme vahemälu, mis toimib enne RAM-i jõudmist ühise punktina . See paigutus ei ole juhuslik ega disainerite kapriis, vaid otsene vastus paralleelsüsteemide kriitilisele probleemile: vahemälu sidusus.
Ilma tugeva järjepidevuse tagamise mehhanismita võib iga tuum lõpuks töötada samade andmete erineva ja aegunud versiooniga mälus , mis reaalses programmis tähendab peeneid vigu, ettearvamatuid tõrkeid ja isegi süsteemi krahhe. Seetõttu on selle järjepidevuse säilitamise mõistmine – nii riist- kui ka tarkvara tasandil – tänapäevaste mitmetuumaliste protsessorite jõudluse ja stabiilsuse mõistmiseks võtmetähtsusega.
Mis on vahemälu sidusus: terminali metafoor
Kujutage ette mitut inimest, kes istuvad erinevate terminalide ees ja kõik redigeerivad sama dokumenti, mis on salvestatud keskserverisse . Igal ekraanil kuvatakse faili koopia ja kõik muudatused, mida üks inimene teeb, kajastuvad kohe ka kõigi teiste ekraanidel.
Selle toimimiseks on vaja sünkroniseerimismehhanismi, mis edastab dokumendi muudatused kõikidesse terminalidesse, nii et kõik näeksid alati sama versiooni. Nii kaua kui see süsteem töötab, on kõik korras: igaüks, kes teksti muudab, teab, et kõik teised näevad uut versiooni peaaegu koheselt.
Kujutage nüüd ette, et sünkroniseerimissüsteem järsku rikki läheb. Iga inimene jätkab redigeerimist, veendunud, et töötab jagatud dokumendi kallal, kuid tegelikkuses jääb igale terminalile alles oma lahtiühendatud kohalik koopia . Sellest hetkest alates ei jõua ühe inimese tehtud muudatused teisteni ja dokument hakkab kontrollimatult lahknema.
Arvutite valdkonnas juhtuks just see, kui protsessoril puuduks usaldusväärne järjepidevuse protokoll: üks tuum muudab mälus olevaid andmeid, kuid teised tuumad jätkavad vanema versiooni lugemist oma privaatsetest vahemäludest . See loob soodsa pinnase tõsistele loogikavigadele, rikutud andmetele ja vigade parandamisele.
Vahemälu sidusus on seega mehhanismide kogum, mis tagab, et mitmetuumalises süsteemis säilitavad kõik samade andmete koopiad, mis on jaotatud eri vahemälude ja muutmälu vahel, järjepideva oleku . Isegi kui eksisteerib mitu koopiat, peab süsteem käituma "nii nagu" oleks neid ainult üks.
Vahemälud ja mäluhierarhia mitmetuumalises protsessoris
Protsessori vahemälud on väikesed ja väga kiired mälud, mis hoiavad sageli kasutatavate RAM-i tükkide koopiaid . Koodi käivitamisel ei kasuta protsessor pidevalt (suhteliselt aeglast) RAM-i, vaid proovib vahemälust lugeda ja sinna kirjutada, vähendades drastiliselt latentsust.
Nipp seisneb muidugi selles, et vahemälud ei salvesta andmete "ametlikku versiooni", vaid ainult ajutist koopiat . Terminali metafoori järgides oleks RAM serveris olev dokument, vahemälud aga kohalikud ekraanid, mis kuvavad faili teatud osade koopiaid.
Mitmetuumalises protsessoris muutub disain keerukamaks, kuna igal tuumal on tavaliselt oma privaatne 1. taseme (L1) ja isegi 2. taseme (L2) vahemälu . Nende kohale lisatakse näiteks jagatud 3. taseme vahemälu, mis asub tuumade ja mälukontrolleri vahel, mis pakub juurdepääsu RAM-ile.
See jagatud vahemälu on kasutusele võetud, kuna kõigi tuumade otsene ja intensiivne RAM-ile juurdepääs põhjustaks juurdepääsukonflikte, mälusiinil konkurentsi ja märkimisväärset jõudluse langust . Viimase taseme vahemälu toimib ühise "puhvrina", mis vähendab RAM-ile juurdepääsu ja tsentraliseerib suure osa andmeliiklusest.
Lisaks korraldavad paljud arhitektuurid vahemälusid kaasavalt: protsessorile lähedastele tasemetele salvestatud read esinevad ka hierarhia kõrgematel tasemetel . See tähendab, et rida, mis asub L1-s, asub ka L2-s ja omakorda L3-s. Sellel on järjepidevuse seisukohast väga kasulik tagajärg: madalaima taseme vahemälu korrektsest värskendamisest piisab teiste tasemete oleku juhtimiseks ilma pidevalt RAM-ile juurde pääsemata.
Miks on viimase taseme jagatud vahemällu salvestamine järjepidevuse võti?
Ilma selle globaalse viimase taseme vahemäluta peaks iga tuum kontrollima järjepidevust otse põhimälu suhtes . Iga kord, kui privaatvahemälus olevat mälurida muudetakse, oleks vaja kontrollida, kas teistel tuumadel on sama rea koopia olemas, ja kui on, siis seda kõikjal uuendada või kehtetuks tunnistada.
Paljude südamikega süsteemis tooks selline kontrollide töökoormus kaasa tohutu hulga RAM-i tehinguid , mis nulliks suure osa kiirete vahemälude eelistest. Tuumade ja mälu vahele jagatud vahemälu paigutades saab protsessor koondada koherentsuse juhtimise ühte vahepealsesse kohta.
Paljudes rakendustes sisaldavad kõrgematel tasemetel (protsessorist kaugemal) olevad vahemälud koopiaid tuumale lähemal asuvatel tasemetel olevatest ridadest . Sellise korralduse korral peab koherentsusprotokoll tagama ainult viimase taseme sünkroniseeritud põhimäluga ja iga tuuma privaatsete tasemete sünkroniseeritud vahetult sellest kõrgema tasemega.
Seda saab visualiseerida omamoodi vene pesa-nukuna: kolmanda taseme vahemälu sisaldab teise ja esimese taseme sisu , teine tase sisaldab oma sisu ja esimese taseme sisu ning esimene tase teab ainult oma ridu. Seega, juhtides "suurt nukku" (viimast taset), saab süsteem ülejäänut tõhusamalt koordineerida.
Tulemuseks on see, et järjepidevuse säilitamine muutub disaini ja mäluliikluse osas säästlikumaks . Selle asemel, et sundida iga tuuma pidevalt RAM-iga tegelema, töötab protokoll jagatud vahemälul ja haldab sealt, milliseid ridu privaatsetes vahemäludes värskendada või kehtetuks muuta.
Uuendusmeetodid: koopiate kehtetuks tunnistamine ja ajakohastamine
Kriitiline probleem tekib siis, kui kaks või enam tuuma soovivad peaaegu samaaegselt juurde pääseda samale andmereale, mis on replikeeritud mitme vahemälu vahel . Selles kontekstis kasutavad järjepidevuse süsteemid kirjutamistoimingute käsitlemisel tavaliselt kahte põhistrateegiat.
Esimene meetod põhineb kehtetuks tunnistamisel. Kui kernel peab kirjutama kindlale vahemälu reale, tühistab protokoll kõik sama rea koopiad, mis võivad eksisteerida teistes vahemäludes . Ainult kirjutav kernel hoiab rida lugemis- ja kirjutamislubatud olekus; teised, kui nad soovivad neid andmeid uuesti kasutada, peavad rea kõrgemalt tasemelt (või mälust) uuendatud versiooniga uuesti laadima.
Teine strateegia hõlmab uuendamist. Sellisel juhul, kui kernel rida muudab, proovib süsteem uut sisu automaatselt teiste vahemälude olemasolevatesse koopiatesse levitada . Sel viisil saavad kõik selle rea salvestanud vahemälud uuendatud versiooni ilma, et seda hiljem kehtetuks tunnistataks ja uuesti laaditaks.
Igal lähenemisviisil on oma plussid ja miinused. Kehtetuks tunnistamine on tavaliselt tõhusam sagedase kirjutamise korral , kuna see väldib mälusüsteemi küllastamist uuendustega, mida teised tuumad ei pruugi kohe vajada. Seevastu võib värskendamine olla kasulik siis, kui paljud tuumad loevad sageli samu andmeid, mida muudetakse suhteliselt harva , kuna see vähendab latentsust, kuna rida ei pea pärast iga kehtetuks tunnistamist uuesti laadima.
Mõlemal juhul kasutavad mõlemad meetodid vahemälu ridades täiendavaid olekuid ja juhtbitte. Iga rida sisaldab tavaliselt teavet selle kohta, kas selle sisu vastab RAM-i sisule ning kas see on jagatud, muudetud, eksklusiivne, reserveeritud jne, olenevalt konkreetsest protokollist (MESI, MOESI, MSI jne). See võimaldab riistvaral teha kiireid otsuseid selle kohta, mida teha, kui lugemis- või kirjutamisoperatsioon toimub juba replikeeritud real.
Vahemälu ja mälu vahelise järjepidevuse kontrollimine
Protsessori või graafikaprotsessori kõigi vahemälu tasemete ja põhimälu vahelise järjepidevuse otsene kontrollimine oleks nii disaini keerukuse kui ka jõudluskulude osas tohutu ülesanne. Seetõttu korraldavad tänapäevased süsteemid selle kontrolli hierarhiliselt.
Protsessorile lähimad vahemälud (L1, L2) ei ole tavaliselt otse RAM-iga ühendatud, vaid järgmise vahemälu tasemega. See tähendab, et järjepidevust ei kontrollita iga taseme põhimälu suhtes, vaid pigem vahetult kõrgema taseme suhtes . See vähendab RAM-i juurdepääsude arvu ja lihtsustab madalamatel tasemetel vajalikku loogikat.
Lõppkokkuvõttes võrreldakse vahemälu sisu ja RAM-i sisu viimase taseme vahemälu ja põhimälu vahel . Kui see viimane tase säilitab korrektse ja järjepideva oleku ning iga madalam tase säilitab järjepidevuse ülemise tasemega, jääb kogu hierarhia järjepidevaks ilma, et iga rida oleks vaja korduvalt RAM-i suhtes kontrollida.
Kui kernel kirjutab vahemälu reale ja muudab oma andmeid, märgitakse selle rea olek, mis näitab, et see ei vasta enam täpselt mällu salvestatud koopiale . Sealt edasi koordineerib protokoll värskendust: see märgib vastavad koopiad teistes vahemäludes reserveerituks või kehtetuks ja kirjutab vajaduse korral uue sisu vastavale põhimälu reale.
See kaskaadne organisatsioon võimaldab muudatustel kernelist, mis andmeid uuendab, järk-järgult põhimällu levida, läbides kontrollitud viisil iga vahemälu taseme. Sel viisil ei muutu järjepidevuse säilitamine protsessori jaoks ületamatuks pudelikaelaks.
Riistvara sidusus versus tarkvara sidusus
Siiani oleme arutanud järjepidevuse mehhanisme, mida rakendatakse peamiselt riistvaras: protokollid, olekubitid, jagatud vahemälud jne. Siiski on olemas ka teine lähenemisviis, mis püüab osa sellest keerukusest nihutada tarkvarasse , täpsemalt kompilaatorisse ja operatsioonisüsteemi.
Tarkvarapõhised järjepidevuse skeemid püüavad vähendada täiendava kiibil oleva loogika vajadust, analüüsides koodi ja tehes kompileerimise ajal otsuseid . Idee seisneb selles, et kui kompilaator suudab järeldada, millal ja kuidas teatud jagatud andmetele juurde pääsetakse, saab see paljudel juhtudel takistada nende andmete vahemällu salvestamist või hallata otseselt nende nähtavust.
Sellel lähenemisviisil on selge eelis: osa töökoormusest nihkub käitusajalt kompileerimisaegsele lahendamisele . Selle asemel, et riistvara tuvastaks ja käsitleks kõiki konflikte lennult, püüab kompilaator neid ette näha ja genereerida koodi, mis väldib ohtlikke olukordi.
Negatiivne külg on see, et staatilise koodi analüüs on piiratud ja seetõttu kipuvad kompilaatorid olema konservatiivsed . See tähendab, et järjepidevuse rikkumise vältimiseks teevad nad sageli otsuseid, mis vähendavad vahemälude tõhusust. Kui nad kahtlustavad, et mõned andmed võivad olla problemaatilised, takistavad nad sageli nende vahemällu salvestamist või sunnivad sünkroniseerimist sagedamini kui hädavajalik.
Seega, kuigi need tarkvaraskeemid on teoorias atraktiivsed, eriti riistvaradisaini lihtsustamiseks, ei asenda need praktikas protsessorisse endasse integreeritud koherentsustuge , vaid pigem täiendavad seda mõnes konkreetses stsenaariumis.
Kompilaatori roll vahemälu järjepidevuses
Tarkvarapõhiste järjepidevuse lähenemisviiside võtmeelement on kompilaatori roll. Kompilaator saab teha koodi süvaanalüüsi ja määrata, millised jagatud andmestruktuurid võivad vahemällu salvestamiseks olla ohtlikud . Selle põhjal märgistab see need elemendid spetsiaalsel viisil või kohandab koodi genereerimist.
Lihtsaim ja ka kõige konservatiivsem lähenemisviis on takistada jagatud andmemuutujate vahemällu salvestamist . See tähendab, et iga juurdepääs neile muutujatele sunnib ligi pääsema põhimälule või mitte-vahemällu salvestatavale alale. See tagab järjepidevuse, kuid kaotab palju jõudlusvõimalusi, sest jagatud struktuuri saab tegelikult teatud perioodidel privaatselt kasutada või muudel perioodidel ainult lugemiseks.
Tegelikkuses tekib järjepidevuse probleem ainult intervallide ajal, mil vähemalt üks protsess saab muutujasse kirjutada ja teine protsess saab seda lugeda . Väljaspool neid kriitilisi perioode saab muutujat käsitleda nii, nagu oleks see mõeldud ainult ühe lõime kasutamiseks või isegi mõneks ajaks efektiivse konstandina, mis võimaldab seda probleemideta vahemällu salvestada.
Kõige arenenumad kompileerimisstrateegiad püüavad tuvastada need "ohutud" perioodid, mille jooksul jagatud muutujat võib pidada konfliktivabaks . Selleks analüüsib kompilaator täitmisteid, võimalikke samaaegseid juurdepääsuvõimalusi ja sünkroniseerimismustreid (lukud, kriitilised sektsioonid jne). Selle analüüsi põhjal jagab see muutuja eluea faasideks: mõned sobivad vahemällu salvestamiseks, teised vajavad spetsiaalset käsitlemist.
Kriitilistel perioodidel, kui tuvastatakse samaaegne juurdepääs kirjutamisega, lisab kompilaator genereeritud koodile täiendavaid juhiseid vahemälu järjepidevuse tagamiseks . Need juhised võivad sundida vahemälu tühjendama, mälu uuesti laadima, mälubarjääre looma või juurdepääsu piirkondadele, mis on märgitud mitte-vahemälustatavateks, olenevalt programmeerimismudelist ja aluseks olevast arhitektuurist.
Kompilaatori, operatsioonisüsteemi ja riistvara vaheline seos
Väljend „kompilaator lisab genereeritud koodi juhised vahemälu järjepidevuse tagamiseks” võib jätta mulje, et operatsioonisüsteem loeb neid juhiseid justkui kõrgetasemeliste vihjetena ja otsustab nende põhjal, kuidas programmi käivitada. Tegelikkuses on mehhanism mõnevõrra erinev.
Kui kompilaator lisab seda tüüpi juhiseid, sisestab see binaarfaili arhitektuuri või käituskeskkonna toetatud spetsiifilisi toiminguid . Näiteks saab see lisada vahemälu tühjendamise juhiseid, mälubarjääre, erijuhiseid piirkondade märkimiseks mittevahemällu salvestatavateks või kutseid operatsioonisüsteemi teenustele, mis konfigureerivad mälu atribuute.
Operatsioonisüsteem ei tõlgenda neid juhiseid kompilaatori kirjutatud kõrgetasemeliste "kommentaaride" või "vihjetena"; see lihtsalt käivitab masinkoodi nagu iga teine . Siiski on mõned neist juhistest loodud suhtlema mälu alamsüsteemi ja vahemälu haldusega, muutes seeläbi seda, kuidas protsessor teatud andmetele juurde pääseb.
Teisisõnu, kompilaator teostab eelanalüüsi ja genereerib koodi, mis käivitamisel annab soovitud vahemälu käitumise . Operatsioonisüsteem teeb koostööd mälu atribuutide (vahemällu salvestatavad või mittesalvestatavad alad, kirjutamispoliitikad jne) loomisel ja sünkroniseerimisprimitiivide pakkumisel, kuid see ei "loe" spetsiaalseid juhiseid selles mõttes, et see tõlgendaks neid semantiliselt nagu kompilaator.
Samuti võib juhtuda, et riistvara teatud käske nähes aktiveerib spetsiifilised koherentsus- või sünkroniseerimismehhanismid . Näiteks tagavad fence- või barrier-käsud mälule juurdepääsu järjekorra ja jõustavad teatud nähtavusefekte kogu vahemälu hierarhias. Sellisel juhul toimub kolmepoolne koostöö: kompilaator otsustab, kuhu need käsud paigutada, operatsioonisüsteem konfigureerib täitmiskeskkonna ja riistvara rakendab tegelikku käitumist vahemälu ja mälusiini tasandil.
Kõik need elemendid tagavad koos, et isegi kui samade andmete mitu koopiat on jaotatud erinevate vahemälude ja põhimälu vahel, töötavad paralleelsed programmid järjepideva mälumudeliga . Vahemälu sidusus, mis pole kaugeltki lihtne protsessori sisemine detail, saab mitmetuumaliste süsteemide usaldusväärse ja tõhusa töö keskseks komponendiks.
Vahemälu hierarhia, riistvara koherentsusprotokollide ja tarkvara tugitehnikate koosmõju mõistmine teeb selgemaks, miks tänapäevastel protsessorite disainidel on nii sarnane struktuur ja miks väike rike ükskõik millises neist mehhanismidest võib käivitada kaootilise käitumise samaaegsetes rakendustes , mis sõltuvad täielikult sellest, et kõik tuumad näeksid samu andmeid õigel ajal.