- Välimuistin koherenssi varmistaa, että kaikki saman tiedon kopiot eri välimuisteissa ja RAM-muistissa pysyvät yhdenmukaisina moniydinjärjestelmissä.
- Jaetun viimeisen tason omaava välimuistihierarkia yksinkertaistaa johdonmukaisuuden hallintaa ja vähentää suoria pääsyjä päämuistiin.
- Koherenssiprotokollat käyttävät kopioiden mitätöinti- tai päivitysstrategioita, joita tukevat tilat ja ohjausbitit välimuistiriviä kohden.
- Kääntäjä ja käyttöjärjestelmä voivat täydentää laitteiston yhtenäisyyttä lisäämällä ohjeita ja konfiguroimalla muistia kriittisiä ajanjaksoja varten.
Kun tarkastellaan minkä tahansa nykyaikaisen moniydinprosessorin kaaviota, sama kaava näkyy aina: useita ytimiä, joilla kullakin on omat lähellä olevat välimuistinsa, ja jaettu viimeisen tason välimuisti, joka toimii yhteisenä pisteenä ennen RAM-muistiin pääsyä. Tämä järjestely ei ole sattumaa tai suunnittelijoiden oikku, vaan suora vastaus rinnakkaisjärjestelmien kriittiseen ongelmaan: välimuistin koherenssiin.
Ilman vankkaa yhdenmukaisuusmekanismia jokainen ydin voisi päätyä työskentelemään saman datan eri ja vanhentuneen version kanssa muistissa , mikä todellisessa ohjelmassa johtaa hienovaraisiin virheisiin, arvaamattomiin häiriöihin ja jopa järjestelmän kaatumisiin. Siksi on tärkeää ymmärtää, miten tämä yhdenmukaisuus ylläpidetään – sekä laitteisto- että ohjelmistotasolla – nykyaikaisten moniydinsuorittimien suorituskyvyn ja vakauden ymmärtämiseksi.
Mikä on välimuistin koherenssi: päätemetafora
Kuvittele useita ihmisiä istumassa eri päätteiden ääressä ja kaikki muokkaamassa samaa keskitetylle palvelimelle tallennettua dokumenttia . Jokaisella näytöllä näkyy kopio tiedostosta, ja yhden henkilön tekemien muutosten odotetaan näkyvän välittömästi kaikkien muiden näytöillä.
Jotta tämä toimisi, tarvitaan synkronointimekanismi , joka välittää dokumentin muutokset kaikkiin päätteisiin, jotta kaikki näkevät aina saman version. Niin kauan kuin tämä järjestelmä toimii, kaikki on hyvin: kuka tahansa tekstiä muokkaava tietää, että kaikki muut näkevät uuden version lähes välittömästi.
Kuvittele nyt, että synkronointijärjestelmä yhtäkkiä epäonnistuu. Jokainen henkilö jatkaa muokkaamista vakuuttuneena siitä, että he työskentelevät jaetun dokumentin parissa, mutta todellisuudessa jokaiselle päätelaitteelle jää oma irrallinen paikallinen kopionsa . Tästä hetkestä lähtien yhden henkilön tekemät muutokset eivät tavoita muita, ja dokumentti alkaa erottua hallitsemattomasti toisistaan.
Tietojenkäsittelyn alalla juuri näin tapahtuisi, jos suorittimelta puuttuisi luotettava yhdenmukaisuusprotokolla: yksi ydin muokkaa muistissa olevia tietoja, mutta muut ytimet jatkavat vanhemman version lukemista yksityisistä välimuisteistaan . Tämä luo otollisen maaperän vakaville loogisille virheille, vioittuneelle tiedolle ja virheenkorjaustoiminnoille.
Välimuistin koherenssi on siis joukko mekanismeja, jotka varmistavat, että moniydinjärjestelmässä kaikki saman tiedon kopiot eri välimuisteissa ja RAM-muistissa säilyttävät yhdenmukaisen tilan . Vaikka useita kopioita olisi olemassa, järjestelmän on toimittava "ikään kuin" niitä olisi vain yksi.
Välimuistit ja muistihierarkia moniydinprosessorissa
Suorittimen välimuistit ovat pieniä, erittäin nopeita muisteja, jotka sisältävät kopioita usein käytetyistä RAM-muistin osista . Kun suoritin suorittaa koodia, se ei jatkuvasti käytä (suhteellisen hidasta) RAM-muistia, vaan yrittää lukea ja kirjoittaa välimuistiin, mikä vähentää viivettä merkittävästi.
Jujuna on tietenkin se, että välimuistit eivät tallenna datan "virallista versiota", vaan ainoastaan väliaikaisen kopion . Päätemetaforan mukaisesti RAM olisi palvelimella oleva dokumentti, kun taas välimuistit olisivat paikallisia näyttöjä, jotka näyttävät kopioita tiedoston tietyistä osista.
Moniydinsuorittimessa suunnittelusta tulee monimutkaisempi, koska jokaisella ytimellä on tyypillisesti omat yksityiset tason 1 (L1) ja jopa tason 2 (L2) välimuistinsa . Näiden yläpuolelle lisätään esimerkiksi jaettu tason 3 välimuisti, joka sijaitsee ytimien ja muistiohjaimen välissä, joka tarjoaa pääsyn RAM-muistiin.
Tämä jaettu välimuisti otetaan käyttöön, koska kaikkien ytimien suora ja intensiivinen RAM-muistin käyttö aiheuttaisi käyttökonflikteja, kilpavarauksia muistiväylässä ja merkittävää suorituskyvyn laskua . Viimeisen tason välimuisti toimii yhteisenä "puskurina", joka vähentää RAM-muistin käyttökertoja ja keskittää suuren osan dataliikenteestä.
Lisäksi monet arkkitehtuurit järjestävät välimuistit inklusiivisesti: prosessorin lähellä oleville tasoille tallennetut rivit esiintyvät myös hierarkian ylemmillä tasoilla . Toisin sanoen rivi, joka esiintyy L1-tasolla, on myös L2-tasolla ja sitä kautta L3-tasolla. Tällä on erittäin hyödyllinen seuraus johdonmukaisuuden kannalta: pelkkä alimman tason välimuistin päivittäminen oikein riittää hallitsemaan muiden tasojen tilaa ilman, että RAM-muistia tarvitsee jatkuvasti käyttää.
Miksi viimeisen tason jaettu välimuisti on avainasemassa johdonmukaisuuden kannalta
Ilman tätä globaalia viimeisen tason välimuistia jokaisen ytimen olisi tarkistettava yhdenmukaisuus suoraan päämuistia vasten . Joka kerta, kun yksityisen välimuistin muistiriviä muutetaan, olisi tarkistettava, ylläpitävätkö muut ytimet kopiota samasta rivistä, ja jos ovat, päivittää tai mitätöidä se kaikkialla.
Järjestelmässä, jossa on useita ytimiä, tämä tarkistusten työmäärä johtaisi valtavaan määrään RAM-muistiin tallennettuja tapahtumia , mikä mitätöisi suuren osan nopeiden välimuistien eduista. Sijoittamalla jaetun välimuistin ytimien ja muistin välille, suoritin voi keskittää koherenssin hallinnan yhteen välitilaan.
Monissa toteutuksissa ylempien tasojen (kauempana prosessorista) välimuistit sisältävät kopioita ydintä lähempänä olevilla tasoilla olevista riveistä . Tällä organisaatiolla koherenssiprotokollan tarvitsee vain varmistaa, että viimeinen taso on synkronoitu päämuistin kanssa ja että kunkin ytimen yksityiset tasot on synkronoitu välittömästi sitä ylempänä olevan tason kanssa.
Tämä voidaan visualisoida eräänlaisena venäläisenä pesä-nukkena: kolmannen tason välimuisti sisältää toisen ja ensimmäisen tason sisällön , toinen taso sisältää oman sisältönsä ja ensimmäisen tason sisällön, ja ensimmäinen taso tuntee vain omat rivinsä. Näin ollen ohjaamalla "suurta nukkea" (viimeistä tasoa) järjestelmä voi koordinoida loput tehokkaammin.
Tuloksena on, että johdonmukaisuuden ylläpitäminen tulee taloudellisemmaksi suunnittelun ja muistiliikenteen kannalta . Sen sijaan, että jokainen ydin pakotettaisiin jatkuvasti käsittelemään RAM-muistia, protokolla toimii jaetun välimuistin varassa ja hallitsee siitä käsin, mitkä rivit päivitetään tai mitätöidään yksityisissä välimuisteissa.
Päivitysmenetelmät: kopioiden mitätöinti ja päivittäminen
Kriittinen ongelma syntyy, kun kaksi tai useampi ydin haluaa käyttää lähes samanaikaisesti samaa tietoriviä, joka on replikoitu useiden välimuistien kautta . Tässä yhteydessä yhdenmukaisuusjärjestelmät käyttävät tyypillisesti kahta perusstrategiaa kirjoitusten käsittelyssä.
Ensimmäinen menetelmä perustuu mitätöintiin. Kun ytimen on kirjoitettava tietylle välimuistiriville, protokolla mitätöi kaikki saman rivin kopiot, jotka saattavat olla muissa välimuisteissa . Vain kirjoittava ydin pitää rivin luku- ja kirjoitusvalmiudessa; muiden ydinten, jos ne haluavat käyttää kyseistä tietoa uudelleen, on ladattava rivi uudelleen korkeammalta tasolta (tai muistista) päivitetyllä versiolla.
Toinen strategia sisältää päivittämisen. Tässä tapauksessa, kun ydin muokkaa riviä, järjestelmä yrittää automaattisesti levittää uuden sisällön olemassa oleviin kopioihin muissa välimuisteissa . Tällä tavoin kaikki kyseisen rivin tallentaneet välimuistit vastaanottavat päivitetyn version ilman, että sitä tarvitsee mitätöidä ja ladata uudelleen myöhemmin.
Jokaisella lähestymistavalla on hyvät ja huonot puolensa. Mitätöinti on yleensä tehokkaampaa, kun kirjoituksia tehdään usein, koska se välttää muistijärjestelmän ylikuormittamisen päivityksillä, joita muut ytimet eivät välttämättä tarvitse välittömästi. Toisaalta päivittäminen voi olla edullista, kun monet ytimet lukevat usein samaa dataa, jota muokataan suhteellisen harvoin , koska se vähentää latenssia, koska riviä ei tarvitse ladata uudelleen jokaisen mitätöinnin jälkeen.
Kummassakin tapauksessa molemmat menetelmät hyödyntävät välimuistirivien lisätiloja ja ohjausbittejä. Jokainen rivi sisältää tyypillisesti tietoa siitä, vastaako sen sisältö RAM-muistin sisältöä ja onko se jaettu, muokattu, eksklusiivinen, varattu jne. riippuen käytetystä protokollasta (MESI, MOESI, MSI jne.). Tämä mahdollistaa laitteiston tehdä nopeita päätöksiä siitä, mitä tehdä, kun luku- tai kirjoitustoiminto tapahtuu jo replikoidulla rivillä.
Välimuistien ja muistin välisen yhdenmukaisuuden tarkistaminen
CPU:n tai GPU:n kaikkien välimuistitasojen ja keskusmuistin välisen yhdenmukaisuuden suora tarkistaminen olisi valtava tehtävä sekä suunnittelun monimutkaisuuden että suorituskykykustannusten kannalta. Siksi nykyaikaiset järjestelmät järjestävät tämän varmennuksen hierarkkisesti.
Suoritinta lähimpänä olevat välimuistit (L1, L2) eivät yleensä ole suoraan yhteydessä RAM-muistiin, vaan seuraavaan välimuistitasoon. Tämä tarkoittaa, että yhdenmukaisuutta ei tarkisteta kunkin tason päämuistia vasten, vaan pikemminkin välittömästi ylempää tasoa vasten . Tämä vähentää RAM-käyttökertojen määrää ja yksinkertaistaa alemmilla tasoilla vaadittavaa logiikkaa.
Lopulta välimuistin sisällön ja RAM-muistin sisällön vertailu suoritetaan viimeisen tason välimuistin ja päämuistin välillä . Jos tämä viimeinen taso ylläpitää oikeaa ja yhdenmukaista tilaa ja jokainen alempi taso säilyttää yhdenmukaisuutensa ylemmän tason kanssa, koko hierarkia pysyy yhdenmukaisena ilman, että jokaista riviä tarvitsee tarkistaa toistuvasti RAM-muistia vasten.
Kun ydin kirjoittaa välimuistiriville ja muuttaa sen tietoja, rivin tila merkitään osoittamaan, että se ei enää täsmälleen vastaa muistiin tallennettua kopiota . Tämän jälkeen protokolla koordinoi päivitystä: se merkitsee vastaavat kopiot muissa välimuisteissa varatuiksi tai virheellisiksi ja kirjoittaa tarvittaessa uuden sisällön vastaavalle päämuistiriville.
Tämä CSS-organisaatio mahdollistaa muutosten etenemisen asteittain ytimestä, joka päivittää tiedot, päämuistiin ja kulkee hallitusti jokaisen välimuistitason läpi. Tällä tavoin yhtenäisyyden ylläpitäminen ei muodosta ylitsepääsemätöntä pullonkaulaa prosessorille.
Laitteiston ja ohjelmiston johdonmukaisuus
Tähän mennessä olemme käsitelleet pääasiassa laitteistossa toteutettuja yhdenmukaisuusmekanismeja: protokollia, tilatietoja, jaettuja välimuisteja jne. On kuitenkin olemassa toinenkin lähestymistapa, joka pyrkii siirtämään osan tästä monimutkaisuudesta ohjelmistoon , erityisesti kääntäjään ja käyttöjärjestelmään.
Ohjelmistopohjaiset johdonmukaisuusjärjestelmät pyrkivät vähentämään lisälogiikan tarvetta analysoimalla koodia ja tekemällä käännösaikaisia päätöksiä . Ajatuksena on, että jos kääntäjä pystyy päättelemään, milloin ja miten tiettyjä jaettuja tietoja käytetään, se voisi monissa tapauksissa estää kyseisen tiedon tallentamisen välimuistiin tai hallita sen näkyvyyttä eksplisiittisesti.
Tällä lähestymistavalla on selkeä etu: osa työmäärästä siirtyy ajonaikaisesta käännösaikaiseen ratkaisuun . Sen sijaan, että laitteisto havaitsee ja käsittelee kaikki konfliktit lennossa, kääntäjä pyrkii ennakoimaan ne ja luomaan koodia, joka välttää vaaralliset tilanteet.
Haittapuolena on, että staattinen koodianalyysi on rajallista, ja siksi kääntäjät ovat yleensä konservatiivisia . Tämä tarkoittaa, että välttääkseen johdonmukaisuuden rikkomisen ne tekevät usein päätöksiä, jotka heikentävät välimuistien tehokkuutta. Jos ne epäilevät, että jokin data saattaa olla ongelmallista, ne usein estävät sen tallentamisen välimuistiin tai pakottavat synkronoinnit useammin kuin on ehdottoman välttämätöntä.
Siksi, vaikka nämä ohjelmistoratkaisut ovat teoriassa houkuttelevia, erityisesti laitteistosuunnittelun yksinkertaistamisen kannalta, ne eivät käytännössä korvaa itse suorittimeen integroitua koherenssitukea , vaan pikemminkin täydentävät sitä tietyissä tilanteissa.
Kääntäjän rooli välimuistin yhtenäisyydessä
Ohjelmistopohjaisten johdonmukaisuuslähestymistapojen keskeinen elementti on kääntäjän rooli. Kääntäjä voi suorittaa koodin syvällisen analyysin ja määrittää, mitkä jaetut tietorakenteet eivät välttämättä ole turvallisia välimuistiin tallennuksen kannalta . Tämän perusteella se merkitsee nämä elementit erityisellä tavalla tai mukauttaa koodin luontia.
Yksinkertaisin ja myös varovaisin lähestymistapa on estää jaettujen datamuuttujien tallentuminen välimuistiin . Toisin sanoen jokainen näiden muuttujien käyttö pakottaa käyttämään päämuistia tai välimuistiin tallentamatonta aluetta. Tämä takaa yhdenmukaisuuden, mutta menettää monia suorituskykymahdollisuuksia, koska jaettua rakennetta voidaan itse asiassa käyttää yksityisesti tiettyinä aikoina tai vain luku -tilassa toisina aikoina.
Todellisuudessa johdonmukaisuusongelma ilmenee vain silloin, kun ainakin yksi prosessi voi kirjoittaa muuttujaan ja toinen prosessi voi lukea sen . Näiden kriittisten jaksojen ulkopuolella muuttujaa voidaan käsitellä yhden säikeen yksinomaiseen käyttöön tarkoitettuna tai jopa tehokkaana vakiona jonkin aikaa, jolloin se voidaan tallentaa välimuistiin ongelmitta.
Kehittyneimmät käännösstrategiat pyrkivät tunnistamaan ne "turvalliset" ajanjaksot, joiden aikana jaettua muuttujaa voidaan pitää ristiriitaa aiheuttamattomana . Tätä varten kääntäjä analysoi suorituspolkuja, mahdollisia samanaikaisia käyttötarkoituksia ja synkronointimalleja (lukitukset, kriittiset osiot jne.). Tämän analyysin perusteella se jakaa muuttujan elinkaaren vaiheisiin: jotkut soveltuvat välimuistiin tallennukseen, toiset vaativat erityiskäsittelyä.
Kriittisinä aikoina, kun havaitaan samanaikaista käyttöä ja kirjoituksia, kääntäjä lisää luotuun koodiin lisäohjeita välimuistin yhtenäisyyden varmistamiseksi . Nämä ohjeet voivat pakottaa välimuistin tyhjennykset, muistin uudelleenlataukset, muistiesteet tai pääsyn alueille, jotka on merkitty välimuistiin ei-merkityiksi, ohjelmointimallista ja taustalla olevasta arkkitehtuurista riippuen.
Kääntäjän, käyttöjärjestelmän ja laitteiston välinen suhde
Ilmaus "kääntäjä lisää ohjeita luotuun koodiin välimuistin yhtenäisyyden varmistamiseksi" saattaa antaa ymmärtää, että käyttöjärjestelmä lukee nämä ohjeet ikään kuin ne olisivat korkean tason vihjeitä ja päättää niiden perusteella, miten ohjelma suoritetaan. Todellisuudessa mekanismi on hieman erilainen.
Kun kääntäjä lisää tällaisia ohjeita, se lisää binääritiedostoon arkkitehtuurin tai ajonaikaisen ympäristön tukemia erityisoperaatioita . Se voi esimerkiksi lisätä välimuistin tyhjennysohjeita, muistiesteitä, erityisohjeita alueiden merkitsemiseksi välimuistista poistettaviksi tai kutsuja käyttöjärjestelmän palveluihin, jotka konfiguroivat muistin ominaisuuksia.
Käyttöjärjestelmä ei tulkitse näitä ohjeita kääntäjän kirjoittamiksi korkean tason "kommenteiksi" tai "vihjeiksi", vaan se yksinkertaisesti suorittaa konekoodin kuten minkä tahansa muun . Jotkin näistä ohjeista on kuitenkin suunniteltu vuorovaikuttamaan muistijärjestelmän ja välimuistin hallinnan kanssa, mikä muuttaa tapaa, jolla suoritin käyttää tiettyjä tietoja.
Toisin sanoen kääntäjä suorittaa alustavan analyysin ja luo koodin, joka suoritettaessa tuottaa halutun välimuistitoiminnan . Käyttöjärjestelmä tekee yhteistyötä määrittämällä muistiattribuutteja (välimuistiin tallennettavat tai ei-välimuistiin tallennettavat alueet, kirjoituskäytännöt jne.) ja tarjoamalla synkronointiprimitiivejä, mutta se ei "lue" erityisohjeita siinä mielessä, että se tulkitsisi niitä semanttisesti kuten kääntäjä tekisi.
Voi myös käydä niin, että laitteisto tiettyjä ohjeita nähdessään aktivoi tiettyjä koherenssi- tai synkronointimekanismeja . Esimerkiksi fence- tai barrier-ohjeet takaavat muistin käyttöjärjestyksen ja valvovat tiettyjä näkyvyysvaikutuksia välimuistihierarkiassa. Tässä tapauksessa yhteistyö on kolmitietäistä: kääntäjä päättää, mihin nämä ohjeet sijoitetaan, käyttöjärjestelmä konfiguroi suoritusympäristön ja laitteisto toteuttaa varsinaisen toiminnan välimuisti- ja muistiväylätasolla.
Yhdessä kaikki nämä elementit varmistavat, että vaikka samasta datasta olisi useita kopioita eri välimuisteissa ja päämuistissa, rinnakkaisohjelmat toimivat yhdenmukaisella muistimallilla . Välimuistin koherenssi ei ole pelkkä suorittimen sisäinen yksityiskohta, vaan siitä tulee keskeinen osa moniydinjärjestelmien luotettavaa ja tehokasta toimintaa.
Ymmärtämällä, miten välimuistihierarkia, laitteiston koherenssiprotokollat ja ohjelmistotukitekniikat yhdistyvät, selvennetään, miksi nykyaikaisilla suorittimien malleilla on niin samanlainen rakenne ja miksi pienikin vika missä tahansa näistä mekanismeista voi laukaista kaoottisen käyttäytymisen samanaikaisissa sovelluksissa , jotka ovat täysin riippuvaisia siitä, että kaikki ytimet näkevät saman datan oikeaan aikaan.