- Koherentnost predmemorije osigurava da sve kopije istih podataka u različitim predmemorijama i RAM-u ostanu konzistentne na višejezgrenim sustavima.
- Hijerarhija predmemorije s dijeljenom posljednjom razinom pojednostavljuje kontrolu konzistentnosti i smanjuje izravne pristupe glavnoj memoriji.
- Protokoli koherencije koriste strategije poništavanja ili ažuriranja kopija, podržane stanjima i kontrolnim bitovima po liniji predmemorije.
- Kompajler i operativni sustav mogu nadopuniti konzistentnost hardvera umetanjem instrukcija i konfiguriranjem memorije za kritična razdoblja.
Kada pogledate dijagram bilo kojeg modernog višejezgrenog procesora, uvijek se pojavljuje isti obrazac: više jezgri, svaka sa svojim vlastitim obližnjim predmemorijama, i zajednička predmemorija posljednje razine koja djeluje kao zajednička točka prije dolaska do RAM-a. Ovaj raspored nije slučajan ili hir dizajnera, već izravan odgovor na kritični problem u paralelnim sustavima: koherentnost predmemorije.
Bez robusnog mehanizma konzistentnosti, svaka jezgra bi mogla raditi s drugačijom i zastarjelom verzijom istih podataka u memoriji , što se u stvarnom programu prevodi u suptilne pogreške, nepredvidive kvarove, pa čak i padove sustava. Stoga je razumijevanje kako se ta konzistentnost održava - i na hardverskoj i na softverskoj razini - ključno za razumijevanje performansi i stabilnosti modernih višejezgrenih CPU-a.
Što je koherencija predmemorije: metafora terminala
Zamislite nekoliko ljudi koji sjede ispred različitih terminala i uređuju isti dokument pohranjen na centralnom poslužitelju . Svaki zaslon prikazuje kopiju datoteke, a očekuje se da će se sve promjene koje jedna osoba napravi odmah odraziti na zaslonima svih ostalih.
Da bi ovo funkcioniralo, potreban je mehanizam sinkronizacije koji prenosi promjene dokumenta na sve terminale, tako da svi uvijek vide istu verziju. Sve dok ovaj sustav radi, sve je u redu: tko god mijenja tekst zna da će svi ostali gotovo trenutno vidjeti novu verziju.
Sada zamislite da sustav sinkronizacije iznenada zakaže. Svaka osoba nastavlja uređivati, uvjerena da radi na dijeljenom dokumentu, ali u stvarnosti svaki terminal ostaje sa svojom vlastitom nepovezanom lokalnom kopijom . Od tog trenutka nadalje, promjene koje napravi jedna osoba ne dopiru do ostalih, a dokument počinje nekontrolirano divergirati.
U području računarstva, upravo bi se to dogodilo kada bi CPU-u nedostajao pouzdan protokol za konzistentnost: jedna jezgra modificira podatke u memoriji, ali ostale jezgre nastavljaju čitati stariju verziju iz svojih privatnih predmemorija . To stvara plodno tlo za ozbiljne logičke pogreške, oštećene podatke i ponašanje pri otkrivanju grešaka.
Koherentnost predmemorije je stoga skup mehanizama koji osiguravaju da u višejezgrenom sustavu sve kopije istih podataka raspoređenih po različitim predmemorijama i RAM-u održavaju konzistentno stanje . Čak i ako postoji više kopija, sustav se mora ponašati "kao da" postoji samo jedna.
Predmemorije i hijerarhija memorije u višejezgrenom CPU-u
Predmemorije procesora su male, vrlo brze memorije koje sadrže kopije često korištenih dijelova RAM-a . Kada procesor izvršava kod, umjesto da kontinuirano pristupa (relativno sporom) RAM-u, pokušava čitati iz predmemorije i pisati u nju, drastično smanjujući latenciju.
Trik je, naravno, u tome što predmemorije ne pohranjuju "službenu verziju" podataka, već samo privremenu repliku . Slijedeći metaforu terminala, RAM bi bio dokument na poslužitelju, dok bi predmemorije bile lokalni zasloni koji prikazuju kopije određenih dijelova datoteke.
U višejezgrenom CPU-u, dizajn postaje složeniji jer svaka jezgra obično ima vlastite privatne predmemorije razine 1 (L1) i čak razine 2 (L2) . Iznad njih, dodaje se zajednička predmemorija razine 3 (na primjer), smještena između jezgri i memorijskog kontrolera koji omogućuje pristup RAM-u.
Ova dijeljena predmemorija uvedena je jer bi dopuštanje svim jezgrama da izravno i intenzivno pristupaju RAM-u uzrokovalo sukobe pristupa, natjecanje na memorijskoj sabirnici i značajan pad performansi . Predmemorija posljednje razine djeluje kao zajednički "međuspremnik" koji smanjuje pristupe RAM-u i centralizuje većinu podatkovnog prometa.
Nadalje, mnoge arhitekture organiziraju predmemorije inkluzivno: linije pohranjene na razinama blizu procesora prisutne su i na višim razinama hijerarhije . To jest, linija koja se pojavljuje u L1 također je u L2, a time i u L3. To ima vrlo korisnu posljedicu za dosljednost: jednostavno ažuriranje predmemorije najniže razine dovoljno je za kontrolu stanja ostalih razina bez potrebe za stalnim pristupom RAM-u.
Zašto je dijeljeno predmemoriranje posljednje razine ključno za dosljednost
Bez ove globalne predmemorije posljednje razine, svaka bi jezgra morala izravno provjeravati konzistentnost u odnosu na glavnu memoriju . Svaki put kada bi se memorijska linija u privatnoj predmemoriji modificirala, bilo bi potrebno provjeriti održavaju li druge jezgre kopiju iste linije i, ako je tako, ažurirati je ili poništiti svugdje.
U sustavu s mnogo jezgri, ovo opterećenje provjerama rezultiralo bi ogromnim brojem transakcija u RAM-u , što bi poništilo velik dio prednosti brzih predmemorija. Postavljanjem zajedničke predmemorije između jezgri i memorije, CPU može koncentrirati kontrolu koherencije na jednoj međulokaciji.
U mnogim implementacijama, predmemorije na višim razinama (dalje od procesora) sadrže kopije linija prisutnih na razinama bliže jezgri . S ovom organizacijom, protokol koherencije treba samo osigurati da je posljednja razina sinkronizirana s glavnom memorijom i da su privatne razine svake jezgre sinkronizirane s razinom neposredno iznad nje.
To se može vizualizirati kao svojevrsna ruska lutka za gniježđenje: predmemorija treće razine uključuje sadržaj druge i prve razine , druga razina uključuje vlastiti sadržaj i sadržaj prve razine, a prva razina poznaje samo svoje retke. Dakle, kontroliranjem "velike lutke" (posljednje razine), sustav može učinkovitije koordinirati ostatak.
Rezultat je da održavanje konzistentnosti postaje ekonomičnije u smislu dizajna i memorijskog prometa . Umjesto da prisiljava svaku jezgru da stalno barata RAM-om, protokol radi na dijeljenoj predmemoriji i odatle upravlja time koje linije treba ažurirati ili poništiti u privatnim predmemorijama.
Metode ažuriranja: poništavanje i ažuriranje kopija
Kritičan problem nastaje kada dvije ili više jezgri žele gotovo istovremeno pristupiti istom retku podataka koji se replicira u više predmemorija . U tom kontekstu, sustavi konzistentnosti obično koriste dvije temeljne strategije pri rukovanju zapisima.
Prva metoda temelji se na poništavanju valjanosti. Kada kernel treba pisati u određeni redak predmemorije, protokol poništava sve kopije istog retka koje mogu postojati u drugim predmemorijama . Samo kernel koji će pisati održava redak u stanju omogućenom za čitanje i pisanje; ostali, ako žele ponovno koristiti te podatke, morat će ponovno učitati redak s više razine (ili iz memorije) s ažuriranom verzijom.
Druga strategija uključuje ažuriranje. U ovom slučaju, kada kernel modificira redak, sustav pokušava automatski proširiti novi sadržaj na postojeće kopije u drugim predmemorijama . Na taj način, sve predmemorije koje su pohranile taj redak primaju ažuriranu verziju bez potrebe za poništavanjem i ponovnim učitavanjem.
Svaki pristup ima svoje prednosti i nedostatke. Poništavanje je obično učinkovitije kada su pisanja česta jer izbjegava zasićenje memorijskog sustava ažuriranjima koja drugim jezgrama možda neće odmah trebati. Suprotno tome, ažuriranje može biti korisno kada mnoge jezgre često čitaju iste podatke koji se relativno rijetko mijenjaju , jer smanjuje latenciju jer se ne mora ponovno učitati linija nakon svakog poništavanja.
U oba slučaja, obje metode koriste dodatna stanja i kontrolne bitove u linijama predmemorije. Svaka linija obično uključuje informacije o tome odgovara li njezin sadržaj onome u RAM- u te je li dijeljena, modificirana, isključiva, rezervirana itd., ovisno o specifičnom protokolu (MESI, MOESI, MSI itd.). To omogućuje hardveru da brzo donosi odluke o tome što učiniti kada se operacija čitanja ili pisanja dogodi na već repliciranoj liniji.
Provjera konzistentnosti između predmemorije i memorije
Izravna provjera konzistentnosti između svih razina predmemorije CPU-a ili GPU-a i glavne memorije bio bi ogroman zadatak, kako u smislu složenosti dizajna, tako i u smislu troškova performansi. Stoga moderni sustavi organiziraju ovu provjeru hijerarhijski.
Predmemorije najbliže procesoru (L1, L2) obično nisu izravno povezane s RAM-om, već sa sljedećom razinom predmemorije. To znači da se konzistentnost ne provjerava u odnosu na glavnu memoriju na svakoj razini, već u odnosu na neposredno višu razinu . To smanjuje broj pristupa RAM-u i pojednostavljuje logiku potrebnu na nižim razinama.
U konačnici, usporedba između sadržaja predmemorije i sadržaja RAM-a provodi se između predmemorije posljednje razine i glavne memorije . Ako ova posljednja razina održava ispravno i konzistentno stanje, a svaka niža razina održava konzistentnost s onom iznad nje, cijela hijerarhija ostaje konzistentna bez potrebe za ponovljenom provjerom svake linije u RAM-u.
Kada kernel zapisuje u liniju predmemorije i mijenja njezine podatke, stanje te linije se označava kako bi se naznačilo da više ne odgovara točno kopiji pohranjenoj u memoriji . Od tamo, protokol koordinira ažuriranje: označava odgovarajuće kopije u drugim predmemorijama kao rezervirane ili nevažeće i, kada je to prikladno, zapisuje novi sadržaj u pridruženu liniju glavne memorije.
Ova kaskadna organizacija omogućuje progresivno širenje promjena iz jezgre, koja ažurira podatke, u glavnu memoriju, prolazeći kroz svaku razinu predmemorije na kontroliran način. Na taj način održavanje konzistentnosti ne postaje nepremostivo usko grlo za procesor.
Koherentnost hardvera naspram koherentnosti softvera
Do sada smo raspravljali o mehanizmima konzistentnosti koji su uglavnom implementirani u hardveru: protokoli, statusni bitovi, dijeljene predmemorije itd. Međutim, postoji još jedan pristup koji nastoji dio te složenosti prebaciti na softver , točnije na kompajler i operativni sustav.
Softverski utemeljene sheme konzistentnosti pokušavaju smanjiti potrebu za dodatnom logikom na čipu analizirajući kod i donošenjem odluka tijekom kompajliranja . Ideja je da ako kompajler može zaključiti kada i kako se pristupa određenim dijeljenim podacima, u mnogim slučajevima bi mogao spriječiti predmemoriranje tih podataka ili eksplicitno upravljati njihovom vidljivošću.
Ovaj pristup ima jasnu prednost: dio radnog opterećenja prebacuje se s rješavanja tijekom izvođenja na rješavanje tijekom kompajliranja . Umjesto da hardver otkriva i obrađuje sve konflikte u hodu, kompajler ih pokušava predvidjeti i generirati kod koji izbjegava opasne situacije.
Nedostatak je što je statička analiza koda ograničena, pa su kompajleri skloni konzervativnosti . To znači da, kako bi izbjegli narušavanje konzistentnosti, često donose odluke koje smanjuju učinkovitost predmemorija. Ako posumnjaju da bi neki podaci mogli biti problematični, često sprječavaju njihovo predmemoriranje ili prisiljavaju sinkronizacije češće nego što je to strogo potrebno.
Stoga, iako su ove softverske sheme atraktivne u teoriji, posebno za pojednostavljenje dizajna hardvera, u praksi one ne zamjenjuju podršku koherencije integriranu u sam CPU , već je nadopunjuju u nekim specifičnim scenarijima.
Uloga kompajlera u konzistentnosti predmemorije
Ključni element pristupa konzistentnosti temeljenih na softveru je uloga kompajlera. Kompajler može izvršiti dubinsku analizu koda i utvrditi koje dijeljene strukture podataka mogu biti nesigurne za predmemoriranje . Na temelju toga, te elemente označava na poseban način ili prilagođava generiranje koda.
Najjednostavniji, a ujedno i najkonzervativniji pristup je sprječavanje predmemoriranja varijabli dijeljenih podataka . To jest, svaki pristup tim varijablama prisiljava pristup glavnoj memoriji ili području koje se ne može predmemorirati. To jamči dosljednost, ali propušta mnoge prilike za poboljšanje performansi, jer se dijeljena struktura zapravo može privatno koristiti tijekom određenih razdoblja ili samo za čitanje u drugim.
U stvarnosti, problem konzistentnosti javlja se samo tijekom intervala kada barem jedan proces može pisati u varijablu, a drugi proces je može čitati . Izvan ovih kritičnih razdoblja, varijabla se može tretirati kao da je za isključivu upotrebu jedne niti ili čak kao efektivna konstanta neko vrijeme, što omogućuje njezino keširanje bez problema.
Najnaprednije strategije kompilacije pokušavaju identificirati ona "sigurna" razdoblja tijekom kojih se dijeljena varijabla može smatrati nekonfliktnom . Da bi to učinio, kompajler analizira putove izvršavanja, potencijalne istovremene pristupe i obrasce sinkronizacije (zaključavanja, kritične sekcije itd.). Na temelju ove analize, dijeli životni vijek varijable u faze: neke su prikladne za predmemoriranje, a druge zahtijevaju posebno rukovanje.
Tijekom kritičnih razdoblja, kada se otkrije istodobni pristup s pisanjem, kompajler ubacuje dodatne instrukcije u generirani kod kako bi se osigurala konzistentnost predmemorije . Ove instrukcije mogu prisiliti ispiranje predmemorije, ponovno učitavanje memorije, memorijske barijere ili pristup područjima označenim kao nepredmemorirana, ovisno o programskom modelu i temeljnoj arhitekturi.
Odnos između kompajlera, operativnog sustava i hardvera
Izraz "kompajler ubacuje instrukcije u generirani kod kako bi osigurao konzistentnost predmemorije" mogao bi navesti na pomisao da operativni sustav čita te instrukcije kao da su to nagovještaji visoke razine i na temelju toga odlučuje kako izvršiti program. U stvarnosti je mehanizam donekle drugačiji.
Kada kompajler doda ove vrste instrukcija, u binarnu datoteku uvodi specifične operacije koje podržava arhitektura ili okruženje izvođenja . Na primjer, može umetnuti instrukcije za ispiranje predmemorije, memorijske barijere, posebne instrukcije za označavanje regija kao nepredmemoriranih ili pozive servisima operacijskog sustava koji konfiguriraju atribute memorije.
Operativni sustav ne interpretira ove instrukcije kao "komentare" ili "savjete" visoke razine koje je napisao kompajler; on jednostavno izvršava strojni kod kao i bilo koji drugi . Međutim, neke od ovih instrukcija dizajnirane su za interakciju s memorijskim podsustavom i upravljanjem predmemorijom, mijenjajući tako način na koji CPU pristupa određenim podacima.
Drugim riječima, kompajler provodi preliminarnu analizu i generira kod koji, kada se izvrši, proizvodi željeno ponašanje predmemorije . Operativni sustav surađuje uspostavljanjem atributa memorije (područja koja se mogu ili ne mogu predmemorirati, pravila pisanja itd.) i pružanjem primitiva za sinkronizaciju, ali ne "čita" posebne instrukcije u smislu da ih semantički interpretira kao što bi to učinio kompajler.
Također se može dogoditi da hardver, nakon što vidi određene instrukcije, aktivira specifične mehanizme koherencije ili sinkronizacije . Na primjer, instrukcije tipa fence ili barrier jamče redoslijed pristupa memoriji i provode određene efekte vidljivosti u cijeloj hijerarhiji predmemorije. U ovom slučaju postoji trostrana suradnja: kompajler odlučuje gdje će smjestiti te instrukcije, operativni sustav konfigurira okruženje izvršavanja, a hardver implementira stvarno ponašanje na razini predmemorije i memorijske sabirnice.
Zajedno, svi ovi elementi osiguravaju da, čak i s više kopija istih podataka raspoređenih po različitim predmemorijama i glavnoj memoriji, paralelni programi rade s konzistentnim modelom memorije . Koherentnost predmemorije, daleko od toga da je jednostavan interni detalj CPU-a, postaje središnja komponenta za pouzdan i učinkovit rad višejezgrenih sustava.
Razumijevanje načina na koji se kombiniraju hijerarhija predmemorije, protokoli za koherenciju hardvera i tehnike softverske podrške jasnije pokazuje zašto moderni dizajni CPU-a dijele tako sličnu strukturu i zašto mali kvar u bilo kojem od tih mehanizama može izazvati kaotično ponašanje u istodobnim aplikacijama koje u potpunosti ovise o tome da sve jezgre vide iste podatke u pravo vrijeme.