- Koherenca predpomnilnika zagotavlja, da vse kopije istih podatkov v različnih predpomnilnikih in RAM-u ostanejo dosledne v večjedrnih sistemih.
- Hierarhija predpomnilnika z deljeno zadnjo ravnijo poenostavlja nadzor skladnosti in zmanjšuje neposredne dostope do glavnega pomnilnika.
- Protokoli koherence uporabljajo strategije razveljavitve ali posodabljanja kopij, ki jih podpirajo stanja in kontrolni biti na vrstico predpomnilnika.
- Prevajalnik in operacijski sistem lahko dopolnita doslednost strojne opreme z vstavljanjem ukazov in konfiguriranjem pomnilnika za kritična obdobja.
Ko pogledate diagram katerega koli sodobnega večjedrnega procesorja, se vedno pojavi isti vzorec: več jeder, vsako s svojimi bližnjimi predpomnilniki, in skupni predpomnilnik zadnje ravni, ki deluje kot skupna točka, preden doseže RAM. Ta razporeditev ni naključna ali muha oblikovalcev, temveč neposreden odgovor na kritično težavo v vzporednih sistemih: koherenco predpomnilnika.
Brez robustnega mehanizma za skladnost bi lahko vsako jedro delovalo z drugačno in zastarelo različico istih podatkov v pomnilniku , kar v resničnem programu pomeni subtilne napake, nepredvidljive okvare in celo zrušitve sistema. Zato je razumevanje, kako se ta skladnost vzdržuje – tako na ravni strojne kot programske opreme – ključnega pomena za razumevanje delovanja in stabilnosti sodobnih večjedrnih procesorjev.
Kaj je koherenca predpomnilnika: metafora terminala
Predstavljajte si več ljudi, ki sedijo pred različnimi terminali in vsi urejajo isti dokument, shranjen na centralnem strežniku . Vsak zaslon prikazuje kopijo datoteke in vse spremembe, ki jih naredi ena oseba, se morajo takoj odražati na zaslonih vseh ostalih.
Da bi to delovalo, mora obstajati mehanizem sinhronizacije, ki spremembe dokumenta prenese na vse terminale, tako da vsi vedno vidijo isto različico. Dokler ta sistem deluje, je vse v redu: kdor koli spremeni besedilo, ve, da bodo vsi ostali skoraj v trenutku videli novo različico.
Predstavljajte si, da sistem za sinhronizacijo nenadoma odpove. Vsaka oseba nadaljuje z urejanjem, prepričana, da dela na skupnem dokumentu, v resnici pa ima vsak terminal svojo nepovezano lokalno kopijo . Od tega trenutka naprej spremembe, ki jih naredi ena oseba, ne dosežejo drugih in dokument se začne nenadzorovano razhajati.
V računalništvu bi se zgodilo natanko to, če procesorju manjka zanesljiv protokol za skladnost: eno jedro spreminja podatke v pomnilniku, druga jedra pa še naprej berejo starejšo različico iz svojih zasebnih predpomnilnikov . To ustvarja plodna tla za resne logične napake, poškodovane podatke in odpravljanje napak.
Koherenca predpomnilnika je torej niz mehanizmov, ki zagotavljajo, da v večjedrnem sistemu vse kopije istih podatkov, porazdeljene po različnih predpomnilnikih in RAM-u, ohranjajo konsistentno stanje . Tudi če obstaja več kopij, se mora sistem obnašati, »kot da« obstaja samo ena.
Predpomnilniki in hierarhija pomnilnika v večjedrnem procesorju
Predpomnilniki procesorja so majhni, zelo hitri pomnilniki, ki hranijo kopije pogosto uporabljenih delov RAM-a . Ko procesor izvaja kodo, namesto da bi nenehno dostopal do (relativno počasnega) RAM-a, poskuša brati iz predpomnilnika in pisati vanj, kar drastično zmanjša zakasnitev.
Trik je seveda v tem, da predpomnilniki ne shranjujejo "uradne različice" podatkov, temveč le začasno repliko . Po prispodobi terminala bi bil RAM dokument na strežniku, predpomnilniki pa lokalni zasloni, ki prikazujejo kopije določenih delov datoteke.
V večjedrnem procesorju postane zasnova bolj zapletena, ker ima vsako jedro običajno svoj zasebni predpomnilnik ravni 1 (L1) in celo ravni 2 (L2) . Nad temi je dodan na primer skupni predpomnilnik ravni 3, ki se nahaja med jedri in krmilnikom pomnilnika, ki omogoča dostop do RAM-a.
Ta skupni predpomnilnik je uveden, ker bi omogočanje neposrednega in intenzivnega dostopa vseh jeder do RAM-a povzročilo konflikte dostopa, težave na pomnilniškem vodilu in znaten padec zmogljivosti . Predpomnilnik zadnje ravni deluje kot skupni "medpomnilnik", ki zmanjšuje dostope do RAM-a in centralizira velik del podatkovnega prometa.
Poleg tega številne arhitekture organizirajo predpomnilnike vključujoče: vrstice, shranjene na ravneh blizu procesorja, so prisotne tudi na višjih ravneh hierarhije . To pomeni, da je vrstica, ki se pojavi v L1, tudi v L2 in posledično v L3. To ima zelo koristno posledico za doslednost: preprosto posodabljanje predpomnilnika najnižje ravni je dovolj za nadzor stanja drugih ravni, ne da bi bilo treba nenehno dostopati do RAM-a.
Zakaj je skupno predpomnjenje na zadnji ravni ključnega pomena za doslednost
Brez tega globalnega predpomnilnika zadnje ravni bi moralo vsako jedro neposredno preverjati skladnost z glavnim pomnilnikom . Vsakič, ko bi bila pomnilniška vrstica v zasebnem predpomnilniku spremenjena, bi bilo treba preveriti, ali druga jedra hranijo kopijo iste vrstice, in če je tako, jo povsod posodobiti ali razveljaviti.
V sistemu z veliko jedri bi ta delovna obremenitev preverjanj povzročila ogromno število transakcij v RAM-u , kar bi izničilo veliko prednosti hitrih predpomnilnikov. Z namestitvijo skupnega predpomnilnika med jedra in pomnilnik lahko CPU koncentrira nadzor skladnosti na enem samem vmesnem mestu.
V mnogih izvedbah predpomnilniki na višjih ravneh (dlje od procesorja) vsebujejo kopije vrstic, ki so prisotne na ravneh bližje jedru . S to organizacijo mora protokol koherence zagotoviti le, da je zadnja raven sinhronizirana z glavnim pomnilnikom in da so zasebne ravni vsakega jedra sinhronizirane z ravnjo neposredno nad njo.
To si lahko predstavljamo kot nekakšno rusko gnezdo: predpomnilnik tretje ravni vključuje vsebino druge in prve ravni , druga raven vključuje svojo vsebino in vsebino prve ravni, prva raven pa pozna le svoje vrstice. Tako lahko sistem z nadzorom "velike lutke" (zadnje ravni) učinkoviteje usklajuje preostanek.
Posledica tega je, da je ohranjanje doslednosti bolj ekonomično z vidika zasnove in pomnilniškega prometa . Namesto da bi vsako jedro silil k nenehnemu delu z RAM-om, protokol deluje na skupnem predpomnilniku in od tam upravlja, katere vrstice je treba posodobiti ali razveljaviti v zasebnih predpomnilnikih.
Metode posodabljanja: razveljavitev in posodabljanje kopij
Kritična težava se pojavi, ko želita dve ali več jeder skoraj istočasno dostopati do iste vrstice podatkov, ki se replicira v več predpomnilnikov . V tem kontekstu sistemi za skladnost običajno uporabljajo dve temeljni strategiji pri obdelavi zapisov.
Prva metoda temelji na razveljavitvi. Ko mora jedro pisati v določeno vrstico predpomnilnika, protokol razveljavi vse kopije iste vrstice, ki morda obstajajo v drugih predpomnilnikih . Samo jedro, ki bo pisalo, ohrani vrstico v stanju branja in pisanja; ostala jedra bodo morala, če bodo želela te podatke ponovno uporabiti, ponovno naložiti vrstico z višje ravni (ali iz pomnilnika) s posodobljeno različico.
Druga strategija vključuje posodabljanje. V tem primeru, ko jedro spremeni vrstico, sistem poskuša samodejno razširiti novo vsebino na obstoječe kopije v drugih predpomnilnikih . Na ta način vsi predpomnilniki, ki so shranili to vrstico, prejmejo posodobljeno različico, ne da bi jo bilo treba pozneje razveljaviti in ponovno naložiti.
Vsak pristop ima svoje prednosti in slabosti. Razveljavitev je običajno učinkovitejša, kadar so zapisi pogosti, saj se izogne preobremenitvi pomnilniškega sistema s posodobitvami, ki jih druga jedra morda ne potrebujejo takoj. Nasprotno pa je posodabljanje lahko ugodno, kadar veliko jeder pogosto bere iste podatke, ki se spreminjajo relativno redko , saj zmanjša zakasnitev, ker ni treba ponovno naložiti vrstice po vsaki razveljavitvi.
V obeh primerih obe metodi uporabljata dodatna stanja in kontrolne bite v vrsticah predpomnilnika. Vsaka vrstica običajno vključuje informacije o tem, ali se njena vsebina ujema z vsebino v RAM-u in ali je deljena, spremenjena, izključna, rezervirana itd., odvisno od specifičnega protokola (MESI, MOESI, MSI itd.). To omogoča strojni opremi, da hitro sprejme odločitve o tem, kaj storiti, ko se v že replicirani vrstici izvede operacija branja ali pisanja.
Preverjanje skladnosti med predpomnilniki in pomnilnikom
Neposredno preverjanje skladnosti med vsemi nivoji predpomnilnika CPE ali GPU in glavnega pomnilnika bi bila ogromna naloga, tako z vidika kompleksnosti zasnove kot stroškov delovanja. Zato sodobni sistemi to preverjanje organizirajo hierarhično.
Predpomnilniki, ki so najbližje procesorju (L1, L2), običajno niso neposredno povezani z RAM-om, temveč z naslednjo ravnijo predpomnilnika. To pomeni, da se skladnost ne preverja glede na glavni pomnilnik na vsaki ravni, temveč glede na neposredno višjo raven . To zmanjša število dostopov do RAM-a in poenostavi logiko, potrebno na nižjih ravneh.
Konec koncev se primerjava med vsebino predpomnilnika in vsebino RAM-a izvede med predpomnilnikom zadnje ravni in glavnim pomnilnikom . Če ta zadnja raven ohranja pravilno in dosledno stanje in vsaka nižja raven ohranja doslednost z nadrejeno, celotna hierarhija ostane dosledna, ne da bi bilo treba vsako vrstico večkrat preveriti z RAM-om.
Ko jedro zapiše v vrstico predpomnilnika in spremeni njene podatke, se stanje te vrstice označi tako, da se ne ujema več natančno s kopijo, shranjeno v pomnilniku . Od tam naprej protokol koordinira posodobitev: ustrezne kopije v drugih predpomnilnikih označi kot rezervirane ali neveljavne in po potrebi zapiše novo vsebino v pripadajočo vrstico glavnega pomnilnika.
Ta kaskadna organizacija omogoča, da se spremembe postopoma širijo iz jedra, ki posodablja podatke, v glavni pomnilnik, pri čemer nadzorovano prehajajo skozi vsako raven predpomnilnika. Na ta način ohranjanje doslednosti ne postane nepremostljivo ozko grlo za procesor.
Koherenca strojne opreme v primerjavi s koherenco programske opreme
Do sedaj smo obravnavali mehanizme skladnosti, ki so večinoma implementirani v strojni opremi: protokoli, statusni biti, skupni predpomnilniki itd. Vendar pa obstaja še en pristop, ki si prizadeva del te kompleksnosti prenesti na programsko opremo , natančneje na prevajalnik in operacijski sistem.
Programske sheme skladnosti poskušajo zmanjšati potrebo po dodatni logiki na čipu z analizo kode in sprejemanjem odločitev med prevajanjem . Ideja je, da če lahko prevajalnik ugotovi, kdaj in kako se dostopa do določenih skupnih podatkov, lahko v mnogih primerih prepreči shranjevanje teh podatkov v predpomnilnik ali pa izrecno upravlja njihovo vidnost.
Ta pristop ima očitno prednost: del delovne obremenitve se preusmeri iz izvajalnega okolja v reševanje med prevajanjem . Namesto da strojna oprema sproti zaznava in obravnava vse konflikte, jih prevajalnik poskuša predvideti in ustvariti kodo, ki se izogne nevarnim situacijam.
Slaba stran je, da je statična analiza kode omejena, zato so prevajalniki ponavadi konzervativni . To pomeni, da se zaradi kršenja doslednosti pogosto odločajo tako, da zmanjšajo učinkovitost predpomnilnikov. Če sumijo, da so nekateri podatki lahko problematični, pogosto preprečijo njihovo shranjevanje v predpomnilnik ali pa sinhronizacije vsilijo pogosteje, kot je nujno potrebno.
Čeprav so te programske sheme v teoriji privlačne, zlasti za poenostavitev zasnove strojne opreme, v praksi ne nadomeščajo podpore za koherenco, integrirane v sam CPU , temveč jo v nekaterih specifičnih scenarijih dopolnjujejo.
Vloga prevajalnika pri skladnosti predpomnilnika
Ključni element pristopov k skladnosti, ki temeljijo na programski opremi, je vloga prevajalnika. Prevajalnik lahko izvede poglobljeno analizo kode in ugotovi, katere skupne podatkovne strukture morda niso varne za predpomnjenje . Na podlagi tega te elemente označi na poseben način ali prilagodi generiranje kode.
Najenostavnejši in tudi najbolj konzervativen pristop je preprečiti predpomnjenje spremenljivk skupnih podatkov . To pomeni, da vsak dostop do teh spremenljivk vsili dostop do glavnega pomnilnika ali območja, ki ga ni mogoče predpomniti. To zagotavlja doslednost, vendar zamudi številne priložnosti za izboljšanje zmogljivosti, saj se lahko skupna struktura v določenih obdobjih dejansko uporablja zasebno, v drugih pa samo za branje.
V resnici se problem skladnosti pojavi le v intervalih, ko lahko vsaj en proces piše v spremenljivko, drug proces pa jo lahko bere . Zunaj teh kritičnih obdobij se lahko spremenljivka obravnava kot izključno za uporabo ene niti ali celo kot efektivna konstanta za nekaj časa, kar omogoča njeno predpomnjenje brez težav.
Najnaprednejše strategije prevajanja poskušajo prepoznati tista "varna" obdobja, v katerih se lahko skupna spremenljivka šteje za nekonfliktno . V ta namen prevajalnik analizira poti izvajanja, morebitne sočasne dostope in vzorce sinhronizacije (zaklepanja, kritične odseke itd.). Na podlagi te analize razdeli življenjsko dobo spremenljivke na faze: nekatere so primerne za predpomnjenje, druge pa zahtevajo posebno ravnanje.
V kritičnih obdobjih, ko je zaznan sočasen dostop z zapisovanjem, prevajalnik vstavi v ustvarjeno kodo dodatne ukaze, da zagotovi skladnost predpomnilnika . Ti ukazi lahko prisilijo k izpraznjevanju predpomnilnika, ponovnemu nalaganju pomnilnika, vzpostavitvi pomnilniških ovir ali dostopu do območij, označenih kot nepredpomnilnik, odvisno od programskega modela in osnovne arhitekture.
Razmerje med prevajalnikom, operacijskim sistemom in strojno opremo
Stavek »prevajalnik vstavi navodila v ustvarjeno kodo, da zagotovi skladnost predpomnilnika« bi lahko navedel na misel, da operacijski sistem ta navodila bere kot namige na visoki ravni in se na podlagi tega odloči, kako izvesti program. V resnici je mehanizem nekoliko drugačen.
Ko prevajalnik doda te vrste ukazov, v binarno datoteko vnese specifične operacije, ki jih podpira arhitektura ali izvajalno okolje . Na primer, lahko vstavi ukaze za izpiranje predpomnilnika, pomnilniške ovire, posebna navodila za označevanje območij kot nepredpomnilnih ali klice storitev operacijskega sistema, ki konfigurirajo atribute pomnilnika.
Operacijski sistem teh ukazov ne interpretira kot "komentarje" ali "namige" na visoki ravni, ki jih napiše prevajalnik; preprosto izvede strojno kodo kot katero koli drugo . Vendar pa so nekateri od teh ukazov zasnovani za interakcijo s pomnilniškim podsistemom in upravljanjem predpomnilnika, s čimer spremenijo način dostopa procesorja do določenih podatkov.
Z drugimi besedami, prevajalnik izvede predhodno analizo in ustvari kodo, ki ob izvajanju ustvari želeno delovanje predpomnilnika . Operacijski sistem sodeluje z določanjem atributov pomnilnika (predpomnilniška ali nepredpomnilniška območja, pravilniki pisanja itd.) in zagotavljanjem sinhronizacijskih primitivov, vendar ne "bere" posebnih navodil v smislu, da bi jih semantično interpretiral, kot bi to storil prevajalnik.
Lahko se tudi zgodi, da strojna oprema ob zaznavi določenih ukazov aktivira specifične mehanizme koherence ali sinhronizacije . Na primer, ukazi za ograjo ali pregrado zagotavljajo vrstni red dostopa do pomnilnika in uveljavljajo določene učinke vidnosti v hierarhiji predpomnilnika. V tem primeru gre za tristransko sodelovanje: prevajalnik se odloči, kam bo namestil te ukaze, operacijski sistem konfigurira izvajalno okolje, strojna oprema pa implementira dejansko delovanje na ravni predpomnilnika in pomnilniškega vodila.
Vsi ti elementi skupaj zagotavljajo, da se vzporedni programi, tudi če so več kopij istih podatkov porazdeljenih po različnih predpomnilnikih in glavnem pomnilniku, izvajajo z doslednim modelom pomnilnika . Koherenca predpomnilnika, ki še zdaleč ni preprosta notranja podrobnost procesorja, postane osrednja komponenta za zanesljivo in učinkovito delovanje večjedrnih sistemov.
Razumevanje, kako se združujejo hierarhija predpomnilnika, protokoli za skladnost strojne opreme in tehnike programske podpore, pojasnjuje, zakaj imajo sodobne zasnove procesorjev tako podobno strukturo in zakaj lahko majhna napaka v katerem koli od teh mehanizmov sproži kaotično vedenje v sočasnih aplikacijah , ki so v celoti odvisne od tega, da vsa jedra vidijo iste podatke ob pravem času.