- Koherenca e memorjes së përkohshme siguron që të gjitha kopjet e të njëjtave të dhëna në memorje të ndryshme dhe në RAM të mbeten të qëndrueshme në sistemet me shumë bërthama.
- Hierarkia e memorjes së përkohshme me një nivel të fundit të përbashkët thjeshton kontrollin e konsistencës dhe zvogëlon qasjet direkte në memorien kryesore.
- Protokollet e koherencës përdorin strategji për pavlefshmërinë e kopjimit ose përditësimin, të mbështetura nga gjendjet dhe bitët e kontrollit për rreshtin e memories cache.
- Kompiluesi dhe sistemi operativ mund të plotësojnë konsistencën e harduerit duke futur udhëzime dhe duke konfiguruar memorien për periudha kritike.
Kur shikoni një diagramë të çdo procesori modern me shumë bërthama, shfaqet gjithmonë i njëjti model: bërthama të shumta, secila me memorjen e vet të afërt, dhe një memorje të përbashkët të nivelit të fundit që vepron si një pikë e përbashkët para se të arrijë në RAM. Ky rregullim nuk është i rastësishëm ose një tekë e projektuesve, por një përgjigje e drejtpërdrejtë ndaj një problemi kritik në sistemet paralele: koherenca e memorjes së përkohshme.
Pa një mekanizëm të fuqishëm konsistence, çdo bërthamë mund të përfundojë duke punuar me një version të ndryshëm dhe të vjetëruar të të njëjtave të dhëna në memorie , gjë që në një program të botës reale përkthehet në gabime delikate, dështime të paparashikueshme dhe madje edhe në rrëzime të sistemit. Prandaj, të kuptuarit se si ruhet kjo konsistencë - si në nivelin e harduerit ashtu edhe në atë të softuerit - është çelësi për të kuptuar performancën dhe stabilitetin e CPU-ve moderne me shumë bërthama.
Çfarë është koherenca e memorjes së përkohshme: metafora e terminalit
Imagjinoni disa njerëz të ulur përpara terminaleve të ndryshme, të gjithë duke redaktuar të njëjtin dokument të ruajtur në një server qendror . Çdo ekran shfaq një kopje të skedarit dhe çdo ndryshim që bën një person pritet të pasqyrohet menjëherë në ekranet e të gjithë të tjerëve.
Që kjo të funksionojë, duhet të ketë një mekanizëm sinkronizimi që përhap ndryshimet e dokumentit në të gjitha terminalet, në mënyrë që të gjithë të shohin gjithmonë të njëjtin version. Për sa kohë që ky sistem funksionon, gjithçka është në rregull: kushdo që modifikon tekstin e di se të gjithë të tjerët do ta shohin versionin e ri pothuajse menjëherë.
Tani imagjinoni sikur sistemi i sinkronizimit papritmas dështon. Secili person vazhdon të redaktojë, i bindur se po punon në dokumentin e përbashkët, por në realitet, secili terminal mbetet me kopjen e vet lokale të shkëputur . Që nga ai moment, ndryshimet e bëra nga një person nuk arrijnë te të tjerët dhe dokumenti fillon të devijojë në mënyrë të pakontrollueshme.
Në sferën e informatikës, kjo është pikërisht ajo që do të ndodhte nëse CPU-së i mungonte një protokoll i besueshëm konsistence: një bërthamë modifikon të dhënat në memorie, por bërthamat e tjera vazhdojnë të lexojnë një version më të vjetër nga memorjet e tyre private . Kjo krijon terren pjellor për gabime serioze logjike, të dhëna të korruptuara dhe sjellje pa gabime.
Koherenca e memorjes së përkohshme (cache) është pra një grup mekanizmash që sigurojnë që, në një sistem me shumë bërthama, të gjitha kopjet e të njëjtave të dhëna të shpërndara nëpër memorje të ndryshme të përkohshme (cache) dhe RAM të ruajnë një gjendje të qëndrueshme . Edhe nëse ekzistojnë kopje të shumëfishta, sistemi duhet të sillet "sikur" të ekzistonte vetëm një.
Memorjet e përkohshme dhe hierarkia e memories në një CPU me shumë bërthama
Memorjet e përkohshme të CPU-së janë memorie të vogla dhe shumë të shpejta që mbajnë kopje të pjesëve të RAM-it që përdoren shpesh . Kur procesori ekzekuton kodin, në vend që të aksesojë vazhdimisht RAM-in (relativisht të ngadaltë), ai përpiqet të lexojë nga dhe të shkruajë në memorien e përkohshme, duke zvogëluar në mënyrë drastike vonesën.
Truku, sigurisht, është se memorjet e përkohshme nuk ruajnë "versionin zyrtar" të të dhënave, por vetëm një kopje të përkohshme . Duke ndjekur metaforën e terminalit, RAM do të ishte dokumenti në server, ndërsa memorjet e përkohshme do të ishin ekranet lokale që shfaqin kopje të pjesëve të caktuara të skedarit.
Në një CPU me shumë bërthama, dizajni bëhet më kompleks sepse secila bërthamë zakonisht ka memorjet e veta private të Nivelit 1 (L1) dhe madje edhe të Nivelit 2 (L2) . Mbi këto, shtohet një memorje e përbashkët e Nivelit 3 (për shembull), e vendosur midis bërthamave dhe kontrolluesit të memories që ofron qasje në RAM.
Kjo memorje e përbashkët cache është futur në përdorim sepse lejimi i të gjitha bërthamave për të aksesuar drejtpërdrejt dhe intensivisht RAM-in do të shkaktonte konflikte aksesi, grindje në autobusin e memories dhe një rënie të ndjeshme të performancës . Memoria cache e nivelit të fundit vepron si një "tampon" i përbashkët që zvogëlon akseset në RAM dhe centralizon pjesën më të madhe të trafikut të të dhënave.
Për më tepër, shumë arkitektura i organizojnë memorjet e përkohshme në mënyrë gjithëpërfshirëse: linjat e ruajtura në nivele afër procesorit janë gjithashtu të pranishme në nivele më të larta të hierarkisë . Kjo do të thotë, një linjë që shfaqet në L1 është gjithashtu në L2 dhe, nga ana tjetër, në L3. Kjo ka një pasojë shumë të dobishme për qëndrueshmërinë: thjesht përditësimi i saktë i memorjes së përkohshme të nivelit më të ulët është i mjaftueshëm për të kontrolluar gjendjen e niveleve të tjera pa pasur nevojë të hyni vazhdimisht në RAM.
Pse ruajtja e përbashkët në memorje e nivelit të fundit është çelësi i qëndrueshmërisë
Pa këtë memorje të përkohshme globale të nivelit të fundit, çdo bërthamë do të duhej të kontrollonte për qëndrueshmëri direkt në memorjen kryesore . Sa herë që një rresht memorieje në një memorje të përkohshme private modifikohej, do të ishte e nevojshme të kontrollohej nëse bërthamat e tjera mbajnë një kopje të të njëjtit rresht dhe, nëse po, ta përditësonin ose ta zhvlerësonin atë kudo.
Në një sistem me shumë bërthama, kjo ngarkesë pune kontrollesh do të rezultonte në një numër të madh transaksionesh në RAM , duke mohuar shumë nga përfitimet e të paturit të memorjeve të shpejta të përkohshme. Duke vendosur një memorje të përbashkët të përkohshme midis bërthamave dhe memories, CPU mund të përqendrojë kontrollin e koherencës në një vendndodhje të vetme të ndërmjetme.
Në shumë implementime, memorjet e përkohshme në nivele më të larta (më larg procesorit) përmbajnë kopje të linjave të pranishme në nivelet më afër bërthamës . Me këtë organizim, protokolli i koherencës duhet vetëm të sigurojë që niveli i fundit të sinkronizohet me memorien kryesore dhe që nivelet private të secilës bërthamë të sinkronizohen me nivelin menjëherë sipër tij.
Kjo mund të vizualizohet si një lloj kukulle ruse foleje: memoria e nivelit të tretë përfshin përmbajtjen e nivelit të dytë dhe të parë , niveli i dytë përfshin përmbajtjen e vet dhe atë të nivelit të parë, dhe niveli i parë njeh vetëm rreshtat e veta. Kështu, duke kontrolluar "kukullën e madhe" (niveli i fundit), sistemi mund të koordinojë pjesën tjetër në mënyrë më efikase.
Rezultati është se ruajtja e qëndrueshmërisë bëhet më ekonomike për sa i përket dizajnit dhe trafikut të memories . Në vend që të detyrojë secilën bërthamë të merret vazhdimisht me RAM-in, protokolli vepron në memorjen e përbashkët të përkohshme dhe prej andej menaxhon se cilat rreshta duhet të përditësohen ose të çaktivizohen në memorjet private të përkohshme.
Metodat e azhurnimit: pavlefshmëria dhe azhurnimi i kopjeve
Një problem kritik lind kur dy ose më shumë bërthama duan të qasen, pothuajse njëkohësisht, në të njëjtën linjë të dhënash që replikohet në memorje të shumëfishta . Në këtë kontekst, sistemet e konsistencës zakonisht përdorin dy strategji themelore kur merren me shkrime.
Metoda e parë bazohet në pavlefshmëri. Kur një kernel duhet të shkruajë në një linjë specifike të memorjes së përkohshme (cache), protokolli pavlefshmërinë e bën çdo kopje të të njëjtës linjë që mund të ekzistojë në memorjet e tjera të përkohshme . Vetëm kerneli që do të shkruajë e mban linjën në një gjendje të aktivizuar për lexim dhe shkrim; të tjerët, nëse duan t'i përdorin përsëri ato të dhëna, do të duhet ta ringarkojnë linjën nga niveli më i lartë (ose nga memoria) me versionin e përditësuar.
Strategjia e dytë përfshin përditësimin. Në këtë rast, kur një kernel modifikon një rresht, sistemi përpiqet të përhapë automatikisht përmbajtjen e re në kopjet ekzistuese në memorjet e tjera të fshehta . Në këtë mënyrë, të gjitha memorjet e fshehta që kanë ruajtur atë rresht marrin versionin e përditësuar pa pasur nevojë ta zhvlerësojnë dhe ta ringarkojnë atë më vonë.
Çdo qasje ka pro dhe kundër. Invalidizimi është zakonisht më efikas kur shkrimet janë të shpeshta sepse shmang ngopjen e sistemit të memories me përditësime që bërthamat e tjera mund të mos kenë nevojë menjëherë. Anasjelltas, përditësimi mund të jetë i dobishëm kur shumë bërthama lexojnë shpesh të njëjtat të dhëna që modifikohen relativisht rrallë , pasi zvogëlon vonesën duke mos pasur nevojë të ringarkojnë rreshtin pas çdo invalidizimi.
Në të dyja rastet, të dyja metodat përdorin gjendje shtesë dhe bit kontrolli në linjat e memories cache. Çdo linjë zakonisht përfshin informacion nëse përmbajtja e saj përputhet me ato në RAM , dhe nëse është e ndarë, e modifikuar, ekskluzive, e rezervuar, etj., varësisht nga protokolli specifik (MESI, MOESI, MSI, etj.). Kjo i lejon harduerit të marrë vendime të shpejta se çfarë të bëjë kur ndodh një operacion leximi ose shkrimi në një linjë tashmë të replikuar.
Kontrollimi i konsistencës midis memorjes dhe memorjes
Verifikimi i drejtpërdrejtë i konsistencës midis të gjitha niveleve të memories cache të një CPU-je ose GPU-je dhe memories kryesore do të ishte një detyrë gjigante, si për sa i përket kompleksitetit të projektimit ashtu edhe kostos së performancës. Prandaj, sistemet moderne e organizojnë këtë verifikim në mënyrë hierarkike.
Memoria e përkohshme më e afërt me procesorin (L1, L2) zakonisht nuk lidhet direkt me RAM-in, por me nivelin tjetër të memorjes së përkohshme. Kjo do të thotë që qëndrueshmëria nuk validohet kundrejt memories kryesore në secilin nivel, por kundrejt nivelit menjëherë më të lartë . Kjo zvogëlon numrin e qasjeve në RAM dhe thjeshton logjikën e kërkuar në nivele më të ulëta.
Në fund të fundit, krahasimi midis përmbajtjes së memories cache dhe përmbajtjes së RAM kryhet midis memories cache të nivelit të fundit dhe memories kryesore . Nëse ky nivel i fundit ruan një gjendje të saktë dhe të qëndrueshme, dhe çdo nivel më i ulët ruan qëndrueshmërinë e tij me atë sipër tij, e gjithë hierarkia mbetet e qëndrueshme pa pasur nevojë të kontrollohet çdo rresht kundrejt RAM-it në mënyrë të përsëritur.
Kur një kernel shkruan në një rresht të memories së përkohshme (cache) dhe ndryshon të dhënat e tij, gjendja e asaj rreshti shënohet për të treguar se nuk përputhet më saktësisht me kopjen e ruajtur në memorie . Prej andej, protokolli koordinon përditësimin: ai shënon kopjet përkatëse në memorjet e tjera të përkohshme si të rezervuara ose të pavlefshme dhe, kur është e përshtatshme, shkruan përmbajtjen e re në rreshtin përkatës të memories kryesore.
Ky organizim kaskadë lejon që ndryshimet të përhapen progresivisht nga bërthama, e cila përditëson të dhënat, në memorien kryesore, duke kaluar nëpër çdo nivel të memories së përkohshme në një mënyrë të kontrolluar. Në këtë mënyrë, ruajtja e qëndrueshmërisë nuk bëhet një pengesë e pakapërcyeshme për procesorin.
Koherenca e harduerit kundrejt koherencës së softuerit
Deri më tani kemi diskutuar mekanizmat e konsistencës që zbatohen kryesisht në harduer: protokollet, bitët e statusit, memorjet e përbashkëta të memorjes, etj. Megjithatë, ekziston një qasje tjetër që kërkon të zhvendosë një pjesë të këtij kompleksiteti në softuer , konkretisht në kompajler dhe në sistemin operativ.
Skemat e konsistencës të bazuara në softuer përpiqen të zvogëlojnë nevojën për logjikë shtesë në çip duke analizuar kodin dhe duke marrë vendime në kohën e kompajlimit . Ideja është që nëse kompajleri mund të nxjerrë përfundimin se kur dhe si aksesohen të dhëna të caktuara të përbashkëta, ai, në shumë raste, mund të parandalojë ruajtjen në memorien e përkohshme të këtyre të dhënave ose të menaxhojë në mënyrë të qartë dukshmërinë e tyre.
Kjo qasje ka një avantazh të qartë: një pjesë e ngarkesës së punës kalon nga zgjidhja në kohën e ekzekutimit në atë në kohën e kompajlimit . Në vend që hardueri të zbulojë dhe trajtojë të gjitha konfliktet menjëherë, kompajleri përpiqet t'i parashikojë ato dhe të gjenerojë kod që shmang situatat e rrezikshme.
Ana negative është se analiza statike e kodit është e kufizuar dhe për këtë arsye kompiluesit kanë tendencë të jenë konservatorë . Kjo do të thotë që, për të shmangur shkeljen e qëndrueshmërisë, ata shpesh marrin vendime që zvogëlojnë efektivitetin e memorjeve të përkohshme. Nëse dyshojnë se disa të dhëna mund të jenë problematike, ata shpesh parandalojnë ruajtjen e tyre në memorje të përkohshme ose detyrojnë sinkronizime më shpesh sesa është e nevojshme.
Prandaj, megjithëse këto skema softuerësh janë tërheqëse në teori, veçanërisht për thjeshtimin e dizajnit të harduerit, në praktikë ato nuk zëvendësojnë mbështetjen e koherencës të integruar në vetë CPU-në , por përkundrazi e plotësojnë atë në disa skenarë specifikë.
Roli i kompajlerit në konsistencën e memorjes cache
Një element kyç i qasjeve të konsistencës të bazuara në softuer është roli i kompiluesit. Kompiluesi mund të kryejë një analizë të thellë të kodit dhe të përcaktojë se cilat struktura të të dhënave të përbashkëta mund të jenë të pasigurta për ruajtjen në memorje . Bazuar në këtë, ai i shënon këto elementë në një mënyrë të veçantë ose përshtat gjenerimin e kodit.
Qasja më e thjeshtë, dhe gjithashtu më konservatore, është të parandalohet ruajtja në memorien e përkohshme e variablave të të dhënave të përbashkëta . Kjo do të thotë, çdo qasje në këto variabla detyron një qasje në memorien kryesore ose në një zonë që nuk mund të ruhet në memorien e përkohshme. Kjo garanton qëndrueshmëri, por humbet shumë mundësi performance, sepse një strukturë e përbashkët, në fakt, mund të përdoret privatisht gjatë periudhave të caktuara ose vetëm për lexim në periudha të tjera.
Në realitet, problemi i konsistencës lind vetëm gjatë intervaleve kur të paktën një proces mund të shkruajë në variabël dhe një proces tjetër mund ta lexojë atë . Jashtë këtyre periudhave kritike, variabli mund të trajtohet si për përdorim ekskluziv të një fije të vetme ose edhe si një konstante efektive për një kohë, duke lejuar që ajo të ruhet në memorien e përkohshme pa probleme.
Strategjitë më të përparuara të kompilimit përpiqen të identifikojnë ato periudha "të sigurta" gjatë të cilave variabli i përbashkët mund të konsiderohet jo-konfliktual . Për ta bërë këtë, kompiluesi analizon shtigjet e ekzekutimit, akseset e mundshme të njëkohshme dhe modelet e sinkronizimit (kyçjet, seksionet kritike, etj.). Bazuar në këtë analizë, ai e ndan jetëgjatësinë e variablit në faza: disa të përshtatshme për ruajtjen në memorje, të tjera që kërkojnë trajtim të veçantë.
Gjatë periudhave kritike, kur zbulohet qasje e njëkohshme me shkrime, kompiluesi fut udhëzime shtesë në kodin e gjeneruar për të zbatuar qëndrueshmërinë e memories cache . Këto udhëzime mund të detyrojnë pastrime të memories cache, ringarkime të memories, pengesa të memories ose qasje në rajone të shënuara si jo të pranueshme në memorien cache, varësisht nga modeli i programimit dhe arkitektura themelore.
Marrëdhënia midis kompiluesit, sistemit operativ dhe harduerit
Fraza "përpiluesi fut udhëzime në kodin e gjeneruar për të zbatuar qëndrueshmërinë e memorjes së përkohshme" mund të bëjë që dikush të mendojë se sistemi operativ i lexon këto udhëzime sikur të ishin këshilla të nivelit të lartë dhe, bazuar në këtë, vendos se si ta ekzekutojë programin. Në realitet, mekanizmi është disi i ndryshëm.
Kur kompiluesi shton këto lloje udhëzimesh, ajo që fut në skedarin binar janë operacione specifike të mbështetura nga arkitektura ose mjedisi i kohës së ekzekutimit . Për shembull, ai mund të fusë udhëzime për pastrimin e memorjes së përkohshme, barriera të memories, udhëzime speciale për të shënuar rajonet si të pa-mundësuara për t'u përdorur në memorje të përkohshme ose thirrje për shërbimet e sistemit operativ që konfigurojnë atributet e memories.
Sistemi operativ nuk i interpreton këto udhëzime si "komente" ose "këshilla" të nivelit të lartë të shkruara nga kompiluesi; ai thjesht ekzekuton kodin e makinës si çdo program tjetër . Megjithatë, disa nga këto udhëzime janë të dizajnuara për të bashkëvepruar me nënsistemin e memories dhe menaxhimin e memorjes së përkohshme, duke ndryshuar kështu mënyrën se si CPU-ja qaset në të dhëna të caktuara.
Me fjalë të tjera, kompiluesi kryen analiza paraprake dhe gjeneron kod që, kur ekzekutohet, prodhon sjelljen e dëshiruar të memorjes në memorje . Sistemi operativ bashkëpunon duke vendosur atribute të memories (zona të memorizueshme ose jo të memorizueshme, politika shkrimi, etj.) dhe duke ofruar primitiva sinkronizimi, por nuk po "lexon" udhëzime të veçanta në kuptimin e interpretimit të tyre semantik siç do të bënte një kompilues.
Mund të ndodhë gjithashtu që hardueri, pasi të shohë udhëzime të caktuara, të aktivizojë mekanizma specifikë të koherencës ose sinkronizimit . Për shembull, udhëzimet e gardhit ose pengesës garantojnë rendin e aksesit në memorie dhe zbatojnë efekte të caktuara të dukshmërisë në të gjithë hierarkinë e memories cache. Në këtë rast, ekziston një bashkëpunim trepalësh: kompiluesi vendos se ku t'i vendosë këto udhëzime, sistemi operativ konfiguron mjedisin e ekzekutimit dhe hardueri zbaton sjelljen aktuale në nivelin e memories cache dhe të autobusit të memories.
Së bashku, të gjithë këta elementë sigurojnë që, edhe me kopje të shumëfishta të të njëjtave të dhëna të shpërndara nëpër memorje të ndryshme të përkohshme dhe memorie kryesore, programet paralele funksionojnë me një model të qëndrueshëm memorieje . Koherenca e memorjes së përkohshme, larg të qenit një detaj i thjeshtë i brendshëm i CPU-së, bëhet një komponent qendror që sistemet me shumë bërthama të funksionojnë në mënyrë të besueshme dhe efikase.
Të kuptuarit se si kombinohen hierarkia e memories cache, protokollet e koherencës së harduerit dhe teknikat e mbështetjes së softuerit e bën më të qartë pse dizajnet moderne të CPU-ve ndajnë një strukturë kaq të ngjashme dhe pse një dështim i vogël në cilindo prej këtyre mekanizmave mund të shkaktojë sjellje kaotike në aplikacionet e njëkohshme që varen tërësisht nga të gjitha bërthamat që shohin të njëjtat të dhëna në kohën e duhur.