- Keš memorija procesora (L1, L2, L3, pa čak i L4) drastično smanjuje latenciju u poređenju sa RAM memorijom i ključna je za performanse u stvarnom svijetu.
- Hijerarhija keš memorije balansira kapacitet i brzinu: L1 i L2 po jezgru, dijeljeni L3, a u nekim slučajevima i L4 kao podrška za GPU.
- Latencija, propusnost i stopa pojavljivanja keš memorije određuju performanse u igrama i intenzivnim opterećenjima, zajedno s brzinom RAM-a.
- Tehnologije poput AMD-ovog 3D V-Cache-a proširuju L3 keš memoriju putem 3D slaganja, značajno poboljšavajući performanse u igrama.
Kada se govori o procesorima, fokus je gotovo uvijek na jezgrama, frekvenciji i proizvodnom procesu, ali keš memorija i njena latencija ostaju uglavnom zanemarene uprkos tome što su ključne za stvarne performanse sistema. Razumijevanje onoga što se dešava između CPU-a, keš memorije i RAM-a omogućava nam da vidimo zašto dva procesora sa istom frekvencijom mogu raditi vrlo različito.
Posljednjih godina, koncepti poput latencije keš memorije, L1/L2/L3 propusnog opsega i tehnologije poput AMD-ovog 3D V-Cachea postali su ključni igrači u testovima performansi, igrama i C++, gdje mjerenje čak i nekoliko nanosekundi razlike može potpuno promijeniti ishod. Hajde da analiziramo sve što stoji iza latencije keš memorije CPU-a, zašto je toliko važna i kako se mjeri u praksi.
Od jaza između CPU-a i RAM-a do rođenja keš memorije
Tokom 80-ih, brzine procesora su rasle mnogo brže od brzina memorije . CPU-i su počeli izvršavati instrukcije vrtoglavom brzinom, dok je vrijeme pristupa RAM-u ostalo relativno dugo. Rezultat je bilo stalno usko grlo: procesor je provodio značajnu količinu vremena čekajući da podaci stignu.
Da bi riješili ovaj jaz u performansama, inženjeri su uveli keš memoriju kao međusloj između CPU-a i RAM-a. Ideja je jednostavna, ali moćna: pohraniti, vrlo blizu procesora i u izuzetno brzoj memoriji, podatke i instrukcije koje će CPU-u najvjerovatnije trebati u kratkom roku. Ovo smanjuje efektivnu latenciju i maskira relativnu sporost RAM-a.
U modernom računaru možemo jasno razlikovati tri nivoa memorije: masovnu memoriju (HDD, SSD), ogromnu, ali sporu; RAM , mnogo bržu, ali i dalje sa značajnom latencijom; i keš memoriju integrisanu u CPU , malenog kapaciteta, ali daleko najbržu.
Keš memorija nije isključivo vezana za procesor: tvrdi diskovi, SSD-ovi, grafičke kartice, štampači i drugi uređaji također imaju vlastite interne keš memorije kako bi ubrzali pristup podacima. Međutim, keš memorija procesora ima najdirektniji utjecaj na svakodnevno korisničko iskustvo.
Šta je keš memorija procesora i kako funkcioniše?
Keš memorija CPU-a je SRAM memorija integrirana u procesorski čip , sposobna za rad nevjerovatno velikim brzinama i s latencijom od djelića nanosekunde. Za razliku od RAM-a (DRAM-a), ne zahtijeva stalno osvježavanje, skuplja je za proizvodnju i ima mnogo manji kapacitet; stoga je rezervirana samo za vrlo kratkoročne, kritične podatke.
Njegova primarna funkcija je da djeluje kao ultrabrzi bafer između jezgara CPU-a i RAM-a . Kada se program pokrene, njegov kod i podaci se prvo učitavaju iz memorije u adresni prostor RAM-a. Odatle, integrisani kontroler memorije CPU-a unosi blokove koji će najvjerovatnije biti korišteni u keš memoriju, slijedeći obrasce pristupa i algoritme predviđanja.
Tipičan proces je sljedeći: CPU zahtijeva memorijsku adresu, prvo provjeravajući L1 keš memoriju , zatim L2 i konačno L3. Ako se podaci pronađu na bilo kojem od ovih nivoa, dolazi do "pogodka" u kešu, zahtjev se brzo obrađuje i štedi se mnogo ciklusa takta. Ako se podaci ne pronađu ni na jednom od ovih nivoa, dolazi do "promašaja" u kešu i podaci se moraju preuzeti iz RAM-a, koji ima veću latenciju i manje efektivnu propusnost za male operacije.
Dizajn ove hijerarhije memorije teži ravnoteži: mali, izuzetno brzi kešovi blizu jezgra i sve veći, ali sporiji nivoi kako se udaljavaju od izvršnih jedinica. Sva magija performansi modernog CPU-a zasniva se na maksimiziranju broja pogodaka i minimiziranju troškova promašaja.
Nivoi keš memorije: L1, L2, L3, pa čak i L4
Moderni procesori obično imaju tri nivoa keš memorije integrirana u sam čip: L1, L2 i L3 . Neki specifični modeli također uključuju L4 nivo, obično implementiran kao zaseban čip sličan eDRAM-u za vrlo specifične zadatke, kao što je pružanje dodatnih resursa integriranom GPU-u.
Svaki nivo keš memorije karakteriše trougao faktora: fizička udaljenost od jezgra, latencija i kapacitet. Što je bliže izvršnim jedinicama, to je latencija manja, ali i manja njegova veličina, jer se cijena tranzistora značajno povećava.
Skriveni prostor L1: prva linija vatre
L1 keš memorija je najbliža kernelu i najbrža je od svih keš memorija . Obično je podijeljena u dva različita bloka: L1 keš podataka (L1D) i L1 keš instrukcija (L1I). Prvi pohranjuje operande koji se obrađuju, dok drugi pohranjuje dekodirane instrukcije koje će kernel izvršiti.
Svaka jezgra ima svoju L1 keš memoriju, koja se ne dijeli s ostalima, što znači da ne postoji direktna L1 koherencija između različitih jezgara. Tipično, govorimo o 32 KB L1D i 32 KB L1I po jezgri u mnogim modernim arhitekturama, iako neki dizajni povećavaju ove vrijednosti. Nešto veće količine mogu se naći u nekim vrhunskim procesorima ili serverima.
Što se tiče performansi, L1 nudi latencije ispod nanosekunde i vršne brzine čitanja od hiljada GB/s u alatima za mjerenje performansi poput AIDA64. Na primjer, moderni Ryzen procesor može postići L1 latenciju od oko 0,7 ns sa propusnim opsegom većim od 2.700 GB/s, po cijenu male veličine, kao što je 512 KB ukupne L1 keš memorije na svim jezgrama.
L2 keš memorija: ravnoteža između veličine i brzine
L2 keš memorija se nalazi odmah iza L1 kao drugi sloj sigurnosne kopije . Njena latencija je nešto veća, ali i dalje vrlo niska u poređenju sa RAM memorijom. Njena funkcija je pohranjivanje podataka koji ne stanu u L1, ali se i dalje prilično često koriste.
U većini potrošačkih arhitektura, svaka jezgra ima svoju privatnu keš memoriju drugog sloja (Layer 2) , koja nije podijeljena na podatke i instrukcije i obično se kreće u veličini od 256 KB do 1 MB po jezgri, iako su u najnovijoj generaciji servera uobičajene veličine od 1 MB po jezgri ili više. Što se tiče performansi, tipične su propusne širine od preko 1.300 GB/s s latencijama od oko 2,7 ns.
Budući da je veći, L2 sloj pomaže u smanjenju grešaka koje bi inače dospjele do L3 ili RAM-a da postoji samo L1, održavajući dobru ravnotežu između kapaciteta i latencije . U nekim topologijama, više jezgara je grupirano u klastere koji dijele zajednički L2 sloj, uvodeći dodatne karakteristike koherencije i interne magistrale.
L3 ili LLC (keš posljednjeg nivoa)
L3 keš memorija se često naziva i LLC (Last Level Cache - keš posljednjeg nivoa) jer je u većini desktop procesora to posljednji nivo keš memorije prije RAM-a. To je najveća, a ujedno i najsporija keš memorija unutar glavnog paketa CPU-a.
Za razliku od L1 i L2 keš memorije, L3 keš memorija se obično dijeli između svih jezgara ili velikih grupa jezgara (na primjer, blokovi od osam u nekim AMD dizajnima). Ovo omogućava bilo kojoj jezgri da ponovo koristi podatke koje je unela druga jezgra, povećavajući ukupnu stopu pogodaka, iako značajno komplikuje logiku konzistentnosti.
Kod desktop procesora srednje klase, nije neuobičajeno vidjeti L3 keš memoriju u rasponu od 4 MB do 32 MB, dok serverski CPU-i, poput nekih AMD EPYC serija, lako dosežu stotine MB . Cijena koju treba platiti je veća latencija, koja može biti oko 10 ns, i niži propusni opseg od L1 i L2 keš memorije, iako je i dalje prilično značajan: oko 900 GB/s u moćnim sistemima.
L4 keš memorija: Posebni slučajevi
L4 keš memorija je poseban slučaj koji se ne pojavljuje u većini potrošačkih CPU-a . Obično se implementira kao eDRAM izvan glavnog CPU paketa, ali fizički vrlo blizu matične ploče, i koristi se u procesorima s integriranim GPU-ima kako bi se osiguralo dodatno povećanje propusnog opsega grafike.
Klasičan primjer bio je Intel Core i5-5775C, koji je kombinovao 6 MB L3 keš memorije sa 128 MB eDRAM-a koji se koristi kao L4 keš memorija za svoj integrisani Iris Pro 6200 GPU. Ova memorija je djelovala kao bafer za grafičke podatke, smanjujući opterećenje sistemske RAM memorije i poboljšavajući performanse igara u poređenju sa drugim iGPU-ovima bez ove podrške.
Latencija keša i njen uticaj na performanse
Ključna riječ kada govorimo o keš memoriji procesora (CPU) je latencija: vrijeme koje je potrebno CPU-u da pristupi podacima pohranjenim na određenom nivou memorije. Ova latencija se mjeri u nanosekundama (ns) i iako se ova vremena mogu činiti smiješno malim, kada se saberu do miliona pristupa u sekundi, ona prave značajnu razliku.
U tipičnoj hijerarhiji keš memorije, L1 latencija je najniža (manja od 1 ns), L2 latencija se množi s nekoliko faktora (na primjer, 2,7 ns), a L3 latencija se ponovo povećava (može doseći 10 ns ili više, posebno ako se nalazi na zasebnom čipu). Kada nema pogodka ni u jednoj od keš memorija, procesor mora pristupiti RAM memoriji, gdje latencije mogu naglo porasti na nekoliko desetina nanosekundi, čak i sa brzom DDR5 memorijom.
Primjer iz stvarnog svijeta: s Ryzen 7 7700X i DDR5 memorijom na 6.000 MT/s i CL30, možemo vidjeti prosječne latencije RAM-a od oko 70 ns, u usporedbi s 0,7 ns u L1, 2,7 ns u L2 i oko 10 ns u L3. Ova razlika objašnjava zašto je toliko važno da CPU pronađe podatke u kešu: svaki promašaj keša uzrokuje znatno duže čekanje.
Latencija ne zavisi samo od korištene memorijske tehnologije, već i od fizičke udaljenosti i topologije . U starijim dizajnima gdje su L2 i L3 keš memorije bile montirane na matičnoj ploči, mnogo dalje od CPU-a, latencija je bila mnogo veća i performanse su patile. Integracija svih keš memorija u CPU paket drastično je smanjila ova kašnjenja.
Pored latencije, efektivni propusni opseg keša (mjeren u GB/s) pokazuje koliko se podataka može prenijeti po jedinici vremena. Ovdje L1 ponovo vlada sa brzinama čitanja koje prelaze 2.000 GB/s u sintetičkim testovima, a slijede ga L2 i L3 sa skromnijim vrijednostima, ali i dalje znatno iznad RAM-a.
Pogodci, promašaji keš memorije i konzistentnost između jezgara
Kada CPU traži podatke i pronađe ih na jednom od nivoa keša, to nazivamo pogodkom u kešu . Ako ih ne pronađe, dolazi do promašaja keša i CPU mora pribjeći sljedećem nivou ili, u najgorem slučaju, glavnoj memoriji. Što se više pogodaka postigne na višim nivoima, to su bolje ukupne performanse sistema.
Promašaji keša ne samo da povećavaju latenciju; oni također mogu uzrokovati da CPU mora ponavljati radne cikluse ili mijenjati redoslijed instrukcija jer podaci još nisu dostupni, što "prekida" interni protok procesora i smanjuje iskorištenost njegovih funkcionalnih jedinica.
Kod višejezgrenih procesora, koherentnost keša također dolazi do izražaja ; to jest, održavanje konzistentnog prikaza podataka koji se dijele između jezgara koje imaju vlastite L1 i L2 keš memorije. Složeni protokoli koherencije obrađuju poništavanje i ažuriranje linija keša kada druga jezgra modificira podatke, što dodaje interni promet i može utjecati na efektivnu latenciju.
Unutrašnja arhitektura također igra ulogu. U monolitnim dizajnima poput mnogih Intel Core procesora, sve jezgre pristupaju jednoj L3 keš memoriji s prilično ujednačenim latencijama. U chiplet ili MCM arhitekturama, kao što su prve generacije AMD Ryzena, L3 keš memorija je organizirana u blokove (CCX, CCD), a neke jezgre mogu direktno pristupiti samo dijelu L3 keš memorije, što uvodi dodatne latencije pri prelasku s jednog bloka na drugi.
Latencija keš memorije u odnosu na RAM: frekvencija, tajming i magistrala
Kada informacije nisu u keš memoriji, RAM dolazi do izražaja . Ovdje se često miješaju dva koncepta: latencija i frekvencija. Frekvencija (obično izražena u MT/s ili MHz) pokazuje koliko se podataka može prenijeti u sekundi, dok latencija (u ns ili kroz vremenske intervale poput CL16, CL30 itd.) pokazuje koliko je vremena potrebno da se prvi dio podataka isporuči.
RAM memorija s visokim frekvencijama, ali vrlo visokim latencijama, može ponuditi dobru propusnost, ali lošije vrijeme odziva, što kažnjava procese osjetljive na latenciju poput igara ili određenih opterećenja s nesekvencijalnim pristupom. Nasuprot tome, moduli s nižim tajmingima poboljšavaju brzinu prvog pristupa, čak i ako njihova sirova propusnost nije toliko impresivna.
Širina magistrale između CPU-a i RAM-a je također bitna. Na većini desktop platformi, svaki memorijski kanal ima 64-bitnu magistralu, a kod dvokanalne konfiguracije to se povećava na 128 efektivnih bitova, udvostručujući količinu podataka koji mogu istovremeno putovati između procesora i RAM-a.
Što je efikasnija kombinacija frekvencije, latencije i širine magistrale , to će promašaj keša biti manje bolan. Uprkos tome, nijedna trenutna RAM memorija ne može se približiti brojkama latencije i propusnog opsega L1, L2 ili L3 keša, tako da prioritet ostaje maksimiziranje pogodaka keša.
Scratchpad RAM u odnosu na automatsku keš memoriju
Unutar procesora ne nalazimo samo hardverski upravljane automatske keš memorije. Neki dizajni također uključuju Scratchpad RAM , vrstu vrlo brze interne memorije koja, za razliku od keš memorije, nije samostalno upravljana.
Razlika je očigledna: keš memorija transparentno replicira linije podataka blizu adresa koje se koriste, slijedeći interne algoritme, a programer nema direktnu kontrolu nad njom. Nasuprot tome, Scratchpad RAM funkcionira kao mala lokalna RAM memorija, gdje sam softver odlučuje koje podatke će pohraniti, kako će ih organizirati i kada će ih obrisati.
Ovaj pristup je češći kod ugrađenih procesora, DSP-ova i nekih GPU-ova, gdje su potrebni visoko predvidljivi obrasci pristupa i treba izbjeći neizvjesnost automatskog keširanja. Na desktop računarima i serverima, krajnji korisnik rijetko eksplicitno interaguje sa Scratchpad RAM memorijom.
Latencija keša, testovi performansi i neobični efekti
U svijetu benchmarkova, uobičajeno je mjeriti latencije keša u nanosekundama i propusnost u GB/s za svaki nivo (L1, L2, L3) korištenjem alata kao što je AIDA64 ili razvojem vlastitih testova u C++ koji izvode specifična skeniranja velikih nizova.
Ovi testovi mogu otkriti neobična ponašanja. Na primjer, prilikom mjerenja propusnog opsega čitanja L2 i L3 na naizgled neaktivnom sistemu, moguće je primijetiti da L2 vrijednosti ponekad padnu sa oko 80 GB/s na oko 60 GB/s , a L3 vrijednosti mogu pasti sa oko 45 GB/s na nešto više od 35 GB/s bez ikakvog vidljivog razloga.
Uobičajeno objašnjenje je ograničavanje brzine ili dinamičke promjene u internoj frekvenciji i stanju napajanja CPU-a . Međutim, postoje scenariji u kojima se, nakon otvaranja alata za praćenje poput HWINFO-a, rezultati magično vraćaju na "dobre" vrijednosti. Kada se alat zatvori, rezultati ponovo fluktuiraju prema dolje.
Obično se dešava da programi poput HWINFO-a održavaju CPU u stanju viših performansi , prisiljavajući na stabilnije frekvencije i sprječavajući dijelove unutrašnjeg prstena ili keš memorije da uđu u režim dubokog mirovanja. Ako se benchmark izvodi bez ikakvih drugih aktivnosti, procesor ima tendenciju da štedi energiju, što može povremeno smanjiti izmjereni efektivni propusni opseg, iako se prosječne latencije ne mijenjaju značajno.
U takvim slučajevima, predložena su rješenja poput održavanja "keep-alive" niti koja obavlja lagani posao kako bi spriječila CPU da uđe u stanje mirovanja, ali nije uvijek lako reproducirati učinak alata za praćenje, jer svaka mikroarhitektura ima svoj vlastiti skup stanja mirovanja i internih politika.
Keš memorija i performanse u igrama
U video igrama, L3 keš memorija igra ključnu ulogu. Mnoga igraća opterećenja imaju velike koristi od mogućnosti pohranjivanja više podataka i instrukcija bliže CPU-u , od struktura scene do fizičkih podataka i logike igre. Što je manje pristupa RAM-u, to je stabilniji FPS i manje fluktuacije brzine kadrova.
Procesor sa velikodušnom i dobro iskorištenom L3 keš memorijom može ponuditi značajna poboljšanja u stabilnosti broja sličica u sekundi, posebno u modernim igrama koje obrađuju veliki broj objekata i izvršavaju mnogo repetitivnih upita strukturama podataka. Umjesto stalnog pristupa RAM-u (koji je mnogo sporiji i ima veću latenciju), CPU može opslužiti većinu zahtjeva direktno iz svoje L3 keš memorije.
Međutim, keš memorija ne čini čuda. CPU sa malo jezgri, niskim IPC-om i skromnim frekvencijama će i dalje biti ograničen, čak i sa ogromnim količinama L3 keš memorije. Dobitna kombinacija za igranje igara je obično visok IPC, dobra frekvencija, obilna keš memorija i brza RAM memorija sa niskom latencijom , tako da cijeli paket minimizira uska grla.
Kada se pokrene zahtjevna igra, ako se mjeri paralelno s benchmarkom poput AIDA64, možete vidjeti kako se broj pristupa kešu povećava . Mnoga mikro-zastoja koja su primjetna u nekim naslovima posljedica su propusta keša koji prisiljavaju sistem da pristupi RAM-u ili promjena niti koje narušavaju uspostavljenu lokalizaciju podataka.
AMD-ov 3D V-Cache i utrka za više L3 memorije
Kako bi se prevazišla fizička granica onoga što se može integrirati u L3 keš memoriju na jednom ravnom komadu silicija, AMD je predstavio svoju 3D V-Cache tehnologiju , koja uključuje vertikalno slaganje dodatnog L3 keš čipa na vrh CCD-a (čipleta) procesora. Ovo značajno proširuje kapacitet L3 keš memorije bez povećanja osnovne veličine čipa.
Ryzen procesori sa sufiksom X3D, kao što su Ryzen 7 7800X3D ili 7950X3D, ovu ideju dovode do ekstrema. 7800X3D, na primjer, kombinuje 32 MB L3 keš memorije u osnovnom CCD-u sa dodatnih 64 MB složenih, što ukupno čini 96 MB L3 keš memorije dostupne tom skupu jezgara. 7950X3D ide još dalje sa 128 MB L3 keš memorije, pored 1 MB L1 keš memorije i 16 MB L2 keš memorije raspoređene među svim svojim jezgrama.
Utjecaj na igranje igara je ogroman jer stopa pristupanja keš memoriji vrtoglavo raste , smanjujući potrebu za pristupom RAM-u za mnoge strukture koje se ranije nisu mogle u potpunosti smjestiti u L3 keš memoriju. To objašnjava zašto su ovi X3D modeli postali mjerilo za čiste performanse u igrama, čak i u poređenju s CPU-ima s više jezgara ili nešto većim taktnim brzinama.
Za sada, njegov glavni konkurent, Intel, nije replicirao identično rješenje. Kompanija je naznačila da se za sada preferira fokusirati na uravnotežene ukupne performanse, a ne na pristup orijentisan na igre, poput velikih blokova složene L3 keš memorije. To je ne sprječava da postepeno povećava veličinu vlastitih keš memorija u budućim generacijama, ali ne čini se vjerojatnim da će usvojiti potpuno istu V-Cache shemu u kratkom roku.
Kako vidjeti koliko keš memorije ima vaš procesor
Ako želite znati koju L1, L2 i L3 keš memoriju ima vaš CPU, a da ne pretražujete tehničku dokumentaciju, jedan od najbržih načina je korištenje alata poput CPU-Z-a u Windowsu. Ovaj besplatni program prikazuje, u namjenskim karticama, veličine svakog nivoa keš memorije, kao i broj jezgara, niti i druge relevantne podatke.
Druga opcija je posjetiti službenu web stranicu proizvođača (Intel ARK, AMD specifikacije proizvoda, itd.), iako je često samo L3 keš memorija jasno detaljno opisana, a morate pretraživati tehničku dokumentaciju da biste pronašli L1 i L2 keš memoriju. Recenzije i analize specijaliziranih medija također obično detaljno opisuju ove informacije, zajedno s referentnim vrijednostima latencije i propusnosti.
Odabir i pravilno korištenje RAM i keš memorije
Keš memorija može prikriti mnoge nedostatke RAM-a, ali ne sve. Prilikom sastavljanja računara, važno je odabrati RAM sa pravom frekvencijom, latencijom i kapacitetom za njegovu namjenu. Računar za kancelarijski rad ili lagano pregledavanje može dobro funkcionisati sa modulima od 8-16 GB i srednjeg ranga, dok se za igranje igara i uređivanje videa obično preporučuje 16 GB ili 32 GB.
Uvijek je preporučljivo provjeriti kompatibilnost RAM-a s matičnom pločom i CPU-om (tip DDR3, DDR4, DDR5, maksimalne podržane brzine, XMP/EXPO profili, itd.). Također je dobra ideja pronaći ravnotežu između visoke frekvencije i razumnih tajminga, umjesto da se fokusirate isključivo na blještavi broj MHz.
Da biste maksimalno iskoristili memoriju i keš memoriju, mnogo pomaže da sistem bude bez nepotrebnih pozadinskih programa , da ažurirate BIOS i drajvere, a na računarima koji se intenzivno koriste, da izbrišete privremene datoteke i keš memoriju preglednika koji više ne služe svojoj svrsi. Sve što smanjuje opterećenje RAM-a i CPU-a pomaže u oslobađanju tih brzih resursa za ono što je zaista važno.
Na nivou BIOS-a, omogućavanje automatskih memorijskih profila (XMP, DOCP, EXPO) obično je jednostavan način da se osigura da RAM radi brzinom koju je obećao proizvođač, izbjegavajući zaglavljivanje na konzervativnim vrijednostima koje ograničavaju propusni opseg.
Razumijevanje načina na koji funkcioniše latencija keša, njegove L1/L2/L3 hijerarhije, njegovog odnosa s RAM-om i tehnologija poput 3D V-Cache-a omogućava vam da pročitate specifikacije CPU-a i rezultate benchmarka u novom svjetlu: pored GHz i broja jezgara, veliki dio fluidnosti sistema se odlučuje u tih nekoliko nanosekundi koje su procesoru potrebne da pronađe ili ne pronađe podatke u najbližoj memoriji.