Optimizacija i performanse keš memorije procesora u Windowsu

Informatec Digital » Resursi » Optimizacija i performanse keš memorije procesora u Windowsu

La Optimizacija keš memorije procesora To je jedna od onih tema koja razdvaja kod koji "radi" od koda koji "leti". Kada shvatimo kako je memorija organizovana, koja vremena pristupa svaki nivo obrađuje i kako se hardver ponaša, možemo postići ogromna poboljšanja performansi bez promjene mašina.

U međuvremenu, značajan broj korisnika Windowsa pati od mnogo prozaičnijeg problema: njihovi računari su spori. I često korijen problema leži upravo u tome, u neefikasnom korištenju memorije, keš memorije i samog CPU-a. Kombinacijom... dobar dizajn niskog nivoa (strukture podataka, obrasci pristupa memoriji) i praktična podešavanja u Windowsu (čišćenje, ažuriranje, načini napajanja itd.), mogu se postići vrlo primjetna poboljšanja, od malih povećanja od 5% do skokova od 30-40% u određenim scenarijima.

Hijerarhija memorije i latencije: zašto keš memorija vlada

Prije nego što počnemo s podešavanjem koda ili konfiguriranjem Windowsa, moramo jasno razumjeti jednu stvar: nije sva memorija jednaka. Razlika između pristupa L1, L2, L3 keš memoriji, RAM-u ili disku je ogromna i mnoge optimizacije keša su doslovno zasnovane na tome. izbjegavajte prelazak na sporije nivoe sve moguće.

U modernom procesoru, tipična vremena pristupa (reda veličine) su otprilike sljedeća: pristup do L1 keš memorija To je oko pola nanosekunde, neuspjeh u predviđanju skoka traje nekoliko nanosekundi, L2 To je oko 7 ns, dok dosezanje glavne memorije može premašiti 100 ns. Ako se pomaknemo izvan uređaja (mreža, SSD, mehanički tvrdi disk), brojke naglo rastu do stotine hiljada ili milione nanosekundi.

Ova velika razlika je ono što čini pravilnu organizaciju podataka, smanjenje propusta keša i dizajniranje sekvencijalnih obrazaca pristupa toliko važnim. Petlja koja se nalazi u L1 kešu bit će znatno brža od one koja stalno pristupa RAM-u ili SSD-u, čak i ako logički obavljaju istu funkciju.

Nadalje, keš memorija CPU-a je organizirana u nekoliko nivoa: L1, vrlo mali i izuzetno brz; L2, veći i nešto sporiji; i L3, još veći, često dijeljen između jezgara. Ideja je da se "vrući" podaci (podaci koji se često koriste) drže pri ruci, a ostatak premjesti na sporije nivoe. Kao programeri, možemo pomoći da se ovo dogodi prirodno dobrim dizajnom strukture podataka i sa... predvidljiv pristup.

Šta je keš memorija i zašto utiče na performanse?

Keš memorija, u bilo kojem kontekstu (CPU, disk, web...), je brzo pohranjivanje nedavno korištenih podatakaUmjesto da uvijek pristupamo najsporijem izvoru, čuvamo kopiju onoga što će najvjerovatnije biti ponovo upotrijebljeno. Ovo skraćuje vrijeme odziva i smanjuje opterećenje primarnih resursa.

Općenito, keširanje se koristi za ubrzavanje pristupa i poboljšanje korisničkog iskustva. U praksi, ono također omogućava sistemu da obavlja više posla s istim hardverom: manje čekanja, manje blokova i manje redova čekanja. Zato se koristi u CPU-ima, diskovima, preglednicima, distribuiranim sistemima i gotovo svakom softveru koji intenzivno obrađuje podatke.

Tipičan računar sadrži nekoliko vrsta keš memorije: keš memorije na disku (RAM memorija koja pohranjuje podatke s tvrdog diska), web cache (statički resursi preglednika) i Keš memorija procesora (L1, L2, L3). Svi oni rade s istom osnovnom idejom: pohraniti ono što će vjerovatno biti potrebno kasnije, izbjegavajući ponavljanje sporih operacija.

Vrste keš memorije: keš memorije na disku, web i keš memorije procesora

Unutar sistema iz stvarnog svijeta, nekoliko mehanizama keširanja se konvergiraju, svaki na svom nivou. Njihovo razumijevanje pomaže i u boljem programiranju i u dijagnosticiranju zašto računar radi lošije od očekivanog.

Predmemorija diska

Keš memorija diska je područje memorije (obično RAM) gdje se nalazi operativni sistem pohranjuje podatke nedavno pročitane ili zapisane na diskKada aplikacija ponovo zatraži te podatke, sistem prvo provjerava keš memoriju: ako je tamo, pristup je mnogo brži nego pristup disku, posebno ako govorimo o mehaničkim diskovima.

Ovaj mehanizam drastično smanjuje vrijeme učitavanja, smanjuje broj fizičkih operacija čitanja i pisanja i, zauzvrat, produžava vijek trajanja diskaU scenarijima sa ponovljenim pristupom istim datotekama (baze podataka, serveri, zahtjevne aplikacije), keširanje diska pravi veliku razliku.

Web keš

U pregledniku, web keš privremeno pohranjuje slike, stilske listove, JavaScript i druge resurse. Zahvaljujući tome, kada ponovo posjetite stranicu ili se krećete između odjeljaka unutar iste web-lokacije, preglednik može... crpite iz onoga što već imate uskladišteno umjesto da ga ponovo naručite online.

Rezultat je dvostruk: kraće vrijeme učitavanja za korisnika i manja potrošnja propusnog opsega, kako na vašoj vezi tako i na serveru koji poslužuje sadržaj. Međutim, ako se keš memorija ne upravlja pravilno, mogu se pojaviti zastarjeli resursi, zbog čega je ponekad preporučljivo da se ona obriše.

Keš memorija procesora: nivoi L1, L2 i L3

Krunski dragulj u smislu performansi je keš memorija CPU-a. Moderni procesori uključuju nekoliko hijerarhijskih nivoa dizajniranih da minimiziraju latenciju pristupa podacima i instrukcijama. Općenito govoreći, L1 je najmanji i najbrži, L2 je srednji, a L3 je najveći i najsporiji, često dijeljeni.

La L1 keš memorija Obično je podijeljen na instrukcije i podatke, s tipičnim veličinama od nekoliko desetina KB po jezgru. Izuzetno je brz i koristi se za najhitnije zadatke. L2 keš memorija Ima veći kapacitet (stotine KB do nekoliko MB) i djeluje kao L1 rezervna kopija. L3 keš memorija Može dostići nekoliko MB ili desetina MB, dijeli se između nekoliko jezgara i služi kao posljednji nivo prije prelaska na RAM memoriju.

Kada je obrazac pristupa memoriji razumno sekvencijalan ili predvidljiv, hardver je u stanju da ga predvidi i dovede podatke do ovih nivoa keša. Kada je haotičan, pun nasumičnih skokova i raspršenih struktura, procesor troši previše vremena čekanje na sjećanje i CPU se "dosađuje". Tu dolazi do izražaja optimizacija na nivou koda.

Optimizirajte strukture podataka za keširanje CPU-a

Veliki dio performansi zavisi od načina na koji dizajniramo naše strukture podataka. Nije isto imati ogroman objekat sa vrućim i hladnim poljima pomiješanim zajedno kao što je isto odvojiti ono što se često koristi od onoga što se rijetko koristi. Svaka linija keša dovedena do procesora ima svoju cijenu; ako te linije popunimo beskorisnim podacima, trošimo propusni opseg.

Grupirajte vruće podatke i odvojite hladne podatke

Ključna strategija je identificirati koja polja u strukturi se koriste u gotovo svakoj operaciji („vrući“ podaci), a koja se koriste samo povremeno („hladni“ podaci). Prva bi trebala biti zajedno u sjećanju i, ako je moguće, smjestiti u jednu ili nekoliko linija keša. Potonje mogu biti u zasebnoj strukturi, na koju se referencira pokazivač ili indeks.

Na primjer, umjesto da imate korisnički objekat sa dugim stringovima (ime, biografija, e-mail) pomiješanim sa zastavicama ili markerima koji se stalno provjeravaju, bolje je grupirati "vruće" podatke (id, posljednja prijava, aktivni status) u kompaktnu strukturu, a ostatak informacija ostaviti u zasebnoj strukturi "detalji". Na ovaj način, kada kod iterira kroz listu korisnika da bi provjerio status ili marker, linije keša su gotovo u potpunosti popunjene relevantnim podacima.

Smanjite količinu materijala za popunjavanje i bolje iskoristite svaku liniju

Još jedno bojno polje leži u fizičkom dizajnu struktura: redoslijed polja i njihovi tipovi. Zbog poravnanja, miješanje tipova različitih veličina na neuređen način može uvesti bajtove za popunjavanje koji samo doprinose rasipanju memorije i, još gore, linija keša.

Ako preuređujemo strukturu podataka tako da prvo grupiramo velike tipove (npr. doubles ili int64_t), zatim srednje tipove i na kraju najmanje tipove (bool, char), obično smanjujemo ili eliminišemo veći dio popunjavanja. Ovo omogućava da više elemenata stane po liniji keša, smanjujući opterećenje hijerarhije memorije i vjerovatnoću propusta u memoriji.

Odaberite susjedne kontejnere

Kontejneri u kojima se čuvaju predmeti kontinuirana memorijaVektori, kao vrsta niza, su generalno mnogo pogodniji za keširanje od struktura zasnovanih na rijetkim čvorovima povezanim pokazivačima (stabla, klasične povezane liste, itd.). Prilikom prolaska kroz vektor, hardver može savršeno predvidjeti sljedeći pristup i unaprijed učitati sljedeće linije keša.

Nasuprot tome, strukture poput mapa zasnovanih na stablu ili povezanih lista distribuiraju svoje čvorove po heapu, prisiljavajući CPU da izvršava kontinuirano praćenje pokazivača. Svaki skok može rezultirati promašajem keša i skupim povratkom u glavnu memoriju. Zato mnoge moderne biblioteke nude guste heš mapeotvorene tabele i drugi kontejneri koji pokušavaju da podatke održe što je moguće kompaktnijim.

Online pohrana za male kolekcije

Mnogi algoritmi uključuju vrlo male kolekcije (nekoliko cijelih brojeva, nekoliko struktura) koje se stalno kreiraju i uništavaju. Ako svaka od njih uzrokuje alokaciju heap-a, ne samo da snosimo troškove upravljanja memorijom, već imamo i podatke raspršene po RAM-u. Rješenje je korištenje kontejnera sa online pohrana za male veličine.

Ova vrsta kontejnera rezerviše prostor za 8 ili 16 elemenata direktno unutar samog objekta. Sve dok se ovo ograničenje ne prekorači, nema potrebe za pristupom heapu, a podaci ostaju vezani za ostatak funkcije ili stanja klase, što je veoma korisno za keširanje.

Obrasci pristupa: od AoS do SoA i upotreba bitsetova

Čak i sa dobro strukturiranim keš memorijama, obrazac pristupa podacima uveliko određuje performanse. Nije isto sekvencijalno prelaziti kroz niz i skakati s jedne adrese na drugu na osnovu liste pokazivača. Postoje neke ponavljajuće tehnike za maksimiziranje iskorištenja keš memorije.

Niz struktura (AoS) u odnosu na strukturu nizova (SoA)

Klasičan obrazac je prelazak sa dizajna "niza struktura" (AoS) na "strukturu niza" (SoA). U AoS-u, svaki element je objekt s mnogo polja (na primjer, položaj i masa čestice), a ovi elementi se pohranjuju sekvencijalno. Kada trebate pročitati samo dio ovih polja (na primjer, položaj), prisiljeni ste učitati linije keša koje također nose nekorištene podatke.

S druge strane, u SoA, različiti atributi su odvojeni u paralelne nizove: jedan za x, drugi za y, treći za z, treći za masu itd. Dakle, ako algoritam ažurira samo pozicije, on dodiruje samo koordinatne nizove i keš nije kontaminiran nebitnim informacijamaNadalje, ovaj dizajn favorizira vektorizaciju i korištenje SIMD instrukcija.

Bitsetovi i reference po indeksu

Za male domene (npr. zastavice u rasponu od 0 do 255), korištenje skupa bitova je mnogo efikasnije od strukture skupa zasnovane na heširanju. Skup bitova od 256 pozicija zauzima samo nekoliko desetina bajtova i omogućava vrlo brze, potpuno susjedne i keš-prilagođene operacije, umjesto rješavanja kolizija u heš tabeli.

Slično tome, zamijenite pokazivače sa indeksi u susjednim nizovima Može smanjiti veličinu struktura (32-bitni indeksi umjesto 64-bitnih pokazivača) i poboljšati koherentnost keša. Umjesto čvorova raspoređenih po heapu, pohranjuje se vektor čvorova na koje se pokazuje prema njihovoj poziciji, olakšavajući sekvencijalno prelaženje.

Prethodno preuzimanje: kada treba ubrzati posao

Pored hardverskog preduuzimanja, koje pokušava predvidjeti sekvencijalne obrasce pristupa, imamo i softverske instrukcije za preduuzimanje za unaprijed učitavanje podataka u specifičnim slučajevima. Ovo ima smisla kada je obrazac predvidljiv, ali ne i strogo linearan, kao što se dešava u heš tabelama ili povezanim listama.

Opšta ideja je jednostavna: dok obrađujete element i, dajete instrukciju hardveru da unese element i+1 (ili neki budući blok) u keš memoriju. Kada dođete do tog elementa, vjerovatnoća da je on već u L1 ili L2 je velika, a vrijeme čekanja se smanjuje. Ovo se može implementirati pomoću primitiva za prethodno preuzimanje kompajlera ili specifičnih biblioteka.

Međutim, nema smisla koristiti eksplicitno prethodno preuzimanje u potpuno sekvencijalnim pristupima, jer hardver to već automatski obrađuje. U stvari, dodavanje nepotrebnog prethodnog preuzimanja može zaprljati keš memoriju i pogoršati performanse. Kao što je gotovo uvijek slučaj s performansama, najbolje je mjeriti prije i poslije.

Pravila za keširanu lokaciju, zamjenu i prethodno preuzimanje

Na teoretskom nivou, sistemi keš memorije zasnivaju se na pravilima o tome gdje pohranjivati ​​podatke, kada ih preuzeti i koje podatke izbrisati kada nema dovoljno prostora. Iako ove detalje upravlja hardver ili operativni sistem, njihovo razumijevanje pomaže u tumačenju određenih neobičnih ponašanja.

Što se tiče lokacije, mogu se koristiti sheme od segmentacija memorije ili asocijacijsko-skupna alokacija, gdje se svaka adresa glavne memorije može mapirati samo na podskup keša. Ovo utiče na broj konflikata i vjerovatnoću preklapanja dvije adrese unutar keša.

Što se tiče ispiranja keša (šta se dešava kada dođe do promašaja keša), u igru ​​dolaze politike zamjene: LRU (Least Recently Used - Najmanje korišteni), FIFO ili čak nasumična zamjena. LRU pokušava zadržati najnovije korištene podatke u kešu, pretpostavljajući da će ponovo biti potrebni, dok FIFO jednostavno odbacuje najstarije podatke. Svaka politika ima svoje prednosti ovisno o stvarnom obrascu pristupa.

U odjeljku za prethodno preuzimanje postoje mehanizmi zasnovani na historijskim obrascima: ako hardver otkrije da je svaki pristup pomjeren, na primjer, uvijek za 64 bajta, težit će... predvidjeti susjedne blokoveU drugim slučajevima, prethodno preuzimanje prostora (učitavanje cijelog bloka čak i ako ste zatražili samo dio) koristi se kako bi se smanjio broj posjeta glavnoj memoriji.

Mjerenje i profiliranje ponašanja keša

Optimizacija bez mjerenja je kao ići naslijepo. Postoje alati za analizu performansi koji vam omogućavaju da vidite specifične metrike keša: reference, promašaje L1, promašaje keša posljednjeg nivoa (LLC), procenat promašaja itd. Ove metrike pokazuju da li vaše promjene zaista poboljšavaju situaciju.

Ako je, na primjer, postotak promašaja u L1 oko 2-3%, to se obično smatra razumnim, dok vrlo visoke stope promašaja u kešu posljednjeg nivoa mogu ukazivati ​​na probleme sa prostorna ili vremenska lokacijaKombinovanje ovih brojki sa profilima CPU-a i memorije pomaže u otkrivanju koji dijelovi koda vrše najveći pritisak na hijerarhiju memorije.

Optimizacija keša i performansi u Windowsu

Pored samog koda, mnogi korisnici se pitaju zašto njihov Windows računar radi tako sporo ako, "u teoriji", ima dobar CPU i RAM. Dio odgovora leži u samom sistemu, rezidentnim aplikacijama i akumulaciji digitalnih neželjenih datoteka. Oni troše CPU, memoriju i keš memoriju. stalno, ostavljajući manje resursa za važne zadatke. Primjenom nekoliko specifičnih optimizacija u Windowsu 10 i Windowsu 11, moguće je osloboditi CPU i RAM resurse (Na primjer, konfiguriranjem virtualne memorije), smanjenje pozadinskih procesa i poboljšanje sposobnosti sistema da kešira relevantne podatke. U zavisnosti od početne situacije, ova poboljšanja mogu varirati od manjih podešavanja do vrlo primjetnih promjena u ukupnim performansama.

Ažurirajte Windows i upravljačke programe

Vrlo osnovni korak koji mnogi ljudi zanemaruju je ažuriranje operativnog sistema i upravljačkih programa. Ažuriranja za Windows ne donose samo sigurnosne zakrpe: ona često uključuju poboljšanja u upravljanju resursima, ispravke curenja memorije i optimizacija kernela.

Iz panela postavki Windowsa (Start > Postavke > Ažuriranje i sigurnost > Windows Update), možete pretraživati ​​i opća ažuriranja i opcionalne pakete, uključujući nekritične upravljačke programe koji mogu optimizirati performanse vašeg CPU-a, GPU-a ili čipseta. Instaliranje ovih komponenti može riješiti uska grla ili probleme sa stabilnošću koji direktno utječu na način korištenja keš memorije i memorije.

Onemogući P2P distribuciju ažuriranja

Od Windowsa 10, sistem može preuzimati i dijeliti ažuriranja koristeći P2P mehanizam s drugim računarima. Iako genijalan, ovaj sistem znači da računar... koristi CPU, mrežu i disk kako bi se pomoglo u distribuciji ažuriranja, što nije uvijek poželjno.

Onemogućavanje "Optimizacije isporuke" u Windows Updateu sprječava vaš računar da poslužuje ili preuzima fragmente ažuriranja na druge računare. Ovo oslobađa resurse, smanjuje aktivnost u pozadini i može poboljšati ukupne performanse, posebno na manje moćnim sistemima.

Oslobodite prostor na disku i uklonite neželjene datoteke

Kada je disk pun ili skoro pun, Windows ima manje prostora za straničenje i kreiranje privremenih datoteka, što u konačnici utiče na performanse. Koristite ugrađeni alat za Čišćenje diska Omogućava vam brisanje privremenih datoteka, ostataka ažuriranja, stavki iz smeća i drugih podataka koji više nisu potrebni.

Pored ovog alata za čišćenje, preporučljivo je redovno prazniti korpu za otpatke i koristiti opcije pohrane u sustavu Windows za brisanje akumuliranih privremenih datoteka. Što je manje prostora na sistemskom disku, to će memorijski podsistem efikasnije raditi, a keš memorija diska će biti efikasnija.

Optimizirajte programe koji se pokreću i one koji se pokreću u pozadini

Jedan od najvećih neprijatelja CPU-a i keš memorije na računaru koji se svakodnevno koristi su programi koji se automatski pokreću i rade u pozadini: sinhronizatori, ažuriranja, mali uslužni programi koje jedva koristimo itd. Iako se mogu činiti laganima, svaki od njih dodaje niti, memoriju, pristupe disku i potrošnju keš memorije.

Iz Upravitelja zadataka ili pomoću Sysinternals za kontrolu procesaNa kartici Početna moguće je onemogućite nepotrebne aplikacije kako biste spriječili njihovo automatsko učitavanje. Također, u postavkama privatnosti možete kontrolirati koje aplikacije smiju raditi u pozadini. Smanjenje ove liste ne samo da poboljšava vrijeme pokretanja već i smanjuje kontinuirano opterećenje CPU-a i RAM-a.

Smanjite grafičke efekte i obavještenja

Animacije prozora, prozirnosti i drugi vizualni ukrasi troše resurse. Na starijim ili manje snažnim računarima može biti korisno prilagoditi postavke Windowsa kako bi se dao prioritet performansama u odnosu na izgled. To se postiže putem naprednih opcija sistema, u odjeljku za performanse, odabirom konfiguracije koja favorizira brzinu.

Slično tome, višak obavještenja može zasititi korisnika i timOnemogućavanje nepotrebnih upozorenja ne samo da poboljšava korisničko iskustvo, već i sprječava prečesto pokretanje pozadinskih procesa ili provjera.

Režimi napajanja, hibernacija i vršne performanse

Windows uključuje nekoliko planova napajanja koji direktno utiču na način upravljanja CPU-om: da li se daje prioritet vijeku trajanja baterije ili čistim performansama. Na desktop i laptop računarima koji su priključeni na struju, obično je dobra ideja pregledati ove postavke.

El brzi start Brzo pokretanje kombinuje funkcije gašenja i hibernacije kako bi ubrzalo vrijeme pokretanja sistema prethodnim učitavanjem dijela kernela i drajvera prije gašenja. Omogućavanje ove opcije može značajno smanjiti vrijeme pokretanja, iako je preporučljivo privremeno je onemogućiti ako uzrokuje probleme s ažuriranjima ili pristupom BIOS-u.

S druge strane, postoji a skriveni plan "maksimalnih performansi" Ovo prisiljava CPU i ostale komponente da rade manje efikasno, dajući prioritet uštedi energije. Omogućavanje ove opcije može pružiti malo više prostora za zahtjevne zadatke, ali po cijenu povećanog zagrijavanja, buke ventilatora i potrošnje energije.

Efikasno upravljanje prostorom i memorijom u sistemu

Pored redovnog čišćenja i kontrole rezidentnih programa, postoje i drugi načini za bolje korištenje fizičkih resursa računara, a time i keš memorije procesora i diska.

Radna površina pretrpana ikonama, prečicama, folderima i datotekama nije samo vizualni nered: Windows mora upravljati svim tim, što dodaje dodatno opterećenje. relativno čist radni sto Organiziranje datoteka u mape unutar diskova je jednostavna praksa koja doprinosi lakšem okruženju.

Također pomaže oslanjanje na rješenja za pohranu u oblaku za određene datoteke, što smanjuje količinu korištene lokalne pohrane. Pod uvjetom da se to radi razumno (bez potpunog oslanjanja na internetsku vezu), lokalni sistem može biti manje opterećen i imati veću fleksibilnost.

Specifične tehnologije: ReadyBoost, overklokiranje i hardver

Na sistemima s mehaničkim tvrdim diskom i ograničenom RAM memorijom, Windows uključuje tehnologije poput ReadyBoosta, koja vam omogućava korištenje brzog USB diska kao vrste dodatne keš memorije. Iako nije čarobni štapić, u određenim konfiguracijama može pružiti poboljšanje performansi. ublažiti dio pritiska na disk.

Na drugom kraju spektra, napredni korisnici mogu overklokovati svoje CPU-e pomoću alata poput Intel Extreme Tuning Utility (za otključane procesore). Povećanje brzine takta poboljšava performanse, ali također povećava temperaturu i potrošnju energije, uz stvarni rizik od nestabilnosti i oštećenja ako se napon i hlađenje ne upravljaju pažljivo.

Kada sve optimizacije softvera ne uspiju, vrijeme je da razmislite o nadogradnji hardvera: zamjeni tvrdog diska SSD-om, proširenju RAM-a ili čak... procesor promjene ili cijeli sistem. SSD, posebno, transformiše percipirane performanse sistema, jer drastično smanjuje vrijeme pristupa disku, što zauzvrat omogućava mnogo glatkiji rad keš memorije diska i virtuelne memorije.

Zajedno, kombinujte dobar dizajn struktura podataka i obrazaca pristupa memoriji Iskorištavanje keš memorije procesora pažljivom konfiguracijom Windowsa (ažurirana, lagana, bez nepotrebnih procesa, s odgovarajućim planom napajanja i, ako je potrebno, s malim pomagalima poput ReadyBoosta ili poboljšanja hardvera) omogućava vam da izvučete mnogo više iz istog računara, postižući aplikacije koje reagiraju agilno i sistem koji se čini primjetno bržim bez potrebe za "magijom" ili ezoteričnim trikovima.