CPU-cacheoptimering och prestanda i Windows

Informatec Digital » Resurser » CPU-cacheoptimering och prestanda i Windows

CPU-cacheoptimering är ett av de ämnen som skiljer kod som "fungerar" från kod som "flyger". När vi förstår hur minnet är organiserat, vilka åtkomsttider varje nivå hanterar och hur hårdvaran beter sig kan vi uppnå massiva prestandaförbättringar utan att byta maskiner.

Samtidigt lider ett betydande antal Windows-användare av ett mer vardagligt problem: deras datorer är långsamma. Och ofta ligger roten till problemet just där, i ineffektiv användning av minne, cache och själva processorn. Med en kombination av bra lågnivådesign (datastrukturer, minnesåtkomstmönster) och praktiska justeringar i Windows (rensning, uppdateringar, energisparlägen etc.) kan mycket märkbara förbättringar uppnås, allt från små ökningar på 5 % till språng på 30–40 % i vissa scenarier.

Minneshierarki och latenser: varför cachen styr

Innan vi börjar finjustera kod eller konfigurera Windows är det viktigt att förstå en sak: allt minne är inte skapat lika. Skillnaden mellan att komma åt L1-, L2-, L3-cacher, RAM eller disk är enorm, och många cacheoptimeringar bygger, bokstavligen talat, på att undvika att komma åt de långsammare nivåerna så mycket som möjligt.

I en modern processor är typiska åtkomsttider (i storleksordning) ungefär följande: åtkomst till L1-cachen tar ungefär en halv nanosekund, en branch prediction miss tar flera nanosekunder, L2 är runt 7 ns, medan åtkomst till huvudminnet kan överstiga 100 ns. Om vi ​​rör oss utanför datorn (nätverk, SSD, mekanisk hårddisk) skjuter siffrorna i höjden till hundratusentals eller miljontals nanosekunder.

Denna tydliga skillnad är det som gör det så viktigt att organisera data korrekt, minska cachemissar och utforma sekventiella åtkomstmönster. En loop som finns i L1-cache kommer att vara betydligt snabbare än en som ständigt använder RAM eller SSD, även om de logiskt utför samma funktion.

Dessutom är CPU-cachen organiserad i flera nivåer: L1, som är mycket liten och extremt snabb; L2, som är större och något långsammare; och L3, som är ännu större och ofta delad mellan kärnor. Tanken är att hålla den mest frekvent åtkomna datan ("het" datan) nära till hands och förpassa resten till långsammare nivåer. Som utvecklare kan vi bidra till att detta sker naturligt med bra datastrukturdesign och förutsägbar åtkomst.

Vad är cache och varför påverkar det prestandan?

Cachen, i alla sammanhang (CPU, disk, webb, etc.), är en snabb lagring av nyligen använda data . Istället för att alltid komma åt den långsammaste källan behåller vi en kopia av det som mest sannolikt kommer att återanvändas. Detta förkortar svarstiden och minskar belastningen på primära resurser.

Generellt sett används cachning för att snabba upp åtkomsten och förbättra användarupplevelsen. I praktiken gör det också att systemet kan utföra mer arbete med samma hårdvara: mindre väntetid, färre block och färre köer. Det är därför det används i processorer, diskar, webbläsare, distribuerade system och praktiskt taget all programvara som hanterar data intensivt.

En typisk dator har flera typer av cache: diskcache (RAM-minne som lagrar data från hårddisken), webbcache (statiska webbläsarresurser) och CPU-cache (L1, L2, L3). De fungerar alla enligt samma grundprincip: att lagra det som sannolikt kommer att behövas senare, vilket undviker att upprepa långsamma operationer.

Typer av cache: disk-, webb- och CPU-cache

Inom ett verkligt system konvergerar flera cachningsmekanismer, var och en på sin egen nivå. Att förstå dem hjälper både till att programmera bättre och att diagnostisera varför en dator presterar sämre än förväntat.

Diskcache

Diskcachen är ett minnesområde (vanligtvis RAM) där operativsystemet lagrar data som nyligen lästs från eller skrivits till disken . När ett program begär dessa data igen kontrollerar systemet först cachen: om informationen finns där går åtkomsten mycket snabbare än att gå till disken, särskilt med mekaniska hårddiskar.

Denna mekanism minskar drastiskt laddningstiderna, minskar antalet fysiska läs- och skrivoperationer och förlänger följaktligen diskens livslängd . I scenarier med upprepad åtkomst till samma filer (databaser, servrar, resurskrävande applikationer) gör diskcachelagring en betydande skillnad.

Webbcache

I din webbläsare lagrar webbcachen tillfälligt bilder, stilmallar, JavaScript och andra resurser. Detta gör att din webbläsare kan komma åt lagrad information när du besöker en sida igen eller navigerar mellan avsnitt inom samma webbplats, istället för att begära den igen från nätverket.

Resultatet är tvåfaldigt: kortare laddningstider för användaren och mindre bandbreddsförbrukning, både på din anslutning och på servern som levererar innehållet. Men om cachen inte hanteras korrekt kan föråldrade resurser uppstå, vilket är anledningen till att det ibland är lämpligt att rensa den.

CPU-cache: L1-, L2- och L3-nivåer

Kronjuvelen när det gäller prestanda är CPU-cachen. Moderna processorer inkluderar flera hierarkiska nivåer utformade för att minimera latens för data- och instruktioner. Generellt sett är L1 den minsta och snabbaste, L2 är den mellanliggande och L3 är den största och långsammaste, ofta delad.

L1 -cachen är vanligtvis uppdelad i instruktions- och datasektioner, med typiska storlekar på några tiotals kB per kärna. Den är extremt snabb och används för omedelbar bearbetning. L2-cachen har en större kapacitet (hundratals kB till flera MB) och fungerar som en backup för L1. L3-cachen kan nå flera MB eller tiotals MB, delas av flera kärnor och fungerar som den sista nivån innan RAM-minnet räcker.

När minnesåtkomstmönstret är någorlunda sekventiellt eller förutsägbart kan hårdvaran förutse det och hämta data till lämpliga cachenivåer. När det är kaotiskt, fullt av slumpmässiga hopp och spridda strukturer, spenderar processorn för mycket tid på att vänta på minne och processorn blir "uttråkad". Det är här optimering på kodnivå kommer in i bilden.

Optimera datastrukturer för CPU-cachning

Mycket av prestandan beror på hur vi utformar våra datastrukturer. Det är inte samma sak att ha ett gigantiskt objekt med varma och kalla fält blandade som det är att separera det som används ofta från det som sällan används. Varje cache-rad som tas till processorn har en kostnad; om vi fyller dessa rader med värdelös data slösar vi bort bandbredd.

Gruppera het data och separera kall data

En viktig strategi är att identifiera vilka fält i en struktur som används i nästan varje operation ("varma" data) och vilka som bara används ibland ("kalla" data). De förra bör lagras tillsammans i minnet och, om möjligt, passa in i en eller några få cacherader. De senare kan lagras i en separat struktur, refererad av en pekare eller ett index.

Till exempel, istället för att ha ett användarobjekt med långa strängar (namn, biografi, e-postadress) blandat med flaggor eller markörer som ständigt kontrolleras, är det bättre att gruppera den "aktuella" informationen (id, senaste inloggning, aktiv status) i en kompakt struktur och lämna resten av informationen i en separat "detaljstruktur". På så sätt, när koden itererar igenom en lista med användare för att kontrollera en status eller markör, fylls cacheraderna nästan helt med relevant data.

Minska fyllnadsmängden och utnyttja varje rad bättre

En annan svårighetsgrad ligger i strukturernas fysiska utformning: fältens ordning och deras typer. På grund av justeringsproblem kan en slumpmässig blandning av typer av olika storlekar introducera utfyllnadsbyte som bara slösar bort minne och, ännu värre, cacherader.

Om vi ​​ändrar ordning på en datastruktur för att först gruppera stora typer (t.ex. doubles eller int64_t), sedan medelstora typer och slutligen de minsta typerna (bool, char), minskar eller eliminerar vi vanligtvis mycket av utfyllnaden. Detta gör att fler element får plats per cacherad, vilket minskar belastningen på minneshierarkin och sannolikheten för minnesmissar.

Välj intilliggande behållare

Behållare som lagrar element i sammanhängande minne , såsom vektorer, är generellt sett mycket mer cachevänliga än strukturer baserade på glesa noder länkade med pekare (träd, klassiska länkade listor, etc.). När man passerar en vektor kan hårdvaran perfekt förutsäga nästa åtkomst och förladda följande cacherader.

Däremot distribuerar strukturer som trädbaserade kartor eller länkade listor sina noder över heapen, vilket tvingar processorn att utföra kontinuerlig pekarjakt. Varje hopp kan resultera i en cachemiss och en kostsam resa tillbaka till huvudminnet. Det är därför många moderna bibliotek erbjuder täta hashkartor , öppna tabeller och andra containrar som försöker hålla data så kompakta som möjligt.

Onlinelagring för små samlingar

Många algoritmer involverar mycket små samlingar (några heltal, några strukturer) som ständigt skapas och förstörs. Om var och en av dessa samlingar utlöser en heapallokering, ådrar vi oss inte bara kostnader för minneshantering utan får också data utspridd över RAM-minnet. Lösningen är att använda containrar med onlinelagring för små storlekar.

Den här typen av container reserverar utrymme för 8 eller 16 element direkt i själva objektet. Så länge denna gräns inte överskrids behöver man inte komma åt heapen, och data förblir kopplade till resten av funktionen eller klasstillståndet, vilket är mycket fördelaktigt för cachning.

Åtkomstmönster: från AoS till SoA och användningen av bitsets

Även med välstrukturerade cacher avgör dataåtkomstmönstret till stor del prestandan. Det är inte samma sak att gå igenom en array sekventiellt som att hoppa från en adress till en annan baserat på en lista med pekare. Det finns några återkommande tekniker för att maximera cacheutnyttjandet.

Strukturmatris (AoS) kontra strukturmatris (SoA)

Ett klassiskt mönster är övergången från en "array of structures" (AoS) design till en "array structure" (SoA). I ​​AoS är varje element ett objekt med många fält (till exempel positionen och massan av en partikel), och dessa element lagras sekventiellt. När du bara behöver läsa en del av dessa fält (till exempel positionen) tvingas du ladda cacherader som också innehåller oanvänd data.

I SoA, å andra sidan, är de olika attributen uppdelade i parallella arrayer: en för x, en annan för y, en annan för z, en annan för massa, och så vidare. Således, om en algoritm bara uppdaterar positioner, kommer den bara åt koordinatarrayer, och cachen är inte kontaminerad med irrelevant information . Dessutom gynnar denna design vektorisering och användningen av SIMD-instruktioner.

Bituppsättningar och referenser efter index

För små domäner (t.ex. flaggor från 0 till 255) är det mycket effektivare att använda en bituppsättning än en hashbaserad uppsättningsstruktur. En bituppsättning på 256 positioner upptar bara några tiotals byte och möjliggör mycket snabba, helt sammanhängande och cachevänliga operationer, istället för att behöva lösa kollisioner i en hashtabell.

På liknande sätt kan ersättning av pekare med index i sammanhängande arrayer minska strukturernas storlek (32-bitars index istället för 64-bitars pekare) och förbättra cachekoherensen. Istället för noder spridda över heapen lagras en vektor av noder och nås utifrån deras position, vilket underlättar sekventiell genomgång.

Förhämtning: när man ska komma igång med arbetet

Förutom hårdvaruförhämtning, som försöker förutse sekventiella åtkomstmönster, har vi instruktioner för mjukvaruförhämtning för att påskynda datainläsningen i specifika fall. Detta är logiskt när mönstret är förutsägbart men inte strikt linjärt, som sker i hashtabeller eller länkade listor.

Den allmänna idén är enkel: medan du bearbetar element i instruerar du hårdvaran att ta element i+1 (eller något framtida block) till cachen. När du når det elementet är sannolikheten att det redan finns i L1 eller L2 hög, och väntetiden minskas. Detta kan implementeras med kompilatorprefetch-primitiver eller specifika bibliotek.

Det är dock ingen idé att använda explicit förhämtning vid helt sekventiella åtkomster, eftersom hårdvaran redan hanterar det automatiskt. Att lägga till onödig förhämtning kan faktiskt störa cachen och försämra prestandan. Som nästan alltid är fallet med prestanda är det bäst att mäta före och efter.

Principer för cachelagrad plats, ersättning och förhämtning

På en mer teoretisk nivå är cachesystem baserade på policyer för var data ska lagras, när den ska hämtas och vilken data som ska tas bort när det inte finns tillräckligt med utrymme. Även om dessa detaljer hanteras av hårdvaran eller operativsystemet, hjälper förståelsen av dem till att tolka vissa ovanliga beteenden.

Beträffande plats kan minnessegmentering eller set-associativa allokeringsscheman användas, där varje huvudminnesadress endast kan mappas till en delmängd av cachen. Detta påverkar antalet konflikter och sannolikheten för att två adresser överlappar varandra inom cachen.

När det gäller cache-rensning (vad som händer när det uppstår en cache-miss) spelar ersättningspolicyer in: LRU (Minst Nyligen Använd), FIFO, eller till och med slumpmässig ersättning. LRU försöker behålla den senast använda informationen i cachen, under antagandet att den kommer att behövas igen, medan FIFO helt enkelt kasserar den äldsta informationen. Varje policy har sina fördelar beroende på det faktiska åtkomstmönstret.

I förhämtningssektionen finns mekanismer baserade på historiska mönster: om hårdvaran upptäcker att varje åtkomst skiftar, till exempel, alltid 64 byte, tenderar den att förhämta sammanhängande block . I andra fall används utrymmesförhämtning (hämtning av ett helt block även om bara en del begärdes) för att minimera antalet resor till huvudminnet.

Mätning och profilering av cachebeteende

Att optimera utan att mäta är som att gå in i blindo. Det finns prestandaanalysverktyg som låter dig se specifika cache-mått: referenser, L1-missar, missar i sista-nivå-cachen (LLC), missprocent etc. Dessa mätvärden indikerar om dina förändringar faktiskt förbättrar situationen.

Om till exempel L1-cachens missfrekvens ligger runt 2–3 % anses det generellt vara rimligt, medan mycket höga missfrekvenser i den sista cachennivån kan indikera rumsliga eller tidsmässiga lokalitetsproblem . Att kombinera dessa siffror med CPU- och minnesprofiler hjälper till att identifiera vilka delar av koden som belastar minneshierarkin mest.

Cache- och prestandaoptimering i Windows

Utöver själva koden undrar många användare varför deras Windows-dator körs så långsamt om den "i teorin" har en bra CPU och RAM. En del av svaret ligger i det faktum att operativsystemet, inbyggda applikationer och ackumulerat digitalt skräp ständigt förbrukar CPU, minne och cache , vilket lämnar färre resurser för viktiga uppgifter. Genom att tillämpa flera specifika optimeringar i Windows 10 och Windows 11 är det möjligt att frigöra CPU- och RAM-resurser ( till exempel genom att konfigurera virtuellt minne ), minska bakgrundsprocesser och förbättra systemets förmåga att cachelagra relevant data. Beroende på utgångsläget kan dessa förbättringar variera från mindre justeringar till betydande förändringar i den totala prestandan.

Uppdatera Windows och drivrutiner

Ett mycket grundläggande steg som många försummar är att hålla både operativsystemet och drivrutinerna uppdaterade. Windows-uppdateringar medför inte bara säkerhetsuppdateringar: de inkluderar ofta förbättringar av resurshantering , korrigeringar av minnesläckor och kärnoptimering.

Från Windows inställningspanel (Start > Inställningar > Uppdatering och säkerhet > Windows Update) kan du söka efter både allmänna uppdateringar och valfria paket, inklusive icke-kritiska drivrutiner som kan optimera prestandan för din processor, grafikkort eller kretsuppsättning. Installation av dessa komponenter kan lösa flaskhalsar eller stabilitetsproblem som direkt påverkar hur cache och minne används.

Inaktivera P2P-distribution av uppdateringar

Sedan Windows 10 kan systemet ladda ner och dela uppdateringar med hjälp av en P2P-mekanism med andra datorer. Även om det är genialt innebär det här systemet att datorn använder processor-, nätverks- och diskutrymme för att distribuera uppdateringar, vilket inte alltid är önskvärt.

Om du inaktiverar "Leveransoptimering" i Windows Update förhindrar du att din dator levererar eller laddar ner uppdateringsfragment till andra datorer. Detta frigör resurser, minskar bakgrundsaktivitet och kan förbättra den totala prestandan, särskilt på mindre kraftfulla system.

Frigör diskutrymme och ta bort skräpfiler

När hårddisken är full eller nästan full har Windows mindre utrymme för att söka och skapa tillfälliga filer, vilket i slutändan påverkar prestandan. Med hjälp av det inbyggda verktyget Diskrensning kan du ta bort tillfälliga filer, uppdatera rester, objekt i papperskorgen och annan onödig data.

Utöver detta rensningsverktyg är det lämpligt att regelbundet tömma papperskorgen och använda Windows lagringsalternativ för att radera ackumulerade tillfälliga filer. Ju mindre utrymme det finns på systemenheten, desto effektivare kommer minnesundersystemet att fungera och desto effektivare kommer diskcachen att fungera.

Optimera start- och bakgrundsprogram

En av de största fienderna till processorn och cachen på en dator som används dagligen är program som startar automatiskt och körs i bakgrunden: synkroniseringsprogram, uppdateringsprogram, små verktyg som vi knappt använder, etc. Även om de kan verka lätta, lägger var och en till trådar, minne, diskåtkomst och cacheförbrukning.

Från Aktivitetshanteraren eller med Sysinternals för att övervaka processer kan du på fliken Start inaktivera onödiga program från att laddas automatiskt. Du kan också styra vilka program som får köras i bakgrunden under Sekretessinställningar. Att minska den här listan förbättrar inte bara starttiden utan minskar också den kontinuerliga belastningen på CPU och RAM.

Minska grafiska effekter och aviseringar

Fönsteranimationer, genomskinlighet och andra visuella utsmyckningar förbrukar resurser. På äldre eller mindre kraftfulla datorer kan det vara fördelaktigt att justera Windows-inställningarna för att prioritera prestanda framför utseende. Detta görs via systemets avancerade alternativ, i prestandaavsnittet, genom att välja den konfiguration som gynnar hastighet.

På samma sätt kan för många aviseringar överbelasta både användaren och enheten . Att inaktivera onödiga aviseringar förenklar inte bara användarupplevelsen utan förhindrar också att bakgrundsprocesser och kontroller körs för ofta.

Strömlägen, viloläge och topprestanda

Windows innehåller flera energischeman som direkt påverkar hur processorn hanteras: om batteritid eller ren prestanda prioriteras. På stationära och bärbara datorer som är anslutna till elnätet är det oftast en bra idé att granska dessa inställningar.

Snabbstart kombinerar funktioner för avstängning och viloläge för att snabba upp starttiderna genom att förinstallera en del av kärnan och drivrutinerna innan avstängning. Att aktivera det kan avsevärt minska starttiden, även om det är lämpligt att tillfälligt inaktivera det om det orsakar problem med uppdateringar eller BIOS-åtkomst.

Å andra sidan finns det ett dolt läge för "maximal prestanda" som tvingar processorn och andra komponenter att arbeta med mindre hänsyn till energieffektivitet. Att aktivera det kan ge lite mer utrymme för intensiva uppgifter, men på bekostnad av ökad värme, fläktbuller och strömförbrukning.

Effektiv hantering av utrymme och minne i systemet

Förutom regelbunden rengöring och kontroll av inbyggda program finns det andra sätt att bättre utnyttja datorns fysiska resurser och i sin tur processorns och diskcachen.

Att ha ett skrivbord belamrat med ikoner, genvägar, mappar och filer är inte bara visuell röra: Windows måste hantera allt detta, vilket ger en extra arbetsbelastning. Att hålla skrivbordet någorlunda rent och organisera dina filer i mappar på dina hårddiskar är en enkel metod som bidrar till en lättare miljö.

Det är också bra att förlita sig på molnlagringslösningar för vissa filer, vilket minskar mängden lokal lagring som används. Förutsatt att detta görs på ett klokt sätt (utan att helt förlita sig på internetanslutningen) kan det lokala systemet hållas mindre belastat och ha mer flexibilitet.

Specifika tekniker: ReadyBoost, överklockning och hårdvara

På datorer med mekanisk hårddisk och begränsat RAM-minne inkluderar Windows tekniker som ReadyBoost, vilket gör att du kan använda en snabb USB-enhet som ett slags extra cache. Även om det inte är en mirakelkur kan det i vissa konfigurationer förbättra prestandan genom att avlasta en del av hårddisken.

I andra änden av spektrumet kan avancerade användare överklocka sina processorer med hjälp av verktyg som Intel Extreme Tuning Utility (för olåsta processorer). Att öka klockhastigheten ökar prestandan, men ökar också temperaturen och strömförbrukningen, med en verklig risk för instabilitet och skador om spänning och kylning inte hanteras noggrant.

När alla programvaruoptimeringar inte räcker är det dags att överväga hårdvaruuppgraderingar: byta ut en hårddisk mot en SSD, öka RAM-minnet eller till och med byta processor eller hela systemet. En SSD förändrar i synnerhet systemets upplevda prestanda, eftersom den drastiskt minskar åtkomsttiden för diskar, vilket i sin tur gör att diskcachen och det virtuella minnet fungerar mycket smidigare.

Sammantaget gör en kombination av god datastrukturdesign och minnesåtkomstmönster för att utnyttja CPU-cachen med noggrann Windows-konfiguration (uppdaterad, lättviktig, fri från skräp eller onödiga processer, med lämpligt energischema och, om nödvändigt, med små hjälpmedel som ReadyBoost eller hårdvaruförbättringar) att man kan få ut mycket mer av samma maskin, vilket ger applikationer som svarar med smidighet och ett system som känns märkbart snabbare utan behov av "magi" eller esoteriska trick.