Avancerad Linux-minneshantering: En komplett och praktisk guide

Informatec Digital » Resurser » Avancerad Linux-minneshantering: En komplett och praktisk guide

Om du hanterar system, arbetar med containrar eller underhåller produktionsservrar är en grundlig förståelse för minneshantering i Linux inte längre valfri. Det är skillnaden mellan en server som hanterar belastningstoppar utan att tveka och en som kämpar, går in i kraschläge eller slutar med att aktivera den fruktade OOM-mördaren i värsta möjliga ögonblick.

Linux är utformat för att använda RAM så effektivt som möjligt: ​​det cachar filer, komprimerar sidor, flyttar data till växlingsdiskar och prioriterar processer enligt mycket exakta policyer. Utifrån sett kan det verka som att det "förbrukar mycket minne" eller att "det aldrig finns något ledigt RAM", men i verkligheten försöker det leverera maximal prestanda och stabilitet . Låt oss se, steg för steg och med lite "lågteknologisk" förklaring, hur allt detta fungerar och hur du kan finjustera det på avancerade sätt.

Grundläggande koncept och myter om minne i Linux

Innan man experimenterar med kärnparametrar eller monterar zram som om det inte finns någon morgondag, är det en bra idé att ha några tydliga idéer om minnestyper, arkitektur och hur systemet ser RAM.

Den maximala mängden fysiskt minne en dator kan hantera bestäms av operativsystemet och processorarkitekturen. Ett 32-bitarssystem är vanligtvis begränsat till 4 GB RAM, medan ett 64-bitarssystem enkelt kan hantera tiotals eller hundratals gigabyte (teoretiskt sett mycket mer, även om den faktiska gränsen sätts av hårdvaran).

I Linux hanteras allt minne som virtuellt minne . Detta inkluderar både fysiskt RAM och swap-utrymme. RAM kan inte "utökas" förutom genom att lägga till fysiska moduler, men virtuellt minne kan utökas med hjälp av disk (partitioner eller swap-filer) och avancerade mekanismer som zram eller zswap.

La fysiskt minne (RAM) Det är den snabba och dyra resursen: det är där processer, bibliotek, filcacher, I/O-buffertar, delat minne etc. laddas. Linux har en mycket tydlig filosofi: om det finns ledigt RAM-minne är det bättre att använda det som en cache och snabba upp åtkomster än att lämna det tomt. Det är därför det finns lite "ledigt" minne i verktyg som free Det betyder inte att du har ett problem.

Diskminne ( permanent lagring) är mycket långsammare. Medan RAM svarar på nanosekunder, svarar även en SSD på mikrosekunder eller millisekunder. Det är därför systemet försöker lagra ofta använda data i RAM-minnet och bara använder disken när det är absolut nödvändigt: för att ladda körbara filer, läsa kalla data eller byta sidor.

Virtuellt minne, sidor och interna kärnstrukturer

Virtuellt minne är den mekanism genom vilken Linux förser varje process med sitt eget isolerade och skyddade adressutrymme . Hårdvaran och kärnan översätter virtuella adresser till fysiska adresser genom strukturer som kallas sidtabeller.

Den minsta enheten som används för att hantera minne är sidan , vanligtvis 4 KB. Hela det virtuella minnessystemet kretsar kring sidor: de allokeras, frigörs, byts ut, cachas och markeras med olika behörigheter (skrivskyddad, körbar, etc.).

Sidtabeller är hierarkiska strukturer som underhålls av kärnan . De lagrar, för varje virtuell sida i varje process, platsen för den faktiska fysiska sidan (om den finns), dess behörigheter och dess aktuella tillstånd. Denna översättning gör att processer kan isoleras, sidor kan delas mellan dem och filer kan mappas direkt till minnet.

När en process ansluter till en giltig adress, men sidan inte är redo för åtkomst, uppstår ett sidfel . Detta kan vara lätt (sidan finns i RAM-minnet men i ett tillstånd som kräver uppdatering) eller dyrt (sidan finns på disk, i växlingsminne eller i en fil och måste flyttas till RAM-minnet). Om sidfel blir vanligare, saktar systemet ner eftersom det lägger för mycket tid på att läsa från disk.

Sidcachen är den cache för filsidor som underhålls av kärnan. Den lagrar data och metadata för filer och kataloger för att minska diskåtkomst. Detta är en av anledningarna till att Linux "verkar" använda allt RAM-minne: i verkligheten utnyttjar den minne som applikationer inte aktivt använder för att snabba upp diskåtkomsten.

Typer av minne: filbaserat, anonymt och hur de relaterar till swap

I Linux skiljer man vanligtvis mellan filminne och anonymt minne . Båda finns i RAM-minnet, men deras ursprung och eventuella säkerhetskopiering till disk skiljer sig åt.

Samtalet filminne Det är den som säkerhetskopieras av systemfiler: körbara binärfiler, delade bibliotek, mappad data med mmap från en fil, etc. Det minnet kan kasseras och laddas om från originalfilen om utrymme behövs.

La anonymt minne Det är allt som processen reserverar som inte är kopplat till en fil: den dynamiska heapen, stacken, privata regioner med MAP_ANONYMOUSoch de områden som kopierats med kopiering vid skrivning när man gör fork()Detta minne finns bara i RAM (eller i swap, om det flyttas) och dess enda möjliga säkerhetskopia är just det swap-utrymmet.

När kärnan behöver frigöra RAM-minne försöker den först frigöra sidor som den kan sätta ihop igen: vanligtvis sidor från sidcachen eller filbaserade regioner. Först när det inte finns mer utrymme eller minnesbelastningen är mycket hög börjar den skicka anonymt minne till swap , vilket är mycket dyrare men ger systemet en paus.

Minnestryck, stryk och OOM-dödare

Minnesbelastning uppstår när antalet lediga sidor faller under vissa interna tröskelvärden. Kärnan tvingas då att ständigt arbeta för att frigöra minne: rensa cacheminnen, skriva smutsiga sidor till disken, radera sällan använda sidor och så vidare.

Hög minnesbelastning kan ge mycket tydliga symptom: hög latens i webbtjänster , långsamma grafiska gränssnitt, fördröjda svar från fjärrsessioner (SSH, VNC, RDP), hackig mus, fönster som tar sekunder att reagera, etc. Vid den tidpunkten är systemet mer fokuserat på att överleva än på att utföra användbart arbete.

Överbelastning inträffar när RAM-minnet inte räcker till för att lagra de sidor som processer ständigt använder. Kärnan börjar byta sida kontinuerligt: ​​den tar bort en för att infoga en annan, men behöver sedan omedelbart den den just tog bort. Resultatet är en cykel av sidfel och diskåtkomst som försämrar prestandan.

Med swap aktiverat innebär thrashing att anonyma sidor flyttas fram och tillbaka mellan RAM-minnet och swap-utrymmet, vilket mättar disken. Utan swap förskjuts problemet till filsidor: de kasseras och laddas om upprepade gånger från filsystemet, vilket också kan göra maskinen praktiskt taget oanvändbar.

Om kärnan fortfarande inte kan få ledigt minne spelar följande roll: Mekanism för slut på minne (OOM)När allt som kan tas bort, komprimeras eller bytas ut är uttömt beräknar kärnan en poäng för varje process (oom_scoreoch bestämmer vilken som ska offras. Den processen slutförs av OOM-mördare för att frigöra en betydande mängd RAM och undvika en total krasch.

Byte: vad det är, hur mycket man ska lägga i och varför det inte är "djävulen"

Swap-minne har ett dåligt rykte, delvis på grund av föråldrade råd och förenklingar som "om du har mycket RAM behöver du inte swap." I verkligheten är swap-utrymme en nyckelkomponent i Linux-minnesdesign, även på system med mycket RAM.

En swap är ett område på disken (partition eller fil) som kärnan använder för att lagra inaktiva minnessidor . Detta gör att den kan frigöra RAM för processer som faktiskt behöver det. Det är inte virtuellt minne i sig, utan en av de mekanismer som gör det möjligt.

Utan swap har anonyma sidor ingenstans att ta vägen när minnesbelastningen ökar. Kärnan kan fortfarande förlita sig på cachar och filbaserade sidor, men så snart anonymt minne blir kritiskt högt tvingas den praktiskt taget att anropa OOM-killern mycket tidigare. Tekniskt sett kan Linux fungera utan swap, men i praktiken är det en onödig risk i de flesta scenarier.

När det gäller att dimensionera växlingsutrymmet finns det inget enskilt recept, men det finns några ganska rimliga moderna kriterier beroende på maskinens roll:

• Servrar utan viloläge4–8 GB swap-utrymme är vanligtvis tillräckligt som buffert, även med mycket RAM. För minnesintensiva tjänster (databaser, virtualisering) kan du öka det till 1,5 gånger RAM-minnet, men prioriteten bör vara att öka fysiskt RAM-minne.
• Stationära datorer utan vilolägeMed 16 GB eller mer RAM räcker det med 2–4 GB swap som ett säkerhetsnät.
• Vilolägesaktiverade enheterVäxlingsutrymmet måste vara lika med eller något större än RAM-minnet, eftersom systemet dumpar allt innehåll i minnet till det när det försätts i viloläge.

Att skapa ett växlingsutrymme är mycket flexibelt. Du kan använda en dedikerad partition eller en växlingsfil . En växlingsfil är idealisk när din disk redan är partitionerad eller om du vill justera storleken utan att konfigurera om hela systemet.

Minnesmätvärden: free, vmstat, ps, RSS, PSS och mer

Klassiska Linux-minneshanteringsverktyg kan leda till missförstånd om du inte vet vad varje kolumn betyder. Kommandot free -h Det är det enklaste sättet att med en snabb blick se totalt minne, använt minne, ledigt minne, cache och swap.

Vid utgången av free Det är viktigt att titta på raden som drar av buffertar och cache, eftersom den kolumnen anger minne som faktiskt upptas av processer, förutom vad kärnan använder som cache och som den snabbt kan släppa om det behövs.

med vmstat -s -S M Du får en mer detaljerad sammanfattning: totalt minne, använt minne, ledigt minne, aktivt minne, inaktivt minne, växlingscache etc. Du kan också se /proc/meminfo för att se varje mätvärde i detalj, även om resultatet är torrare och mindre användarvänligt.

För att ta reda på vilka processer som påverkar RAM-minnet mest, ps aux visar kolumner som VSZ (totalt virtuellt minne som processen skulle kunna använda om den laddade allt) och RSS (Resident Set Size, faktiskt minne i RAM-minnet). Obs: RSS inkluderar även delat biblioteksminne, vilket räknas flera gånger om det används av flera processer.

Här spelar in PSS (Proportionell uppsättningsstorlek)vilket fördelar kostnaden för delade bibliotek mellan de processer som använder dem. För att enkelt få tag på PSS finns det verktyg som smem, mycket användbart för att se vilka applikationer som verkligen är "datasvin" utan att förvränga informationen på grund av delade bibliotek.

Minnesfragmentering, stack, heap och ulimit

En annan mindre synlig aspekt av minneshantering är fragmentering . Vi kan tala om intern fragmentering (när avrundade block allokeras i multiplar om 4, 8 eller 16 byte, vilket lämnar en oanvändbar del) och extern fragmentering (när ledigt minne finns men är uppdelat i små bitar som förhindrar användningen av en stor sammanhängande allokering).

I applikationer som Redis ser man ibland skillnader mellan det minne som rapporteras av systemet (RSS) och det minne som appen själv anser vara användbart (used_memory). Detta avstånd beror vanligtvis till stor del på extern fragmentering, luckor som systemet räknar som upptagna men som processen faktiskt inte använder.

Minnet av en process är konceptuellt uppdelat i stapel och heapStacken används för lokala variabler och funktionsanrop, medan heapen används för dynamiska allokeringar. malloc() och liknande. När datastrukturer växer bortom vad stacken kan hålla, hämtas de från heapen och hanteras med hjälp av pekare.

Den maximala stackstorleken per process kan justeras med ulimit -a och systemkonfigurationer. Att minska den begränsar antalet stora lokala variabler, medan en ökning möjliggör fler variabler eller djup rekursion. Att justera denna parameter kan bidra till att bättre kontrollera minnesanvändningen och minska vissa typer av fragmentering, även om det inte är ett universalmedel.

Avancerad övervakning och diagnostik: top, htop, vmstat, sar och mer

För att hitta processer som förbrukar RAM kan du börja med top Och om du vill ha något mer användarvänligt, med htopDen senare visar CPU-, minnes- och swap-användningsstaplar och möjliggör interaktiv sortering och filtrering av processer.

I Debian och derivator, installera htop med sudo apt install htopI AlmaLinux och andra Red Hat-liknande system, med sudo dnf install htopVäl inne kan du sortera efter minne, söka efter specifika processer och avsluta problematiska uppgifter direkt från gränssnittet.

För djupare analys och batchläge, vmstat 5 Den ger regelbunden information om processer, minne, paging, block-I/O, avbrott och CPU-schemaläggning. Den är idealisk för att se hur minnesbelastningen utvecklas över tid.

Fortsättningen sysstat Den innehåller verktyg som sarvilket gör att du kan registrera och analysera användningen av minne och andra resurser. Till exempel, sar -r 1 5 Den visar minnes- och swap-användning varje sekund, fem gånger. På Debian installeras den med sudo apt install sysstatoch i AlmaLinux med sudo dnf install sysstat.

Om du behöver djup felsökning på kärnnivå, bpftrace Det är ett kraftfullt verktyg baserat på eBPF. Det låter dig instrumentera systemanrop, observera minnesåtkomst och upptäcka flaskhalsar utan att kompilera om eller starta om. Det installeras vanligtvis med sudo apt install bpftrace på Debian-liknande system.

Praktisk minneshantering: swap, swappiness och cache-rensning

En grundläggande uppgift på många servrar är att kontrollera nuvarande tillstånd för bytet. Med swapon --show Du har en lista över aktiva växlingsenheter och filer, deras storlek, typ och prioritet. Om du behöver lägga till växlingsfiler direkt kan du skapa en fil med fallocate, säkra tillstånd med chmod 600formatera den med mkswap och aktivera den med swaponFör att göra den beständig, lägg helt enkelt till motsvarande post i /etc/fstab.

Parameter vm.swappiness Detta styr hur lätt kärnan prioriterar att använda swap framför att fortsätta fylla RAM. Det sträcker sig från 0 till 100. Låga värden (10-20) gör att systemet undviker swap tills det är absolut nödvändigt, medan höga värden (60 eller mer) uppmuntrar systemet att flytta sidor till swap lättare för att bibehålla ledigt RAM.

På servrar med långsamma diskar eller stora databaser är det ofta av intresse sänk bytesgradenTill exempel, till 10 eller 20, med sudo sysctl vm.swappiness=10För stationära datorer med snabba zRAM- eller SSD-diskar kan mellanvärden som 30-60 ge en bra balans mellan latens och minnesutnyttjande.

I situationer med godkänt minne är det ibland nödvändigt att tvinga fram cache-utgåva med sudo sync && sudo sysctl -w vm.drop_caches=3Detta tömmer en stor del av sidans cache och minne. Det är användbart ibland för att testa eller frigöra minne på mycket begränsade system, men det bör inte användas rutinmässigt eftersom du också förlorar den prestandaförbättring som cachning ger.

Avancerade kontrollverktyg: cgroup v2, memory.pressure och OOM i användarutrymmet

I moderna system som använder systemd och cgroup v2 kan minneshanteringen finjusteras av processgrupper. cgroup v2 organiserar uppgifter i hierarkier och tillämpar resursgränser och prioriteringar (CPU, minne, I/O) på gruppnivå, inte bara på individuell processnivå.

Inom minneshierarkin, parametrar som memory.low De låter dig indikera att minnet för vissa c-grupper bör skyddas mer mot globalt tryck, medan andra kan vara mer förbrukningsbara om RAM-minne behöver frigöras.

Filen memory.pressure Den exponerar mycket användbara mätvärden: hur länge uppgifter i den c-gruppen har blockerats på grund av minnesbrist, i intervaller om 10, 60 och 300 sekunder. Varianten några Den indikerar om minst en uppgift har blivit försenad, och full Det återspeglar ögonblick då alla gruppens uppgifter påverkades samtidigt.

Förutom kärnans OOM-mördare har användarutrymmeslösningar dykt upp, såsom tidig morgon, ingen hängning o systemd-oomdEarlyOOM övervakar RAM och swap, och när de faller under vissa tröskelvärden avslutar det proaktivt processer. oom_score högre, vilket återställer användbarheten innan maskinen fryser.

NoHang går ett steg längre: det stöder fler urvalskriterier , kan ta hänsyn till minnesbelastning och integreras väl med avancerade konfigurationer, även om dess utveckling har haft sina upp- och nedgångar. Samtidigt integreras systemd-oomd direkt med systemd och cgroup v2, och är för närvarande det föredragna alternativet i många distributioner för att hantera situationer med lågt minne mer intelligent och detaljerat.

Modern Swap: zram, zswap och enhetsprioriteringar

Förutom "klassisk" diskväxling erbjuder Linux moderna mekanismer som avsevärt förbättrar prestandan genom att kombinera RAM-komprimering och selektiv diskanvändning.

zram är en kärnmodul som skapar blockenheter i själva RAM-minnet, där sidor lagras i komprimerat tillstånd. Dessa används vanligtvis som ultrasnabba växlingsenheter: komprimering och dekomprimering förbrukar en del CPU, men du vinner logisk minneskapacitet och minskar diskanvändningen drastiskt.

I många distributioner räcker det att installera zram-verktyg o zram-generator och aktivera dess tjänst. Till exempel i Debian kan du använda sudo apt install zram-tools och aktivera zramswap med systemd. I AlmaLinux, med sudo dnf install zram-generator och dess motsvarande tjänst.

zswap , å andra sidan, fungerar som en komprimerad cache framför diskväxlingen . Den försöker först lagra utbytta sidor i komprimerat RAM-minne; först när denna cache är full eller sidor blir inaktiva skriver den till det faktiska växlingsområdet. Detta minskar disk-I/O och förlänger livslängden för SSD-diskar, på bekostnad av en del CPU-användning.

När man kombinerar flera växlingsenheter (t.ex. zram och en diskfil) är det viktigt att justera prioriteringar. Med swapon -p eller alternativet pri= en /etc/fstab Du anger vilken enhet som ska användas först. Vanligtvis ger man hög prioritet (till exempel 100) till zram och lägre prioritet (10) till diskväxling, så att kärnan utnyttjar det komprimerade växlingsutrymmet i RAM-minnet fullt ut innan den läser disken.

Minneshantering tillämpad på servrar: swap, tjänster och säkerhet

I webbservrar (Apache, Nginx), databaser (MySQL, MariaDB, MongoDB) eller resursintensiva applikationer är minne den kritiska resursen. RAM-minne och swap-konfiguration avgör direkt hur många samtidiga förfrågningar du kan hantera innan systemet börjar krångla.

När det gäller databasmotorer som MongoDB är det avgörande att det fysiska RAM-minnet överstiger databasens krav ; annars kommer den att börja använda swap-utrymme och prestandan kommer att sjunka kraftigt på grund av den betydande skillnaden mellan RAM-åtkomst och diskåtkomst. Detsamma gäller MySQL/MariaDB, där verktyg som MySQLTuner rekommenderar minnesparametrar baserat på tillgängligt RAM-minne.

För att undvika att slösa minne är det lämpligt att stoppa oanvända tjänster och rensa containrar, avbildningar och Docker-volymer som inte längre behövs. I utvecklings- och QA-miljöer är det väldigt lätt att samla på sig glömda resurser som stjäl gigabyte RAM och diskutrymme utan att någon märker det.

Säkerhet spelar också en roll: onödiga portar öppna De ökar attackytan. Skadlig kod som lyckas infiltrera ett system kan till exempel starta miningprocesser som förbrukar CPU och minne, schemalägga uppgifter i crontab och krascha systemet. Att kontrollera inkommande och utgående portar, stänga allt som inte är nödvändigt och rensa upp misstänkta cron-jobb är en del av grundläggande systemhygien som också skyddar minnesresurser.

Minne och filsystem: ext4, XFS, Btrfs och journalföring

Även om det kan verka som en separat fråga, påverkar valet av filsystem och dess konfiguration också minnesbeteende och I/O-belastning. Ext4 använder till exempel en journal som, beroende på belastningen, kan lägga extra press på disken och följaktligen på cachehanteringen.

I krävande servermiljöer väljer många administratörer XFS eller till och med Btrfs . XFS fungerar vanligtvis mycket bra med stora filer och högpresterande system. Btrfs erbjuder avancerade funktioner som snapshots, transparent komprimering och delvolymer, på bekostnad av viss komplexitet och, beroende på version och distribution, en mognadsnivå som fortfarande debatteras för alla arbetsbelastningar.

Kärnan anpassar sin cachnings- och skrivningspolicy till filsystemets egenskaper, så att byta från ext4 till XFS eller Btrfs påverkar inte bara rå I/O, utan också hur RAM och sidcache används för att buffra läs- och skrivoperationer.

Viktiga grafiska verktyg och verktyg för administratörer

Även om terminalen fortfarande är den schweiziska armékniven för alla administratörer, finns det verktyg som gör det mycket enklare att hantera minne och resurser . Ett av dem är Glances , en realtidsmonitor som visar CPU, minne, disk, nätverk och processer på en enda skärm, med ett valfritt webbgränssnitt för att övervaka flera servrar från en webbläsare.

För snabb installation på Debian, helt enkelt... sudo apt install glancesBlickar kompletterar mycket bra med htop, vmstat y sar, vilket ger en mer visuell översikt över hur systemet beter sig under belastning.

Inom grafisk serveradministration erbjuder Cockpit ett användarvänligt webbgränssnitt för övervakning av minne, processer och tjänster . Det låter dig hantera flera servrar från en enda konsol, starta och stoppa systemd-enheter, övervaka swap- och zram-användning och granska loggar utan att lämna din webbläsare.

På stationära system integrerar många distributioner sin egen resursövervakare, men för miljöer utan ett grafiskt gränssnitt eller där du vill ha något lättviktigt, ger kombinationen av dessa konsolverktyg med anpassade skript dig utmärkt insyn i vad som händer med minnet vid varje given tidpunkt.

Korrekt minneshantering i Linux innebär att förstå hur kärnan använder RAM, rollerna för swap, zram och zswap, hur cgroup v2 och de olika OOM-erna reagerar på tryck, och vilka verktyg du har för att övervaka och finjustera systemet. När du sätter ihop alla dessa delar – från free, vmstat, PSS och memory.pressure till zram, swappiness och systemd-oomd – slutar du kämpa med att "Linux konsumerar RAM" och börjar få ett finjusterat, stabilt system som kan maximera hårdvaruprestanda i alla roller: server, skrivbord eller miljö med hög belastning.