Pokročilá správa paměti v Linuxu: Kompletní a praktický průvodce

Informatec Digital » Zdroje » Pokročilá správa paměti v Linuxu: Kompletní a praktický průvodce

Pokud spravujete systémy, pracujete s kontejnery nebo udržujete produkční servery, důkladná znalost správy paměti v Linuxu již není volitelná. Je to rozdíl mezi serverem, který zvládá špičky zátěže bez zaváhání, a serverem, který se potýká s problémy, přechází do režimu thrashingu nebo nakonec v nejhorší možný okamžik spustí obávaného zabijáka OOM.

Linux je navržen tak, aby co nejefektivněji využíval RAM: ukládá soubory do mezipaměti, komprimuje stránky, přesouvá data do swapu a upřednostňuje procesy podle velmi přesných zásad. Zvenčí se může zdát, že „spotřebovává spoustu paměti“ nebo že „nikdy není volná RAM“, ale ve skutečnosti se snaží poskytovat maximální výkon a stabilitu . Podívejme se krok za krokem a s trochou „low-tech“ vysvětlení, jak to všechno funguje a jak to lze pokročilými způsoby doladit.

Základní pojmy a mýty o paměti v Linuxu

Než se budete trápit s parametry jádra nebo montovat zram, jako by zítřek neexistoval, je dobré mít jasnou představu o typech pamětí, architektuře a o tom, jak systém vnímá RAM.

Maximální množství fyzické paměti, kterou počítač dokáže zpracovat, je určeno operačním systémem a architekturou procesoru. 32bitový systém je obvykle omezen na 4 GB RAM, zatímco 64bitový systém snadno zvládne desítky nebo stovky gigabajtů (teoreticky mnohem více, ačkoli skutečný limit je dán hardwarem).

V Linuxu je veškerá paměť spravována jako virtuální paměť . To zahrnuje jak fyzickou RAM, tak i odkládací prostor. RAM nelze „rozšířit“ jinak než přidáním fyzických modulů, ale virtuální paměť lze rozšířit pomocí disku (oddílů nebo odkládacích souborů) a pokročilých mechanismů, jako je zram nebo zswap.

La fyzická paměť (RAM) Je to rychlý a drahý zdroj: tam se načítají procesy, knihovny, mezipaměti souborů, I/O buffery, sdílená paměť atd. Linux má velmi jasnou filozofii: pokud je k dispozici volná RAM, je lepší ji použít jako mezipaměť a zrychlit přístup, než ji nechat prázdnou. Proto je v nástrojích jako ... vidět málo „volné“ paměti free To neznamená, že máš problém.

Disková paměť ( perzistentní úložiště) je mnohem pomalejší. Zatímco RAM reaguje v nanosekundách, i SSD disk reaguje v mikrosekundách nebo milisekundách. Proto se systém snaží uchovávat často používaná data v RAM a k disku se uchyluje pouze v nezbytně nezbytných případech: načítání spustitelných souborů, čtení studených dat nebo výměna stránek.

Virtuální paměť, stránky a vnitřní struktury jádra

Virtuální paměť je mechanismus, kterým Linux poskytuje každému procesu jeho vlastní izolovaný a chráněný adresní prostor . Hardware a jádro překládají virtuální adresy na fyzické adresy pomocí struktur zvaných tabulky stránek.

Nejmenší jednotkou používanou ke správě paměti je stránka , obvykle o velikosti 4 KB. Celý systém virtuální paměti se točí kolem stránek: ty jsou alokovány, uvolňovány, vyměňovány, ukládány do mezipaměti a označovány různými oprávněními (pouze pro čtení, spouštění atd.).

Tabulky stránek jsou hierarchické struktury spravované jádrem. Pro každou virtuální stránku každého procesu ukládají umístění skutečné fyzické stránky (pokud existuje), její oprávnění a její aktuální stav. Tento překlad umožňuje izolaci procesů, sdílení stránek mezi nimi a mapování souborů přímo do paměti.

Když proces přistupuje k platné adrese, ale stránka není připravena k přístupu, dojde k chybě stránky . Ta může být nenáročná (stránka je v paměti RAM, ale ve stavu, který vyžaduje aktualizaci) nebo nákladná (stránka je na disku, ve swapu nebo v souboru a musí být přenesena do paměti RAM). Pokud se chyby stránky stávají častými, systém se zpomalí, protože tráví příliš mnoho času čtením z disku.

Mezipaměť stránek je mezipaměť stránek souborů spravovaná jádrem. Ukládá data a metadata souborů a adresářů, aby se snížil přístup k disku. To je jeden z důvodů, proč se zdá, že Linux využívá veškerou RAM: ve skutečnosti využívá paměť, kterou aplikace aktivně nepoužívají, k urychlení přístupu k disku.

Typy paměti: souborově zálohovaná, anonymní a jak se vztahují ke swapu

V Linuxu se obvykle rozlišuje mezi souborovou pamětí a anonymní pamětí . Obě se nacházejí v RAM, ale jejich původ a možné zálohování na disk se liší.

Volání paměť souborů Je to ten, který je zálohován systémovými soubory: spustitelnými binárními soubory, sdílenými knihovnami, mapovanými daty s mmap ze souboru atd. Tuto paměť lze v případě potřeby zahodit a znovu načíst z původního souboru.

La anonymní paměť Je to vše, co si proces rezervuje a co není vázáno na soubor: dynamickou haldu, zásobník, soukromé oblasti s MAP_ANONYMOUSa oblasti kopírované funkcí kopírování při zápisu při provádění fork()Tato paměť existuje pouze v RAM (nebo ve swapu, pokud je přesunut) a její jedinou možnou zálohou je právě tento swap prostor.

Když jádro potřebuje uvolnit RAM, nejprve se pokusí uvolnit stránky, které může znovu sestavit: obvykle stránky z mezipaměti stránek nebo oblastí zálohovaných soubory. Teprve když už není dostatek místa nebo je tlak na paměť velmi vysoký, začne anonymní paměť nahrávat do swapu , což je mnohem nákladnější, ale dává systému pauzu.

Tlak na paměť, thrashing a zabiják OOM

K tlaku na paměť dochází , když počet volných stránek klesne pod určité interní prahové hodnoty. Jádro je pak nuceno neustále pracovat na uvolnění paměti: mazání mezipaměti, zápis nepoužívaných stránek na disk, odstraňování zřídka používaných stránek atd.

Vysoké zatížení paměti může mít velmi jasné příznaky: vysokou latenci webových služeb , pomalá grafická rozhraní, zpožděné odezvy ze vzdálených relací (SSH, VNC, RDP), trhanou myš, okna, která reagují několik sekund atd. V tomto okamžiku se systém více zaměřuje na přežití než na užitečnou práci.

K přetížení (thrashingu) dochází , když RAM není dostatečná pro uložení stránek, které procesy neustále používají. Jádro začne stránky nepřetržitě prohazovat: jednu vymaže, aby vložilo další, ale pak okamžitě potřebuje tu, kterou právě vymazalo. Výsledkem je cyklus chyb stránek a přístupů k disku, který snižuje výkon.

Pokud je povolen swap, znamená to, že se anonymní stránky pohybují tam a zpět mezi pamětí RAM a swapovacím prostorem, čímž se disk zahlcuje. Bez swapu se problém přesouvá na stránky souborů: ty jsou opakovaně zahazovány a znovu načítány ze souborového systému, což může také způsobit, že se počítač stane prakticky nepoužitelným.

Pokud jádro stále nedokáže získat volnou paměť, do hry vstupuje následující: Mechanismus nedostatečné paměti (OOM)Když je vyčerpáno vše, co lze smazat, zhutnit nebo vyměnit, jádro vypočítá skóre pro každý proces (oom_scorea rozhodne, kterou obětovat. Tento proces je dokončen Zabiják OOM uvolnit značné množství paměti RAM a zabránit úplnému pádu.

Swap: co to je, kolik ho dát a proč to není „ďábel“

Odkládací paměť má špatnou pověst, částečně kvůli zastaralým radám a zjednodušením typu „pokud máte hodně RAM, nepotřebujete swap“. Ve skutečnosti je odkládací prostor klíčovou součástí návrhu paměti v Linuxu, a to i na systémech s velkým množstvím RAM.

Swap je oblast na disku (oddílu nebo souboru), kterou jádro používá k ukládání neaktivních stránek paměti . To mu umožňuje uvolnit paměť RAM pro procesy, které ji skutečně potřebují. Není to samotná virtuální paměť, ale jeden z mechanismů, které to umožňují.

Bez swapu nemají anonymní stránky kam jít, když se zvýší tlak na paměť. Jádro se stále může spoléhat na mezipaměti a stránky zálohované soubory, ale jakmile se anonymní paměť dostane do kriticky vysoké úrovně, je prakticky nuceno mnohem dříve spustit OOM killer. Technicky vzato může Linux fungovat i bez swapu, ale v praxi je to ve většině scénářů zbytečné riziko.

Pokud jde o dimenzování odkládacího prostoru, neexistuje jediný recept, ale existují určitá poměrně rozumná moderní kritéria v závislosti na roli stroje:

• Servery bez hibernace4–8 GB odkládacího prostoru obvykle postačí jako vyrovnávací paměť, a to i s dostatkem RAM. Pro paměťově náročné služby (databáze, virtualizace) jej můžete zvýšit na 1,5násobek RAM, ale prioritou by mělo být zvýšení fyzické RAM.
• Stolní počítače bez hibernaceS 16 GB nebo více RAM je 2–4 GB swapu více než dostatečné jako bezpečnostní síť.
• Zařízení s podporou hibernaceVelikost odkládacího prostoru musí být stejná nebo o něco větší než RAM, protože systém do něj při hibernaci ukládá veškerý obsah paměti.

Vytvoření odkládacího prostoru je velmi flexibilní. Můžete použít vyhrazený oddíl nebo odkládací soubor . Odkládací soubor je ideální, když je váš disk již rozdělen na oddíly nebo chcete upravit jeho velikost bez nutnosti překonfigurovat celý systém.

Metriky paměti: free, vmstat, ps, RSS, PSS a další

Klasické nástroje pro správu paměti v Linuxu mohou vést k chybným interpretacím, pokud nevíte, co každý sloupec znamená. Příkaz free -h Je to nejjednodušší způsob, jak na první pohled vidět celkovou paměť, použitou paměť, volnou paměť, mezipaměť a swap.

Na výstupu z free Je důležité podívat se na řádek, který odečítá vyrovnávací paměti a mezipaměť, protože tento sloupec označuje paměť skutečně obsazená procesy, nepočítaje v to, co jádro používá jako mezipaměť a co může v případě potřeby rychle uvolnit.

s vmstat -s -S M Získáte podrobnější souhrn: celková paměť, použitá paměť, volná paměť, aktivní paměť, nečinná paměť, odkládací mezipaměť atd. Můžete se také podívat na /proc/meminfo zobrazit každou metriku podrobně, i když výstup je sušší a méně uživatelsky přívětivý.

Abychom zjistili, které procesy nejvíce ovlivňují RAM, ps aux zobrazuje sloupce jako VSZ (celková virtuální paměť, kterou by proces mohl použít, kdyby načetl vše) a RSS (Velikost rezidentní sady, skutečná paměť aktuálně v RAM). Poznámka: RSS zahrnuje také paměť sdílených knihoven, která se počítá vícekrát, pokud ji používá více procesů.

Zde přichází do hry PSS (Proporcionální velikost sady)který rozděluje náklady na sdílené knihovny mezi procesy, které je používají. Pro snadné získání PSS existují nástroje jako například smem, což je velmi užitečné pro zjištění, které aplikace skutečně „žroutují data“, aniž by došlo ke zkreslení dat kvůli sdíleným knihovnám.

Fragmentace paměti, zásobník, halda a ulimit

Dalším méně viditelným aspektem správy paměti je fragmentace . Můžeme hovořit o interní fragmentaci (kdy jsou zaoblené bloky alokovány v násobcích 4, 8 nebo 16 bajtů, čímž zůstane nepoužitelný kus) a externí fragmentaci (když volná paměť existuje, ale je rozdělena na malé části, které brání použití velké souvislé alokace).

V aplikacích, jako je Redis, se někdy objevují rozdíly mezi pamětí hlášenou systémem (RSS) a pamětí, kterou samotná aplikace považuje za užitečnou (used_memory). Tato vzdálenost je obvykle z velké části způsobena vnější fragmentace, mezery, které systém počítá jako obsazené, ale proces je ve skutečnosti nepoužívá.

Paměť procesu je koncepčně rozdělena na hromada a zásobníkZásobník se používá pro lokální proměnné a volání funkcí, zatímco halda se používá pro dynamické alokace. malloc() a podobné. Když datové struktury přerostou, co zásobník pojme, jsou vytaženy z haldy a ošetřeny pomocí ukazatelů.

Maximální velikost zásobníku na proces lze upravit pomocí ulimit -a a konfigurace systému. Snížení tohoto parametru omezuje počet velkých lokálních proměnných, zatímco jeho zvýšení umožňuje více proměnných nebo hlubokou rekurzi. Úprava tohoto parametru může pomoci lépe kontrolovat využití paměti a snížit určité typy fragmentace, i když to není všelék.

Pokročilé monitorování a diagnostika: top, htop, vmstat, sar a další

Chcete-li najít procesy, které spotřebovávají paměť RAM, můžete začít s top A pokud chcete něco uživatelsky přívětivějšího, s htopTen druhý zobrazuje ukazatele využití CPU, paměti a swapu a umožňuje interaktivní třídění a filtrování procesů.

V Debianu a jeho derivátech, nainstalovat htop s sudo apt install htopV AlmaLinuxu a dalších systémech podobných Red Hatu s sudo dnf install htopJakmile jste uvnitř, můžete třídit podle paměti, vyhledávat konkrétní procesy a ukončovat problematické úlohy přímo z rozhraní.

Pro hlubší analýzu a dávkový režim, vmstat 5 Poskytuje pravidelné informace o procesech, paměti, stránkování, blokových I/O operacích, přerušeních a plánování CPU. Je ideální pro sledování, jak se v čase vyvíjí zatížení paměti.

Pokračování sysstat Zahrnuje nástroje jako například sarkteré vám umožňují zaznamenávat a analyzovat využití paměti a dalších zdrojů. Například sar -r 1 5 Každou sekundu, pětkrát, zobrazuje využití paměti a swapu. V Debianu se instaluje s sudo apt install sysstata v AlmaLinuxu s sudo dnf install sysstat.

Pokud potřebujete hluboké ladění na úrovni jádra, bpftrace Je to výkonný nástroj založený na eBPF. Umožňuje monitorovat systémová volání, sledovat přístup k paměti a detekovat úzká hrdla bez nutnosti rekompilace nebo restartu. Obvykle se instaluje s sudo apt install bpftrace na systémech podobných Debianu.

Praktická správa paměti: swap, swappiness a čištění mezipaměti

Základním úkolem na mnoha serverech je kontrola aktuální stav swapu. S swapon --show Máte seznam aktivních odkládacích zařízení a souborů, jejich velikost, typ a prioritu. Pokud potřebujete odkládací zařízení přidat za chodu, můžete vytvořit soubor s fallocate, zajištěná povolení s chmod 600, naformátujte ho pomocí mkswap a aktivujte ho pomocí swaponChcete-li, aby byl trvalý, jednoduše přidejte odpovídající položku do /etc/fstab.

Parametr vm.swappiness Toto určuje, jak rychle jádro upřednostňuje použití swapu před dalším zaplňováním RAM. Hodnota se pohybuje od 0 do 100. Nízké hodnoty (10–20) způsobí, že se systém vyhne swapu, dokud to není nezbytně nutné, zatímco vysoké hodnoty (60 nebo více) povzbuzují systém k rychlejšímu přesouvání stránek na swap, aby se udržela volná RAM.

Na serverech s pomalými disky nebo velkými databázemi je to často zajímavé snížit swappinessNapříklad na 10 nebo 20, s sudo sysctl vm.swappiness=10U stolních počítačů s rychlou pamětí ZRAM nebo SSD disky mohou střední hodnoty, jako například 30–60, poskytnout dobrou rovnováhu mezi latencí a využitím paměti.

V situacích, kdy si dobře pamatujeme, je někdy nutné vynutit uvolnění mezipaměti s sudo sync && sudo sysctl -w vm.drop_caches=3Tím se vyprázdní velká část mezipaměti stránek a dentries. Občas se to hodí pro testování nebo uvolnění paměti na velmi omezených systémech, ale nemělo by se to používat rutinně, protože se tím také ztratí zlepšení výkonu, které ukládání do mezipaměti poskytuje.

Pokročilé nástroje pro ovládání: cgroup v2, memory.pressure a OOM v uživatelském prostoru

V moderních systémech, které používají systemd a cgroup v2 , lze správu paměti jemně doladit podle skupin procesů. cgroup v2 organizuje úlohy do hierarchií a aplikuje limity a priority zdrojů (CPU, paměť, I/O) na úrovni skupiny, nikoli pouze na úrovni jednotlivých procesů.

V rámci hierarchie paměti, parametry jako například memory.low Umožňují vám naznačit, že paměť určitých kontrolních skupin by měla být více chráněna před globálním tlakem, zatímco jiné mohou být více využitelné, pokud je potřeba uvolnit RAM.

Soubor memory.pressure Zpřístupňuje velmi užitečné metriky: jak dlouho byly úlohy v dané kontrolní skupině blokovány kvůli nedostatku paměti, v intervalech 10, 60 a 300 sekund. Varianta nějaký Označuje, zda byl alespoň jeden úkol zpožděn, a plně Odráží okamžiky, kdy byly současně ovlivněny všechny úkoly skupiny.

Kromě řešení OOM v jádře se objevila i řešení v uživatelském prostoru, jako například brzo, nohang o systemd-oomdEarlyOOM monitoruje RAM a swap a když klesnou pod určité prahové hodnoty, proaktivně ukončí procesy. oom_score vyšší, čímž se obnoví použitelnost před zamrznutím stroje.

NoHang jde ještě o krok dál: podporuje více kritérií výběru , dokáže zohlednit tlak na paměť a dobře se integruje s pokročilými konfiguracemi, ačkoli jeho vývoj měl svá vzestupy i pády. Systemd-oomd se mezitím přímo integruje se systemd a cgroup v2 a v současné době je v mnoha distribucích preferovanou volbou pro inteligentnější a granularnější správu situací s nedostatkem paměti.

Moderní swap: priority zram, zswap a zařízení

Kromě „klasického“ swapování disků nabízí Linux moderní mechanismy, které výrazně zlepšují výkon kombinací komprese RAM a selektivního využití disku.

zram je modul jádra, který vytváří bloková zařízení přímo v paměti RAM, kde jsou stránky uloženy v komprimovaném stavu. Tato zařízení se obvykle používají jako ultrarychlá odkládací zařízení: komprese a dekomprese spotřebovávají část CPU, ale získáte tak kapacitu logické paměti a drasticky snížíte využití disku.

V mnoha distribucích stačí nainstalovat nástroje zram o generátor zram a povolit jeho službu. Například v Debianu můžete použít sudo apt install zram-tools a aktivovat zramswap se systemd. V AlmaLinuxu s sudo dnf install zram-generator a jeho odpovídající službu.

zswap na druhou stranu funguje jako komprimovaná mezipaměť před swapem na disku . Nejprve se pokouší uložit vyměněné stránky do komprimované paměti RAM; teprve když je tato mezipaměť plná nebo se stránky stanou neaktivními, zapisuje do skutečné oblasti swapu. To snižuje objem operací na disku a prodlužuje životnost SSD disků, ale za cenu určitého využití CPU.

Při kombinování více odkládacích zařízení (např. ZRAM a soubor na disku) je nezbytné upravit priority. S swapon -p nebo možnost pri= en /etc/fstab Určíte, které zařízení má být použito jako první. Obvyklá praxe je dát vysokou prioritu (například 100) paměti zram a nižší prioritu (10) swapu disku, aby jádro plně využilo komprimovaný swapovací prostor v RAM před přístupem k disku.

Správa paměti aplikovaná na servery: swap, služby a zabezpečení

Ve webových serverech (Apache, Nginx), databázích (MySQL, MariaDB, MongoDB) nebo aplikacích náročných na zdroje je paměť kritickým zdrojem. Konfigurace RAM a swapu přímo určuje, kolik simultánních požadavků dokážete zpracovat, než systém začne mít problémy.

V případě databázových strojů, jako je MongoDB, je zásadní, aby fyzická RAM překročila požadavky databáze ; jinak začne využívat odkládací prostor a výkon prudce klesne kvůli výraznému rozdílu mezi přístupem k RAM a přístupem k disku. Totéž platí pro MySQL/MariaDB, kde nástroje jako MySQLTuner doporučují parametry paměti na základě dostupné RAM.

Aby se zabránilo plýtvání pamětí, je vhodné zastavit nepoužívané služby a vyčistit kontejnery, obrazy a svazky Dockeru, které již nejsou potřeba. Ve vývojovém a QA prostředí je velmi snadné hromadit zapomenuté prostředky, které bez povšimnutí kradou gigabajty RAM a místa na disku.

Bezpečnost také hraje roli: otevřené nepotřebné porty Zvětšují plochu pro útok. Malware, kterému se podaří infiltrovat systém, může například spustit procesy těžby dat, které spotřebovávají CPU a paměť, naplánovat úlohy v crontab a způsobit pád systému. Kontrola příchozích a odchozích portů, uzavření všeho, co není nezbytné, a čištění podezřelých cron úloh jsou součástí základní hygieny systému, která také chrání paměťové prostředky.

Paměť a souborové systémy: ext4, XFS, Btrfs a žurnálování

I když se to může zdát jako samostatný problém, volba souborového systému a jeho konfigurace také ovlivňují chování paměti a zatížení I/O. Ext4 například používá žurnál, který v závislosti na zatížení může vyvíjet dodatečné zatížení disku a následně i správy mezipaměti.

V náročných serverových prostředích se mnoho administrátorů rozhodne pro XFS nebo dokonce Btrfs . XFS obvykle funguje velmi dobře s velkými soubory a vysoce výkonnými systémy. Btrfs nabízí pokročilé funkce, jako jsou snapshoty, transparentní komprese a podsvazky, za cenu určité složitosti a v závislosti na verzi a distribuci úrovně vyspělosti, která je pro všechny úlohy stále diskutována.

Jádro přizpůsobuje svou politiku ukládání do mezipaměti a zpětného zápisu charakteristikám souborového systému, takže přechod z ext4 na XFS nebo Btrfs ovlivňuje nejen hrubý I/O, ale také to, jak se RAM a stránková mezipaměť používají k ukládání operací čtení a zápisu do vyrovnávací paměti.

Základní grafické nástroje a utility pro administrátory

I když terminál zůstává švýcarským nožem každého administrátora, existují nástroje, které správu paměti a zdrojů výrazně usnadňují . Jedním z nich je Glances , monitor v reálném čase, který zobrazuje CPU, paměť, disk, síť a procesy na jedné obrazovce, s volitelným webovým rozhraním pro monitorování více serverů z prohlížeče.

Pro rychlou instalaci na Debianu jednoduše... sudo apt install glancesGlances se velmi dobře doplňuje s htop, vmstat y sar, což poskytuje vizuálnější přehled o tom, jak se systém chová při zátěži.

V oblasti grafické správy serverů nabízí Cockpit uživatelsky přívětivé webové rozhraní pro monitorování paměti, procesů a služeb . Umožňuje spravovat více serverů z jedné konzole, spouštět a zastavovat jednotky Systemd, monitorovat využití swapu a ZRAM a prohlížet protokoly bez nutnosti opustit prohlížeč.

Na stolních systémech mnoho distribucí integruje vlastní monitor zdrojů, ale v prostředích bez grafického rozhraní nebo tam, kde chcete něco odlehčeného, ​​vám kombinace těchto konzolových nástrojů s vlastními skripty poskytne vynikající přehled o tom, co se s pamětí děje v daném okamžiku.

Správná správa paměti v Linuxu zahrnuje pochopení toho, jak jádro využívá RAM, rolí swapu, zramu a zswapu, jak cgroup v2 a různé OOM reagují na zátěž a jaké nástroje máte k dispozici pro monitorování a jemné ladění systému. Když dáte všechny tyto části dohromady – od free, vmstat, PSS a memory.pressure až po zram, swappiness a systemd-oomd – přestanete se potýkat s „Linuxem spotřebovávajícím RAM“ a začnete mít jemně vyladěný a stabilní systém schopný maximalizovat hardwarový výkon v jakékoli roli: server, desktop nebo prostředí s vysokou zátěží.