Haladó útmutató a Linux kernel optimalizálásához és a késleltetés csökkentéséhez

Informatec Digital » Erőforrás » Haladó útmutató a Linux kernel optimalizálásához és a késleltetés csökkentéséhez

Amikor a Linux teljesítményéről beszélünk, szinte minden ugyanoda mutat: a a kernel, mint központi összetevő, amely a késleltetést, a stabilitást és az erőforrás-felhasználást szabályozzaA megfelelő finomhangolás döntő lehet egy olyan rendszer esetében, amely „csak úgy elboldogul”, és egy olyan között, amely simán reagál szervereken, asztali számítógépeken, felhőalapú környezetekben vagy akár otthon is. nagyon régi hardver.

Ez az útmutató arra összpontosít, hogyan Optimalizálja a Linux kernelt a késleltetés minimalizálása érdekében a biztonság vagy a karbantarthatóság veszélyeztetése nélkülMindent át fogunk venni az alapvető architektúrális koncepcióktól kezdve a sysctl használatával történő finomhangoláson, az egyéni kernelek fordításán, a valós idejű javítások használatán, az alacsony késleltetésű hálózatokhoz való hangoláson (mint az EC2-ben), valamint a monitorozási és benchmarking technikákon keresztül, amelyekkel mérhetjük, hogy a finomhangolások valóban javítanak-e valamin.

Linux kernel architektúra és a késleltetés kulcsfontosságú pontjai

A Linux kernel közvetítő rétegként működik az alkalmazások és a hardver között, felügyelve a memória, folyamatok, megszakítások, illesztőprogramok és fájlrendszerek. tovább monolitikus, de moduláris kialakításA betölthető moduloknak köszönhetően rugalmasan aktiválhatja vagy deaktiválhatja a funkciókat anélkül, hogy a teljes rendszert újra kellene fordítani.

A késleltetések eredetének megértéséhez kulcsfontosságú több alrendszer ismerete: a folyamattervező (ütemező)A memóriakezelés és a megszakításkezelés kulcsfontosságú. Egy rosszul konfigurált ütemező, egy agresszív memória-szabályzat vagy a túl sok ellenőrizetlen megszakítás lassú válaszidőket eredményezhet, még nagy teljesítményű hardverek esetén is.

A kernel konfigurációja olyan opciókat tartalmaz, mint például CONFIG_PREEMPT, CONFIG_PREEMPT_VOLUNTARY vagy CONFIG_SMPEzek a tényezők határozzák meg, hogy a kernel milyen mértékben szakítható meg a sürgősebb feladatok ellátása érdekében, és hogyan használja ki a többmagos rendszereket. A megfelelő előválasztási modell kiválasztása jelentősen megváltoztatja az érzékelt késleltetést asztali számítógépeken, alacsony késleltetésű szervereken vagy ipari rendszereken.

A modern szerverekben a hardver topológia is számít: magok, socketek, NUMA és gyorsítótár-hierarchia elosztásaA CPU-affinitások és a NUMA-szabályzatok finomhangolása (például a folyamatok és a memória ugyanarra a csomópontra rendelése) segít csökkenteni az elérési időket és javítani a gyorsítótár találati arányát, ami kulcsfontosságú a jitter és a kiszámíthatatlan késleltetések minimalizálásához.

Továbbá a CPU ütemező és az alrendszerek közötti interakció Az I/O (lemez és hálózat) határozza meg az átviteli sebességet és a végpontok közötti késleltetést. amit az alkalmazások látnak. Mielőtt bármihez hozzányúlnánk, célszerű dokumentálni az aktuális állapotot (kernel konfiguráció, sysctl, GRUB, betöltött modulok), hogy gyorsan vissza tudjunk állni, ha egy változás rontja a teljesítményt.

Sysctl-en keresztüli módosítások a késleltetés és a teljesítmény javítása érdekében

az interfész A sysctl lehetővé teszi a kernel paramétereinek menet közbeni módosítását a /proc/sys fájlon keresztül, újrafordítás nélkül. Ez az ideális kiindulópont a finomhangolás elkezdéséhez anélkül, hogy még elakadnánk a fordításokban.

A hálózati területen olyan paraméterek, mint a net.core.rmem_max, net.core.wmem_max vagy net.ipv4.tcp_congestion_control Közvetlenül befolyásolják az átviteli sebességet, a késleltetést és a TCP-kapcsolat viselkedését. A pufferek és a torlódási algoritmus megfelelő beállítása létfontosságú a nagy forgalmú webszerverek vagy az alacsony késleltetésű felhőpéldányok számára.

A memória esetében olyan értékek, mint vm.swappiness, vm.dirty_ratio, vm.vfs_cache_pressure vagy vm.overcommit_memory Lehetővé teszik a swap memória használatának szabályozását, a lapgyorsítótár kezelésének módját és a virtuális memória viselkedését. A swappinség csökkentése (például 10-re) általában segít megakadályozni, hogy a rendszer túl gyakran használja a swap memóriát, csökkentve a lemez I/O késleltetési csúcsokat.

Ha nagy adatbázisokkal vagy olyan alkalmazásokkal dolgozik, amelyek hatalmas mennyiségű megosztott memóriát használnak, kritikus fontosságú a beállítás kernel.shmmax, kernel.shmall és a megnyitott fájlok maximális száma fs.file-max és fs.nr_openEzek a rosszul méretezett korlátok szűk keresztmetszeteket és hibákat okozhatnak, amelyeket terhelés alatt nehéz diagnosztizálni.

A legjobb megközelítés az, ha apró változtatásokat hajtunk végre, hatásukat monitorozó eszközökkel mérjük, és csak ezután tárolja azokat az /etc/sysctl.conf vagy az /etc/sysctl.d/ fájlban.Konténeres környezetekben ne feledjük, hogy számos kernelparaméter globális a gazdagép számára: gondatlan módosításuk az összes szolgáltatást érintheti, ezért a sysctl kombinálása a cgroups és a namespaces paraméterekkel szinte kötelező.

Egyéni kernelek fordítása és karbantartása

Egyéni kernel fordítása továbbra is nagyon hatékony eszköz, ha azt szeretnénk, hogy csökkentse a késleltetést, távolítsa el a felesleges terhelést, vagy támogassa a ritka hardvereketBár a disztribúciók meglehetősen sokoldalú kernelekkel érkeznek, bizonyos esetekben egy adott kernel mindent megváltoztat.

A klasszikus munkafolyamat magában foglalja a kód letöltését a következő helyről: kernel.org vagy olyan foltozott fák, mint a xanmod vagy liquorixés használjon olyan eszközöket, mint make menuconfig a beállítások kiválasztásához. A .config fájl mentése a saját git reprodukálódba a build szkriptekkel együtt lehetővé teszi a buildek reprodukálását és a verziók közötti konzisztencia megőrzését.

Ha Debiant vagy származékait használod, nagyon kényelmes lefordítani.Debian stílusban„A kernel, a fejlécek és a kapcsolódó könyvtárak .deb csomagjainak beszerzése. Ez lehetővé teszi az egyéni kernel több gépre történő telepítését egyszerűen a csomagok telepítésével és a verziók kezelésével a saját adattáraddal.”

A való világban a manuális fordítás gyakran akkor van értelme, amikor a következőkkel dolgozol: régi vagy nagyon korlátozott hardverEgy tipikus példa erre egy régi netbook egy Atom CPU-val és 1 GB RAM-mal, ahol egy modern, generikus kernel, tele felesleges illesztőprogramokkal és szerveropciókkal, késleltetést és extra CPU-fogyasztást vezet be, amit nem engedhetsz meg magadnak.

Egy gyakori stratégia az, hogy az aktuális kernel konfigurációból indulunk ki (például a /boot konfiguráció), és onnan vágja le vagy állítsa be. A megelőző modellt a következőre módosíthatja: „Megelőző kernel (alacsony késleltetésű asztali gép)"interaktív asztali válaszok rangsorolásához, vagy adott I/O ütemezők hozzáadásához, például Bfq egy modul formájában, amely javítja a mechanikus lemezeken való játékélményt.

Hogy elkerüld, hogy az életed felét fordítással töltsd, érdemes egy erősebb gépen elvégezni a fordítást, és ha szükséges, használni keresztfordítás (Például egy 32 bites kernel fordítása egy Atomhoz egy x86_64 PC-ről egyszerűen az ARCH és a hozzá tartozó eszközláncok módosításával). Ezután már csak telepíteni kell a .deb fájlokat a célgépre, és hozzá kell adni a megfelelő bejegyzést a GRUB-hoz.

A trükkös rész a karbantartás: ajánlott új kernel tesztelése a Kanári-szigeteki csomópontokon, egyértelmű visszagörgetési útvonalakkal kell rendelkezniük a rendszerindító kezelőben, és naplókat és mérőszámokat kell rögzíteniük az átmenet során a teljesítmény vagy az illesztőprogram-kompatibilitás visszaesésének észlelése érdekében.

Preemption modellek és PREEMPT_RT javítások alacsony késleltetésű rendszerekhez

A kernel előfeltételi modellje határozza meg, hogy egy futó feladat mennyi ideig szakítható meg, hogy egy magasabb prioritású feladat átvehesse az irányítást, ami közvetlenül befolyásolja a válasz késleltetésEz magában foglalja mind a standard konfigurációs beállításokat, mind a valós idejű javításokat.

Az általános kernelek számos lehetőséget kínálnak: nincs elővétel (inkább a szerver átviteli sebességére összpontosít), önkéntes elővétel, és preemptible kernel asztali számítógépreEz az interaktív alkalmazások gyors válaszidejét helyezi előtérbe. A beállítás módosítása jelentősen javíthatja az asztali rendszerek, a hangrendszerek vagy akár a nagy terhelésű régebbi gépek teljesítményét.

Amikor egy lépéssel tovább kell lépnie, a következők jelennek meg: PREEMPT és PREEMPT_RT javításokEzek a módosítások a kernel jelentős részeit módosítják a nem előre megválasztott szakaszok minimalizálása érdekében. A PREEMPT_RT olyan rendszerekhez készült, ahol a legrosszabb esetre vonatkozó késleltetésnek (nem csak az átlagosnak) nagyon alacsonynak és kiszámíthatónak kell lennie: ipari automatizálás, professzionális hangtechnika, telekommunikáció vagy nagyfrekvenciás kereskedés.

A PREEMPT_RT bevezetéséről szóló döntést nem a divatnak, hanem a következőknek kell megalapoznia: a késleltetés és a jitter konkrét méréseiElőször is, ajánlott teljes mértékben kihasználni az ütemező beállításait, a CPU-affinitásokat, a sysctl-t és – ha alkalmazható – az olyan konfigurációkat, mint a dinamikus tickless, mielőtt a karbantartást egy RT-fával bonyolítanánk.

A kompatibilitást is figyelembe kell venni: némelyik Az illesztőprogramok és az alrendszerek nincsenek teljesen adaptálva az RT-hez és ehhez speciális verziókra vagy további javításokra lehet szükség. Az ésszerű megoldás egy karbantartási terv elkészítése, amely világosan felvázolja, hogy mikor és hogyan kell a fő kernel új verzióit integrálni az RT ággal, amely időszakosan szinkronizálódik, de még mindig némileg le van maradva.

CPU ütemezési hangolás, zavartalan működés és magizoláció

A preempciós modell kiválasztása mellett a CPU-ütemezés és a kernel időzítő viselkedésének módosításával is finomhangolhatja a késleltetést, különösen a vállalati alapú disztribúciókban, mint például az RHEL.

A Red Hat Enterprise Linux 8 például egy alapértelmezés szerint a kernel nem tickless az üresjárati CPU-knálEz csökkenti az energiafogyasztást azáltal, hogy elkerüli a periodikus megszakításokat, amikor a mag tétlen. A késleltetésre érzékeny munkaterhelésekhez engedélyezhető egy mód. dinamikus, tickless rendszermagok halmazábanígy csak egyetlen CPU (a "otthoni mag") kezeli az időalapú feladatok nagy részét, a többi pedig a lehető legmentesebb a periodikus megszakításoktól.

Ez a konfiguráció a megfelelő paraméterek hozzáadásával történik. a kernel parancssora a GRUB-bana konfiguráció újragenerálása, majd a kritikus kernelszálak, például az RCU-szálak vagy a szálak affinitásának beállítása bdi-flush, így azok a karbantartásra fenntartott magban helyezkednek el.

Ez a megközelítés kiegészíthető a paraméterrel izolációs pusztaEz lehetővé teszi a magok elkülönítését a normál felhasználói térbeli feladatoktól. Alacsony késleltetésű forgatókönyvekben nagyon gyakori, hogy több magot kizárólag egy kritikus alkalmazás számára tartanak fenn, míg a rendszer többi részét (démonok, megszakítások stb.) más magok kezelik.

A dinamikus, ketyegetlen mód működésének ellenőrzéséhez egyszerű teszteket lehet futtatni a következővel: stress vagy olyan szkripteket, amelyek egy másodpercre lefoglalják a CPU-t, és megfigyelik őket időzítő ketyeg számlálók Hogyan csökken a másodpercenkénti megszakítások száma több ezerről egyre az elszigetelt magokban, ami annak a jele, hogy a periodikus időzítő eltűnt.

Memória- és tárhelykezelés, különös tekintettel a késleltetésre

A kernel memória- és lemez I/O-kezelési módjának óriási hatása van a alkalmazások által érzékelt késleltetéskülönösen az adatbázisokban és szolgáltatásokban, amelyek sok apró és gyakori műveletet hajtanak végre.

A memória oldalon csökkentsd vm.cserelehetőség minimalizálja a swap használatát (ami szinte mindig sokkal lassabb, mint a RAM), vm.vfs_cache_pressure Ez szabályozza, hogy a rendszer milyen gyorsan próbálja meg kiüríteni az inode és a dentry gyorsítótárat, és vm.nr_hugepages Lehetővé teszi statikus HugePages oldalak lefoglalását nagy terhelések, például adatbázisok vagy JVM-ek számára, csökkentve a TLB terhelését.

A tárolás során válassza ki a megfelelő I/O ütemező a lemez típusának megfelelően Kritikus fontosságú. A modern SSD-ken általában jó ötlet használni... none o mq-deadlineMíg a mechanikus lemezeken és a multitasking rendszerekben a méltányosságra tervezett algoritmusok jobbak lehetnek, mint például BfqEzenkívül a fájlrendszerek csatolása olyan opciókkal, mint például noatime y nodiratime Kerülje a felesleges írásokat minden alkalommal, amikor egy fájlhoz vagy könyvtárhoz hozzáfér.

A fájlrendszerekkel kapcsolatban, ext4 és XFS Ezek továbbra is a leggyakoribb lehetőségek: egy jól hangolt ext4 biztonságos választás, míg az XFS általában jobban skálázódik magas párhuzamosság mellett. Nagyon igényes forgatókönyvek esetén a RAID (RAID 10 adatbázisokhoz, RAID 0 ideiglenes tárolókhoz) és egy jó ütemező kombinálása csökkentheti az átlagos késleltetést és mindenekelőtt a változékonyságot.

Hálózati és kernel optimalizálás az alacsony késleltetés érdekében Linux és EC2 alatt

Nagy teljesítményű hálózati alkalmazásokban a késleltetés nemcsak a hardvertől vagy a távolságtól függ, hanem a következőktől is: hogyan van konfigurálva a TCP/IP verem és maga a kernelEz különösen jól látható olyan felhőpéldányokban, mint az Amazon EC2 ENA interfészekkel.

Először is kulcsfontosságú a külső tényezők, például a számuk csökkentése hálózati ugrások hogy a csomagok milyen teljesítményt nyújtanak: a közvetlenebb topológiák, a háttérrendszerhez közeli terheléselosztók vagy az optimalizált rendelkezésre állási zónák használata ezredmásodpercek alatt csökkenti az utazási időt, mielőtt még az operációs rendszerhez érnének.

A kernelen belül a hálózati konfiguráció magában foglalja a növelését fájlleírók (ulimit -n), méretezze a fogadó és küldő puffereket net.core.rmem_max, net.core.wmem_max, net.ipv4.tcp_rmem, net.ipv4.tcp_wmemés aktiválja az olyan opciókat, mint TCP gyors megnyitása a kapcsolat létrehozásának késleltetésének csökkentése érdekében.

Az AWS ENA interfészekben a megszakításmoderálás fontos szerepet játszik: alapértelmezés szerint a meghajtóprogram csoportosítja a csomagokat az IRQ-k számának csökkentése érdekében. rx-usecs és tx-usecsHa a késleltetést a lehető legkisebbre szeretné csökkenteni, letilthatja ezt a moderálást a következővel: ethtool -CAz rx-usecs és tx-usecs nullára állítása csökkenti a késleltetést, de növeli a megszakítás többletterhelését, ezért a terheléstől függően kell egyensúlyt találni.

Használható irqbalance az IRQ-k elosztására több mag között, vagy letilthatja, és manuálisan beállíthatja a megszakítás- és hálózati várólista (RSS/RPS) affinitásokat adott magokhoz, ami nagyon jellemző az ultra-alacsony késleltetésű környezetekben, vagy DPDK használatakor, és a kernelverem jelentős részének kihagyásakor.

Egy másik figyelembe veendő paraméter a CPU C állapotokA mély alvó állapotok csökkentik az energiafogyasztást, de késleltetést okoznak, amikor a mag „felébred”. A válaszidő csökkentése érdekében korlátozhatja ezeket a mély állapotokat, így nagyobb energiafogyasztást és kevesebb mozgásteret fogadhat el a Turbo Boost számára a többi magon. Minden környezetnek megvan a maga optimális tartománya a fogyasztott wattok és a megnövelt mikroszekundumok között.

CPU-, szolgáltatás- és alkalmazásoptimalizálás a késleltetés csökkentése érdekében

Magán a kernelen kívül a környező környezetnek is sokat kell mondania az általános késleltetésről: a aktív szolgáltatások a rendszerben egészen az egyes alkalmazások konkrét konfigurációjáig.

Egy nagy teljesítményű szerver csak a következőt futtathatja: démonok, akikre valóban szükség vanAz olyan szolgáltatások, mint a Bluetooth, a nyomtatás vagy a hálózat automatikus felismerése (CUPS, Avahi stb.) a háttérgépeken csak CPU-t, memóriát és I/O-t fogyasztanak, anélkül, hogy bármilyen hasznot nyújtanának. systemctl list-unit-files --state=enabled A felesleges dolgok letiltása pedig az egyik legolcsóbb és leghatékonyabb dolog, amit tehetsz.

A kritikus folyamatok rangsorolásához olyan eszközöket használhat, mint például renice, chart és tasksetEgy folyamat prioritásának módosítása (renice), valós idejű ütemezés megadása (chrt -f 99), vagy adott magokhoz való hozzárendelése (taskset) csökkenti a más feladatokkal való interferenciát, javítva a CPU-előrejelezhetőséget adatbázisok, VoIP, streaming vagy kereskedelmi szolgáltatások esetén.

Alkalmazásszinten a finomhangolás ugyanolyan fontos, mint a kernel finomhangolása. Webszerverek, mint például Nginx vagy Apache Szükség van a munkafolyamatok finomhangolására, a keepalive funkcióra, a gyorsítótárak használatára és a tömörítésre. Az olyan adatbázisok, mint a PostgreSQL vagy MySQL Az alacsony és stabil késleltetés elérése érdekében felül kell vizsgálniuk a pufferméreteket, az ellenőrzőpontokat, a kapcsolatkészletet és a szinkron írási paramétereket.

A JVM-ek is szerepet játszanak: a szemétgyűjtők kiválasztásában, mint például G1GC vagy ZGC A heap méretének módosítása csökkentheti a külső szempontból késleltetésként megjelenő szüneteket. Virtualizált és konténerizált környezetekben a megfelelő elosztás kulcsfontosságú. vCPU, vRAM és I/O kvóták Ez elkerüli a csendes versengést, amely később végtelen sorokként jelenik meg a lemezen vagy telített CPU-ként.

Kernel- és rendszerfelügyelet és teljesítményértékelés

Mindez a finomhangolás haszontalan, ha nem méred a hatását. A kulcs a kombinálásban rejlik. folyamatos monitorozás reprodukálható teljesítménytesztekkelhogy a kernel vagy a sysctl minden módosítása objektív adatokkal értékelhető legyen.

A rendszer általános állapotának megtekintéséhez használhat klasszikus eszközöket, mint például htop, vmstat, iotop o sarHa további részletekre van szükséged, akkor specifikus kerneleszközök jönnek képbe, például perf és ftraceamelyek lehetővé teszik az ütemező, a megszakítások és a belső hívások viselkedésének jelentős pontossággal történő nyomon követését.

Éles környezetekben ajánlott olyan metrikák telepítése, mint például Prometheus, collectd vagy sysstat exportőrökkel amelyek CPU-számlálókat, I/O-t, lemez- és hálózati késleltetéseket, folyamatsorokat stb. tesznek elérhetővé. Ezek az adatok, amelyeket Grafana vagy hasonló eszközök segítségével vizualizálnak, segítenek a regressziók vagy anomáliák észlelésében, mielőtt a végfelhasználó problémákat észlelne.

A benchmarking esetében az a lényeg, hogy megismételjük a tényleges munkaterhelést, és összehasonlítsuk az egyes változtatások „előtte és utána” állapotát. Ilyen eszközök például sysbench (CPU-k és adatbázisok esetén), Fio (lemezhez) vagy iperf3 (Hálózatok esetén) lehetővé teszik megismételhető forgatókönyvek kidolgozását. A dokumentáció elengedhetetlen. kernel verziók, sysctl konfigurációk, hardver és tesztparaméterek hogy az összehasonlításoknak idővel értelme legyen.

A gyakorlatban a Linux kernel optimalizálása egy iteratív folyamat: tesztelünk egy sor módosítást, mérjük az eredményeket, megtartjuk azokat, amelyek valódi előnyöket biztosítanak, és elvetjük a többit. Jó változásirányítással az új kernel verziókban található fejlesztéseket (például az ütemezővel, grafikával, teljesítmény- vagy hálózati fejlesztésekkel ellátott legújabb sorozatokat) mérhető előnyökké alakíthatjuk az alkalmazásaink számára, legyenek azok helyszíni szerverek, felhőalapúak vagy igényes munkaállomások.

A kernel architektúrájának ismerete, a sysctl-lel történő finomhangolás, az ellenőrzött fordítás, a valós idejű javítások szelektív használata és egy jó metrikarendszer lehetővé teszi az adminisztrátor vagy az üzemeltetési csapat számára, hogy elérje a következőket: Gyorsabb válaszok, alacsonyabb késleltetés és jobb általános stabilitás anélkül, hogy a legkisebb provokációra is hardvert kellene cserélni, vagy a rendszer biztonságát veszélyeztetni.