Napredni vodič za optimizaciju Linux kernela i smanjenje latencije

Informatec Digital » Sredstva » Napredni vodič za optimizaciju Linux kernela i smanjenje latencije

Kada govorimo o performansama u Linuxu, gotovo sve na kraju upućuje na isto: na kernel kao središnja komponenta koja kontrolira latenciju, stabilnost i korištenje resursaPravilno fino podešavanje može napraviti razliku između sustava koji se samo "snalazi" i onog koji glatko reagira na poslužiteljima, stolnim računalima, okruženjima u oblaku ili čak u vrlo stari hardver.

Ovaj vodič se usredotočuje na to kako Optimizirajte Linux kernel kako biste smanjili latenciju bez ugrožavanja sigurnosti ili održivostiPokrit ćemo sve, od osnovnih arhitektonskih koncepata do podešavanja pomoću sysctl-a, kompajliranja prilagođenih kernela, korištenja zakrpa u stvarnom vremenu, podešavanja za mreže s niskom latencijom (kao u EC2) te tehnika praćenja i mjerenja kako bismo izmjerili poboljšava li ono što podešavate zapravo išta.

Arhitektura Linux kernela i ključne točke za latenciju

Linux kernel djeluje kao posrednički sloj između aplikacija i hardvera, upravljajući memorija, procesi, prekidi, upravljački programi i datotečni sustavi, na monolitni, ali modularni dizajnZahvaljujući modulima koji se mogu učitati, omogućuje vam fleksibilno aktiviranje ili deaktiviranje funkcionalnosti bez ponovnog kompajliranja cijelog sustava.

Da bismo razumjeli odakle dolaze latencije, ključno je poznavati nekoliko podsustava: planer procesa (raspoređivač)Upravljanje memorijom i rukovanje prekidima su ključni. Loše konfiguriran planer, agresivna politika memorije ili prekomjeran broj nekontroliranih prekida mogu rezultirati sporim vremenom odziva, čak i s moćnim hardverom.

Konfiguracija kernela uključuje opcije kao što su CONFIG_PREEMPT, CONFIG_PREEMPT_VOLUNTARY ili CONFIG_SMPOvi čimbenici određuju stupanj u kojem se kernel može prekinuti kako bi se posvetio hitnijim zadacima i kako iskorištava višejezgrene sustave. Odabir pravog modela preempcije značajno mijenja percipiranu latenciju na stolnim računalima, poslužiteljima s niskom latencijom ili industrijskim sustavima.

U modernim serverima, hardverska topologija je također važna: distribucija jezgri, utičnica, NUMA-e i hijerarhije predmemorijeFino podešavanje afiniteta CPU-a i NUMA politika (npr. fiksiranje procesa i memorije na isti čvor) pomaže u smanjenju vremena pristupa i poboljšanju stope pogodaka predmemorije, što je ključno kada želimo smanjiti podrhtavanje i nepredvidive latencije.

Nadalje, interakcija između raspoređivača CPU-a i podsustava I/O (disk i mreža) određuje propusnost i latenciju od početka do kraja koje aplikacije vide. Prije nego što se bilo što dotakne, preporučljivo je dokumentirati trenutno stanje (konfiguracija kernela, sysctl, GRUB, učitani moduli) kako biste mogli brzo vratiti promjene ako promjena pogorša performanse.

Prilagodbe putem sysctl-a za poboljšanje latencije i performansi

sučelje sysctl vam omogućuje mijenjanje parametara kernela u hodu putem /proc/sys, bez potrebe za ponovnim kompajliranjem. To je idealna početna točka za početak podešavanja bez potrebe za zaglibljavanjem u kompilacijama.

U mrežnom polju, parametri kao što su net.core.rmem_max, net.core.wmem_max ili net.ipv4.tcp_congestion_control Izravno utječu na propusnost, latenciju i ponašanje TCP veze. Pravilno podešavanje međuspremnika i algoritma zagušenja ključno je za web poslužitelje s velikim prometom ili instance u oblaku s niskom latencijom.

Za pamćenje, vrijednosti kao što su vm.swappiness, vm.dirty_ratio, vm.vfs_cache_pressure ili vm.overcommit_memory Omogućuju vam kontrolu nad količinom korištene swap memorije, načinom upravljanja predmemorijom stranica i ponašanjem virtualne memorije. Smanjenje swap memorije (na primjer, na 10) obično pomaže u sprječavanju prečestog korištenja swapa, smanjujući skokove latencije diskovnog I/O.

Ako radite s velikim bazama podataka ili aplikacijama koje koriste ogromne količine dijeljene memorije, ključno je prilagoditi kernel.shmall, kernel.shmall i maksimalan broj datoteka otvorenih s fs.file-max i fs.nr_openOva loše dimenzionirana ograničenja mogu uzrokovati uska grla i pogreške koje je teško dijagnosticirati pod opterećenjem.

Najbolji pristup je implementirati male promjene, mjeriti njihov utjecaj alatima za praćenje i tek onda pohranite ih u /etc/sysctl.conf ili u /etc/sysctl.d/U kontejneriziranim okruženjima, imajte na umu da su mnogi parametri kernela globalni za host: njihovo nepažljivo mijenjanje može utjecati na sve servise, pa je kombiniranje sysctl-a s cgroup-ima i imenskim prostorima gotovo obavezno.

Kompiliranje i održavanje prilagođenih kernela

Kompiliranje prilagođene jezgre ostaje vrlo moćan alat kada želite smanjiti latenciju, ukloniti nepotrebno opterećenje ili podržati rijedak hardverIako distribucije dolaze s prilično svestranim jezgrama, u određenim scenarijima specifična jezgra čini svu razliku.

Klasični tijek rada uključuje preuzimanje koda iz kernel.org ili zakrpana stabla poput xanmod ili likvori koristite alate poput make menuconfig za odabir opcija. Spremanje .config datoteke u vlastito git repozitorij, zajedno sa skriptama za izradu, omogućuje vam reprodukciju izrada i održavanje dosljednosti između verzija.

Ako koristite Debian ili njegove derivate, vrlo je praktično kompajlirati “Debian stilu"Za dobivanje .deb paketa kernela, zaglavlja i pridruženih biblioteka. To vam omogućuje implementaciju te prilagođene kernela na više računala jednostavnim instaliranjem paketa i upravljanjem verzijama s vlastitim repozitorijem."

U stvarnom svijetu, ručno kompajliranje često ima smisla kada radite s stari ili vrlo ograničen hardverTipičan primjer je stari netbook s Atom CPU-om i 1 GB RAM-a, gdje moderna generička jezgra, puna nepotrebnih upravljačkih programa i serverskih opcija, uvodi latencije i dodatnu potrošnju CPU-a koju si ne možete priuštiti.

Uobičajena strategija je započeti s trenutnom konfiguracijom kernela (na primjer, kopiranjem /konfiguracija pokretanja), a odatle izrezati ili prilagoditi. Model preempcije možete promijeniti u „Preemptabilna jezgra (radna površina s niskom latencijom)"dati prioritet interaktivnom odgovoru radne površine ili dodati specifične I/O planere kao što su Bfq u obliku modula za poboljšanje iskustva na mehaničkim diskovima.

Kako biste izbjegli da pola života provedete kompajlirajući, ima smisla kompajlirati na snažnijem računalu i, ako je potrebno, koristiti unakrsno kompiliranje (Na primjer, kompajliranje 32-bitne kernela za Atom s x86_64 računala jednostavnim podešavanjem ARCH-a i odgovarajućih alata). Zatim samo trebate instalirati .deb datoteke na ciljno računalo i dodati odgovarajući unos u GRUB.

Najteži dio je održavanje: preporučljivo je testiranje nove jezgre na čvorovima Kanarskih otoka, imati jasne putanje vraćanja u upravitelju pokretanja i bilježiti zapisnike i metrike tijekom prijelaza kako bi se otkrile regresije u performansama ili kompatibilnosti upravljačkih programa.

Modeli preempcije i PREEMPT_RT zakrpe za sustave s niskom latencijom

Model preempcije kernela određuje koliko se izvršavajući zadatak može prekinuti kako bi zadatak višeg prioriteta mogao preuzeti, što izravno utječe na latencija odgovoraTo uključuje i standardne opcije konfiguracije i zakrpe u stvarnom vremenu.

Generičke jezgre nude nekoliko opcija: bez preempcije (više usmjerene na propusnost poslužitelja), dobrovoljnu preempciju i preemptabilna jezgra za stolna računalaOvo daje prioritet brzom vremenu odziva interaktivnih aplikacija. Prilagođavanje ove postavke može značajno poboljšati performanse stolnih sustava, zvuka ili čak jako opterećenih starijih računala.

Kada trebate ići korak dalje, pojavljuje se sljedeće: PREEMPT i PREEMPT_RT zakrpeOve modifikacije mijenjaju značajne dijelove kernela kako bi se minimizirali dijelovi koji se ne mogu preemptiti. PREEMPT_RT je namijenjen sustavima gdje latencija u najgorem slučaju (ne samo prosjek) mora biti vrlo niska i predvidljiva: industrijska automatizacija, profesionalni audio, telekomunikacije ili visokofrekventna trgovina.

Odluka o uvođenju PREEMPT_RT ne bi trebala biti temeljena na modi, već na konkretna mjerenja latencije i jitteraPrvo, preporučljivo je u potpunosti iskoristiti postavke raspoređivača, afinitete CPU-a, sysctl i, ako je primjenjivo, konfiguracije poput dinamičkog bezticklessa prije kompliciranja održavanja s RT stablom.

Također treba uzeti u obzir kompatibilnost: neke Vozači i podsustavi nisu u potpunosti prilagođeni RT-u i mogu zahtijevati specifične verzije ili dodatne zakrpe. Razuman pristup je pripremiti plan održavanja koji jasno navodi kada i kako integrirati nove verzije glavne jezgre s RT granom, koja se periodično sinkronizira, ali i dalje donekle zaostaje.

Podešavanje rasporeda CPU-a, rad bez otkucaja i izolacija jezgre

Osim odabira modela preempcije, latenciju možete fino podesiti igranjem s raspoređivanjem CPU-a i ponašanjem timera kernela, posebno u distribucijama orijentiranima na poduzeća poput RHEL-a.

Red Hat Enterprise Linux 8, na primjer, dolazi s kernel bez otkucavanja prema zadanim postavkama za neaktivne CPU-eTo smanjuje potrošnju energije izbjegavanjem povremenih prekida kada je jezgra u stanju mirovanja. Za opterećenja osjetljiva na latenciju može se omogućiti način rada. dinamički bez otkucaja u skupu kernelatako da samo jedan CPU ("kućna jezgra") obrađuje većinu zadataka temeljenih na vremenu, a ostali su što je moguće oslobođeni periodičnih prekida.

Ova konfiguracija se vrši dodavanjem odgovarajućih parametara komandna linija kernela u GRUB-uregeneriranje konfiguracije, a zatim prilagođavanje afiniteta kritičnih niti jezgre, kao što su niti RCU-a ili niti bdi-flush, tako da se nalaze u jezgri rezerviranoj za održavanje.

Ovaj pristup se može nadopuniti parametrom izolcpusTo omogućuje izolaciju jezgri od normalnih zadataka korisničkog prostora. Vrlo je uobičajeno u scenarijima s niskom latencijom rezervirati nekoliko jezgri isključivo za kritičnu aplikaciju, dok ostatak sustava (demoni, prekidi itd.) obrađuju druge jezgre.

Kako bi se provjerilo da li dinamički način rada bez otkucavanja radi, mogu se pokrenuti jednostavni testovi s stress ili skripte koje zaokupljaju CPU na sekundu i promatraju brojači otkucaja vremena Kako broj prekida u sekundi pada s tisuća na samo jedan u izoliranim jezgrama, znak da je periodični timer nestao.

Upravljanje memorijom i pohranom s fokusom na latenciju

Način na koji kernel upravlja memorijom i I/O operacijama na disku ima ogroman utjecaj na latencija koju aplikacije percipirajuposebno u bazama podataka i servisima koji obavljaju mnogo malih i čestih operacija.

Što se tiče memorije, smanjite vm.zamjenjivost minimizirati korištenje swapa (koji je gotovo uvijek puno sporiji od RAM-a), vm.vfs_cache_pressure Kontrolira koliko brzo sustav pokušava očistiti inode i dentry predmemoriju, i vm.nr_hugepages Omogućuje rezerviranje statičkih HugePages stranica za velika opterećenja poput baza podataka ili JVM-ova, smanjujući TLB opterećenje.

U skladištu odaberite odgovarajući I/O raspoređivač prema vrsti diska To je kritično. Na modernim SSD-ovima obično je dobra ideja koristiti... none o mq-deadlineDok bi kod mehaničkih diskova i multitasking sustava algoritmi dizajnirani za pravednost mogli biti bolji, kao što je BfqOsim toga, montiranje datotečnih sustava s opcijama kao što su noatime y nodiratime Izbjegavajte nepotrebna pisanja svaki put kada se pristupa datoteci ili direktoriju.

Što se tiče datotečnih sustava, ext4 i XFS Ovo ostaju najčešće opcije: dobro podešen ext4 je sigurna oklada, dok XFS obično bolje skalira pod visokom konkurentnošću. Za vrlo zahtjevne scenarije, kombiniranje RAID-a (RAID 10 za baze podataka, RAID 0 za privremenu pohranu) s dobrim planerom može smanjiti prosječnu latenciju i, prije svega, varijabilnost.

Optimizacija mreže i kernela za nisku latenciju u Linuxu i EC2

U visokoučinkovitim mrežnim aplikacijama, latencija ne ovisi samo o hardveru ili udaljenosti, već i o kako su konfigurirani TCP/IP stog i sama jezgraTo je posebno vidljivo u cloud instancama poput Amazon EC2 s ENA sučeljima.

Za početak, ključno je smanjiti vanjske čimbenike kao što je broj mrežni skokovi koje paketi izvode: korištenje izravnijih topologija, uravnoteživača opterećenja blizu pozadine ili optimiziranih zona dostupnosti smanjuje vrijeme putovanja u milisekundama prije nego što uopće dotaknu operativni sustav.

Unutar jezgre, konfiguracija mreže uključuje povećanje deskriptori datoteka (ulimit -n), veličina međuspremnika za primanje i slanje s net.core.rmem_max, net.core.wmem_max, net.ipv4.tcp_rmem, net.ipv4.tcp_wmemi aktivirati opcije kao što su TCP brzo otvori kako bi se smanjila latencija uspostavljanja veze.

U AWS ENA sučeljima, moderiranje prekida igra važnu ulogu: prema zadanim postavkama, upravljački program grupira pakete kako bi smanjio broj IRQ-ova. rx-usecs i tx-usecsAko želite smanjiti latenciju na apsolutni minimum, možete onemogućiti ovu moderaciju tako da ethtool -CPostavljanje rx-usecs i tx-usecs na nulu smanjuje latenciju, ali povećava opterećenje prekidima, pa se mora pronaći ravnoteža ovisno o opterećenju.

Također se može koristiti irqbalance za distribuciju IRQ-ova na više jezgriili ga onemogućite i ručno postavite afinitete prekida i mrežnog reda čekanja (RSS/RPS) za određene jezgre, nešto vrlo tipično u okruženjima s ultra niskom latencijom ili pri korištenju DPDK-a i preskakanju dobrog dijela kernel steka.

Drugi parametar koji treba uzeti u obzir je CPU C stanjaStanja dubokog sna smanjuju potrošnju energije, ali uvode kašnjenja kada se jezgra "probudi". Kako biste smanjili latenciju odgovora, možete ograničiti ta duboka stanja, prihvaćajući veću potrošnju energije i manje prostora za Turbo Boost na drugim jezgrama. Svako okruženje ima svoju idealnu sredinu između potrošenih vata i dobivenih mikrosekundi.

Optimizacija CPU-a, usluga i aplikacija za smanjenje latencije

Osim same jezgre, okolno okruženje ima puno toga za reći o ukupnoj latenciji: od aktivne usluge u sustavu sve do specifične konfiguracije svake aplikacije.

Visokoučinkoviti poslužitelj trebao bi pokretati samo demoni koji su zaista potrebniUsluge poput Bluetootha, ispisa ili automatskog otkrivanja mreže (CUPS, Avahi itd.) na pozadinskim računalima troše samo CPU, memoriju i I/O bez pružanja ikakve koristi. Pregledajte s systemctl list-unit-files --state=enabled A onemogućavanje nepotrebnih stvari jedna je od najjeftinijih i najučinkovitijih stvari koje možete učiniti.

Za određivanje prioriteta kritičnih procesa možete koristiti alate kao što su renice, chrt i tasksetPrilagođavanje prioriteta procesa (renice), davanje rasporeda u stvarnom vremenu (chrt -f 99) ili dodjeljivanje određenim jezgrama (taskset) smanjuje interferenciju s drugim zadacima, poboljšavajući predvidljivost CPU-a za baze podataka, VoIP, streaming ili usluge trgovanja.

Na razini aplikacije, podešavanje je jednako važno kao i podešavanje kernela. Web poslužitelji kao što su Nginx ili Apache Potrebno im je fino podešavanje workera, keepalive-a, predmemorija i kompresije. Baze podataka poput PostgreSQL ili MySQL Trebaju pregledati veličine međuspremnika, kontrolne točke, skup veza i parametre sinkronog pisanja kako bi postigli niske i stabilne latencije.

JVM-ovi također igraju ulogu: odabiru sakupljača smeća poput G1GC ili ZGC Prilagođavanje veličine hrpe može smanjiti pauze koje se iz vanjske perspektive pojavljuju kao latencija. U virtualiziranim i kontejneriziranim okruženjima, pravilna distribucija je ključna. vCPU, vRAM i I/O kvote Izbjegava tiho natjecanje koje se kasnije pojavljuje kao beskrajni redovi čekanja na disku ili zasićeni CPU.

Praćenje i mjerenje performansi jezgre i sustava

Sve ovo podešavanje je beskorisno ako ne mjerite utjecaj. Ključ je u kombiniranju. kontinuirano praćenje s ponovljivim testovima performansitako da se svaka promjena u kernelu ili sysctl-u može procijeniti objektivnim podacima.

Za pregled cjelokupnog stanja sustava možete koristiti klasične alate kao što su htop, vmstat, iotop o sarKada vam je potrebno više detalja, na scenu dolaze specifični alati kernela, kao što su performanse i ftracekoji vam omogućuju praćenje ponašanja raspoređivača, prekida i internih poziva sa znatnom točnošću.

U produkcijskim okruženjima preporučuje se implementacija metričkih sustava kao što su Prometej, collectd ili sysstat s izvoznicima koji otkrivaju brojače CPU-a, I/O, latencije diska i mreže, redove čekanja procesa itd. Ovi podaci, vizualizirani u Grafani ili sličnim alatima, pomažu u otkrivanju regresija ili anomalija prije nego što krajnji korisnik primijeti probleme.

Za mjerenje performansi, ideja je replicirati stvarno radno opterećenje i usporediti "prije i poslije" svake promjene. Alati kao što su sustavna bench (za CPU-ove i baze podataka), Fio (za disk) ili iperf3 (Za mreže) omogućuju konstrukciju ponovljivih scenarija. Dokumentacija je bitna. verzije kernela, konfiguracije sysctl-a, hardver i parametri testiranja kako bi usporedbe imale smisla tijekom vremena.

U praksi, optimizacija Linux kernela je iterativni proces: testirate niz prilagodbi, mjerite rezultate, zadržavate ono što pruža stvarnu korist i odbacujete ostalo. Dobrim upravljanjem promjenama možete prevesti poboljšanja u novim verzijama kernela (kao što su nedavne serije s poboljšanjima raspoređivača, grafike, napajanja ili umrežavanja) u mjerljive koristi za svoje aplikacije, bilo da se radi o lokalnim poslužiteljima, u oblaku ili na zahtjevnim radnim stanicama.

Kombinacija poznavanja arhitekture kernela, finog podešavanja pomoću sysctl-a, kontroliranog kompajliranja, selektivnog korištenja zakrpa u stvarnom vremenu i dobrog sustava metrika omogućuje administratoru ili operativnom timu postizanje Brži odgovori, niža latencija i poboljšana ukupna stabilnost bez potrebe za promjenom hardvera pri najmanjoj provokaciji ili ugrožavanja sigurnosti sustava.