Napredni vodič za optimizaciju Linux kernela i smanjenje latencije

Informatec Digital » Resursi » Napredni vodič za optimizaciju Linux kernela i smanjenje latencije

Kada govorimo o performansama u Linuxu, gotovo sve na kraju ukazuje na isto: na kernel kao centralna komponenta koja kontroliše latenciju, stabilnost i korištenje resursaPravilno fino podešavanje može napraviti razliku između sistema koji se samo "snalazi" i onog koji glatko reaguje na serverima, desktop računarima, cloud okruženjima ili čak u vrlo stari hardver.

Ovaj vodič se fokusira na to kako Optimizirajte Linux kernel kako biste smanjili latenciju bez ugrožavanja sigurnosti ili održivostiPokrit ćemo sve, od osnovnih arhitektonskih koncepata do podešavanja pomoću sysctl-a, kompajliranja prilagođenih kernela, korištenja zakrpa u realnom vremenu, podešavanja za mreže s niskom latencijom (kao u EC2), te tehnika praćenja i mjerenja performansi kako bismo izmjerili da li ono što podešavate zapravo išta poboljšava.

Arhitektura Linux kernela i ključne tačke za latenciju

Linux kernel djeluje kao posrednički sloj između aplikacija i hardvera, upravljajući memorija, procesi, prekidi, drajveri i datotečni sistemi. Su monolitni, ali modularni dizajnZahvaljujući modulima koji se mogu učitati, omogućava vam fleksibilno aktiviranje ili deaktiviranje funkcionalnosti bez ponovnog kompajliranja cijelog sistema.

Da bismo razumjeli odakle dolaze latencije, ključno je poznavati nekoliko podsistema: planer procesa (raspoređivač)Upravljanje memorijom i rukovanje prekidima su ključni. Loše konfiguriran planer, agresivna politika memorije ili prekomjeran broj nekontroliranih prekida mogu rezultirati sporim vremenom odziva, čak i sa moćnim hardverom.

Konfiguracija kernela uključuje opcije kao što su CONFIG_PREEMPT, CONFIG_PREEMPT_VOLUNTARY ili CONFIG_SMPOvi faktori određuju stepen u kojem kernel može biti prekinut kako bi se posvetio hitnijim zadacima i kako on koristi višejezgrene sisteme. Odabir pravog modela preempcije značajno mijenja percipiranu latenciju na desktop računarima, serverima s niskom latencijom ili industrijskim sistemima.

Kod modernih servera, hardverska topologija je također važna: distribucija jezgara, socketa, NUMA i hijerarhije kešaFino podešavanje afiniteta CPU-a i NUMA politika (npr. fiksiranje procesa i memorije na isti čvor) pomaže u smanjenju vremena pristupa i poboljšanju stope pogodaka keša, što je ključno kada želimo minimizirati podrhtavanje i nepredvidive latencije.

Nadalje, interakcija između CPU planera i podsistema U/I (disk i mreža) određuje propusnost i latenciju od početka do kraja koje aplikacije vide. Prije nego što se bilo šta dirate, preporučljivo je dokumentirati trenutno stanje (konfiguracija kernela, sysctl, GRUB, učitani moduli) kako biste mogli brzo vratiti promjene ako neka promjena pogorša performanse.

Prilagođavanja putem sysctl-a za poboljšanje latencije i performansi

sučelje sysctl vam omogućava da mijenjate parametre kernela u hodu. kroz /proc/sys, bez potrebe za ponovnim kompajliranjem. To je idealna početna tačka za početak podešavanja bez potrebe za zaglibljavanjem u kompajliranje.

U mrežnom polju, parametri kao što su net.core.rmem_max, net.core.wmem_max ili net.ipv4.tcp_congestion_control Oni direktno utiču na propusnost, latenciju i ponašanje TCP veze. Pravilno podešavanje bafera i algoritma zagušenja je ključno za web servere sa visokim prometom ili cloud instance sa niskom latencijom.

Za pamćenje, vrijednosti kao što su vm.swappiness, vm.dirty_ratio, vm.vfs_cache_pressure ili vm.overcommit_memory Omogućavaju vam kontrolu nad količinom korištene swap memorije, načinom upravljanja keš memorijom stranica i ponašanjem virtuelne memorije. Smanjenje swap memorije (na primjer, na 10) obično pomaže u sprečavanju sistema da prečesto koristi swap, smanjujući skokove latencije diska u I/O operacijama.

Ako radite s velikim bazama podataka ili aplikacijama koje koriste ogromne količine dijeljene memorije, ključno je prilagoditi kernel.shmall, kernel.shmall i maksimalan broj datoteka otvorenih sa fs.file-max i fs.nr_openOva loše dimenzionirana ograničenja mogu uzrokovati uska grla i greške koje je teško dijagnosticirati pod opterećenjem.

Najbolji pristup je implementirati male promjene, mjeriti njihov utjecaj alatima za praćenje i tek onda sačuvajte ih u /etc/sysctl.conf ili u /etc/sysctl.d/U kontejneriziranim okruženjima, imajte na umu da su mnogi parametri kernela globalni za hosta: njihova nepažljiva promjena može utjecati na sve servise, tako da je kombiniranje sysctl-a s cgroup-ima i namespaces-ima gotovo obavezno.

Kompajliranje i održavanje prilagođenih kernela

Kompajliranje prilagođenog kernela ostaje vrlo moćan alat kada želite smanjite latenciju, uklonite nepotrebno opterećenje ili podržite rijedak hardverIako distribucije dolaze s prilično svestranim kernelima, u određenim scenarijima određeni kernel čini svu razliku.

Klasični tijek rada uključuje preuzimanje koda sa kernel.org ili zakrpljena stabla poput xanmod ili liquorixi koristite alate poput make menuconfig za odabir opcija. Spremanje .config datoteke u vaš vlastiti git repozitorij, zajedno sa skriptama za izgradnju, omogućava vam reprodukciju verzija i održavanje konzistentnosti između verzija.

Ako koristite Debian ili njegove derivate, vrlo je praktično kompajlirati “Debian stilu"Za dobijanje .deb paketa kernela, zaglavlja i pridruženih biblioteka. Ovo vam omogućava da implementirate taj prilagođeni kernel na više mašina jednostavnim instaliranjem paketa i upravljanjem verzijama pomoću vlastitog repozitorija."

U stvarnom svijetu, ručno kompajliranje često ima smisla kada radite sa stari ili vrlo ograničen hardverTipičan primjer je stari netbook sa Atom CPU-om i 1 GB RAM-a, gdje moderni generički kernel, pun nepotrebnih drajvera i serverskih opcija, uvodi latencije i dodatnu potrošnju CPU-a koju si ne možete priuštiti.

Uobičajena strategija je započeti od trenutne konfiguracije kernela (na primjer, kopiranjem /konfiguracija pokretanja), a odatle izrežite ili prilagodite. Model preempcije možete promijeniti u „Preemptabilna jezgra (Desktop sa malom latencijom)"dati prioritet interaktivnom odgovoru radne površine ili dodati specifične I/O planere kao što su Bfq u obliku modula za poboljšanje iskustva na mehaničkim diskovima.

Da biste izbjegli da pola života provedete kompajlirajući, ima smisla kompajlirati na snažnijoj mašini i, ako je potrebno, koristiti unakrsno kompajliranje (Na primjer, kompajliranje 32-bitnog kernela za Atom sa x86_64 računara jednostavnim podešavanjem ARCH-a i odgovarajućih alata). Zatim samo trebate instalirati .deb datoteke na ciljni računar i dodati odgovarajući unos u GRUB.

Najteži dio je održavanje: preporučljivo je testiranje novog kernela na čvorovima Kanarskih ostrva, imajte jasne putanje vraćanja unazad u upravitelju pokretanja i snimajte logove i metrike tokom tranzicije kako biste otkrili regresije u performansama ili kompatibilnosti upravljačkih programa.

Modeli preempcije i PREEMPT_RT zakrpe za sisteme sa niskom latencijom

Model preempcije kernela diktira koliko se izvršavajući zadatak može prekinuti kako bi se omogućilo da zadatak višeg prioriteta preuzme kontrolu, što direktno utiče na latencija odgovoraTo uključuje i standardne opcije konfiguracije i zakrpe u realnom vremenu.

Generički kerneli nude nekoliko opcija: bez preempcije (više fokusirani na propusnost servera), dobrovoljnu preempciju i preemptabilno jezgro za desktopOvo daje prioritet brzom vremenu odziva interaktivnih aplikacija. Podešavanje ove postavke može značajno poboljšati performanse desktop sistema, zvuka ili čak starijih mašina koje su pod velikim opterećenjem.

Kada trebate ići korak dalje, pojavljuje se sljedeće: PREEMPT i PREEMPT_RT zakrpeOve modifikacije mijenjaju značajne dijelove kernela kako bi se minimizirali dijelovi koji se ne mogu preemptiti. PREEMPT_RT je namijenjen sistemima gdje latencija u najgorem slučaju (ne samo prosjek) mora biti vrlo niska i predvidljiva: industrijska automatizacija, profesionalni audio, telekomunikacije ili visokofrekventna trgovina.

Odluka o uvođenju PREEMPT_RT ne bi trebala biti zasnovana na modi, već na konkretna mjerenja latencije i podrhtavanjaPrvo, preporučljivo je u potpunosti iskoristiti postavke raspoređivača, afinitete CPU-a, sysctl i, ako je primjenjivo, konfiguracije poput dinamičkog beztickless-a prije nego što se održavanje zakomplicira RT stablom.

Također treba uzeti u obzir kompatibilnost: neke Drajveri i podsistemi nisu u potpunosti prilagođeni RT-u. i mogu zahtijevati specifične verzije ili dodatne zakrpe. Razuman pristup je pripremiti plan održavanja koji jasno navodi kada i kako integrirati nove verzije glavnog kernela sa RT granom, koja se periodično sinhronizuje, ali i dalje donekle zaostaje.

Podešavanje rasporeda CPU-a, rad bez otkucavanja i izolacija jezgra

Pored odabira modela preempcije, možete fino podesiti latenciju igranjem s raspoređivanjem CPU-a i ponašanjem kernel tajmera, posebno u distribucijama orijentiranim na preduzeća poput RHEL-a.

Na primjer, Red Hat Enterprise Linux 8 dolazi sa kernel se podrazumevano ne otkucava za neaktivne CPU-eOvo smanjuje potrošnju energije izbjegavanjem periodičnih prekida kada je jezgro u stanju mirovanja. Za opterećenja osjetljiva na latenciju može se omogućiti određeni način rada. dinamički bez otkucaja u skupu kernelatako da samo jedan CPU ("kućna jezgra") obrađuje većinu zadataka zasnovanih na vremenu, a ostali su što je moguće oslobođeni periodičnih prekida.

Ova konfiguracija se vrši dodavanjem odgovarajućih parametara u komandna linija kernela u GRUB-uregeneriranje konfiguracije, a zatim podešavanje afiniteta kritičnih niti jezgra, kao što su RCU niti ili niti bdi-flush, tako da se nalaze u jezgru rezerviranom za održavanje.

Ovaj pristup se može dopuniti parametrom izolcpusOvo omogućava izolaciju jezgara od normalnih zadataka u korisničkom prostoru. Vrlo je uobičajeno u scenarijima s niskom latencijom rezervirati nekoliko jezgara isključivo za kritičnu aplikaciju, dok ostatak sistema (demoni, prekidi itd.) obrađuju druge jezgre.

Da biste provjerili da li dinamički način rada bez otkucavanja funkcionira, mogu se pokrenuti jednostavni testovi pomoću stress ili skripte koje zaokupljaju CPU na sekundu i posmatraju brojači otkucaja tajmera Kako broj prekida u sekundi pada sa hiljada na samo jedan u izolovanim jezgrima, znak da je periodični tajmer nestao.

Upravljanje memorijom i pohranom podataka s fokusom na latenciju

Način na koji kernel upravlja memorijom i ulazno/izlaznim operacijama na disku ima ogroman utjecaj na latencija koju aplikacije percipirajuposebno u bazama podataka i servisima koji obavljaju mnogo malih i čestih operacija.

Sa strane memorije, smanjite vm.swappiness minimizirati korištenje swapa (koji je gotovo uvijek mnogo sporiji od RAM-a), vm.vfs_cache_pressure Kontroliše koliko brzo sistem pokušava da obriše inode i dentry keš memoriju, i vm.nr_hugepages Omogućava rezerviranje statičkih HugePages stranica za velika opterećenja poput baza podataka ili JVM-ova, smanjujući TLB opterećenje.

U skladištu odaberite odgovarajući I/O planer prema tipu diska To je kritično. Na modernim SSD diskovima, obično je dobra ideja koristiti... none o mq-deadlineDok kod mehaničkih diskova i multitasking sistema, algoritmi dizajnirani za pravednost mogu biti bolji, kao što je BfqPored toga, montiranje datotečnih sistema sa opcijama kao što su noatime y nodiratime Izbjegavajte nepotrebna pisanja svaki put kada se pristupa datoteci ili direktoriju.

Što se tiče sistema datoteka, ext4 i XFS Ovo ostaju najčešće opcije: dobro podešen ext4 je sigurna opcija, dok XFS ima tendenciju boljeg skaliranja pod visokom konkurentnošću. Za vrlo zahtjevne scenarije, kombinovanje RAID-a (RAID 10 za baze podataka, RAID 0 za privremeno skladištenje) sa dobrim planerom može smanjiti prosječnu latenciju i, prije svega, varijabilnost.

Optimizacija mreže i kernela za nisku latenciju u Linuxu i EC2

U visokoperformansnim mrežnim aplikacijama, latencija ne zavisi samo od hardvera ili udaljenosti, već i od kako su konfigurisani TCP/IP stek i sam kernelOvo je posebno vidljivo u cloud instancama poput Amazon EC2 sa ENA interfejsima.

Za početak, ključno je smanjiti vanjske faktore kao što je broj mrežni skokovi koje paketi obavljaju: korištenje direktnijih topologija, uravnoteživača opterećenja blizu pozadinskog sistema ili optimiziranih zona dostupnosti smanjuje vrijeme putovanja u milisekundama prije nego što uopće dotaknu operativni sistem.

Unutar kernela, konfiguracija mreže uključuje povećanje deskriptori datoteka (ulimit -n), veličina prijemnog i slanog bafera sa net.core.rmem_max, net.core.wmem_max, net.ipv4.tcp_rmem, net.ipv4.tcp_wmemi aktivirajte opcije kao što su TCP Fast Open kako bi se smanjila latencija uspostavljanja veze.

U AWS ENA interfejsima, moderiranje prekida igra važnu ulogu: prema zadanim postavkama, drajver grupira pakete kako bi smanjio broj IRQ-ova. rx-usecs i tx-usecsAko želite smanjiti latenciju na apsolutni minimum, možete onemogućiti ovu moderaciju tako što ćete ethtool -CPostavljanje rx-usecs i tx-usecs na nulu smanjuje latenciju, ali povećava opterećenje prekidima, tako da se mora pronaći ravnoteža ovisno o opterećenju.

Također se može koristiti irqbalance za distribuciju IRQ-ova na više jezgara, ili ga onemogućite i ručno postavite afinitete prekida i mrežnog reda čekanja (RSS/RPS) za određene jezgre, nešto vrlo tipično u okruženjima s ultra niskom latencijom ili kada se koristi DPDK i preskače dobar dio kernel steka.

Još jedan parametar koji treba uzeti u obzir je CPU C stanjaStanja dubokog sna smanjuju potrošnju energije, ali uvode kašnjenja kada se jezgro "probudi". Da biste smanjili latenciju odgovora, možete ograničiti ova duboka stanja, prihvatajući veću potrošnju energije i manje prostora za Turbo Boost na drugim jezgrama. Svako okruženje ima svoju idealnu ravnotežu između potrošenih vati i dobijenih mikrosekundi.

Optimizacija CPU-a, usluga i aplikacija radi smanjenja latencije

Pored samog kernela, okolno okruženje ima mnogo toga za reći o ukupnoj latenciji: od aktivne usluge u sistemu sve do specifične konfiguracije svake aplikacije.

Visokoperformansni server bi trebao pokretati samo demoni koji su zaista neophodniServisi poput Bluetootha, štampanja ili automatskog otkrivanja mreže (CUPS, Avahi, itd.) na backend mašinama samo troše CPU, memoriju i I/O bez pružanja ikakve koristi. Pregledajte sa systemctl list-unit-files --state=enabled A onemogućavanje nepotrebnih stvari je jedna od najjeftinijih i najefikasnijih stvari koje možete učiniti.

Za određivanje prioriteta kritičnih procesa možete koristiti alate kao što su renice, chrt i tasksetPrilagođavanje prioriteta procesa (renice), davanje rasporeda u realnom vremenu (chrt -f 99) ili dodjeljivanje određenim jezgrama (taskset) smanjuje interferenciju s drugim zadacima, poboljšavajući predvidljivost CPU-a za baze podataka, VoIP, streaming ili trgovačke usluge.

Na nivou aplikacije, podešavanje je jednako važno kao i podešavanje kernela. Web serveri kao što su Nginx ili Apache Potrebno im je fino podešavanje workera, keepalive-a, keepa i kompresije. Baze podataka poput PostgreSQL ili MySQL Potrebno je da pregledaju veličine bafera, kontrolne tačke, skup konekcija i parametre sinhronog pisanja kako bi postigli niske i stabilne latencije.

JVM-ovi također igraju ulogu: odabir sakupljača smeća poput G1GC ili ZGC Prilagođavanje veličine heap memorije može smanjiti pauze koje se, iz vanjske perspektive, pojavljuju kao latencija. U virtualiziranim i kontejneriziranim okruženjima, pravilna distribucija je ključna. vCPU, vRAM i I/O kvote Izbjegava tiho natjecanje koje se kasnije pojavljuje kao beskrajni redovi čekanja na disku ili zasićeni CPU.

Praćenje i testiranje kernela i sistema

Svo ovo podešavanje je beskorisno ako ne mjerite uticaj. Ključ je u kombinovanju. kontinuirano praćenje s ponovljivim testovima performansitako da se svaka promjena u kernelu ili sysctl-u može procijeniti objektivnim podacima.

Da biste vidjeli cjelokupni status sistema, možete koristiti klasične alate kao što su htop, vmstat, iotop o sarKada vam je potrebno više detalja, na scenu dolaze specifični alati kernela, kao što su perf i ftracekoji vam omogućavaju praćenje ponašanja planera, prekida i internih poziva sa značajnom tačnošću.

U produkcijskim okruženjima preporučuje se implementacija sistema metrike kao što su Prometej, collectd ili sysstat sa izvoznicima koji otkrivaju brojače CPU-a, I/O, latencije diska i mreže, redove čekanja procesa itd. Ovi podaci, vizualizirani u Grafani ili sličnim alatima, pomažu u otkrivanju regresija ili anomalija prije nego što krajnji korisnik primijeti probleme.

Za benchmarking, ideja je replicirati stvarno radno opterećenje i uporediti "prije i poslije" svake promjene. Alati kao što su sysbench (za CPU-ove i baze podataka), fio (za disk) ili iperf3 (Za mreže) omogućavaju konstrukciju scenarija koji se mogu ponavljati. Dokumentacija je neophodna. verzije kernela, sysctl konfiguracije, hardver i parametri testiranja kako bi poređenja imala smisla tokom vremena.

U praksi, optimizacija Linux kernela je iterativni proces: testirate niz podešavanja, mjerite rezultate, zadržavate ono što pruža stvarnu korist, a ostalo odbacujete. Uz dobro upravljanje promjenama, možete prevesti poboljšanja u novim verzijama kernela (kao što su nedavne serije sa poboljšanjima raspoređivača, grafike, napajanja ili umrežavanja) u mjerljive koristi za vaše aplikacije, bilo da se radi o lokalnim serverima, u oblaku ili na zahtjevnim radnim stanicama.

Kombinacija poznavanja arhitekture kernela, finog podešavanja pomoću sysctl-a, kontrolirane kompajlacije, selektivne upotrebe zakrpa u realnom vremenu i dobrog sistema metrike omogućava administratoru ili operativnom timu da postigne Brži odgovori, niža latencija i poboljšana ukupna stabilnost bez potrebe za promjenom hardvera pri najmanjoj provokaciji ili ugrožavanja sigurnosti sistema.