Mas detalyadong gabay sa pag-optimize ng Linux kernel at pagbabawas ng latency

Informatec Digital » Kayamanan » Mas detalyadong gabay sa pag-optimize ng Linux kernel at pagbabawas ng latency

Kapag pinag-uusapan natin ang performance sa Linux, halos lahat ay nauuwi sa iisang lugar: ang kernel bilang pangunahing bahagi na kumokontrol sa latency, stability, at paggamit ng resourcesAng maayos na pag-aayos nito ay maaaring makagawa ng pagkakaiba sa pagitan ng isang sistemang "nakakaya lang" at isa na maayos na tumutugon sa mga server, desktop, cloud environment, o kahit sa... napakalumang hardware.

Ang gabay na ito ay nakatuon sa kung paano I-optimize ang Linux kernel upang mabawasan ang latency nang hindi nakompromiso ang seguridad o pagpapanatiliTatalakayin natin ang lahat mula sa mga pangunahing konsepto ng arkitektura hanggang sa pag-aayos gamit ang sysctl, pag-compile ng mga custom na kernel, paggamit ng mga real-time na patch, pag-tune para sa mga low-latency network (tulad ng sa EC2), at mga pamamaraan sa pagsubaybay at pag-benchmark upang masukat kung ang iyong inaayos ay talagang nagpapabuti sa anumang bagay.

Arkitektura ng Linux kernel at mga pangunahing punto para sa latency

Ang Linux kernel ay gumaganap bilang isang tagapamagitan sa pagitan ng mga aplikasyon at hardware, na namamahala memorya, mga proseso, mga interrupt, mga driver, at mga file system. Su monolitik ngunit modular na disenyoDahil sa mga loadable module, pinapayagan ka nitong i-activate o i-deactivate ang mga functionality nang may kakayahang umangkop nang hindi muling kino-compile ang buong sistema.

Upang maunawaan kung saan nagmumula ang mga latency, mahalagang malaman ang ilang mga subsystem: ang tagaplano ng proseso (tagapag-iskedyul)Napakahalaga ng pamamahala ng memorya at paghawak ng interrupt. Ang isang hindi maayos na na-configure na scheduler, isang agresibong patakaran sa memorya, o labis na bilang ng mga hindi kontroladong interrupt ay maaaring magresulta sa mabagal na oras ng pagtugon, kahit na may malakas na hardware.

Ang pagsasaayos ng kernel ay kinabibilangan ng mga opsyon tulad ng CONFIG_PREEMPT, CONFIG_PREEMPT_VOLUNTARY o CONFIG_SMPAng mga salik na ito ang nagtatakda kung hanggang saan maaaring maantala ang kernel upang matugunan ang mas mahahalagang gawain at kung paano nito ginagamit ang mga multi-core system. Ang pagpili ng tamang modelo ng preemption ay makabuluhang nagbabago sa nakikitang latency sa mga desktop, low-latency server, o mga industrial system.

Sa mga modernong server, mahalaga rin ang hardware topology: pamamahagi ng mga core, socket, NUMA, at hierarchy ng cacheAng pag-aayos ng mga affinity ng CPU at mga patakaran ng NUMA (hal., pag-aayos ng mga proseso at memorya sa iisang node) ay nakakatulong na mabawasan ang mga oras ng pag-access at mapabuti ang cache hit rate, na mahalaga kapag gusto nating mabawasan ang jitter at mga hindi mahuhulaan na latency.

Bukod pa rito, ang interaksyon sa pagitan ng CPU scheduler at mga subsystem ng Ang I/O (disk at network) ang tumutukoy sa throughput at end-to-end latency na nakikita ng mga application. Bago hawakan ang anumang bagay, ipinapayong idokumento ang kasalukuyang estado (konfigurasyon ng kernel, sysctl, GRUB, mga naka-load na module) upang mabilis kang makabalik kung ang isang pagbabago ay lumala ang pagganap.

Mga pagsasaayos sa pamamagitan ng sysctl upang mapabuti ang latency at pagganap

ang interface Pinapayagan ka ng sysctl na baguhin ang mga parameter ng kernel nang mabilisan sa pamamagitan ng /proc/sys, nang hindi kinakailangang mag-recompile. Ito ang mainam na entry point para simulan ang pag-tune nang hindi pa nababalot ng mga compilation.

Sa larangan ng network, ang mga parameter tulad ng net.core.rmem_max, net.core.wmem_max o net.ipv4.tcp_congestion_control Direktang nakakaapekto ang mga ito sa throughput, latency, at pag-uugali ng koneksyon ng TCP. Ang wastong pagsasaayos ng mga buffer at ang algorithm ng congestion ay mahalaga para sa mga web server na may mataas na trapiko o mga cloud instance na may mababang latency.

Para sa memorya, mga halaga tulad ng vm.swappiness, vm.dirty_ratio, vm.vfs_cache_pressure o vm.overcommit_memory Pinapayagan ka nitong kontrolin kung gaano karaming swap ang ginagamit, kung paano pinamamahalaan ang page cache, at ang pag-uugali ng virtual memory. Ang pagbabawas ng swappiness (halimbawa, sa 10) ay karaniwang nakakatulong na maiwasan ang system na masyadong madalas na gamitin ang swap, na binabawasan ang mga spike ng latency ng disk I/O.

Kung gumagamit ka ng malalaking database o application na gumagamit ng napakalaking shared memory, mahalagang isaayos kernel.shmmax, kernel.shmall at ang pinakamataas na bilang ng mga file na binuksan gamit ang fs.file-max at fs.nr_openAng mga limitasyong ito na hindi gaanong malaki ang sukat ay maaaring magdulot ng mga bottleneck at error na mahirap i-diagnose kapag may load.

Ang pinakamahusay na paraan ay ang pagpapatupad ng maliliit na pagbabago, sukatin ang kanilang epekto gamit ang mga kagamitan sa pagsubaybay, at pagkatapos lamang ilagay ang mga ito sa /etc/sysctl.conf o sa /etc/sysctl.d/Sa mga containerized environment, tandaan na maraming kernel parameter ang pandaigdigan sa host: ang hindi maingat na pagbabago sa mga ito ay maaaring makaapekto sa lahat ng serbisyo, kaya ang pagsasama-sama ng sysctl sa mga cgroup at namespace ay halos mandatory.

Pag-compile at pagpapanatili ng mga custom na kernel

Ang pag-compile ng custom kernel ay nananatiling isang napakalakas na tool kapag gusto mo bawasan ang latency, alisin ang mga hindi kinakailangang overhead, o suportahan ang mga bihirang hardwareBagama't ang mga distribusyon ay may mga kernel na maraming gamit, sa ilang mga sitwasyon, ang isang partikular na kernel ang gumagawa ng malaking pagkakaiba.

Ang klasikong daloy ng trabaho ay kinabibilangan ng pag-download ng code mula sa kernel.org o mga patched tree tulad ng xanmod o liquorixat gumamit ng mga kagamitan tulad ng make menuconfig para pumili ng mga opsyon. Ang pag-save ng .config file sa sarili mong git repository, kasama ang mga build script, ay nagbibigay-daan sa iyong kopyahin ang mga build at mapanatili ang pagkakapare-pareho sa pagitan ng mga bersyon.

Kung gumagamit ka ng Debian o mga derivatives, napakadaling i-compile ang "Estilo ng Debian"Para makakuha ng mga .deb package ng kernel, mga header, at mga kaugnay na library. Pinapayagan ka nitong i-deploy ang custom na kernel na iyon sa maraming makina sa pamamagitan lamang ng pag-install ng mga package at pamamahala ng mga bersyon gamit ang iyong sariling repository."

Sa totoong mundo, ang manu-manong pag-compile ay kadalasang may katuturan kapag nagtatrabaho ka gamit ang luma o napakalimitadong hardwareAng isang tipikal na halimbawa ay isang lumang netbook gamit ang isang Atom CPU at 1 GB ng RAM, kung saan ang isang modernong generic na kernel, na puno ng mga hindi kinakailangang driver at mga opsyon sa server, ay nagpapakilala ng mga latency at dagdag na pagkonsumo ng CPU na hindi mo kayang bayaran.

Ang isang karaniwang estratehiya ay ang magsimula mula sa kasalukuyang configuration ng kernel (halimbawa, sa pamamagitan ng pagkopya ng /konpigurasyon ng boot), at mula doon ay i-crop o i-adjust. Maaari mong baguhin ang modelo ng preemption sa "Preemptible Kernel (Desktop na Mababang Latency)"upang unahin ang interactive na tugon sa desktop, o magdagdag ng mga partikular na I/O scheduler tulad ng Bfq sa anyo ng isang modyul upang mapabuti ang karanasan sa mga mechanical disc.

Para maiwasan ang paggugol ng kalahati ng iyong buhay sa pag-compile, makatuwiran na gawin ang pagbuo sa isang mas malakas na makina at, kung kinakailangan, gamitin cross-compile (Halimbawa, ang pag-compile ng 32-bit kernel para sa isang Atom mula sa isang x86_64 PC sa pamamagitan lamang ng pagsasaayos ng ARCH at ng mga kaukulang toolchain). Pagkatapos ay kailangan mo lang i-install ang mga .deb file sa target na makina at idagdag ang naaangkop na entry sa GRUB.

Ang mahirap na bahagi ay ang pagpapanatili: ipinapayong gawin ito pagsubok sa bagong kernel sa mga node ng Canary Islands, magkaroon ng malinaw na mga rollback path sa boot manager at magtala ng mga log at sukatan sa panahon ng transition upang matukoy ang mga regression sa performance o driver compatibility.

Mga modelo ng preemption at mga patch ng PREEMPT_RT para sa mga low-latency system

Ang preemption model ng kernel ay nagdidikta kung gaano kalaki ang maaaring maantala sa isang tumatakbong gawain upang payagan ang isang mas mataas na priyoridad na gawain na pumalit, na direktang nakakaapekto sa latency ng tugonKabilang dito ang parehong karaniwang mga opsyon sa configuration at mga real-time na patch.

Ang mga generic kernel ay nag-aalok ng ilang mga opsyon: walang preemption (mas nakatuon sa throughput ng server), boluntaryong preemption, at preemptible kernel para sa desktopBinibigyang-priyoridad nito ang mabilis na oras ng pagtugon ng mga interactive na application. Ang pagsasaayos ng setting na ito ay maaaring makabuluhang mapabuti ang pagganap ng mga desktop system, audio, o kahit na ang mga mas lumang makina na mabibigat ang karga.

Kapag kailangan mong gumawa ng isang hakbang pa, lilitaw ang mga sumusunod: Mga patch na PREEMPT at PREEMPT_RTBinabago ng mga pagbabagong ito ang mahahalagang bahagi ng kernel upang mabawasan ang mga seksyong hindi maaaring i-preempt. Ang PREEMPT_RT ay inilaan para sa mga sistema kung saan ang pinakamasamang latency (hindi lamang ang average) ay dapat na napakababa at mahuhulaan: industrial automation, propesyonal na audio, telekomunikasyon, o high-frequency trading.

Ang desisyon na ipakilala ang PREEMPT_RT ay hindi dapat ibatay sa moda, kundi sa mga tiyak na sukat ng latency at jitterUna, ipinapayong gamitin nang lubusan ang mga setting ng scheduler, mga affinity ng CPU, sysctl, at, kung naaangkop, mga configuration tulad ng dynamic tickless bago gawing kumplikado ang maintenance gamit ang isang RT tree.

Kailangan ding isaalang-alang ang pagiging tugma: ilan Ang mga driver at subsystem ay hindi ganap na inangkop sa RT at maaaring mangailangan ng mga partikular na bersyon o karagdagang mga patch. Ang makatwirang paraan ay ang paghahanda ng isang plano sa pagpapanatili na malinaw na nagbabalangkas kung kailan at paano i-integrate ang mga bagong bersyon ng pangunahing kernel sa sangay ng RT, na pana-panahong nagsi-synchronize ngunit medyo nahuhuli pa rin.

Pag-tune ng pag-iiskedyul ng CPU, walang kiliti na operasyon, at paghihiwalay ng core

Bukod sa pagpili ng modelo ng preemption, maaari mo ring ayusin ang latency sa pamamagitan ng paggamit ng CPU scheduling at kernel timer behavior, lalo na sa mga enterprise-oriented distribution tulad ng RHEL.

Ang Red Hat Enterprise Linux 8, halimbawa, ay may kasamang kernel tickless bilang default para sa mga idle na CPUBinabawasan nito ang pagkonsumo ng enerhiya sa pamamagitan ng pag-iwas sa mga pana-panahong pagkaantala kapag ang core ay idle. Maaaring paganahin ang isang mode para sa mga workload na sensitibo sa latency. dynamic na walang kiliti sa isang hanay ng mga kernelkaya't isang CPU lamang (ang "home core") ang humahawak sa karamihan ng mga gawaing nakabatay sa oras, at ang natitira ay malaya hangga't maaari mula sa mga pana-panahong pagkaantala.

Ang pagsasaayos na ito ay ginagawa sa pamamagitan ng pagdaragdag ng mga naaangkop na parameter sa ang command line ng kernel sa GRUBmuling pagbuo ng configuration, at pagkatapos ay pagsasaayos ng affinity ng mga kritikal na kernel thread, tulad ng mga RCU thread o thread bdi-flush, nang sa gayon ay naninirahan ang mga ito sa sentro na nakalaan para sa pagpapanatili.

Ang pamamaraang ito ay maaaring dagdagan ng parameter isolcpusNagbibigay-daan ito sa mga core na maihiwalay mula sa mga normal na gawain sa espasyo ng gumagamit. Karaniwan sa mga sitwasyong may mababang latency na ireserba ang ilang core para lamang sa isang kritikal na aplikasyon, habang ang natitirang bahagi ng sistema (mga daemon, interrupt, atbp.) ay hinahawakan ng ibang mga core.

Para mapatunayan na gumagana ang dynamic tickless mode, maaaring magsagawa ng mga simpleng pagsubok gamit ang stress o mga script na nagpapanatili sa CPU na abala nang isang segundo at nagmamasid gamit ang mga counter ng timer tick Kung paano bumababa ang bilang ng mga interrupt kada segundo mula libo-libo patungo sa isa na lamang sa mga nakahiwalay na core, isang senyales na nawala na ang periodic timer.

Pamamahala ng memorya at imbakan na nakatuon sa latency

Ang paraan ng pamamahala ng kernel sa memory at disk I/O ay may malaking epekto sa latency na nakikita ng mga aplikasyonlalo na sa mga database at serbisyo na nagsasagawa ng maraming maliliit at madalas na operasyon.

Sa panig ng memorya, bawasan vm.swappiness bawasan ang paggamit ng swap (na halos palaging mas mabagal kaysa sa RAM), vm.vfs_cache_pressure Kinokontrol nito kung gaano kabilis sinusubukan ng sistema na linisin ang inode at dentry cache, at vm.nr_hugepages Pinapayagan nito ang pagrereserba ng mga static na HugePages para sa mabibigat na load tulad ng mga database o JVM, na binabawasan ang TLB overhead.

Sa imbakan, piliin ang angkop na I/O scheduler ayon sa uri ng disk Napakahalaga nito. Sa mga modernong SSD, karaniwang magandang ideya na gamitin... none o mq-deadlineSamantalang sa mga mechanical disk at multitasking system, maaaring mas mahusay ang mga algorithm na idinisenyo para sa pagiging patas, tulad ng BfqBukod pa rito, ang pag-mount ng mga file system na may mga opsyon tulad ng noatime y nodiratime Iwasan ang mga hindi kinakailangang pagsusulat sa tuwing may ina-access na file o direktoryo.

Tungkol sa mga file system, ext4 at XFS Ito pa rin ang mga pinakakaraniwang opsyon: ang isang mahusay na naka-tono na ext4 ay isang ligtas na pagpipilian, habang ang XFS ay may posibilidad na mas mahusay na mag-scale sa ilalim ng mataas na concurrency. Para sa mga napaka-demanding na senaryo, ang pagsasama-sama ng RAID (RAID 10 para sa mga database, RAID 0 para sa pansamantalang scratch storage) na may isang mahusay na scheduler ay maaaring mabawasan ang average na latency at, higit sa lahat, ang variability.

Pag-optimize ng network at kernel para sa mababang latency sa Linux at EC2

Sa mga high-performance networking application, ang latency ay hindi lamang nakasalalay sa hardware o distansya, kundi pati na rin sa kung paano kino-configure ang TCP/IP stack at ang kernel mismoIto ay lalong makikita sa mga cloud instance tulad ng Amazon EC2 na may mga ENA interface.

Bilang panimula, mahalagang bawasan ang mga panlabas na salik tulad ng bilang ng mga pagtalon sa network na nagagawa ng mga pakete: ang paggamit ng mas direktang mga topolohiya, mga load balancer na malapit sa backend o mga na-optimize na availability zone ay nakakabawas ng oras ng paglalakbay sa loob ng milliseconds bago pa man mahawakan ang operating system.

Sa loob ng kernel, ang pagsasaayos ng network ay kinabibilangan ng pagpapataas mga deskriptor ng file (ulimit -n), laki ng tumanggap at magpadala ng mga buffer gamit ang net.core.rmem_max, net.core.wmem_max, net.ipv4.tcp_rmem, net.ipv4.tcp_wmemat i-activate ang mga opsyon tulad ng Mabilis na Buksan ang TCP upang mabawasan ang latency ng pagtatatag ng koneksyon.

Sa mga interface ng AWS ENA, ang interrupt moderation ay gumaganap ng mahalagang papel: bilang default, pinagsasama-sama ng driver ang mga packet upang mabawasan ang bilang ng mga IRQ. mga rx-usec at tx-usecKung gusto mong bawasan ang latency sa pinakamababang antas, maaari mong i-disable ang moderation na ito sa pamamagitan ng ethtool -CAng pagtatakda ng rx-usecs at tx-usecs sa zero ay nagpapababa ng latency ngunit nagpapataas ng interrupt overhead, kaya kailangang makahanap ng balanse depende sa load.

Maaari rin itong gamitin irqbalance upang ipamahagi ang mga IRQ sa maraming core, o i-disable ito at manu-manong itakda ang mga interrupt at network queue (RSS/RPS) affinities sa mga partikular na core, isang bagay na karaniwan sa mga ultra-low latency na kapaligiran o kapag gumagamit ng DPDK at nilalaktawan ang isang malaking bahagi ng kernel stack.

Isa pang parametro na dapat isaalang-alang ay ang Mga estado ng CPU CBinabawasan ng mga estado ng deep sleep ang konsumo ng kuryente ngunit nagdudulot ng mga pagkaantala kapag "nagising" ang core. Upang mabawasan ang latency ng tugon, maaari mong limitahan ang mga estadong ito sa deep state, na tumatanggap ng mas mataas na konsumo ng kuryente at mas kaunting headroom para sa Turbo Boost sa iba pang mga core. Ang bawat kapaligiran ay may sariling sweet spot sa pagitan ng watts na nakonsumo at microseconds na natamo.

Pag-optimize ng CPU, serbisyo, at aplikasyon upang mabawasan ang latency

Bukod sa kernel mismo, maraming masasabi ang nakapalibot na kapaligiran tungkol sa pangkalahatang latency: mula sa mga aktibong serbisyo sa sistema hanggang sa partikular na configuration ng bawat application.

Ang isang high-performance server ay dapat lamang magpatakbo ng mga demonyong tunay na kailanganAng mga serbisyong tulad ng Bluetooth, pag-print, o network auto-discovery (CUPS, Avahi, atbp.) sa mga backend machine ay kumukonsumo lamang ng CPU, memory, at I/O nang walang anumang benepisyong maidudulot. Suriin gamit ang systemctl list-unit-files --state=enabled At ang pag-alis ng mga hindi kinakailangang bagay ay isa sa pinakamura at pinakamabisang bagay na magagawa mo.

Para unahin ang mga kritikal na proseso, maaari kang gumamit ng mga kagamitan tulad ng renice, chrt at tasksetAng pagsasaayos ng prayoridad ng isang proseso (renice), pagbibigay dito ng real-time na pag-iiskedyul (chrt -f 99), o pagtatalaga nito sa mga partikular na core (taskset) ay nakakabawas ng interference sa iba pang mga gawain, na nagpapabuti sa predictability ng CPU para sa mga database, VoIP, streaming, o mga serbisyo sa pangangalakal.

Sa antas ng aplikasyon, ang pag-tune ay kasinghalaga ng pag-tune ng kernel. Mga web server tulad ng Nginx o Apache Kailangan nila ng maayos na pag-tune ng mga worker, keepalive, cache, at compression. Mga database tulad ng PostgreSQL o MySQL Kailangan nilang suriin ang mga laki ng buffer, mga checkpoint, connection pool, at mga synchronous write parameter upang makamit ang mababa at matatag na mga latency.

Ang mga JVM ay gumaganap din ng papel: pagpili ng mga tagakolekta ng basura tulad ng G1GC o ZGC Ang pagsasaayos ng mga laki ng heap ay maaaring mabawasan ang mga paghinto na, mula sa panlabas na pananaw, ay lumilitaw bilang latency. Sa mga virtualized at containerized na kapaligiran, mahalaga ang wastong pamamahagi. Mga quota ng vCPU, vRAM, at I/O Iniiwasan nito ang tahimik na pagtatalo na kalaunan ay lilitaw bilang walang katapusang mga pila sa disk o saturated CPU.

Pagsubaybay at pag-benchmark ng kernel at system

Walang silbi ang lahat ng pag-tune na ito kung hindi mo susukatin ang epekto. Ang susi ay nasa pagsasama-sama. patuloy na pagsubaybay gamit ang mga maaaring kopyahing pagsubok sa pagganapupang ang bawat pagbabago sa kernel o sysctl ay masuri gamit ang obhetibong datos.

Para makita ang pangkalahatang kalagayan ng sistema, maaari mong gamitin ang mga klasikong kagamitan tulad ng htop, vmstat, iotop o sarKapag kailangan mo ng mas detalyadong impormasyon, ginagamit ang mga partikular na tool sa kernel, tulad ng perf at ftracena nagbibigay-daan sa iyong subaybayan ang kilos ng scheduler, mga interrupt, at mga internal na tawag nang may lubos na katumpakan.

Sa mga kapaligiran ng produksyon, inirerekomenda na mag-deploy ng mga sistema ng sukatan tulad ng Prometheus, kinolekta o sysstat kasama ang mga tagaluwas na naglalantad sa mga CPU counter, I/O, disk at network latencies, process queues, atbp. Ang datos na ito, na makikita sa Grafana o mga katulad na tool, ay nakakatulong na matukoy ang mga regresyon o anomalya bago mapansin ng end user ang mga problema.

Para sa benchmarking, ang ideya ay gayahin ang aktwal na workload at ihambing ang "bago at pagkatapos" ng bawat pagbabago. Mga kagamitan tulad ng sysbench (para sa mga CPU at database), sinulid (para sa disc) o iperf3 (Para sa mga network) pinapayagan nila ang pagbuo ng mga paulit-ulit na senaryo. Mahalaga ang dokumentasyon. mga bersyon ng kernel, mga configuration ng sysctl, hardware, at mga parameter ng pagsubok upang ang mga paghahambing ay magkaroon ng katuturan sa paglipas ng panahon.

Sa pagsasagawa, ang pag-optimize ng Linux kernel ay isang paulit-ulit na proseso: sinusubukan mo ang isang serye ng mga pag-aayos, sinusukat ang mga resulta, pinapanatili kung ano ang nagbibigay ng tunay na benepisyo, at itinatapon ang natitira. Sa pamamagitan ng mahusay na pamamahala ng pagbabago, maaari mong isalin ang mga pagpapabuti sa mga bagong bersyon ng kernel (tulad ng mga kamakailang serye na may scheduler, graphics, power, o mga pagpapahusay sa networking) sa mga masusukat na benepisyo para sa iyong mga aplikasyon, maging sa mga on-premise server, sa cloud, o sa mga nangangailangan ng maraming workstation.

Ang kombinasyon ng kaalaman sa arkitektura ng kernel, pagpipino gamit ang sysctl, kontroladong compilation, piling paggamit ng mga real-time na patch, at isang mahusay na sistema ng mga sukatan ay nagbibigay-daan sa isang administrator o operations team na makamit ang Mas mabilis na mga tugon, mas mababang latency, at pinahusay na pangkalahatang katatagan nang hindi kinakailangang baguhin ang hardware sa kahit kaunting dahilan o ikompromiso ang seguridad ng sistema.

Kaugnay na artikulo:

Linux 6.14: Ano ang Bago, Mga Pagpapahusay sa Seguridad at Suporta sa Hardware