Zaawansowany przewodnik po optymalizacji jądra Linux i zmniejszaniu opóźnień

Informatec Digital » Zasoby » Zaawansowany przewodnik po optymalizacji jądra Linux i zmniejszaniu opóźnień

Kiedy mówimy o wydajności w Linuksie, prawie wszystko wskazuje na to samo: jądro jako centralny komponent kontrolujący opóźnienia, stabilność i wykorzystanie zasobów . Jego precyzyjne dostrojenie może zadecydować o różnicy między systemem, który ledwo sobie radzi, a takim, który działa płynnie na serwerach, komputerach stacjonarnych, w środowiskach chmurowych, a nawet na bardzo starym sprzęcie.

Ten poradnik skupia się na optymalizacji jądra Linuksa w celu zminimalizowania opóźnień bez narażania bezpieczeństwa i łatwości konserwacji . Omówimy wszystko, od podstawowych koncepcji architektonicznych po modyfikacje w sysctl, kompilowanie niestandardowych jąder, korzystanie z poprawek w czasie rzeczywistym, dostrajanie pod kątem sieci o niskim opóźnieniu (takich jak EC2), a także techniki monitorowania i testów porównawczych, aby sprawdzić, czy wprowadzone modyfikacje faktycznie poprawiają wydajność.

Architektura jądra Linux i kluczowe punkty dotyczące opóźnień

Jądro Linuksa działa jako warstwa pośrednicząca między aplikacjami a sprzętem, zarządzając pamięcią, procesami, przerwaniami, sterownikami i systemami plików . Jego monolityczna, a zarazem modułowa konstrukcja , dzięki ładowalnym modułom, pozwala na elastyczne włączanie i wyłączanie funkcjonalności bez konieczności rekompilacji całego systemu.

Aby zrozumieć źródło opóźnień, kluczowe jest zrozumienie kilku podsystemów: harmonogramu procesów , zarządzania pamięcią i obsługi przerwań. Źle skonfigurowany harmonogram, agresywna polityka zarządzania pamięcią lub nadmierna liczba niekontrolowanych przerwań mogą skutkować długim czasem reakcji, nawet przy użyciu wydajnego sprzętu.

W grę wchodzą opcje konfiguracji jądra, takie jak CONFIG_PREEMPT, CONFIG_PREEMPT_VOLUNTARY i CONFIG_SMP . Określają one zakres, w jakim jądro może zostać wywłaszczone do wykonywania pilniejszych zadań, oraz sposób obsługi systemów wielordzeniowych. Wybór odpowiedniego modelu wywłaszczania znacząco zmienia postrzegane opóźnienie na komputerach stacjonarnych, serwerach o niskim opóźnieniu lub systemach przemysłowych.

W nowoczesnych serwerach topologia sprzętu ma również znaczenie: dystrybucja rdzeni, gniazda, NUMA i hierarchia pamięci podręcznej . Dokładne dostrojenie powinowactwa procesorów i zasad NUMA (na przykład przypisanie procesów i pamięci do tego samego węzła) pomaga skrócić czas dostępu i poprawić wskaźnik trafień w pamięci podręcznej, co jest kluczowe dla minimalizacji jittera i nieprzewidywalnych opóźnień.

Co więcej, interakcja między harmonogramem CPU a podsystemami wejścia/wyjścia (dyskiem i siecią) determinuje całkowitą przepustowość i opóźnienia aplikacji. Przed wprowadzeniem jakichkolwiek zmian zaleca się udokumentowanie bieżącego stanu (konfiguracja jądra, sysctl, GRUB, załadowane moduły), aby umożliwić szybkie wycofanie zmian, jeśli pogorszą one wydajność.

Zmiany wprowadzone za pomocą sysctl w celu poprawy opóźnień i wydajności

Interfejs sysctl umożliwia modyfikację parametrów jądra w locie za pośrednictwem /proc/sys, bez konieczności ponownej kompilacji. To idealny punkt wyjścia do dostrajania bez konieczności przeciągania kompilacji.

W środowisku sieciowym parametry takie jak net.core.rmem_max, net.core.wmem_max i net.ipv4.tcp_congestion_control bezpośrednio wpływają na przepustowość, opóźnienie i działanie połączenia TCP. Prawidłowe dostosowanie buforów i algorytmu przeciążenia ma kluczowe znaczenie dla serwerów WWW o dużym natężeniu ruchu lub instancji chmurowych o niskim opóźnieniu.

W przypadku pamięci, wartości takie jak vm.swappiness, vm.dirty_ratio, vm.vfs_cache_pressure i vm.overcommit_memory pozwalają kontrolować ilość używanej pamięci wymiany, sposób zarządzania pamięcią podręczną stron oraz zachowanie pamięci wirtualnej. Zmniejszenie parametru swappiness (na przykład do 10) zazwyczaj pomaga zapobiegać zbyt częstemu korzystaniu z pamięci wymiany przez system, zmniejszając skoki opóźnień spowodowane operacjami wejścia/wyjścia na dysku.

Jeśli pracujesz z dużymi bazami danych lub aplikacjami wykorzystującymi ogromne ilości pamięci współdzielonej, kluczowe jest dostosowanie parametrów kernel.shmmax, kernel.shmall oraz maksymalnej liczby otwartych plików za pomocą fs.file-max i fs.nr_open . Nieprawidłowo ustawione limity mogą powodować wąskie gardła i błędy, które trudno zdiagnozować pod obciążeniem.

Zaleca się wprowadzanie niewielkich zmian, mierzenie ich wpływu za pomocą narzędzi monitorujących, a następnie zatwierdzanie ich dopiero w pliku /etc/sysctl.conf lub /etc/sysctl.d/ . W środowiskach konteneryzowanych należy pamiętać, że wiele parametrów jądra jest globalnych dla hosta: nieostrożne modyfikacje mogą wpłynąć na wszystkie usługi, dlatego połączenie sysctl z cgroups i przestrzeniami nazw jest niemal obowiązkowe.

Kompilowanie i utrzymywanie niestandardowych jąder

Kompilacja niestandardowego jądra pozostaje potężnym narzędziem, gdy chcesz zmniejszyć opóźnienia, usunąć niepotrzebne obciążenie lub obsługiwać nietypowy sprzęt . Chociaż dystrybucje zawierają dość wszechstronne jądra, w pewnych scenariuszach konkretne jądro może mieć decydujące znaczenie.

Klasyczny przepływ pracy obejmuje pobranie kodu z kernel.org lub poprawione drzewa, takie jak xanmod lub likieri używać narzędzi takich jak make menuconfig aby wybrać opcje. Zapisanie pliku .config we własnym repozytorium Git wraz ze skryptami kompilacji umożliwia odtwarzanie kompilacji i zachowanie spójności między wersjami.

Jeśli używasz Debiana lub jego pochodnych, bardzo wygodnie jest skompilować go „ w stylu Debiana ”, aby uzyskać pakiety .deb jądra, nagłówków i powiązanych bibliotek. Pozwala to na wdrożenie tego niestandardowego jądra na wielu komputerach poprzez prostą instalację pakietów i zarządzanie wersjami we własnym repozytorium.

W praktyce kompilacja ręczna często ma sens w przypadku pracy ze starym lub bardzo ograniczonym sprzętem . Typowym przykładem jest stary netbook z procesorem Atom i 1 GB pamięci RAM, gdzie nowoczesne, uniwersalne jądro, pełne zbędnych sterowników i opcji klasy serwerowej, wprowadza opóźnienia i dodatkowe obciążenie procesora, na które nie można sobie pozwolić.

Powszechną strategią jest rozpoczęcie od bieżącej konfiguracji jądra (na przykład poprzez skopiowanie pliku konfiguracyjnego z katalogu /boot ), a następnie jej przycięcie lub dostosowanie. Można zmienić model wywłaszczania na „ Wywłaszczanie jądra (pulpit o niskim opóźnieniu) ”, aby nadać priorytet interaktywnej reakcji pulpitu, lub dodać określone harmonogramy wejścia/wyjścia, takie jak BFQ , jako moduł, aby poprawić komfort pracy na dyskach mechanicznych.

Aby uniknąć długich kompilacji, warto zbudować system na mocniejszym komputerze i, w razie potrzeby, skorzystać z kompilacji krzyżowej (na przykład, kompilacja jądra 32-bitowego dla Atomu z komputera x86_64 poprzez prostą modyfikację ARCH i odpowiednich zestawów narzędzi). Następnie wystarczy zainstalować pliki .deb na komputerze docelowym i dodać odpowiedni wpis do GRUB-a.

Najtrudniejszą częścią jest konserwacja: zaleca się przetestowanie nowego jądra na węzłach Wysp Kanaryjskich , posiadanie wyraźnych ścieżek wycofywania zmian w menedżerze rozruchu oraz rejestrowanie dzienników i metryk podczas przejścia w celu wykrycia regresji w wydajności lub zgodności sterowników.

Modele wywłaszczania i poprawki PREEMPT_RT dla systemów o niskim opóźnieniu

Model wywłaszczania jądra określa, jak bardzo zadanie może zostać przerwane, aby umożliwić przejęcie go przez zadanie o wyższym priorytecie, co bezpośrednio wpływa na opóźnienie reakcji . Dotyczy to zarówno standardowych opcji konfiguracji, jak i poprawek w czasie rzeczywistym.

Jądra generyczne oferują kilka opcji: brak wywłaszczania (bardziej skoncentrowane na przepustowości serwera), dobrowolne wywłaszczanie oraz jądro z możliwością wywłaszczania dla komputerów stacjonarnych , które priorytetowo traktuje szybkie czasy reakcji aplikacji interaktywnych. Dostosowanie tego ustawienia może znacząco poprawić wydajność komputerów stacjonarnych, aplikacji audio, a nawet starszych, mocno obciążonych maszyn.

Gdy trzeba pójść o krok dalej, pojawiają się poprawki PREEMPT i PREEMPT_RT , które modyfikują ważne części jądra, minimalizując sekcje, których nie można wywłaszczyć. Poprawka PREEMPT_RT jest przeznaczona dla systemów, w których opóźnienie w najgorszym przypadku (a nie tylko średnie) musi być bardzo niskie i przewidywalne: automatyka przemysłowa, profesjonalne audio, telekomunikacja czy handel wysokoczęstotliwościowy.

Decyzja o wprowadzeniu PREEMPT_RT nie powinna opierać się na trendach, lecz na konkretnych pomiarach opóźnień i jittera . Po pierwsze, zaleca się dokładne przeanalizowanie ustawień harmonogramu, powinowactwa procesora, sysctl oraz, w stosownych przypadkach, konfiguracji takich jak dynamic tickless, zanim skomplikuje się konserwację drzewem RT.

Należy również wziąć pod uwagę kompatybilność: niektóre sterowniki i podsystemy nie są w pełni dostosowane do RT i mogą wymagać określonych wersji lub dodatkowych poprawek. Rozsądnym podejściem jest przygotowanie planu konserwacji, który jasno określa, kiedy i jak integrować nowe wersje jądra głównego z gałęzią RT, która jest okresowo synchronizowana, ale wciąż pozostaje nieco w tyle.

Dostrajanie harmonogramu procesora, działanie bez taktowania i izolacja rdzenia

Oprócz wyboru modelu wywłaszczania, można precyzyjnie dostroić opóźnienie, manipulując harmonogramem procesora i zachowaniem timera jądra, zwłaszcza w dystrybucjach zorientowanych na przedsiębiorstwa, takich jak RHEL.

Na przykład Red Hat Enterprise Linux 8 oferuje domyślne jądro bez tykania dla bezczynnych procesorów , co zmniejsza zużycie energii poprzez unikanie okresowych przerwań, gdy jądro jest bezczynne. W przypadku obciążeń wrażliwych na opóźnienia, dynamiczny tryb bez tykania można włączyć w zestawie jąder , tak aby tylko jeden procesor (tzw. „jądro macierzyste”) obsługiwał większość zadań związanych z synchronizacją, a pozostałe były w jak największym stopniu wolne od okresowych przerwań.

Konfigurację tę wykonuje się poprzez dodanie odpowiednich parametrów do wiersz poleceń jądra w GRUBregenerując konfigurację, a następnie dostosowując powinowactwo krytycznych wątków jądra, takich jak wątki RCU lub wątki bdi-flush, tak aby znajdowały się w rdzeniu zarezerwowanym na potrzeby konserwacji.

To podejście można uzupełnić o parametr `isolcpus` , który pozwala na odizolowanie rdzeni od standardowych zadań w przestrzeni użytkownika. W scenariuszach o niskim opóźnieniu bardzo często rezerwuje się kilka rdzeni wyłącznie dla krytycznej aplikacji, podczas gdy reszta systemu (demony, przerwania itp.) jest obsługiwana przez inne rdzenie.

Aby sprawdzić, czy tryb dynamiczny bez tykania działa, można przeprowadzić proste testy stress lub skrypty, które zajmują procesor na sekundę i obserwują liczniki tyknięć timera Jak liczba przerwań na sekundę spada z tysięcy do zaledwie jednego w przypadku rdzeni odizolowanych, co jest oznaką zaniku okresowego timera.

Zarządzanie pamięcią i magazynem ze szczególnym uwzględnieniem opóźnień

Sposób, w jaki jądro zarządza pamięcią i operacjami wejścia/wyjścia na dysku, ma ogromny wpływ na opóźnienie odczuwane przez aplikacje , zwłaszcza w przypadku baz danych i usług, które wykonują wiele małych, częstych operacji.

Jeśli chodzi o pamięć, zmniejszenie vm.swappiness minimalizuje użycie pamięci wymiany (która jest prawie zawsze znacznie wolniejsza niż pamięć RAM), vm.vfs_cache_pressure kontroluje, jak szybko system musi zwolnić pamięć podręczną inodów i dentry, a vm.nr_hugepages pozwala zarezerwować statyczne HugePages dla dużych obciążeń, takich jak bazy danych lub maszyny wirtualne Java, zmniejszając obciążenie TLB.

W magazynie wybierz odpowiedni harmonogram wejścia/wyjścia zgodnie z typem dysku To kluczowe. Na nowoczesnych dyskach SSD zazwyczaj dobrym pomysłem jest użycie... none o mq-deadlineNatomiast w przypadku dysków mechanicznych i systemów wielozadaniowych lepsze mogą być algorytmy zaprojektowane z myślą o uczciwości, takie jak BFQDodatkowo montowanie systemów plików z opcjami takimi jak: noatime y nodiratime Unikaj niepotrzebnych zapisów przy każdym dostępie do pliku lub katalogu.

Jeśli chodzi o systemy plików, ext4 i XFS pozostają najpopularniejszymi opcjami: dobrze dostrojony ext4 to bezpieczny wybór, podczas gdy XFS lepiej skaluje się przy wysokiej współbieżności. W bardzo wymagających scenariuszach połączenie RAID (RAID 10 dla baz danych, RAID 0 dla tymczasowego przechowywania danych) z dobrym harmonogramem może zmniejszyć średnie opóźnienie, a przede wszystkim zmienność.

Optymalizacja sieci i jądra w celu zapewnienia niskich opóźnień w systemach Linux i EC2

W aplikacjach sieciowych o wysokiej wydajności opóźnienie zależy nie tylko od sprzętu czy odległości, ale także od konfiguracji stosu TCP/IP i samego jądra . Jest to szczególnie zauważalne w instancjach chmurowych, takich jak Amazon EC2 z interfejsami ENA.

Na początek kluczowe jest ograniczenie czynników zewnętrznych, takich jak liczba przeskoków sieciowych wykonywanych przez pakiety: stosowanie bardziej bezpośrednich topologii, modułów równoważenia obciążenia blisko zaplecza lub zoptymalizowanych stref dostępności skraca czas podróży liczony w milisekundach jeszcze przed dotarciem do systemu operacyjnego.

W jądrze konfiguracja sieci obejmuje zwiększanie deskryptorów plików (ulimit -n) , określanie rozmiaru buforów odbioru i wysyłania za pomocą net.core.rmem_max, net.core.wmem_max, net.ipv4.tcp_rmem, net.ipv4.tcp_wmem oraz włączanie opcji takich jak TCP Fast Open w celu zmniejszenia opóźnień w nawiązywaniu połączenia.

W interfejsach AWS ENA moderowanie przerwań odgrywa istotną rolę: domyślnie sterownik grupuje pakiety w celu ograniczenia liczby przerwań IRQ. rx-usecs i tx-usecsJeśli chcesz zredukować opóźnienie do absolutnego minimum, możesz wyłączyć tę moderację, ethtool -CUstawienie wartości rx-usecs i tx-usecs na zero zmniejsza opóźnienie, ale zwiększa obciążenie przerwań, dlatego należy znaleźć równowagę w zależności od obciążenia.

Można również użyć polecenia irqbalance do rozłożenia przerwań IRQ na wiele rdzeni lub je wyłączyć i ręcznie ustawić powinowactwa przerwań i kolejek sieciowych (RSS/RPS) dla określonych rdzeni, co jest bardzo powszechne w środowiskach o bardzo niskim opóźnieniu lub podczas korzystania z polecenia DPDK i pomijania dużej części stosu jądra.

Kolejnym parametrem, który należy wziąć pod uwagę, są stany C procesora : stany głębokiego uśpienia zmniejszają zużycie energii, ale wprowadzają opóźnienia, gdy rdzeń się „budzi”. Aby zmniejszyć opóźnienie reakcji, można ograniczyć te stany głębokie, akceptując wyższe zużycie energii i mniejszy margines na Turbo Boost na innych rdzeniach. Każde środowisko ma swój optymalny punkt między pobieranymi watami a zyskanymi mikrosekundami.

Optymalizacja procesora, usług i aplikacji w celu zmniejszenia opóźnień

Oprócz samego jądra, na ogólne opóźnienie duży wpływ ma również otoczenie: począwszy od usług aktywnych w systemie , aż po konkretną konfigurację każdej aplikacji.

Serwer o wysokiej wydajności powinien obsługiwać wyłącznie demony, które są naprawdę niezbędneUsługi takie jak Bluetooth, drukowanie czy automatyczne wykrywanie sieci (CUPS, Avahi itp.) na komputerach back-endowych zużywają jedynie zasoby procesora, pamięci i wejścia/wyjścia, nie przynosząc żadnych korzyści. Sprawdź z systemctl list-unit-files --state=enabled A wyłączanie niepotrzebnych rzeczy jest jedną z najtańszych i najskuteczniejszych rzeczy, jakie możesz zrobić.

Aby nadać priorytet procesom krytycznym, można użyć narzędzi takich jak renice, chrt i taskset . Dostosowanie priorytetu procesu (renice), przypisanie go do harmonogramu w czasie rzeczywistym (chrt -f 99) lub przypisanie go do określonych rdzeni (taskset) zmniejsza zakłócenia w działaniu innych zadań, poprawiając przewidywalność obciążenia procesora w przypadku baz danych, VoIP, streamingu lub usług handlowych.

Na poziomie aplikacji dostrajanie jest równie ważne, jak dostrajanie jądra. Serwery WWW, takie jak Nginx czy Apache, wymagają precyzyjnego dostrojenia procesów roboczych, funkcji keep-alive, pamięci podręcznej i kompresji. Bazy danych, takie jak PostgreSQL czy MySQL, wymagają weryfikacji rozmiarów buforów, punktów kontrolnych, pul połączeń i parametrów zapisu synchronicznego, aby osiągnąć niskie i stabilne opóźnienie.

Maszyna wirtualna Java (JVM) również odgrywa rolę: wybór programów do zbierania śmieci, takich jak G1GC lub ZGC , i dostosowanie rozmiarów sterty może skrócić przerwy, które z zewnątrz postrzegane są jako opóźnienia. W środowiskach zwirtualizowanych i konteneryzowanych prawidłowe przydzielenie zasobów vCPU, vRAM i limitów wejścia/wyjścia zapobiega cichej rywalizacji, która później objawia się niekończącymi się kolejkami dyskowymi lub przeciążeniem procesora.

Monitorowanie i testowanie jądra i systemu

Całe to dostrajanie jest bezużyteczne, jeśli nie mierzy się wpływu. Kluczem jest połączenie ciągłego monitorowania z powtarzalnymi testami wydajności , aby każda zmiana w jądrze lub sysctl mogła być oceniona na podstawie obiektywnych danych.

Aby zobaczyć ogólny stan systemu, możesz skorzystać z klasycznych narzędzi, takich jak: htop, vmstat, iotop o sarGdy potrzeba więcej szczegółów, do gry wchodzą konkretne narzędzia jądra, takie jak: perf i ftracektóre umożliwiają śledzenie zachowania harmonogramu, przerwań i wywołań wewnętrznych z dużą dokładnością.

W środowiskach produkcyjnych zaleca się wdrożenie systemów metryk, takich jak Prometheus, collectd lub sysstat, z eksporterami , które udostępniają liczniki procesora, dane wejścia/wyjścia, opóźnienia dysków i sieci, kolejki procesów itd. Wizualizacja tych danych w Grafanie lub podobnych narzędziach pomaga wykryć regresje lub anomalie, zanim użytkownik końcowy zauważy problemy.

W testach porównawczych celem jest odtworzenie rzeczywistego obciążenia i porównanie stanu „przed” i „po” każdej zmianie. Narzędzia takie jak sysbench (dla procesora i baz danych), fio (dla dysku) czy iperf3 (dla sieci) pozwalają na tworzenie powtarzalnych scenariuszy. Konieczne jest udokumentowanie wersji jądra, konfiguracji sysctl, sprzętu i parametrów testów , aby porównania były miarodajne w dłuższej perspektywie czasowej.

W praktyce optymalizacja jądra Linuksa to proces iteracyjny: testujesz serię poprawek, mierzysz rezultaty, zachowujesz to, co przynosi realne korzyści, a resztę odrzucasz. Dzięki dobremu zarządzaniu zmianami możesz przełożyć ulepszenia w nowych wersjach jądra (takich jak najnowsze serie z usprawnieniami harmonogramu, grafiki, zasilania lub sieci) na wymierne korzyści dla swoich aplikacji, niezależnie od tego, czy działają na serwerach lokalnych, w chmurze, czy na wymagających stacjach roboczych.

Połączenie wiedzy na temat architektury jądra, precyzyjnego dostrajania za pomocą sysctl, kontrolowanej kompilacji, selektywnego stosowania poprawek w czasie rzeczywistym i dobrego systemu metryk pozwala administratorowi lub zespołowi operacyjnemu osiągnąć szybsze reakcje, mniejsze opóźnienia i lepszą ogólną stabilność bez konieczności zmiany sprzętu przy najmniejszym zagrożeniu lub narażania bezpieczeństwa systemu.