Розширений посібник з оптимізації ядра Linux та зменшення затримки

Інформатек Діджитал » Ресурси » Розширений посібник з оптимізації ядра Linux та зменшення затримки

Коли ми говоримо про продуктивність у Linux, майже все зрештою вказує на одне й те саме: ядро як центральний компонент, що контролює затримку, стабільність та використання ресурсівПравильне налаштування може мати вирішальне значення між системою, яка просто «справляється», та тією, що плавно реагує на серверах, настільних комп’ютерах, хмарних середовищах або навіть у дуже старе обладнання.

Цей посібник зосереджений на тому, як Оптимізуйте ядро ​​Linux, щоб мінімізувати затримку без шкоди для безпеки чи зручності обслуговуванняМи розглянемо все: від базових архітектурних концепцій до налаштування за допомогою sysctl, компіляції користувацьких ядер, використання патчів у реальному часі, налаштування для мереж з низькою затримкою (як у EC2), а також методів моніторингу та бенчмаркінгу, щоб визначити, чи дійсно ваші налаштування щось покращують.

Архітектура ядра Linux та ключові моменти щодо затримки

Ядро Linux діє як посередник між програмами та обладнанням, керуючи пам'ять, процеси, переривання, драйвери та файлові системи. Су монолітна, але модульна конструкціяЗавдяки завантажуваним модулям, це дозволяє гнучко активувати або деактивувати функціональність без перекомпіляції всієї системи.

Щоб зрозуміти, звідки беруться затримки, важливо знати кілька підсистем: планувальник процесів (планувальник)Керування пам'яттю та обробка переривань мають вирішальне значення. Погано налаштований планувальник, агресивна політика пам'яті або надмірна кількість неконтрольованих переривань можуть призвести до повільного часу відгуку, навіть за наявності потужного обладнання.

Конфігурація ядра включає такі опції, як CONFIG_PREEMPT, CONFIG_PREEMPT_VOLUNTARY або CONFIG_SMPЦі фактори визначають ступінь, до якої ядро ​​може бути перервано для виконання більш термінових завдань, і як воно використовує багатоядерні системи. Вибір правильної моделі витіснення суттєво змінює сприйняту затримку на настільних комп'ютерах, серверах з низькою затримкою або промислових системах.

У сучасних серверах також має значення апаратна топологія: розподіл ядер, сокетів, NUMA та ієрархії кешуТочне налаштування спорідненості процесора та політик NUMA (наприклад, фіксація процесів та пам'яті на одному вузлі) допомагає скоротити час доступу та покращити частоту звернень до кешу, що є ключовим, коли ми хочемо мінімізувати тремтіння та непередбачувані затримки.

Крім того, взаємодія між планувальником процесора та підсистемами Введення-виведення (диск та мережа) визначає пропускну здатність та наскрізну затримку які бачать програми. Перш ніж щось робити, бажано задокументувати поточний стан (конфігурація ядра, sysctl, GRUB, завантажені модулі), щоб ви могли швидко повернутися до попереднього стану, якщо зміна погіршить продуктивність.

Коригування через sysctl для покращення затримки та продуктивності

інтерфейс sysctl дозволяє змінювати параметри ядра на льоту через /proc/sys, без необхідності перекомпіляції. Це ідеальна відправна точка для початку налаштування, поки що не загрузнувши в компіляціях.

У мережевому полі такі параметри, як net.core.rmem_max, net.core.wmem_max або net.ipv4.tcp_congestion_control Вони безпосередньо впливають на пропускну здатність, затримку та поведінку TCP-з'єднання. Правильне налаштування буферів та алгоритму перевантаження є життєво важливим для веб-серверів з високим трафіком або хмарних екземплярів з низькою затримкою.

Для пам'яті такі значення, як vm.swappiness, vm.dirty_ratio, vm.vfs_cache_pressure або vm.overcommit_memory Вони дозволяють контролювати обсяг використання swap, спосіб керування кешем сторінок та поведінку віртуальної пам'яті. Зменшення обсягу swap (наприклад, до 10) зазвичай допомагає запобігти занадто частому використанню swap системою, зменшуючи піки затримки вводу-виводу диска.

Якщо ви працюєте з великими базами даних або програмами, які використовують величезні обсяги спільної пам'яті, критично важливо налаштувати kernel.shmall, kernel.shmall та максимальну кількість файлів, відкритих за допомогою fs.file-max та fs.nr_openЦі неправильно підібрані обмеження можуть спричинити вузькі місця та помилки, які важко діагностувати під навантаженням.

Найкращий підхід — впроваджувати невеликі зміни, вимірювати їхній вплив за допомогою інструментів моніторингу, і лише потім зберегти їх у /etc/sysctl.conf або у /etc/sysctl.d/У контейнерних середовищах пам'ятайте, що багато параметрів ядра є глобальними для хоста: їх недбала зміна може вплинути на всі служби, тому поєднання sysctl з cgroups та просторами імен є майже обов'язковим.

Компіляція та підтримка користувацьких ядер

Компіляція власного ядра залишається дуже потужним інструментом, коли вам потрібно зменшити затримку, усунути непотрібні накладні витрати або підтримувати рідкісне обладнанняХоча дистрибутиви постачаються з досить універсальними ядрами, у певних сценаріях конкретне ядро ​​має вирішальне значення.

Класичний робочий процес включає завантаження коду з kernel.org або патчені дерева, такі як xanmod чи лікворіксі використовувати такі інструменти, як make menuconfig вибрати опції. Збереження файлу .config у вашому власному git-репозиторії разом зі скриптами збірки дозволяє відтворювати збірки та підтримувати узгодженість між версіями.

Якщо ви використовуєте Debian або його похідні версії, дуже зручно компілювати «У стилі Debian"Щоб отримати .deb-пакети ядра, заголовкових файлів та пов'язаних бібліотек. Це дозволяє розгортати це власне ядро ​​на кількох машинах, просто встановлюючи пакети та керуючи версіями за допомогою власного репозиторію."

У реальному світі компіляція вручну часто має сенс, коли ви працюєте з старе або дуже обмежене обладнанняТиповим прикладом є старий нетбук з процесором Atom та 1 ГБ оперативної пам'яті, де сучасне універсальне ядро, повне непотрібних драйверів та серверних опцій, створює затримки та додаткове споживання ресурсів процесора, які ви не можете собі дозволити.

Поширена стратегія полягає в тому, щоб почати з поточної конфігурації ядра (наприклад, скопіюючи конфігурація /завантаження), а звідти обрізати або налаштувати. Ви можете змінити модель випередження на «Витісняюче ядро ​​(робочий стіл з низькою затримкою)"щоб надати пріоритет інтерактивній відповіді робочого столу або додати спеціальні планувальники вводу-виводу, такі як bfq у вигляді модуля для покращення роботи з механічними дисками.

Щоб не витрачати півжиття на компіляцію, має сенс виконувати збірку на потужнішій машині та, за необхідності, використовувати крос-компіляція (Наприклад, компіляція 32-бітного ядра для Atom з ПК x86_64 простим налаштуванням ARCH та відповідних інструментів). Потім вам просто потрібно встановити файли .deb на цільову машину та додати відповідний запис до GRUB.

Найскладніше — це обслуговування: бажано тестування нового ядра на вузлах Канарських островів, мати чіткі шляхи відкату в менеджері завантаження та записувати журнали та показники під час переходу, щоб виявляти регресії в продуктивності або сумісності драйверів.

Моделі випередження та патчі PREEMPT_RT для систем з низькою затримкою

Модель витіснення ядра визначає, наскільки виконання завдання може бути перервано, щоб дозволити завданню з вищим пріоритетом взяти на себе його виконання, що безпосередньо впливає на затримка відповідіЦе включає як стандартні параметри конфігурації, так і виправлення в режимі реального часу.

Універсальні ядра пропонують кілька опцій: без випередження (більше зосереджені на пропускній здатності сервера), добровільне випередження та витісняюче ядро ​​для робочого столуЦе надає пріоритет швидкому часу відгуку інтерактивних програм. Налаштування цього параметра може значно покращити продуктивність настільних систем, аудіо або навіть сильно завантажених старих комп’ютерів.

Коли вам потрібно зробити ще один крок, з'являється наступне: Патчі PREEMPT та PREEMPT_RTЦі модифікації змінюють значні частини ядра, щоб мінімізувати невитягувані розділи. PREEMPT_RT призначений для систем, де найгірша затримка (не лише середня) має бути дуже низькою та передбачуваною: промислова автоматизація, професійне аудіо, телекомунікації або високочастотна торгівля.

Рішення про впровадження PREEMPT_RT має ґрунтуватися не на моді, а на конкретні вимірювання затримки та джиттераПо-перше, бажано повною мірою використовувати налаштування планувальника, спорідненість процесора, sysctl та, якщо це можливо, такі конфігурації, як динамічне безтискне керування, перш ніж ускладнювати обслуговування за допомогою RT-дерева.

Також слід враховувати сумісність: деякі Драйвери та підсистеми не повністю адаптовані до RT і можуть вимагати певних версій або додаткових патчів. Розумним підходом є підготовка плану обслуговування, який чітко визначає, коли і як інтегрувати нові версії основного ядра з гілкою RT, яка періодично синхронізується, але все ще дещо відстає.

Налаштування планування процесора, безтискна робота та ізоляція ядер

Окрім вибору моделі витіснення, ви можете точно налаштувати затримку, експериментуючи з плануванням процесора та поведінкою таймера ядра, особливо в корпоративних дистрибутивах, таких як RHEL.

Наприклад, Red Hat Enterprise Linux 8 постачається з ядро не працює за замовчуванням для процесорів, що не працюютьЦе зменшує споживання енергії, уникаючи періодичних перерв, коли ядро ​​простоює. Для робочих навантажень, чутливих до затримки, можна ввімкнути режим. динамічний безтиковий у наборі ядерщоб лише один процесор («домашнє ядро») обробляв більшість завдань, що залежать від часу, а решта були максимально вільні від періодичних переривань.

Ця конфігурація виконується шляхом додавання відповідних параметрів до командний рядок ядра в GRUBрегенерація конфігурації, а потім налаштування спорідненості критичних потоків ядра, таких як потоки RCU або потоки bdi-flush, щоб вони знаходилися в ядрі, зарезервованому для обслуговування.

Цей підхід можна доповнити параметром isolcpusЦе дозволяє ізолювати ядра від звичайних завдань у просторі користувача. У сценаріях з низькою затримкою дуже поширеною є ситуація, коли кілька ядер резервують виключно для критично важливої ​​програми, тоді як решта системи (демони, переривання тощо) обробляється іншими ядрами.

Щоб перевірити, чи працює динамічний безтиковий режим, можна виконати прості тести за допомогою stress або скрипти, які на секунду завантажують процесор і спостерігають за лічильники таймерів Як кількість переривань за секунду падає з тисяч до одного в ізольованих ядрах, що свідчить про зникнення періодичного таймера.

Управління пам'яттю та сховищем з акцентом на затримку

Спосіб, яким ядро ​​керує пам'яттю та дисковим вводом/виводом, має величезний вплив на затримка, що сприймається програмамиособливо в базах даних та сервісах, які виконують багато дрібних та частих операцій.

З боку пам'яті зменште vm.swappiness мінімізувати використання swap (який майже завжди набагато повільніший за оперативну пам'ять), vm.vfs_cache_pressure Він контролює, як швидко система намагається очистити кеш inode та dentry, а також vm.nr_hugepages Це дозволяє резервувати статичні HugePages для великих навантажень, таких як бази даних або JVM, зменшуючи накладні витрати TLB.

У сховищі виберіть відповідний планувальник вводу/виводу відповідно до типу диска Це критично важливо. На сучасних SSD-накопичувачах зазвичай гарною ідеєю є використання... none o mq-deadlineТоді як у механічних дисках та багатозадачних системах алгоритми, розроблені для забезпечення справедливості, можуть бути кращими, наприклад, bfqКрім того, монтування файлових систем з такими опціями, як noatime y nodiratime Уникайте непотрібних записів щоразу, коли здійснюється доступ до файлу або каталогу.

Щодо файлових систем, ext4 та XFS Ці варіанти залишаються найпоширенішими: добре налаштований ext4 є безпечним варіантом, тоді як XFS, як правило, краще масштабується за високої паралельності. Для дуже вимогливих сценаріїв поєднання RAID (RAID 10 для баз даних, RAID 0 для тимчасового сховища) з хорошим планувальником може зменшити середню затримку та, перш за все, мінливість.

Оптимізація мережі та ядра для низької затримки в Linux та EC2

У високопродуктивних мережевих додатках затримка залежить не лише від апаратного забезпечення чи відстані, але й від як налаштовано стек TCP/IP та саме ядроЦе особливо помітно в хмарних екземплярах, таких як Amazon EC2 з інтерфейсами ENA.

Для початку, ключовим є зменшення зовнішніх факторів, таких як кількість мережеві переходи що виконують пакети: використання більш прямих топологій, балансувальників навантаження поблизу серверної частини або оптимізованих зон доступності зменшує час передачі даних на мілісекунди, перш ніж вони навіть торкнуться операційної системи.

У ядрі конфігурація мережі передбачає збільшення файлові дескриптори (ulimit -n), розмір буферів прийому та відправки за допомогою net.core.rmem_max, net.core.wmem_max, net.ipv4.tcp_rmem, net.ipv4.tcp_wmemта активувати такі опції, як TCP Fast Open щоб зменшити затримку встановлення з'єднання.

В інтерфейсах AWS ENA модерація переривань відіграє важливу роль: за замовчуванням драйвер групує пакети, щоб зменшити кількість IRQ. rx-usecs та tx-usecsЯкщо ви хочете зменшити затримку до абсолютного мінімуму, ви можете вимкнути цю модерацію, ethtool -CВстановлення rx-usecs та tx-usecs на нуль зменшує затримку, але збільшує накладні витрати на переривання, тому необхідно знайти баланс залежно від навантаження.

Його також можна використовувати irqbalance для розподілу IRQ між кількома ядрами, або вимкніть його та вручну встановіть спорідненість переривань та мережевої черги (RSS/RPS) для певних ядер, що дуже типово для середовищ з наднизькою затримкою або під час використання DPDK та пропуску значної частини стеку ядра.

Ще один параметр, який слід враховувати, це Стан C процесораСтани глибокого сну зменшують споживання енергії, але призводять до затримок, коли ядро ​​«прокидається». Щоб зменшити затримку відгуку, можна обмежити ці глибокі стани, погоджуючись на вище споживання енергії та менший запас для Turbo Boost на інших ядрах. Кожне середовище має своє золоте співвідношення між споживаними ватами та виграними мікросекундами.

Оптимізація процесора, сервісів та програм для зменшення затримки

Окрім самого ядра, навколишнє середовище багато в чому впливає на загальну затримку: від активні служби в системі аж до конкретної конфігурації кожної програми.

Високопродуктивний сервер повинен запускати лише демони, які справді необхідніТакі сервіси, як Bluetooth, друк або автоматичне виявлення мережі (CUPS, Avahi тощо) на серверних машинах споживають лише процесор, пам’ять та операції вводу/виводу, не надаючи жодної користі. Перегляньте з systemctl list-unit-files --state=enabled А відключення непотрібних речей – це одне з найдешевших та найефективніших рішень, які ви можете зробити.

Щоб визначити пріоритети критично важливих процесів, можна використовувати такі інструменти, як renice, chrt та tasksetНалаштування пріоритету процесу (renice), планування його роботи в режимі реального часу (chrt -f 99) або призначення його певним ядрам (taskset) зменшує перешкоди для інших завдань, покращуючи передбачуваність процесора для баз даних, VoIP, потокової передачі даних або торгових сервісів.

На рівні застосунків налаштування так само важливе, як і налаштування ядра. Веб-сервери, такі як Nginx або Apache Їм потрібне тонке налаштування воркерів, keepalive, кешів та стиснення. Бази даних, такі як PostgreSQL або MySQL Їм потрібно переглянути розміри буферів, контрольні точки, пул підключень та параметри синхронного запису, щоб досягти низьких та стабільних затримок.

JVM також відіграють певну роль: вибір збирачів сміття, таких як G1GC або ZGC Налаштування розмірів купи може зменшити паузи, які ззовні виглядають як затримка. У віртуалізованих та контейнеризованих середовищах правильний розподіл є критично важливим. Квоти віртуального процесора, віртуальної оперативної пам'яті та вводу-виводу Це дозволяє уникнути тихої конкуренції, яка пізніше проявляється у вигляді нескінченних черг на диску або перевантаженого процесора.

Моніторинг і бенчмаркінг ядра та системи

Усе це налаштування марне, якщо не виміряти вплив. Головне — у поєднанні. безперервний моніторинг з відтворюваними тестами продуктивностіщоб кожну зміну ядра або sysctl можна було оцінити за допомогою об'єктивних даних.

Щоб побачити загальний стан системи, можна використовувати класичні інструменти, такі як htop, vmstat, iotop o sarКоли вам потрібна додаткова інформація, в дію вступають специфічні інструменти ядра, такі як продуктивність та ftraceякі дозволяють відстежувати поведінку планувальника, переривань та внутрішніх викликів зі значною точністю.

У виробничому середовищі рекомендується розгортати системи метрик, такі як Prometheus, collectd або sysstat з експортерами що виявляють лічильники процесора, дані вводу/виводу, затримки диска та мережі, черги процесів тощо. Ці дані, візуалізовані в Grafana або подібних інструментах, допомагають виявляти регресії або аномалії до того, як кінцевий користувач помітить проблеми.

Для бенчмаркінгу ідея полягає в тому, щоб відтворити фактичне робоче навантаження та порівняти стан «до» та «після» кожної зміни. Такі інструменти, як системний бенч (для процесорів та баз даних), нитка (для диска) або iperf3 (Для мереж) вони дозволяють створювати повторювані сценарії. Документація є важливою. версії ядра, конфігурації sysctl, апаратне забезпечення та параметри тестування щоб порівняння мали сенс з часом.

На практиці, оптимізація ядра Linux — це ітеративний процес: ви тестуєте серію налаштувань, вимірюєте результати, залишаєте те, що приносить реальну користь, і відкидаєте решту. Завдяки гарному управлінню змінами ви можете перетворити покращення в нових версіях ядра (такі як нещодавні серії з покращеннями планувальника, графіки, живлення або мережі) на вимірні переваги для ваших програм, незалежно від того, чи це локальні сервери, хмара чи вимогливі робочі станції.

Поєднання знань архітектури ядра, тонкого налаштування за допомогою sysctl, контрольованої компіляції, вибіркового використання патчів реального часу та гарної системи метрик дозволяє адміністратору або операційній команді досягти Швидші відповіді, менша затримка та покращена загальна стабільність без необхідності змінювати обладнання за найменшої причини чи ставити під загрозу безпеку системи.

Пов'язана стаття:

Linux 6.14: що нового, покращення безпеки та підтримка апаратного забезпечення