Расширенное руководство по оптимизации ядра Linux и снижению задержек.

Информатек Диджитал » Ресурсы » Расширенное руководство по оптимизации ядра Linux и снижению задержек.

Когда мы говорим о производительности в Linux, почти всё сводится к одному и тому же: Ядро является центральным компонентом, контролирующим задержку, стабильность и использование ресурсов.Правильная тонкая настройка может стать решающим фактором, превращающим систему из "просто функционирующей" в систему, плавно работающую на серверах, настольных компьютерах, в облачных средах или даже в... очень старое оборудование.

В этом руководстве рассматривается вопрос о том, как Оптимизируйте ядро ​​Linux, чтобы минимизировать задержки без ущерба для безопасности или удобства сопровождения.Мы рассмотрим все аспекты, начиная от базовых архитектурных концепций и заканчивая настройкой с помощью sysctl, компиляцией пользовательских ядер, использованием патчей реального времени, настройкой для сетей с низкой задержкой (например, в EC2), а также методами мониторинга и бенчмаркинга для оценки того, действительно ли внесенные изменения что-либо улучшают.

Архитектура ядра Linux и ключевые моменты, влияющие на задержку.

Ядро Linux выступает в качестве промежуточного слоя между приложениями и оборудованием, осуществляя управление. память, процессы, прерывания, драйверы и файловые системы. На монолитная, но модульная конструкцияБлагодаря возможности загрузки модулей, это позволяет гибко активировать или деактивировать функциональные возможности без перекомпиляции всей системы.

Чтобы понять, откуда берутся задержки, важно знать несколько подсистем: Планировщик процессов (диспетчер)Управление памятью и обработка прерываний имеют решающее значение. Неправильно настроенный планировщик, агрессивная политика использования памяти или чрезмерное количество неконтролируемых прерываний могут привести к замедлению времени отклика даже на мощном оборудовании.

Конфигурация ядра включает в себя такие параметры, как... CONFIG_PREEMPT, CONFIG_PREEMPT_VOLUNTARY или CONFIG_SMPЭти факторы определяют, в какой степени ядро ​​может быть прервано для выполнения более срочных задач и как оно использует многоядерные системы. Выбор правильной модели вытеснения существенно меняет воспринимаемую задержку на настольных компьютерах, серверах с низкой задержкой или промышленных системах.

В современных серверах важна также и аппаратная топология: распределение ядер, сокетов, NUMA и иерархия кэшаТочная настройка привязки ЦП и политик NUMA (например, привязка процессов и памяти к одному и тому же узлу) помогает сократить время доступа и повысить коэффициент попадания в кэш, что является ключевым моментом, когда мы хотим минимизировать дрожание и непредсказуемые задержки.

Кроме того, взаимодействие между планировщиком ЦП и подсистемами Ввод-вывод (дисковый и сетевой) определяет пропускную способность и сквозную задержку. что видят приложения. Прежде чем что-либо менять, рекомендуется задокументировать текущее состояние (конфигурация ядра, sysctl, GRUB, загруженные модули), чтобы можно было быстро вернуться к исходным настройкам, если изменение ухудшит производительность.

Внесены корректировки через sysctl для улучшения задержки и производительности.

интерфейс sysctl позволяет изменять параметры ядра на лету. Через /proc/sys, без необходимости перекомпиляции. Это идеальная отправная точка для начала настройки, пока еще не увязнув в компиляциях.

В сетевой сфере параметры, такие как net.core.rmem_max, net.core.wmem_max или net.ipv4.tcp_congestion_control Они напрямую влияют на пропускную способность, задержку и поведение TCP-соединения. Правильная настройка буферов и алгоритма управления перегрузкой имеет решающее значение для веб-серверов с высокой загрузкой или облачных экземпляров с низкой задержкой.

Для памяти используются такие значения, как vm.swappiness, vm.dirty_ratio, vm.vfs_cache_pressure или vm.overcommit_memory Они позволяют контролировать объем используемого файла подкачки, способ управления кэшем страниц и поведение виртуальной памяти. Снижение параметра swappiness (например, до 10) обычно помогает предотвратить слишком частое использование файла подкачки системой, уменьшая скачки задержки дискового ввода-вывода.

Если вы работаете с большими базами данных или приложениями, использующими огромные объемы общей памяти, крайне важно внести необходимые корректировки. kernel.shmmax, kernel.shmall и максимальное количество файлов, открытых с помощью fs.file-max и fs.nr_openЭти неправильно подобранные ограничения могут вызывать узкие места и ошибки, которые трудно диагностировать под нагрузкой.

Наилучший подход — внедрять небольшие изменения, измерять их влияние с помощью инструментов мониторинга, и только потом уже что-либо менять. Сохраните их в файле /etc/sysctl.conf или в файле /etc/sysctl.d/.В контейнеризированных средах следует помнить, что многие параметры ядра являются глобальными для хоста: неосторожное их изменение может повлиять на все службы, поэтому сочетание sysctl с cgroups и пространствами имен практически обязательно.

Компиляция и сопровождение пользовательских ядер

Компиляция собственного ядра остается очень мощным инструментом, когда это необходимо. уменьшить задержку, устранить ненужные накладные расходы или обеспечить поддержку редкого оборудования.Хотя дистрибутивы поставляются с достаточно универсальными ядрами, в некоторых сценариях конкретное ядро ​​имеет решающее значение.

Классический рабочий процесс включает в себя загрузку кода из... kernel.org или исправленные версии, такие как xanmod или лакрицаи использовать такие инструменты, как make menuconfig для выбора параметров. Сохранение файла .config в собственном репозитории Git вместе со скриптами сборки позволяет воспроизводить сборки и поддерживать согласованность между версиями.

Если вы используете Debian или его производные, компиляция очень удобна.в стиле Debian«Для получения .deb-пакетов ядра, заголовочных файлов и связанных библиотек. Это позволяет развертывать пользовательское ядро ​​на нескольких машинах, просто устанавливая пакеты и управляя версиями с помощью собственного репозитория».

В реальных условиях ручная компиляция часто имеет смысл при работе с... старое или очень ограниченное по своим возможностям оборудованиеТипичным примером является старый нетбук При использовании процессора Atom и 1 ГБ оперативной памяти современное универсальное ядро, напичканное ненужными драйверами и серверными опциями, приводит к задержкам и дополнительному потреблению ресурсов процессора, чего вы не можете себе позволить.

Распространенная стратегия заключается в том, чтобы начать с текущей конфигурации ядра (например, путем копирования). /конфигурация загрузки), а затем обрезать или корректировать. Вы можете изменить модель вытеснения на «Ядро с возможностью вытеснения (рабочий стол с низкой задержкой)«для определения приоритета отклика интерактивного рабочего стола или добавления определенных планировщиков ввода-вывода, таких как...» BFQ в виде модуля для улучшения работы с механическими дисками.

Чтобы не тратить половину своей жизни на компиляцию, имеет смысл выполнять сборку на более мощном компьютере и, при необходимости, использовать кросскомпилируете (Например, компиляция 32-битного ядра для Atom на ПК с архитектурой x86_64 путем простой настройки ARCH и соответствующих наборов инструментов). Затем вам просто нужно установить файлы .deb на целевую машину и добавить соответствующую запись в GRUB.

Самая сложная часть — это техническое обслуживание: оно желательно. Тестирование нового ядра на узлах Канарских острововНеобходимо предусмотреть четкие пути отката в менеджере загрузки и записывать журналы и метрики во время перехода для выявления регрессий в производительности или совместимости драйверов.

Модели вытеснения и патчи PREEMPT_RT для систем с низкой задержкой

Модель вытеснения ядра определяет, насколько сильно может быть прервана выполняющаяся задача, чтобы позволить задаче с более высоким приоритетом взять на себя её выполнение, что напрямую влияет на задержка ответаЭто включает в себя как стандартные параметры конфигурации, так и обновления в режиме реального времени.

Универсальные ядра предлагают несколько вариантов: отсутствие вытеснения (больше ориентировано на пропускную способность сервера), добровольное вытеснение и вытесняемое ядро ​​для настольных компьютеровЭтот параметр отдает приоритет быстрому времени отклика интерактивных приложений. Изменение этого параметра может значительно улучшить производительность настольных систем, звука или даже сильно нагруженных старых компьютеров.

Когда вам потребуется сделать еще один шаг, появится следующее: Патчи PREEMPT и PREEMPT_RTЭти модификации вносят существенные изменения в ядро, чтобы минимизировать невытесняемые участки. PREEMPT_RT предназначен для систем, где наихудшая задержка (а не только средняя) должна быть очень низкой и предсказуемой: промышленная автоматизация, профессиональное аудио, телекоммуникации или высокочастотная торговля.

Решение о введении PREEMPT_RT должно основываться не на моде, а на... конкретные измерения задержки и дрожанияВо-первых, перед тем как усложнять обслуживание деревом RT, рекомендуется в полной мере использовать настройки планировщика, привязку ЦП, sysctl и, если применимо, такие конфигурации, как динамический режим без тиков.

Необходимо также учитывать совместимость: некоторые Драйверы и подсистемы не полностью адаптированы к RT. и могут потребоваться определенные версии или дополнительные исправления. Разумный подход заключается в подготовке плана технического обслуживания, в котором четко указано, когда и как интегрировать новые версии основного ядра с веткой RT, которая периодически синхронизируется, но все же несколько отстает.

Оптимизация планирования ЦП, работа без тактовых импульсов и изоляция ядер.

Помимо выбора модели вытеснения, вы можете точно настроить задержку, поэкспериментировав с планированием ЦП и поведением таймера ядра, особенно в ориентированных на корпоративный сектор дистрибутивах, таких как RHEL.

Например, Red Hat Enterprise Linux 8 поставляется с По умолчанию ядро ​​не отключает тактовую частоту процессора для простаивающих ЦП.Это снижает энергопотребление за счет предотвращения периодических прерываний в режиме ожидания ядра. Для рабочих нагрузок, чувствительных к задержкам, можно включить специальный режим. динамический безтактовый в наборе ядерТаким образом, только один центральный процессор («базовое ядро») обрабатывает большую часть задач, зависящих от времени, а остальные максимально защищены от периодических прерываний.

Данная настройка выполняется путем добавления соответствующих параметров. командная строка ядра в GRUBперегенерация конфигурации, а затем корректировка привязки критически важных потоков ядра, таких как потоки RCU или потоки... bdi-flush, так что они находятся в ядре, предназначенном для технического обслуживания.

Этот подход можно дополнить параметром изольцпЭто позволяет изолировать ядра от обычных задач пользовательского пространства. В сценариях с низкой задержкой очень часто резервируют несколько ядер исключительно для критически важных приложений, в то время как остальная часть системы (демоны, прерывания и т. д.) обрабатывается другими ядрами.

Для проверки работоспособности динамического безтактового режима можно провести простые тесты с помощью следующих команд: stress или скрипты, которые на секунду занимают процессор и затем наблюдают за процессом. счетчики тиков таймера Как количество прерываний в секунду падает с тысяч до одного в изолированных ядрах, что свидетельствует об исчезновении периодического таймера.

Управление памятью и хранилищем с акцентом на задержку.

Способ управления памятью и дисковым вводом-выводом ядром оказывает огромное влияние на задержка, воспринимаемая приложениямиособенно в базах данных и сервисах, выполняющих множество мелких и часто повторяющихся операций.

Что касается памяти, уменьшите vm.перестановка сведите к минимуму использование файла подкачки (который почти всегда намного медленнее, чем оперативная память). vm.vfs_cache_pressure Он контролирует скорость очистки кэша inode и dentry, а также vm.nr_hugepages Это позволяет резервировать статические HugePages для ресурсоемких задач, таких как базы данных или JVM, снижая накладные расходы на TLB.

При хранении выберите соответствующий планировщик ввода-вывода в зависимости от типа диска Это крайне важно. На современных SSD-накопителях обычно рекомендуется использовать... none o mq-deadlineВ то время как в механических дисках и многозадачных системах алгоритмы, разработанные с учетом принципов справедливости, могут быть более эффективными, например, BFQКроме того, монтирование файловых систем с такими опциями, как... noatime y nodiratime Избегайте ненужных операций записи при каждом обращении к файлу или каталогу.

Что касается файловых систем, ext4 и XFS Это по-прежнему наиболее распространенные варианты: хорошо настроенная ext4 — это надежный выбор, в то время как XFS, как правило, лучше масштабируется при высокой параллельности. Для очень требовательных сценариев сочетание RAID (RAID 10 для баз данных, RAID 0 для временного хранилища) с хорошим планировщиком может снизить среднюю задержку и, прежде всего, вариативность.

Оптимизация сети и ядра для снижения задержки в Linux и EC2

В высокопроизводительных сетевых приложениях задержка зависит не только от оборудования или расстояния, но и от... как конфигурируются стек TCP/IP и само ядро.Это особенно заметно в облачных средах, таких как Amazon EC2 с интерфейсами ENA.

Для начала крайне важно уменьшить влияние внешних факторов, таких как количество сетевые переходы Благодаря таким функциям, как использование более прямых топологий, балансировщиков нагрузки, расположенных близко к бэкэнду, или оптимизированных зон доступности, время передачи данных сокращается до миллисекунд еще до того, как оно коснется операционной системы.

В рамках ядра конфигурация сети включает в себя увеличение дескрипторы файлов (ulimit -n)размер буферов приема и отправки с net.core.rmem_max, net.core.wmem_max, net.ipv4.tcp_rmem, net.ipv4.tcp_wmemи активировать такие опции, как TCP Fast Open для уменьшения задержки при установлении соединения.

В интерфейсах AWS ENA важную роль играет модерация прерываний: по умолчанию драйвер группирует пакеты для уменьшения количества прерываний. rx-usecs и tx-usecsЕсли вы хотите свести задержку к абсолютному минимуму, вы можете отключить эту модерацию следующим образом: ethtool -CОбнуление значений rx-usecs и tx-usecs снижает задержку, но увеличивает накладные расходы на прерывания, поэтому необходимо найти баланс в зависимости от нагрузки.

Вы также можете воспользоваться irqbalance — это инструмент для распределения прерываний между несколькими ядрами.или же отключить его и вручную установить привязку прерываний и сетевых очередей (RSS/RPS) к конкретным ядрам, что очень типично для сред со сверхнизкой задержкой или при использовании DPDK и пропуске значительной части стека ядра.

Ещё один параметр, который следует учитывать, это Состояния ЦП CСостояния глубокого сна снижают энергопотребление, но вызывают задержки при «пробуждении» ядра. Для уменьшения задержки отклика можно ограничить использование этих глубоких состояний, смирившись с более высоким энергопотреблением и меньшим запасом для Turbo Boost на других ядрах. В каждой среде существует свой оптимальный баланс между потребляемой мощностью и выигрышем в микросекундах.

Оптимизация процессора, служб и приложений для снижения задержки.

Помимо самого ядра, окружающая среда также играет важную роль в формировании общей задержки: от... активные сервисы в системе вплоть до специфической конфигурации каждого приложения.

Высокопроизводительный сервер должен запускать только следующие программы: демоны, которые действительно необходимыТакие сервисы, как Bluetooth, печать или автоматическое обнаружение сети (CUPS, Avahi и т. д.), на серверных машинах только потребляют ресурсы ЦП, памяти и операций ввода-вывода, не принося никакой пользы. (Проверка с помощью...) systemctl list-unit-files --state=enabled Отключение ненужных функций — один из самых дешевых и эффективных способов решения проблемы.

Для определения приоритетности критически важных процессов можно использовать такие инструменты, как... renice, chrt и tasksetИзменение приоритета процесса (renice), назначение ему планирования в реальном времени (chrt -f 99) или распределение по конкретным ядрам (taskset) уменьшает помехи другим задачам, повышая предсказуемость работы ЦП для баз данных, VoIP, потоковой передачи или торговых сервисов.

На уровне приложений настройка так же важна, как и настройка ядра. Веб-серверы, такие как Нгинкс или Апач Им необходима тонкая настройка рабочих процессов, механизма поддержания соединения, кэширования и сжатия. Базы данных, такие как... PostgreSQL или MySQL Им необходимо пересмотреть размеры буферов, контрольные точки, пул соединений и параметры синхронной записи, чтобы добиться низкой и стабильной задержки.

JVM также играют свою роль: они выбирают сборщики мусора, например... G1GC или ZGC Изменение размеров кучи может уменьшить паузы, которые со стороны выглядят как задержки. В виртуализированных и контейнеризированных средах правильное распределение ресурсов имеет решающее значение. квоты на виртуальный ЦП, виртуальную ОЗУ и ввод-вывод Это позволяет избежать скрытой конкуренции, которая впоследствии проявляется в виде бесконечных очередей на диске или перегрузки процессора.

Мониторинг и тестирование ядра и системы.

Вся эта настройка бесполезна, если вы не измеряете её влияние. Ключ к успеху — в сочетании. непрерывный мониторинг с использованием воспроизводимых тестов производительностичтобы каждое изменение в ядре или sysctl можно было оценить с помощью объективных данных.

Для оценки общего состояния системы можно использовать классические инструменты, такие как htop, vmstat, iotop o sarКогда требуется более подробная информация, в дело вступают специальные инструменты ядра, такие как perf и ftraceчто позволяет с достаточной точностью отслеживать поведение планировщика, прерываний и внутренних вызовов.

В производственных средах рекомендуется использовать системы сбора метрик, такие как: Prometheus, collectd или sysstat с экспортерами Эти данные отображают счетчики ЦП, операции ввода-вывода, задержки диска и сети, очереди процессов и т. д. Визуализация этих данных в Grafana или аналогичных инструментах помогает выявлять регрессии или аномалии до того, как конечный пользователь заметит проблемы.

Для сравнительного анализа целесообразно воспроизвести реальную рабочую нагрузку и сравнить результаты «до» и «после» каждого изменения. Для этого используются такие инструменты, как... системный тест (для процессоров и баз данных), нить (для диска) или iperf3 (Для сетей) они позволяют создавать повторяемые сценарии. Документация имеет важное значение. версии ядра, конфигурации sysctl, аппаратные и тестовые параметры. чтобы сравнения имели смысл с течением времени.

На практике оптимизация ядра Linux — это итеративный процесс: вы тестируете ряд изменений, измеряете результаты, сохраняете то, что действительно приносит пользу, и отбрасываете остальное. При грамотном управлении изменениями вы можете преобразовать улучшения в новых версиях ядра (например, в последних сериях с улучшениями планировщика, графики, энергопотребления или сети) в измеримые преимущества для ваших приложений, будь то локальные серверы, облачные среды или ресурсоемкие рабочие станции.

Сочетание знаний об архитектуре ядра, тонкой настройки с помощью sysctl, контролируемой компиляции, выборочного использования патчей в реальном времени и хорошей системы метрик позволяет администратору или операционной группе достичь следующих результатов: Более быстрая реакция, меньшая задержка и улучшенная общая стабильность. без необходимости менять оборудование при малейшем поводе или ставить под угрозу безопасность системы.