- Ієрархія пам'яті та проектування структур даних значною мірою визначають використання кешу процесора.
- Групування гарячих даних, використання суміжних контейнерів та шаблонів SoA зменшує кількість промахів кешу та покращує затримку.
- У Windows оновлення системи та драйверів, а також обмеження фонових процесів звільняє процесор, оперативну пам'ять і кеш.
- Доповнення оптимізації програмного забезпечення налаштуванням живлення та, за необхідності, покращенням апаратного забезпечення максимізує загальну продуктивність.
Оптимізація кешу процесора — одна з тих тем, яка відрізняє код, який «працює», від коду, який «літає». Коли ми розуміємо, як організована пам'ять, який час доступу обробляє кожен рівень і як поводиться обладнання, ми можемо досягти значного покращення продуктивності, не змінюючи машини.
Тим часом значна кількість користувачів Windows страждає від більш буденної проблеми: їхні ПК працюють повільно. І часто корінь проблеми криється саме в цьому, у неефективному використанні пам'яті, кешу та самого процесора. Завдяки поєднанню гарного низькорівневого проектування (структури даних, шаблони доступу до пам'яті) та практичних налаштувань у Windows (очищення, оновлення, режими живлення тощо) можна досягти дуже помітних покращень, починаючи від невеликого збільшення на 5% до стрибків на 30-40% у певних сценаріях.
Ієрархія пам'яті та затримки: чому кеш регулює
Перш ніж ми почнемо налаштовувати код або Windows, важливо зрозуміти одну річ: не вся пам'ять однакова. Різниця між доступом до кешів L1, L2, L3, оперативної пам'яті або диска величезна, і багато оптимізацій кешу буквально базуються на тому, щоб максимально уникнути доступу до повільніших рівнів .
У сучасному процесорі типовий час доступу (порядку величини) приблизно такий: доступ до кешу L1 займає близько півнаносекунди, промах передбачення розгалуження займає кілька наносекунд, L2 — близько 7 нс, тоді як доступ до основної пам'яті може перевищувати 100 нс. Якщо вийти за межі комп'ютера (мережа, SSD, механічний жорсткий диск), цифри різко зростають до сотень тисяч або мільйонів наносекунд.
Ця разюча різниця робить настільки важливими правильну організацію даних, зменшення промахів кешу та розробку послідовних шаблонів доступу. Цикл, що знаходиться в кеші першого рівня, буде значно швидшим, ніж той, що постійно звертається до оперативної пам'яті або SSD, навіть якщо вони логічно виконують одну й ту саму функцію.
Крім того, кеш процесора організований на кількох рівнях: L1, який дуже малий і надзвичайно швидкий; L2, який більший і дещо повільніший; і L3, який ще більший і часто використовується спільно між ядрами. Ідея полягає в тому, щоб тримати найчастіше використовувані дані ("гарячі" дані) під рукою, а решту перенести на повільніші рівні. Як розробники, ми можемо допомогти зробити це природним шляхом за допомогою гарного проектування структури даних і передбачуваного доступу.
Що таке кеш і як він впливає на продуктивність?
Кеш, у будь-якому контексті (процесор, диск, веб тощо), – це швидке сховище нещодавно використаних даних . Замість того, щоб завжди звертатися до найповільнішого джерела, ми зберігаємо копію того, що найімовірніше буде використано повторно. Це скорочує час відгуку та зменшує навантаження на основні ресурси.
Загалом, кешування використовується для пришвидшення доступу та покращення взаємодії з користувачем. На практиці це також дозволяє системі виконувати більше роботи з тим самим обладнанням: менше очікування, менше блоків і менше черг. Саме тому воно використовується в процесорах, дисках, браузерах, розподілених системах і практично в будь-якому програмному забезпеченні, яке інтенсивно обробляє дані.
Типовий ПК має кілька типів кешу: кеш диска (оперативна пам'ять, яка зберігає дані з жорсткого диска), веб-кеш (статичні ресурси браузера) та кеш процесора (L1, L2, L3). Усі вони працюють за одним базовим принципом: зберігання того, що, ймовірно, знадобиться пізніше, уникаючи повторення повільних операцій.
Типи кешу: дисковий, веб-кеш та кеш процесора
У реальній системі сходяться кілька механізмів кешування, кожен на своєму рівні. Їх розуміння допомагає як покращити програмування, так і діагностувати, чому ПК працює гірше, ніж очікувалося.
дисковий кеш
Кеш диска — це область пам’яті (зазвичай оперативної пам’яті), де операційна система зберігає дані, нещодавно зчитані з диска або записані на нього . Коли програма знову запитує ці дані, система спочатку перевіряє кеш: якщо дані там є, доступ до них набагато швидший, ніж до диска, особливо з механічними жорсткими дисками.
Цей механізм значно скорочує час завантаження, зменшує кількість фізичних операцій читання та запису та, як наслідок, подовжує термін служби диска . У сценаріях з повторюваним доступом до тих самих файлів (бази даних, сервери, ресурсомісткі програми) кешування диска має суттєве значення.
Веб-кеш
У вашому браузері веб-кеш тимчасово зберігає зображення, таблиці стилів, JavaScript та інші ресурси. Це дозволяє вашому браузеру отримувати доступ до збереженої інформації, коли ви повторно відвідуєте сторінку або переходите між розділами на тому самому веб-сайті, замість того, щоб повторно запитувати її з мережі.
Результат подвійний: коротший час завантаження для користувача та менше споживання пропускної здатності як вашого з’єднання, так і сервера, що обслуговує контент. Однак, якщо кеш не керується належним чином, можуть з’явитися застарілі ресурси, тому іноді його доцільно очистити.
Кеш-пам'ять процесора: рівні L1, L2 та L3
Перлиною продуктивності є кеш-пам'ять процесора. Сучасні процесори містять кілька ієрархічних рівнів, розроблених для мінімізації затримки доступу до даних та інструкцій. Загалом кажучи, L1 — найменший і найшвидший, L2 — проміжний, а L3 — найбільший і найповільніший, часто спільний.
Кеш L1 зазвичай розділений на розділи інструкцій та даних, типові розміри яких становлять кілька десятків КБ на ядро. Він надзвичайно швидкий і використовується для негайної обробки. Кеш L2 має більшу ємність (від сотень КБ до кількох МБ) і діє як резервна копія для L1. Кеш L3 може сягати кількох МБ або десятків МБ, спільно використовується кількома ядрами та служить останнім рівнем перед зверненням до оперативної пам'яті.
Коли шаблон доступу до пам'яті є достатньо послідовним або передбачуваним, апаратне забезпечення може його передбачити та перенести дані на відповідні рівні кешу. Коли він хаотичний, сповнений випадкових стрибків та розсіяних структур, процесор витрачає забагато часу на очікування пам'яті , і йому стає "нудно". Саме тут і приходить на допомогу оптимізація на рівні коду.
Оптимізація структур даних для кешування процесора
Значна частина продуктивності залежить від того, як ми проектуємо наші структури даних. Не те саме мати гігантський об'єкт зі змішаними гарячими та холодними полями, як відокремити те, що часто використовується, від того, що рідко. Кожен рядок кешу, що передається на процесор, має свою ціну; якщо ми заповнюємо ці рядки непотрібними даними, ми витрачаємо пропускну здатність.
Групуйте гарячі дані та розділяйте холодні дані
Ключова стратегія полягає у визначенні, до яких полів у структурі звертаються майже в кожній операції («гарячі» дані), а до яких – лише зрідка («холодні» дані). Перші слід зберігати разом у пам'яті та, якщо можливо, вмістити в один або кілька рядків кешу. Другі можна зберігати в окремій структурі, на яку посилається вказівник або індекс.
Наприклад, замість того, щоб мати об'єкт користувача з довгими рядками (ім'я, біографія, електронна пошта), змішаними з прапорцями або маркерами, які постійно перевіряються, краще згрупувати "гарячі" дані (ідентифікатор, останній вхід, активний статус) у компактну структуру, а решту інформації залишити в окремій структурі "деталі". Таким чином, коли код перебирає список користувачів для перевірки статусу або маркера, рядки кешу майже повністю заповнюються відповідними даними.
Зменште кількість заповнювачів та краще використовуйте кожен рядок
Ще одне поле битви полягає у фізичному дизайні структур: порядку полів та їх типах. Через проблеми вирівнювання, випадкове змішування типів різних розмірів може призвести до появи байтів доповнення, які лише призводять до марнування пам'яті та, що ще гірше, до використання рядків кешу.
Якщо ми перевпорядковуємо структуру даних, щоб спочатку згрупувати великі типи (наприклад, doubles або int64_t), потім середні типи і, нарешті, найменші типи (bool, char), ми зазвичай зменшуємо або повністю виключаємо заповнення. Це дозволяє розмістити більше елементів на одному рядку кешу, зменшуючи навантаження на ієрархію пам'яті та ймовірність пропусків пам'яті.
Виберіть сусідні контейнери
Контейнери, що зберігають елементи в безперервній пам'яті , такі як вектори, зазвичай набагато зручніші для кешу, ніж структури, засновані на розріджених вузлах, пов'язаних вказівниками (дерева, класичні зв'язані списки тощо). Під час обходу вектора апаратне забезпечення може ідеально передбачити наступний доступ і попередньо завантажити наступні рядки кешу.
На противагу цьому, структури, такі як деревоподібні карти або зв'язані списки, розподіляють свої вузли по купі, змушуючи процесор виконувати безперервне переслідування вказівників. Кожен стрибок може призвести до промаху кешу та дорогого повернення до основної пам'яті. Ось чому багато сучасних бібліотек пропонують щільні хеш-карти , відкриті таблиці та інші контейнери, які намагаються зберегти дані якомога компактнішими.
Онлайн-сховище для невеликих колекцій
Багато алгоритмів використовують дуже маленькі колекції (кілька цілих чисел, кілька структур), які постійно створюються та знищуються. Якщо кожна з цих колекцій запускає виділення купи, ми не тільки несемо витрати на управління пам'яттю, але й отримуємо дані, розпорошені по оперативній пам'яті. Рішенням є використання контейнерів з онлайн-сховищем для невеликих розмірів.
Цей тип контейнера резервує місце для 8 або 16 елементів безпосередньо в самому об'єкті. Доки це обмеження не перевищено, немає потреби звертатися до купи, а дані залишаються приєднаними до решти функції або стану класу, що дуже корисно для кешування.
Шаблони доступу: від AoS до SoA та використання бітових наборів
Навіть із добре структурованими кешами, шаблон доступу до даних значною мірою визначає продуктивність. Послідовний перехід по масиву не те саме, що перехід від однієї адреси до іншої на основі списку вказівників. Існує кілька повторюваних методів максимізації використання кешу.
Масив структур (AoS) проти структури масивів (SoA)
Класичним шаблоном є перехід від дизайну «масиву структур» (AoS) до «масивної структури» (SoA). В AoS кожен елемент є об'єктом з багатьма полями (наприклад, положення та маса частинки), і ці елементи зберігаються послідовно. Коли вам потрібно прочитати лише частину цих полів (наприклад, положення), ви змушені завантажувати рядки кешу, які також містять невикористані дані.
З іншого боку, в SoA різні атрибути розділені на паралельні масиви: один для x, інший для y, ще один для z, ще один для маси тощо. Таким чином, якщо алгоритм оновлює лише позиції, він отримує доступ лише до масивів координат, і кеш не забруднюється нерелевантною інформацією . Крім того, така конструкція сприяє векторизації та використанню SIMD-інструкцій.
Бітові набори та посилання за індексом
Для невеликих доменів (наприклад, прапорці в діапазоні від 0 до 255) використання набору бітів набагато ефективніше, ніж структура набору на основі хешування. Набір бітів із 256 позицій займає лише кілька десятків байтів і дозволяє виконувати дуже швидкі, повністю суміжні та зручні для кешу операції, замість необхідності вирішувати колізії в хеш-таблиці.
Аналогічно, заміна вказівників індексами в суміжних масивах може зменшити розмір структур (32-бітні індекси замість 64-бітних вказівників) та покращити когерентність кешу. Замість вузлів, розподілених по купі, зберігається вектор вузлів, до яких здійснюється доступ за їхньою позицією, що полегшує послідовний прохід.
Попередня вибірка: коли випереджати роботу
Окрім апаратної попередньої вибірки, яка намагається передбачити послідовні шаблони доступу, існують інструкції програмної попередньої вибірки для прискорення завантаження даних у певних випадках. Це має сенс, коли шаблон передбачуваний, але не суворо лінійний, як це відбувається в хеш-таблицях або зв'язаних списках.
Загальна ідея проста: під час обробки елемента i ви даєте команду апаратному забезпеченню перенести елемент i+1 (або якийсь майбутній блок) у кеш. Коли ви досягаєте цього елемента, ймовірність того, що він вже знаходиться в L1 або L2, висока, а час очікування зменшується. Це можна реалізувати за допомогою примітивів попередньої вибірки компілятора або спеціальних бібліотек.
Однак немає сенсу використовувати явну попередню вибірку для повністю послідовних звернень, оскільки апаратне забезпечення вже обробляє це автоматично. Фактично, додавання непотрібної попередньої вибірки може захаращувати кеш і погіршувати продуктивність. Як майже завжди буває з продуктивністю, найкраще вимірювати показники до і після.
Політики кешованого розташування, заміни та попереднього завантаження
На більш теоретичному рівні, системи кешування базуються на політиках щодо того, де зберігати дані, коли їх отримувати та які дані видаляти, коли місця недостатньо. Хоча ці деталі контролюються апаратним забезпеченням або операційною системою, їх розуміння допомагає інтерпретувати певні незвичайні моделі поведінки.
Щодо розташування, можна використовувати схеми сегментації пам'яті або асоціативного розподілу на основі множин, де кожна адреса основної пам'яті може відповідати лише підмножині кешу. Це впливає на кількість конфліктів та ймовірність перекриття двох адрес у кеші.
Щодо очищення кешу (що відбувається, коли відбувається промах кешу), застосовуються політики заміни: LRU (найменше використані), FIFO або навіть випадкова заміна. LRU намагається зберегти в кеші дані, що використовувалися останнім часом, припускаючи, що вони знадобляться знову, тоді як FIFO просто відкидає найстаріші дані. Кожна політика має свої переваги залежно від фактичного шаблону доступу.
У розділі попередньої вибірки є механізми, засновані на історичних закономірностях: якщо апаратне забезпечення виявляє, що кожен доступ зміщується, наприклад, завжди на 64 байти, воно прагнутиме попередньо вибирати суміжні блоки . В інших випадках для мінімізації кількості звернень до основної пам'яті використовується попередня вибірка простору (вибірка всього блоку, навіть якщо запитується лише його частина).
Вимірювання та профілювання поведінки кешу
Оптимізація без вимірювань — це як діяти наосліп. Існують інструменти аналізу продуктивності, які дозволяють бачити певні показники кешу: посилання, промахи L1, промахи кешу останнього рівня (LLC), відсоток промахів тощо. Ці показники показують, чи ваші зміни дійсно покращують ситуацію.
Якщо, наприклад, рівень промахів у кеші L1 становить близько 2–3%, це зазвичай вважається прийнятним, тоді як дуже високий рівень промахів у кеші останнього рівня може свідчити про проблеми просторової або часової локальності . Поєднання цих показників з профілями процесора та пам'яті допомагає визначити, які частини коду створюють найбільше навантаження на ієрархію пам'яті.
Оптимізація кешу та продуктивності у Windows
Окрім самого коду, багато користувачів дивуються, чому їхній ПК з Windows працює так повільно, якщо «теоретично» він має хороший процесор і оперативну пам’ять. Частково відповідь полягає в тому, що операційна система, резидентні програми та накопичене цифрове сміття постійно споживають процесор, пам’ять і кеш , залишаючи менше ресурсів для важливих завдань. Застосовуючи кілька специфічних оптимізацій у Windows 10 та Windows 11, можна звільнити ресурси процесора та оперативної пам’яті ( наприклад, налаштувавши віртуальну пам’ять ), зменшити кількість фонових процесів і покращити здатність системи кешувати відповідні дані. Залежно від початкової ситуації, ці покращення можуть варіюватися від незначних налаштувань до значних змін у загальній продуктивності.
Оновлення Windows та драйверів
Дуже простий крок, яким багато людей нехтують, – це оновлення операційної системи та драйверів. Оновлення Windows не просто містять патчі безпеки: вони часто включають покращення в управлінні ресурсами , виправлення витоків пам’яті та оптимізацію ядра.
На панелі налаштувань Windows (Пуск > Налаштування > Оновлення та безпека > Центр оновлення Windows) можна шукати як загальні оновлення, так і додаткові пакети, включаючи некритичні драйвери, які можуть оптимізувати продуктивність вашого процесора, графічного процесора або чіпсета. Встановлення цих компонентів може вирішити вузькі місця або проблеми зі стабільністю, які безпосередньо впливають на використання кешу та пам’яті.
Вимкнути P2P-розповсюдження оновлень
Починаючи з Windows 10, система може завантажувати та обмінюватися оновленнями з іншими комп'ютерами за допомогою механізму P2P. Хоча ця система є геніальною, вона означає, що комп'ютер використовує процесор, мережу та дисковий простір для розповсюдження оновлень, що не завжди бажано.
Вимкнення функції «Оптимізація доставки» в оновленні Windows запобігає завантаженню фрагментів оновлень на інші комп’ютери з вашого ПК. Це звільняє ресурси, зменшує фонову активність і може покращити загальну продуктивність, особливо на менш потужних системах.
Звільніть місце на диску та видаліть непотрібні файли
Коли жорсткий диск заповнений або майже заповнений, у Windows залишається менше місця для підкачки та створення тимчасових файлів, що зрештою впливає на продуктивність. Використання вбудованого засобу очищення диска дозволяє видаляти тимчасові файли, залишки оновлення, елементи з кошика та інші непотрібні дані.
Окрім цього засобу очищення, рекомендується регулярно очищувати кошик і використовувати параметри сховища Windows для видалення накопичених тимчасових файлів. Чим менше місця на системному диску, тим ефективніше працюватиме підсистема пам’яті та тим ефективніше функціонуватиме кеш диска.
Оптимізуйте автозавантаження та фонові програми
Одним з найбільших ворогів процесора та кешу на ПК, який використовується щодня, є програми, які запускаються автоматично та працюють у фоновому режимі: синхронізатори, оновлення, невеликі утиліти, якими ми майже не користуємося тощо. Хоча вони можуть здаватися легкими, кожна з них додає потоки, пам'ять, доступ до диска та споживання кешу.
У диспетчері завдань або за допомогою Sysinternals для моніторингу процесів , на вкладці «Автозавантаження» ви можете вимкнути автоматичне завантаження непотрібних програм . Ви також можете контролювати, яким програмам дозволено запускатися у фоновому режимі, у налаштуваннях конфіденційності. Зменшення цього списку не лише покращує час запуску, але й зменшує постійне навантаження на процесор і оперативну пам’ять.
Зменшення графічних ефектів та сповіщень
Анімація вікон, прозорість та інші візуальні прикраси споживають ресурси. На старіших або менш потужних комп’ютерах може бути корисним налаштувати параметри Windows, щоб надати пріоритет продуктивності над зовнішнім виглядом. Це робиться через додаткові параметри системи в розділі «Продуктивність», вибравши конфігурацію, яка сприяє швидкості.
Так само, занадто велика кількість сповіщень може перевантажити як користувача, так і пристрій . Вимкнення непотрібних сповіщень не лише спрощує взаємодію з користувачем, але й запобігає занадто частому запуску фонових процесів і перевірок.
Режими живлення, сплячий режим та пікова продуктивність
Windows містить кілька планів живлення, які безпосередньо впливають на керування процесором: чи пріоритет надається часу роботи від батареї, чи чистій продуктивності. На настільних комп’ютерах і ноутбуках, підключених до мережі, зазвичай рекомендується переглянути ці налаштування.
Функція швидкого запуску поєднує функції вимкнення та переходу в режим глибокого сну, що пришвидшує завантаження шляхом попереднього завантаження частини ядра та драйверів перед вимкненням. Увімкнення цієї функції може значно скоротити час завантаження, хоча рекомендується тимчасово вимкнути її, якщо вона спричиняє проблеми з оновленнями або доступом до BIOS.
З іншого боку, існує прихований режим «максимальної продуктивності» , який змушує процесор та інші компоненти працювати з меншою врахуванням енергоефективності. Його активація може забезпечити трохи більше місця для ресурсоємних завдань, але ціною збільшення нагрівання, шуму вентилятора та енергоспоживання.
Ефективне управління простором і пам'яттю в системі
Окрім регулярного очищення та контролю резидентних програм, існують інші способи кращого використання фізичних ресурсів комп’ютера та, відповідно, кешу процесора та диска.
Захламлення робочого столу значками, ярликами, папками та файлами — це не просто візуальний безлад: Windows має керувати всім цим, що додає додаткового навантаження. Підтримка порядку на робочому столі та впорядкування файлів у папки на дисках — це проста практика, яка сприяє легшому середовищу.
Також корисно покладатися на хмарні рішення для зберігання певних файлів, що зменшує обсяг використовуваного локального сховища. За умови розумного використання (без повної залежності від інтернет-з’єднання), локальна система може бути менш навантажена та мати більшу гнучкість.
Спеціальні технології: ReadyBoost, розгін та апаратне забезпечення
На комп’ютерах із механічним жорстким диском та обмеженим обсягом оперативної пам’яті Windows містить такі технології, як ReadyBoost, яка дозволяє використовувати швидкий USB-накопичувач як своєрідний додатковий кеш. Хоча це й не чарівна паличка, у певних конфігураціях це може покращити продуктивність, знявши частину навантаження з жорсткого диска.
З іншого боку, досвідчені користувачі можуть розганяти свої процесори за допомогою таких інструментів, як Intel Extreme Tuning Utility (для розблокованих процесорів). Збільшення тактової частоти підвищує продуктивність, але також збільшує температуру та енергоспоживання, що створює реальний ризик нестабільності та пошкодження, якщо напруга та охолодження не будуть ретельно регулюватися.
Коли всі оптимізації програмного забезпечення не доводять до кінця, саме час подумати про оновлення обладнання: заміну жорсткого диска на SSD, збільшення оперативної пам'яті або навіть заміну процесора чи всієї системи. SSD, зокрема, змінює сприйняту продуктивність системи, оскільки він різко зменшує час доступу до диска, що, у свою чергу, дозволяє кешу диска та віртуальній пам'яті працювати набагато плавніше.
Загалом, поєднання гарного дизайну структури даних та шаблонів доступу до пам'яті для використання кешу процесора з ретельною конфігурацією Windows (оновленою, легкою, без непотрібних або непотрібних процесів, з відповідним планом живлення та, за необхідності, з невеликими допоміжними засобами, такими як ReadyBoost або покращення обладнання) дозволяє отримати набагато більше від тієї ж машини, отримуючи програми, які реагують швидко, та систему, яка відчувається помітно швидшою без потреби в "магії" чи езотеричних трюках.
