Що таке кеш-пам'ять процесора і чому вона важлива?

Інформатек Діджитал » Ресурси » Що таке кеш-пам'ять процесора і чому вона важлива?

Більшість людей зосереджуються на кількості ядер, частоті та марці процесора , але вони не помічають ключового компонента, який визначає реальну продуктивність: кеш-пам'ять процесора. Цей невеликий блок пам'яті, прихований у самому чіпі, був одним із найбільших досягнень в історії обчислювальної техніки, оскільки він не дозволяв процесору чекати на надходження даних.

Якщо ви коли-небудь замислювалися, чому два процесори з однаковою тактовою частотою працюють по-різному, відповідь часто криється в таких деталях, як розмір , ієрархія та швидкість кеш-пам'яті . Розуміння того, що це таке, як вона працює та як вона впливає на такі завдання, як ігри, створення контенту чи щоденне використання, допоможе вам краще інтерпретувати характеристики та вибрати наступний процесор.

Що ж таке кеш-пам'ять процесора?

Кеш-пам'ять процесора — це швидка пам'ять, фізично інтегрована в процесор , призначена для зберігання даних та інструкцій, які процесору потрібні неодноразово протягом короткого інтервалу часу. На відміну від оперативної пам'яті , яка встановлена ​​в окремих модулях на материнській платі, кеш-пам'ять підключена до обчислювального ядра, що забезпечує майже миттєвий доступ.

Кеш можна розглядати як своєрідний «робочий стіл», де процесор зберігає дані, які він найчастіше використовує, легкодоступними , замість того, щоб постійно отримувати їх з оперативної пам'яті або диска. Ця близькість та його величезна швидкість значно зменшують час очікування процесора.

Хоча сучасний ПК може мати жорсткий диск або SSD-накопичувач обсягом кілька терабайтів та оперативну пам’ять від 8 до 64 ГБ (або більше на серверах), кеш-пам’ять вимірюється в мегабайтах або навіть кілобайтах. Ця невелика ємність не є проблемою: її призначення — зберігати не все, а лише те, що процесор вважає найімовірніше потрібним знову негайно.

У ранніх процесорах частина кеш-пам'яті навіть розташовувалася поза кристалом, на материнській платі, що спричиняло додаткові затримки. У сучасних конструкціях кеші L1, L2 та L3 інтегровані в корпус процесора , що зменшує фізичні відстані, скорочує час доступу та значно покращує продуктивність.

Рівні кешу: L1, L2, L3 та незвичайний L4

Кеш-пам'ять сучасного процесора — це не один блок, а ієрархія рівнів з різною швидкістю та ємністю . Зазвичай ви знайдете кеші L1, L2 та L3, а в деяких специфічних конструкціях — додатковий кеш L4, особливо пов'язаний з інтегрованою графікою або вузькоспеціалізованими конфігураціями.

Загальна ідея завжди однакова: чим нижчий рівень шару (L1) , тим ближче він до ядра і тим швидший, але має менше місця для зберігання. Зі зростанням рівнів (L2, L3, L4) ми збільшуємо ємність, але втрачаємо швидкість, а затримки доступу збільшуються.

У типовому процесорі для настільних комп'ютерів ми можемо збільшити обсяг кешу L1 на ядро ​​до кількох мегабайт L2 та десятків (або навіть сотень) мегабайт спільного кешу L3. У високопродуктивних платформах або серверах можна досягти справді вражаючих цифр – десятків мегабайт L2 та сотень мегабайт L3.

Ця ієрархія ретельно розроблена таким чином, щоб процесор знаходив більшість даних на максимально швидкому рівні , мінімізуючи звернення до основної пам'яті та максимально використовуючи кожен такт процесора.

L1 Cache: Перша лінія бою

Кеш L1 (рівень 1) — це рівень, найближчий до виконавчих блоків ядра, і, отже, найшвидша пам'ять у всій системі . Його ємність дуже мала, але затримка становить частки наносекунди, що необхідно для безперебійної роботи ядра.

Кеш L1 зазвичай організований у два окремі розділи: кеш даних та кеш інструкцій. Це дозволяє процесору одночасно зчитувати те, що йому потрібно зробити (інструкції), та над якими даними виконувати операції, без конкуренції за один і той самий простір пам'яті.

У більшості сучасних архітектур кожне ядро ​​має власний незалежний кеш L1 . Між цими кешами L1 різних ядер немає прямої узгодженості, але це не проблема, оскільки кожне ядро ​​звертається лише до своєї частини. Якщо 8-ядерний процесор оголошує, наприклад, 512 КБ кешу L1, він зазвичай має 64 КБ на ядро, розділене між даними та інструкціями.

Завдяки цій структурі, коли процесор успішно знаходить інформацію в кеші L1, доступ відбувається настільки швидко, що вплив на продуктивність практично непомітний. Тому будь-яке зменшення кешу L1 зазвичай призводить до значних втрат продуктивності за певних робочих навантажень.

Кеш L2: другий крок

Кеш L2 (рівень 2) діє як друга лінія захисту. Він повільніший за кеш L1, але натомість пропонує значно більшу ємність . Дані, які більше не поміщаються в L1, але все ще актуальні для поточних завдань, зазвичай опиняються тут.

Залежно від конструкції процесора, кеш L2 може бути приватним для кожного ядра або спільним для кількох ядер у кластері . У деяких процесорах ядра групуються в блоки та мають спільний кеш L2; в інших кожне ядро ​​має власний кеш L2, що спрощує управління когерентністю.

Існують архітектури, де рівень L2 протягом досить тривалого часу був останнім доступним рівнем кешу, функціонуючи практично як L3 у сучасних процесорах. Сьогодні як Intel, так і AMD використовують конфігурації зі спільним кешем L3 , але спосіб розподілу L2 та L3 може значно відрізнятися залежно від того, чи є це високопродуктивними ядрами, високоефективними ядрами чи окремими чіплетами.

Конкретно кажучи, можна перейти від кількох сотень кілобайт кешу L2 на ядро ​​в базових діапазонах до кількох мегабайт кешу L2 на ядро ​​в сучасних процесорах або серверах, що явно впливає на продуктивність у певних програмах, що потребують інтенсивної обробки даних.

Кеш L3 або LLC: останній спільний рівень

Кеш L3 (Level 3), також званий LLC (Last Level Cache, кеш останнього рівня), є останнім рівнем в ієрархії кешу, інтегрованої в основний корпус процесора. Це найбільша, але найповільніша кеш-пам'ять у чіпі процесора, яка зазвичай використовується всіма ядрами або принаймні великими їх групами.

На відміну від L1 та L2, які зазвичай тісно пов'язані з кожним ядром, L3 розроблений як великий уніфікований простір , який може зберігати як дані, так і інструкції, і до якого всі ядра мають доступ, коли вони не можуть знайти те, що шукають, на своїх локальних рівнях.

Така спільна природа дозволяє виробникам використовувати дуже цікаві методи, такі як збільшення розміру за допомогою 3D-стекування. Це стосується технології 3D V-Cache від AMD , яка додає додаткові чіплети кешу на частину процесора, щоб збільшити обсяг доступного кешу L3 без необхідності різкого збільшення площі поверхні основного чіпа.

Кеш L3 може значно відрізнятися залежно від моделі: від кількох мегабайт у простих процесорах до десятків або навіть сотень мегабайт кешу L3 у серверних процесорах або моделях з 3D-стекуванням, призначених для дуже вимогливих робочих навантажень, таких як бази даних, віртуалізація або високопродуктивні ігри.

Кеш L4: Екзотичний рівень

Хоча кеш L4 не є поширеним явищем у сучасних процесорах для настільних комп'ютерів, він існує та з'явився в деяких моделях як додаткова підтримка , особливо коли задіяний потужний інтегрований графічний процесор. У цих випадках L4 зазвичай реалізується з пам'яттю, такою як eDRAM, і розташований в окремому корпусі дуже близько до процесора.

Класичним прикладом був процесор Intel Core i5 5775C, який поєднував невеликий традиційний кеш L3 зі 128 МБ eDRAM, що використовувався як кеш L4 для пришвидшення доступу до пам'яті для інтегрованої графіки. Цей кеш L4 служив високошвидкісним буфером між графічним процесором та оперативною пам'яттю, зменшуючи пряму залежність графічного процесора від системної пам'яті.

Кеші L4 не отримали широкого поширення на настільних комп'ютерах, але вони можуть знову стати популярними в міру розвитку інтегрованих архітектур процесорів та графічних процесорів, особливо з розвитком штучного інтелекту на ПК.

Як кеш-пам'ять процесора працює на практиці

Важливо розуміти, що кеш не функціонує як мініатюрна оперативна пам'ять, до якої програміст може направляти процесор до певних адрес. Насправді, управління кешем є автоматичним і непрозорим для програмного забезпечення : саме апаратне забезпечення процесора вирішує, які дані копіювати, як їх організовувати та коли їх видаляти.

Коли ми запускаємо програму, її інструкції та дані спочатку потрапляють на накопичувач (SSD або HDD), потім завантажуються в оперативну пам'ять, а звідти фрагменти пам'яті, найближчі до адреси, яку використовує процесор, копіюються в кеш. Ця копія не обмежується точною необхідною адресою, а поширюється на навколишній блок пам'яті, очікуючи, що сусідні дані також можуть незабаром стати в нагоді.

Процесор не запитує безпосередньо оперативну пам'ять, щоб перевірити наявність даних; послідовність зворотна: під час кожного звернення він спочатку перевіряє L1, потім L2, потім L3, і лише якщо на всіх рівнях не вдається, він звертається до оперативної пам'яті . Пошук даних у кеші називається «попаданням», тоді як необхідність звернення до оперативної пам'яті (або навіть сховища) є «промахом» кешу.

Внутрішні алгоритми відповідають за кешування інформації, яка, найімовірніше, буде використана повторно, та видалення інформації, яка, як очікується, більше не буде потрібною. Це досить складні механізми, що враховують шаблони доступу, узгодженість між ядрами та фізичну структуру пам'яті.

Ключ у тому, що щоразу, коли процесору доводиться чекати зайву наносекунду для отримання даних, це призводить до втрати тактових циклів . Враховуючи, що сучасний процесор обробляє мільярди тактів за секунду, накопичення постійних затримок через промахи кешу призведе до значної втрати загальної продуктивності.

Послідовність використання кешу та затримки

Коли процесору потрібен фрагмент даних або інструкція, він завжди йде одним і тим самим шляхом: спочатку він шукає в L1 , який є найшвидшим; якщо його там немає, він переходить до L2; якщо його також немає, то до L3. Тільки коли відбувається збій на всіх цих рівнях, він звертається до оперативної пам'яті, час доступу до якої на кілька порядків повільніший.

У сучасному процесорі ми можемо знайти затримки менше 1 наносекунди для L1 , кілька наносекунд для L2 та двозначні значення для L3. Натомість, оперативна пам'ять може мати затримки в десятки разів більші, залежно від швидкості (MT/s) та таймінгів (CL) модуля.

Наприклад, процесор Ryzen останнього покоління може мати кеш L1 обсягом близько 512 КБ із затримкою приблизно 0,7 нс, кеш L2 обсягом 8 МБ із затримкою близько 2-3 нс та кеш L3 обсягом 32 МБ із середнім часом доступу трохи більше 10 нс. Оперативна пам'ять DDR5, навіть за роботи на високих частотах та в двоканальній конфігурації, працює із затримками порядку кількох десятків наносекунд.

Чим більший кеш, тим більше місця він займає на кремнієвому чіпі та тим вища його затримка; тому виробники повинні збалансувати розмір, швидкість, енергоспоживання та вартість . Такі технології, як 3D-стекування, дозволяють збільшити ємність кешу L3 без суттєвого впливу на площу поверхні основного чіпа, хоча завжди є деякі компроміси, такі як незначне зниження максимальної частоти або обмеження розгону.

Коли відбувається успішний доступ до кешу L1 або L2, процесор майже не втрачає циклів очікування, але якщо пошук поширюється на оперативну пам'ять, вплив на продуктивність різко зростає. Ось чому процесори зі зменшеним або погано розробленим кешем часто працюють гірше, навіть на тій самій частоті та з тією ж кількістю ядер.

Зв'язок між кешем, оперативною пам'яттю та сховищем

ПК використовує три основні типи пам'яті: накопичувач (HDD/SSD), оперативну пам'ять та кеш-пам'ять процесора. Масова пам'ять є найбільшою та найповільнішою , вона містить операційну систему, програми та файли. Оперативна пам'ять швидша та служить загальним робочим простором для програм.

Кеш процесора, з іншого боку, є найменшим, але значно найшвидшим . Його функція полягає в тому, щоб діяти як буфер між оперативною пам'яттю та ядром виконання, тому процесору не потрібно постійно звертатися до основної пам'яті. Кожен рівень кешу трохи наближає дані до ядра та зменшує ефективну затримку.

Збільшення швидкості та затримки оперативної пам'яті може частково зменшити промахи кешу, оскільки процесор зазнаватиме меншого зниження продуктивності під час доступу до основної пам'яті . Однак у багатьох сценаріях ключ до продуктивності полягає саме у збільшенні частоти звернень до кешу за рахунок кращих архітектур та, звичайно, більшої ємності на відповідних рівнях.

Тому, хоча оперативна пам'ять залишається дуже актуальною (особливо при дуже великих навантаженнях або екстремальній багатозадачності), кеш став критичним фактором, який створює реальні відмінності між конструкціями процесорів з подібною кількістю ядер і частот.

Кеш проти оперативної пам'яті Scratchpad

У самому процесорі може бути не лише кеш-пам'ять; деякі архітектури також включають так звану оперативну пам'ять Scratchpad RAM , і важливо не плутати ці два поняття, оскільки їхня філософія дуже різна.

Кеш, як ми вже бачили, діє як автоматична тимчасова копія даних в оперативній пам'яті, найближча до тих, що виконуються в даний момент. Програміст не керує ним безпосередньо: апаратне забезпечення вирішує, що вводиться, а що виводиться, відповідно до власних внутрішніх правил.

З іншого боку, оперативна пам'ять Scratchpad — це пам'ять, яка поводиться радше як локальна оперативна пам'ять у самому ядрі або обчислювальному блоці та повинна явно керуватися програмним забезпеченням . Тобто програма вручну копіює дані, які вона хоче зберігати в цьому просторі, а також вирішує, коли їх очищати або замінювати, ніби це ультралокальна оперативна пам'ять.

Отже, основна відмінність полягає в тому, що кеш повністю прозорий і самостійно керується процесором , тоді як Scratchpad вимагає прямого втручання коду. Обидва варіанти співіснують у деяких спеціалізованих чіпах, але кеш є стандартом у процесорах загального призначення, які ми використовуємо в ПК, ноутбуках і мобільних пристроях.

Як кеш-пам'ять впливає на продуктивність у реальному світі?

У цьому моменті виникає резонне питання: якщо два процесори мають однакову кількість ядер і схожі частоти, наскільки кеш насправді впливає на продуктивність? Відповідь полягає в тому, що це сильно залежить від типу робочого навантаження , але в певних завданнях різниця може бути дуже значною.

Дуже показовий випадок можна знайти з такими процесорами, як AMD Ryzen 7 5800X та його версія 5800X3D. Обидва мають однакову базову архітектуру та однакову кількість ядер , але 3D-модель додає величезний обсяг стекованого кешу L3, який збільшується з 32 МБ до 96 МБ загалом.

Щоб досягти цього, довелося трохи знизити базову та турбо-частоти й відмовитися від традиційних опцій розгону — помірні жертви, які, теоретично, могли б дещо знизити продуктивність. Однак, під час тестування ігор та певних навантажень, чутливих до кешу, стрибок продуктивності вражає на користь моделі зі стекованим кешем L3.

У багатьох ігрових тестах 5800X3D пропонує двозначні переваги в середньому FPS порівняно з оригінальним 5800X, і що найцікавіше, він також помітно покращує 1% мінімуми, тобто ті моменти, коли ігровий движок страждає найбільше, і ви помічаєте заїкання або падіння плавності.

Однак, у завданнях створення інтенсивного контенту (рендеринг, деякі завдання редагування тощо), збільшення кешу L3 незначно покращує продуктивність або навіть може погіршити її, якщо нижчі частоти стають обмежувальним фактором. У цих випадках вузьким місцем був не кеш, а радше інші аспекти, такі як необроблена обчислювальна потужність або пропускна здатність пам'яті.

Кеш-пам'ять та ігрова продуктивність

Сучасні відеоігри, особливо найвимогливіші, обробляють великий обсяг даних, які процесор повинен постійно обробляти: ігрову логіку, фізику, штучний інтелект, підготовку викликів малювання для графічного процесора тощо. У цьому контексті наявність великого та добре використаного кешу L3 може мати суттєве значення.

Завдяки можливості зберігати більше даних та інструкцій, пов'язаних зі станом ігрового світу, процесор зменшує кількість разів, коли йому потрібно звертатися до оперативної пам'яті . Це призводить до кращого середнього FPS у іграх, де процесор є обмежувальним фактором, але, перш за все, до більшої стабільності: меншої кількості раптових падінь та більш стабільного часу відгуку.

Так звана технологія 3D V-Cache від AMD висунула цю проблему на перший план. Моделі, такі як Ryzen 7 7800X3D та 7950X3D, інтегрують величезні обсяги кешу L3 (96 МБ, 128 МБ тощо) і завдяки цій додатковій ємності кешу зуміли позиціонувати себе на передовій продуктивності в домашніх іграх.

Наприклад, у 7800X3D чіп поєднує 1 МБ загального кешу L1, 16 МБ кешу L2 та знамениті 96 МБ кешу L3. Розуміння того, як працює кеш, показує, що це не просто вражаюча маркетингова цифра: він дозволяє зберігати більше корисного «стану» гри в самому процесорі , множачи шанси на успіх та зменшуючи обсяг звернення до пам'яті.

Однак, одного лише кешу чудес не буде: якщо базовий процесор дуже слабкий, додавання кешу не перетворить його раптово на звіра. Ідеальним поєднанням для ігор залишається високий IPC, хороша тактова частота, достатній обсяг кешу та швидка оперативна пам'ять з низькими затримками.

Позиція Intel щодо 3D-кешу AMD

З огляду на успіх процесорів Ryzen з 3D V-Cache в іграх, було б логічно припустити, що Intel повторить точно таку ж стратегію. Однак компанія чітко дала зрозуміти, що, принаймні наразі, вона не планує рішення, ідентичного моделям AMD X3D.

Intel більше зосереджена на підтримці балансу загальної продуктивності для широкого кола сценаріїв (продуктивність, творчість, ігри, штучний інтелект тощо), а не лише на ніші, де гігантський кеш L3 сяє найяскравіше, а саме на хардкорних іграх.

Це не означає, що вони нехтують кешем: компанія планує поступово збільшувати кеш L1, L2 та L3 у наступних поколіннях, але не покладаючись виключно на масове збільшення кешу L3, як це робить AMD. Так, покращення кешу будуть, але вони будуть розподіленими та супроводжуватимуться змінами в архітектурі, гібридних ядрах, інтегрованому штучному інтелекті та інших функціях.

Тим не менш, конкурентний тиск очевидний, особливо у сфері високоякісних портативних та настільних ігрових пристроїв, де моделі AMD X3D стали еталоном. Цікаво буде подивитися, як розвиватиметься ця «битва за кеш» у наступній хвилі процесорів.

Кеш процесора порівняно з іншими системними кешами

Хоча ми зазвичай говоримо про «кеш-пам’ять», коли думаємо про кеш процесора, цей термін застосовується в більш широкому сенсі до будь-якого тимчасового сховища даних, призначеного для пришвидшення частого доступу . ПК містить кілька типів кешу, окрім того, що інтегрований у процесор.

З одного боку, сучасні відеокарти мають власний внутрішній кеш (кеш GPU) , який допомагає керувати текстурами, шейдерами, буферами та іншими графічними даними без постійної залежності від відеопам'яті. Жорсткі диски та SSD також мають дисковий кеш, використовуючи швидку пам'ять (DRAM або SLC, залежно від моделі) для буферизації читання та запису.

На програмному рівні браузери, операційні системи та різні програми використовують власні кеші: браузер зберігає тимчасові файли, зображення та файли cookie на диску , щоб їх не доводилося завантажувати повторно, а багато програм зберігають часто використовувані дані для швидшого запуску та реагування.

Те саме відбувається на мобільних телефонах і планшетах: процесор має внутрішній кеш L1/L2/L3 , інтегрований графічний процесор може мати власну систему кешу, а програми заповнюють внутрішню пам'ять тимчасовими даними, що покращує враження... доки вони не займуть забагато місця, і не знадобиться його очистити.

Важливо не плутати ці кеші програмного забезпечення або пристроїв з кешем процесора: вони мають спільну філософію, але не однакове розташування чи швидкість . Кеш процесора залишається найшвидшим і найважливішим для чистої обчислювальної продуктивності.

Яку роль відіграє кеш на мобільних пристроях і чи впливає його видалення на ваші дані?

Коли ми говоримо про «очищення кешу» на мобільних телефонах або в програмах, ми зазвичай маємо на увазі не кеш L1/L2/L3 процесора (який є апаратним і не може бути видалений просто так ), а тимчасове сховище, яке програми зберігають у пам’яті пристрою.

Коли ви очищаєте кеш програми, ви видаляєте тимчасові файли, завантажені зображення, дані сеансу тощо , але не фотографії, відео чи особисті документи. Вони зберігаються у внутрішній пам’яті або на карті пам’яті, а не в кеші програми.

Таким чином, очищення кешу програми або самої системи Android/iOS не видаляє ваші фотографії чи важливі файли . Однак це може призвести до того, що деякі програми завантажуватимуть певний вміст трохи довше під час наступного відкриття, оскільки їм доведеться перегенерувати або повторно завантажити ці дані.

На мобільних пристроях, як і на ПК, регулярне очищення кешу дуже важких програм може бути гарною практикою для звільнення місця для зберігання та запобігання уповільненню роботи системи, особливо на моделях з невеликим обсягом вбудованої пам'яті.

З іншого боку, внутрішній кеш процесора повністю прозорий для користувача і не «очищається» вручну ; він самостійно обробляється за мілісекунди під час нормальної роботи пристрою.

Коротше кажучи, коли ви бачите опцію «очистити кеш» на своєму мобільному пристрої, пам’ятайте, що ви отримуєте доступ до тимчасових даних програми , а не до кешу процесора, про який ми розповідали в цій статті.

Зрештою, кеш-пам'ять процесора — це один із тих компонентів, який залишається непомітним, але впливає на все: від плавності гри до швидкості відкриття програми. Розуміння того, як вона організована за рівнями (L1, L2, L3 та в деяких випадках L4), як вона взаємодіє з оперативною пам'яттю та сховищем, і чому збільшення ємності може значно покращити продуктивність у певних сценаріях, дозволяє вам по-новому поглянути на характеристики процесора та оцінити, чи дійсно він відповідає вашому цільовому призначенню, будь то для ігор, роботи, створення контенту чи просто для насолоди більш швидкою системою у вашому повсякденному житті.