Оптимизация и производителност на кеша на процесора в Windows

Информатек Дигитал » Ресурси » Оптимизация и производителност на кеша на процесора в Windows

La Оптимизация на кеша на процесора Това е една от онези теми, които разделят кода, който „работи“, от кода, който „лети“. Когато разберем как е организирана паметта, какви времена за достъп обработва всяко ниво и как се държи хардуерът, можем да постигнем огромни подобрения в производителността, без да променяме машините.

Междувременно, значителен брой потребители на Windows страдат от по-банален проблем: техните компютри са бавни. И често коренът на проблема се крие именно там, в неефективното използване на паметта, кеша и самия процесор. С комбинация от добър дизайн на ниско ниво (структури от данни, модели за достъп до паметта) и практични настройки в Windows (почистване, актуализиране, режими на захранване и др.), могат да се постигнат много забележими подобрения, от малки увеличения от 5% до скокове от 30-40% в определени сценарии.

Йерархия на паметта и латентности: защо кешът е правилен

Преди да започнем да променяме код или да конфигурираме Windows, трябва да разберем едно нещо ясно: не цялата памет е създадена еднаква. Разликата между достъпа до L1, L2, L3 кешове, RAM памет или диск е огромна и много оптимизации на кеша буквално се основават на това. избягвайте да преминавате към бавни нива всичко възможно.

В съвременен процесор, типичните времена за достъп (от порядъка на величината) са приблизително следните: достъп до L1 кеш Това е около половин наносекунда, неуспехът при предвиждане на скок отнема няколко наносекунди, L2 Това е около 7 ns, докато достигането до основната памет може да надхвърли 100 ns. Ако се отдалечим извън устройството (мрежа, SSD, механичен твърд диск), числата се увеличават рязко до стотици хиляди или милиони наносекунди.

Тази съществена разлика е причината правилното организиране на данните, намаляването на пропуските в кеша и проектирането на последователни модели за достъп да са толкова важни. Цикъл, който се намира в L1 кеш паметта, ще бъде значително по-бърз от такъв, който постоянно осъществява достъп до RAM или SSD, дори ако те изпълняват една и съща функция логически.

Освен това, кешът на процесора е организиран на няколко нива: L1, много малко и изключително бързо; L2, по-голямо и малко по-бавно; и L3, още по-голямо, често споделяно между ядрата. Идеята е „горещите“ данни (данните, които се използват често) да се държат под ръка, а останалите да се преместят на по-бавни нива. Като разработчици, ние можем да помогнем това да се случи по естествен път с добър дизайн на структурата на данните и с... предвидим достъп.

Какво е кешът и защо влияе на производителността?

Кешът, във всеки контекст (процесор, диск, уеб...), е бързо съхранение на наскоро използвани данниВместо винаги да използваме най-бавния източник, ние запазваме копие на това, което е най-вероятно да бъде използвано повторно. Това съкращава времето за реакция и намалява натоварването на основните ресурси.

Като цяло, кеширането се използва за ускоряване на достъпа и подобряване на потребителското изживяване. На практика то позволява на системата да извършва повече работа със същия хардуер: по-малко чакане, по-малко блокове и по-малко опашки. Ето защо се използва в процесори, дискове, браузъри, разпределени системи и на практика всеки софтуер, който обработва данни интензивно.

Типичният компютър съдържа няколко вида кеш памет: кеш на диска (RAM памет, която съхранява данни от твърдия диск), уеб кеш (статични ресурси на браузъра) и Кеш на процесора (L1, L2, L3). Всички те работят с една и съща основна идея: да съхраняват това, което вероятно ще е необходимо по-късно, като се избягва повтарянето на бавни операции.

Видове кеш: дисков, уеб и кеш на процесора

В рамките на една реална система, няколко механизма за кеширане се сливат, всеки на свое собствено ниво. Разбирането им помага както за по-добро програмиране, така и за диагностициране на причините, поради които даден компютър се представя по-зле от очакваното.

Дисков кеш

Кеш паметта на диска е област от паметта (обикновено RAM), където операционната система съхранява данни, наскоро прочетени или записани на дискаКогато приложението поиска тези данни отново, системата първо проверява кеша: ако е там, достъпът е много по-бърз от достъпа до диска, особено ако говорим за механични дискове.

Този механизъм драстично намалява времето за зареждане, намалява броя на физическите операции за четене и запис и от своя страна... удължава живота на дискаВ сценарии с повтарящ се достъп до едни и същи файлове (бази данни, сървъри, тежки приложения), кеширането на диска е от голямо значение.

Уеб кеш

В браузъра, уеб кешът временно съхранява изображения, стилови таблици, JavaScript и други ресурси. Благодарение на това, когато посетите отново страница или навигирате между секции в рамките на един и същ сайт, браузърът може... черпете от това, което вече сте съхранили вместо да го поръчвате отново онлайн.

Резултатът е двоен: по-кратко време за зареждане за потребителя и по-малка консумация на трафик, както на вашата връзка, така и на сървъра, обслужващ съдържанието. Ако обаче кешът не се управлява правилно, могат да се появят остарели ресурси, поради което понякога е препоръчително да го изчистите.

Кеш памет на процесора: нива L1, L2 и L3

Перлата в короната по отношение на производителността е кешът на процесора. Съвременните процесори включват няколко йерархични нива, предназначени да минимизират латентността при достъп до данни и инструкции. Най-общо казано, L1 е най-малкото и най-бързо, L2 е междинно, а L3 е най-голямото и най-бавно, често споделено.

La L1 кеш Обикновено се разделя на инструкции и данни, с типични размери от няколко десетки KB на ядро. Изключително бърз е и се използва за най-неотложните задачи. L2 кеш Той има по-голям капацитет (стотици KB до няколко MB) и действа като L1 резервно копие. L3 кеш Може да достигне няколко MB или десетки MB, да се споделя от няколко ядра и да служи като последно ниво, преди да премине към RAM паметта.

Когато моделът на достъп до паметта е сравнително последователен или предвидим, хардуерът е в състояние да го предвиди и да доведе данните до тези нива на кеша. Когато е хаотичен, пълен със случайни скокове и разпръснати структури, процесорът прекарва твърде много време чакане на спомен и процесорът се „отегчава“. Тук се намесва оптимизацията на ниво код.

Оптимизиране на структурите от данни за кеширане на процесора

Голяма част от производителността зависи от това как проектираме структурите си от данни. Не е същото да имаш гигантски обект със смесени горещи и студени полета, както да отделиш това, което се използва често, от това, което се използва рядко. Всеки кеш ред, доведен до процесора, си има цена; ако запълним тези редове с безполезни данни, губим честотна лента.

Групирайте горещи данни и отделете студени данни

Ключова стратегия е да се определи кои полета в дадена структура се използват при почти всяка операция („горещи“ данни) и кои се използват само от време на време („студени“ данни). Първите трябва да бъдем заедно в паметта и, ако е възможно, да се поберат в един или няколко кеш реда. Последните могат да бъдат в отделна структура, посочена чрез указател или индекс.

Например, вместо да имате потребителски обект с дълги низове (име, биография, имейл), смесени с флагове или маркери, които постоянно се проверяват, е по-добре да групирате „горещите“ данни (идентификатор, последно влизане, активен статус) в компактна структура и да оставите останалата информация в отделна структура „детайли“. По този начин, когато кодът обхожда списък с потребители, за да провери статус или маркер, редовете на кеша са почти изцяло запълнени със съответните данни.

Намалете пълнителя и използвайте по-добре всеки ред

Друг фронт на битка се крие във физическия дизайн на структурите: ред на полетата и техните типове. Поради подравняването, смесването на типове с различни размери по неподреден начин може да доведе до добавяне на байтове, които само водят до разхищение на памет и, още по-лошо, на кеш линии.

Ако пренаредим структура от данни, за да групираме първо големите типове (напр. doubles или int64_t), след това средните типове и накрая най-малките типове (bool, char), обикновено намаляваме или елиминираме голяма част от допълването. Това позволява повече елементи да се поберат на един кеш ред, намалявайки натоварването на йерархията на паметта и вероятността от пропуски в паметта.

Изберете съседни контейнери

Контейнерите, в които се съхраняват предметите непрекъсната паметВекторите, като вид масиви, обикновено са много по-щадящи за кеширането от структурите, базирани на разредени възли, свързани чрез указатели (дървета, класически свързани списъци и др.). При преминаване през вектор, хардуерът може перфектно да предвиди следващия достъп и да зареди предварително следните кеш редове.

За разлика от това, структури като дървовидни карти или свързани списъци разпределят възлите си в купчината памет, принуждавайки процесора да извършва непрекъснато преследване на указатели. Всеки скок може да доведе до пропуск в кеша и скъпоструващо връщане към основната памет. Ето защо много съвременни библиотеки предлагат плътни хеш картиотворени таблици и други контейнери, които се опитват да запазят данните възможно най-компактни.

Онлайн съхранение на малки колекции

Много алгоритми включват много малки колекции (няколко цели числа, няколко структури), които постоянно се създават и унищожават. Ако всяка от тях доведе до заделяне на heap, ние не само понасяме разходи за управление на паметта, но и имаме разпръснати данни в RAM паметта. Решението е да се използват контейнери с онлайн съхранение за малки размери.

Този тип контейнер резервира място за 8 или 16 елемента директно в самия обект. Докато този лимит не бъде превишен, няма нужда от достъп до heap-а и данните остават прикачени към останалата част от функцията или състоянието на класа, което е много полезно за кеширане.

Модели на достъп: от AoS до SoA и използването на битови набори

Дори при добре структурирани кешове, моделът на достъп до данни до голяма степен определя производителността. Не е същото да се обхожда последователно масив и да се прескача от един адрес към друг въз основа на списък с указатели. Има някои повтарящи се техники за максимално използване на кеша.

Масив от структури (AoS) срещу структура от масиви (SoA)

Класически модел е преминаването от дизайн тип „масив от структури“ (AoS) към „масивна структура“ (SoA). В AoS всеки елемент е обект с много полета (например позицията и масата на частица) и тези елементи се съхраняват последователно. Когато трябва да прочетете само част от тези полета (например позицията), сте принудени да заредите кеш линии, които също носят неизползвани данни.

В SoA, от друга страна, различните атрибути са разделени в паралелни масиви: един за x, друг за y, друг за z, друг за маса и т.н. По този начин, ако алгоритъмът актуализира само позициите, той докосва само координатните масиви и кешът не е замърсен с неподходяща информацияОсвен това, този дизайн благоприятства векторизацията и използването на SIMD инструкции.

Битове и препратки по индекс

За малки домейни (напр. флагове, вариращи от 0 до 255), използването на битови набори е много по-ефективно от структурата на наборите, базирана на хеш. Битов набор от 256 позиции заема само няколко десетки байта и позволява много бързи, напълно съседни и кеш-съвместими операции, вместо да се налага разрешаване на колизии в хеш таблица.

По подобен начин, заменете указателите с индекси в съседни масиви Това може да намали размера на структурите (32-битови индекси вместо 64-битови указатели) и да подобри кохерентността на кеша. Вместо възли, разпръснати в heap-а, се съхранява вектор от възли, към които се сочи по тяхната позиция, което улеснява последователното преминаване.

Предварително извличане: кога да изпреварите работата

В допълнение към хардуерното предварително извличане, което се опитва да предвиди последователни модели на достъп, имаме инструкции за софтуерно предварително извличане за предварително зареждане на данни в специфични случаи. Това има смисъл, когато моделът е предвидим, но не е строго линеен, както се случва в хеш таблиците или свързаните списъци.

Общата идея е проста: докато обработвате елемент i, инструктирате хардуера да въведе елемент i+1 (или някакъв бъдещ блок) в кеша. Когато достигнете до този елемент, вероятността той вече да е в L1 или L2 е висока и времето за чакане се намалява. Това може да се реализира с примитиви за предварително извличане на компилатора или специфични библиотеки.

Въпреки това, няма смисъл да се използва изрично предварително извличане при напълно последователни достъпи, защото хардуерът вече го обработва автоматично. Всъщност, добавянето на ненужно предварително извличане може замърсявам кеша и влошават производителността. Както почти винаги е така с производителността, най-добре е да се измери преди и след.

Правила за кеширано местоположение, заместване и предварително извличане

На по-теоретично ниво, кеш системите се основават на правила за това къде да се съхраняват данни, кога да се извличат и кои данни да се премахват, когато няма достатъчно място. Въпреки че тези детайли се управляват от хардуера или операционната система, разбирането им помага при интерпретирането на определени необичайни поведения.

Що се отнася до местоположението, могат да се използват схеми от сегментиране на паметта или асоциативно разпределение на множеството, при което всеки адрес от основната памет може да се съпостави само с подмножество от кеша. Това влияе върху броя на конфликтите и вероятността два адреса да се припокриват в кеша.

Що се отнася до изчистването на кеша (какво се случва, когато има пропуск в кеша), влизат в действие политики за заместване: LRU (Най-малко използвани), FIFO или дори произволно заместване. LRU се опитва да запази най-скоро използваните данни в кеша, приемайки, че ще са необходими отново, докато FIFO просто изхвърля най-старите данни. Всяка политика има своите предимства в зависимост от действителния модел на достъп.

В секцията за предварително извличане има механизми, базирани на исторически модели: ако хардуерът открие, че всеки достъп е изместен, например, винаги с 64 байта, той ще се стреми да предвиждане на съседни блоковеВ други случаи се използва предварително извличане на пространство (вкарване на цял блок, дори ако сте поискали само част от него), за да се минимизира броят на посещенията в основната памет.

Измерване и профилиране на поведението на кеша

Оптимизирането без измерване е като да работиш на сляпо. Има инструменти за анализ на производителността, които ви позволяват да видите специфични показатели за кеша: препратки, пропуски на L1, пропуски на кеш от последно ниво (LLC), процент на пропуски и др. Тези показатели показват дали промените ви действително подобряват ситуацията.

Ако например процентът на пропуските в L1 е около 2-3%, това обикновено се счита за разумен процент, докато много високите нива на пропуски в кеша от последно ниво може да показват проблеми с пространствено или времево местоположениеКомбинирането на тези цифри с профилите на процесора и паметта помага да се открие кои части от кода оказват най-голям натиск върху йерархията на паметта.

Оптимизация на кеша и производителността в Windows

Отвъд самия код, много потребители се чудят защо техният компютър с Windows работи толкова бавно, ако „на теория“ има добър процесор и RAM памет. Част от отговора се крие в самата система, резидентните приложения и натрупването на цифрови ненужни файлове. Те консумират процесор, памет и кеш памет. постоянно, оставяйки по-малко ресурси за важни задачи. Чрез прилагане на няколко специфични оптимизации в Windows 10 и Windows 11 е възможно да се освободят ресурси на процесора и RAM паметта (Например, чрез конфигуриране на виртуална памет), намаляване на фоновите процеси и подобряване на способността на системата да кешира съответните данни. В зависимост от първоначалната ситуация, тези подобрения могат да варират от малки корекции до много забележими промени в цялостната производителност.

Актуализирайте Windows и драйвери

Една много основна стъпка, която много хора пренебрегват, е актуализирането както на операционната система, така и на драйверите. Актуализациите на Windows не само носят корекции за сигурност: те често включват подобрения в управлението на ресурсите, корекции на течове на памет и оптимизация на ядрото.

От панела с настройки на Windows (Старт > Настройки > Актуализация и защита > Windows Update) можете да търсите както общи актуализации, така и допълнителни пакети, включително некритични драйвери, които могат да оптимизират производителността на вашия процесор, графичен процесор или чипсет. Инсталирането на тези компоненти може да разреши проблеми със затрудненията или стабилността, които пряко влияят на начина, по който се използват кешът и паметта.

Деактивиране на P2P разпространението на актуализации

От Windows 10 насам системата може да изтегля и споделя актуализации, използвайки P2P механизъм с други компютри. Макар и гениална, тази система означава, че компютърът... използва процесор, мрежа и диск за да се помогне за разпространението на актуализации, нещо, което не винаги е желателно.

Деактивирането на „Оптимизация на доставката“ в Windows Update предотвратява предоставянето или изтеглянето на фрагменти от актуализации на други компютри от вашия компютър. Това освобождава ресурси, намалява фоновата активност и може да подобри цялостната производителност, особено на по-слаби системи.

Освободете дисково пространство и премахнете ненужните файлове

Когато дискът е пълен или почти пълен, Windows има по-малко място за пейджинг и създаване на временни файлове, което в крайна сметка се отразява на производителността. Използвайте вградения инструмент на Почистване на диска Тя ви позволява да изтривате временни файлове, остатъци от актуализации, елементи от кошчето и други данни, които вече не са необходими.

В допълнение към този инструмент за почистване, препоръчително е редовно да изпразвате кошчето и да използвате опциите за съхранение на Windows, за да изтривате натрупаните временни файлове. Колкото по-малко място има на системния диск, толкова по-ефективно ще работи подсистемата памет и толкова по-ефективно ще функционира кешът на диска.

Оптимизирайте стартиращите и фоновите програми

Един от най-големите врагове на процесора и кеша на компютър, използван ежедневно, са програмите, които стартират автоматично и работят във фонов режим: синхронизатори, актуализатори, малки помощни програми, които почти не използваме и т.н. Въпреки че може да изглеждат леки, всяка от тях добавя нишки, памет, достъп до диск и потребление на кеш памет.

От диспечера на задачите или с Sysinternals за контрол на процеситеВ раздела „Начало“ е възможно деактивирайте ненужните приложения за да предотвратите автоматичното им зареждане. Също така, в настройките за поверителност можете да контролирате кои приложения могат да работят във фонов режим. Намаляването на този списък не само подобрява времето за стартиране, но и намалява непрекъснатото натоварване на процесора и RAM паметта.

Намалете графичните ефекти и известията

Анимациите на прозорците, прозрачността и други визуални украшения консумират ресурси. На по-стари или по-малко мощни компютри може да е полезно да коригирате настройките на Windows, за да дадете приоритет на производителността пред външния вид. Това се прави чрез разширените опции на системата, в секцията за производителност, като изберете конфигурацията, която предпочита скоростта.

По подобен начин, излишъкът от известия може насити потребителя и екипаДеактивирането на ненужните предупреждения не само подобрява потребителското изживяване, но и предотвратява твърде честото задействане на фонови процеси или проверки.

Режими на захранване, хибернация и пикова производителност

Windows включва няколко плана за захранване, които пряко влияят върху начина, по който се управлява процесорът: дали се дава приоритет на живота на батерията или на чистата производителност. На настолни компютри и лаптопи, които са включени в контакта, обикновено е добра идея да прегледате тези настройки.

El бърз старт Бързото стартиране комбинира функции за изключване и хибернация, за да ускори времето за зареждане, като предварително зарежда част от ядрото и драйверите преди изключване. Активирането му може значително да намали времето за зареждане, въпреки че е препоръчително временно да го деактивирате, ако причинява проблеми с актуализациите или достъпа до BIOS.

От друга страна има а скрит план за „максимална производителност“ Това принуждава процесора и другите компоненти да работят по-неефективно, като се дава приоритет на пестенето на енергия. Активирането му може да осигури малко повече място за интензивни задачи, но за сметка на повишена топлина, шум от вентилатора и консумация на енергия.

Ефективно управление на пространството и паметта в системата

В допълнение към редовното почистване и контрол на резидентните програми, има и други начини за по-добро използване на физическите ресурси на компютъра и, от своя страна, на кеша на процесора и диска.

Претрупването на работния плот с икони, преки пътища, папки и файлове не е просто визуален проблем: Windows трябва да управлява всичко това, което добавя допълнително натоварване. сравнително чисто бюро Организирането на файлове в папки в рамките на устройствата е проста практика, която допринася за по-лека среда.

Също така е полезно да се разчита на облачни решения за съхранение на определени файлове, което намалява количеството използвано локално хранилище. При условие че това се прави разумно (без да се разчита изцяло на интернет връзката), локалната система може да бъде по-малко натоварена и да има по-голяма гъвкавост.

Специфични технологии: ReadyBoost, овърклок и хардуер

В системи с механичен твърд диск и ограничена RAM памет, Windows включва технологии като ReadyBoost, която ви позволява да използвате бързо USB устройство като вид допълнителен кеш. Макар и да не е магическо решение, в определени конфигурации може да осигури повишаване на производителността. облекчаване на част от натиска върху диска.

В другия край на спектъра, напредналите потребители могат да овърклокнат своите процесори, използвайки инструменти като Intel Extreme Tuning Utility (за отключени процесори). Увеличаването на тактовата честота повишава производителността, но също така увеличава температурата и консумацията на енергия, с реален риск от нестабилност и повреда, ако напрежението и охлаждането не се управляват внимателно.

Когато всички софтуерни оптимизации се окажат недостатъчни, е време да помислите за хардуерни подобрения: подмяна на твърд диск с SSD, разширяване на RAM паметта или дори процесор за промяна или цялата система. SSD устройството, в частност, трансформира възприеманата производителност на системата, тъй като драстично намалява времето за достъп до диска, което от своя страна позволява на кеша на диска и виртуалната памет да работят много по-плавно.

Заедно, комбинирайте добър дизайн на структури от данни и модели за достъп до паметта Използването на кеша на процесора с внимателна конфигурация на Windows (актуализирана, лека, без ненужни процеси, с подходящ план за захранване и, ако е необходимо, с малки помощни средства като ReadyBoost или хардуерни подобрения) ви позволява да извлечете много повече от един и същ компютър, постигайки приложения, които реагират гъвкаво, и система, която се усеща забележимо по-бърза, без нужда от „магия“ или езотерични трикове.