- Випрямлений лінійний блок оптимізує навчання нейронної мережі, усуваючи насичення на позитивних значеннях та зменшуючи обчислювальні витрати.
- Існує кілька версій, таких як Leaky ReLU або GELU, розроблених для боротьби з проблемою неактивних нейронів або покращення плавності кривої.
- Його реалізація в неявних нейронних представленнях (INR) через BW-ReLU дозволяє фіксувати високі частоти та покращувати оптимізацію.
Коли ми заглиблюємося у світ глибокого навчання, часто зустрічаємо функцію ReLU. На перший погляд, це здається дуже простим, майже рудиментарним інструментом, але насправді вона лежить в основі більшості сучасних архітектур . По суті, вона діє як фільтр, який вирішує, яка інформація проходить, а яка відкидається, дозволяючи машинам вивчати складні закономірності без збоїв комп'ютера в процесі.
Хоча сьогодні ми сприймаємо його використання як належне, його зростання популярності відбулося кілька років тому, зокрема, коли його почали використовувати в таких моделях, як AlexNet, для вирішення проблем розпізнавання зображень. Що робить ReLU таким особливим, так це його здатність впроваджувати нелінійність у мережу з незначними витратами ресурсів, стаючи фундаментальним компонентом для справжнього функціонування прихованих шарів нейронної мережі.
Як саме працює випрямлений лінійний блок?

Розглядаючи базову математику, функція ReLU має вигляд $f(x) = \\max(0, x)$. Простіше кажучи, це означає, що якщо вхідне значення додатне, воно передається як є; але якщо воно від'ємне або дорівнює нулю, функція автоматично перетворює його на абсолютний нуль . Ця простота є її найбільшою силою, оскільки вона дозволяє уникнути необхідності обчислення складних експонент, що трапляється з такими функціями, як сигмоподібна крива або гіперболічний тангенс.
З точки зору навчання, його похідна дуже зрозуміла: це 1 для позитивних значень і 0 для негативних. У точці, що дорівнює нулю, вона технічно невизначена, але більшість бібліотек, таких як PyTorch, за домовленістю призначають значення 0. Це забезпечує кілька ключових переваг:
- Обчислювальна ефективність: Виходячи з простого порівняння, швидкість обробки надзвичайно висока.
- Прощавай, насичення: З позитивного боку, градієнт завжди дорівнює 1, що запобігає згасанню сигналу помилки під час проходження назад через багато шарів.
- Розсіяні активації: Оскільки багато нейронів повертають нуль, мережа стає ефективнішою, тому що активна лише частина шару в кожну мить.
- Кусочно-лінійна структура: Мережа зрештою створює функцію, що складається з кількох пов'язаних лінійних областей.
Головний біль неактивних нейронів

Не все так гладко. Існує критичний недолік, відомий як проблема вмираючого ReLU. Це трапляється, коли нейрон завжди отримує негативні вхідні сигнали; оскільки його градієнт дорівнює нулю, його ваги перестають оновлюватися , і нейрон фактично вмирає. Іноді це трапляється через надмірно агресивну швидкість навчання, яка занадто занижує зміщення.
Щоб запобігти слабкості мережі, часто використовуються такі хитрощі, як ініціалізація He , яка коригує початкові ваги, або пакетна нормалізація. Однак найпрямішим рішенням було створення варіантів, які дозволяють деякій інформації проходити навіть з негативного боку.
Еволюції та варіанти функції

З часом з'явилися вдосконалені версії, щоб заповнити прогалини у стандартному ReLU. Наприклад, Leaky ReLU додає невеликий нахил (зазвичай 0,01) до від'ємних значень, щоб нейрон ніколи не припиняв навчання. Подібний підхід зустрічається в PReLU, де цей нахил не фіксований, а вивчається мережею під час навчання.
Також у нас є ReLU6, який встановлює максимальне обмеження 6, щоб зробити обчислення стабільнішими на пристроях з низькоточною арифметикою, що дуже поширене в мобільних моделях. З іншого боку, є більш складні варіанти, такі як ELU, який використовує експоненціальні криві, або GELU та SiLU . Ці два останні є плавними кривими, які не мають такого гострого кута в нулі та стали стандартом у Трансформерах та масивних багаторівневих мовних моделях.
ReLU проти класичних функцій
Раніше широко використовувалися сигмоїдна або тангенціальна функції. Проблема полягає в тому, що ці функції "сплющуються" на кінцях, що робить похідну майже нульовою, а навчання надзвичайно повільним. Було показано, що мережа, що використовує ReLU, може навчатися до шести разів швидше, ніж мережа, що використовує тангенціальну функцію. Незважаючи на це, сигмоїдна функція залишається корисною на останньому шарі, якщо потрібні ймовірності, а тангенціальна функція є кращим методом для прихованих станів рекурентних сходових мереж.
Застосування в неявних нейронних представленнях (INR)

Однією з захопливих галузей є INR, де мережі використовуються для представлення безперервних сигналів у вигляді 3D-зображень. Вважалося, що ReLU не підходить для цього, оскільки має спектральне зміщення, тобто йому важко вивчати дрібні або високочастотні деталі . Однак нещодавні дослідження показали, що це не обмеження самої функції, а радше проблема оптимізації.
Щоб вирішити цю проблему, було створено архітектуру BW-ReLU, натхненну вейвлетами B-сплайнів. Замість використання окремих нейронів, сім блоків ReLU з фіксованими зміщеннями групуються разом для створення локалізованих коливальних активацій . Це змінює правила гри: матриця Грама переходить від погано обумовленої до високостабільної, що дозволяє мережі фіксувати анатомічні деталі на медичних КТ-сканах або складних сигналах з вражаючою точністю, перевершуючи навіть такі методи, як SIREN.
Інтеграція теорії варіаційної норми в ці мережі дозволяє контролювати гладкість функції за допомогою параметра масштабування. Це дає змогу проводити математичну оптимізацію узагальнення моделі , а не просто тестувати випадкові значення. Це демонструє, що за умови правильної структури ReLU більш ніж адекватні для будь-якої складної задачі представлення.
Випрямлений лінійний блок трансформував штучний інтелект, спростивши градієнтні обчислення та дозволивши створювати набагато глибші мережі. Від базового використання для запобігання насиченню до складних реалізацій, таких як BW-ReLU для безперервних сигналів, його здатність балансувати ефективність та репрезентативну потужність робить його незамінним інструментом порівняно з дорожчими або нестабільними альтернативами.