- Выпрямленный линейный блок оптимизирует обучение нейронной сети, устраняя насыщение при положительных значениях и снижая вычислительные затраты.
- Существует несколько версий, таких как Leaky ReLU или GELU, предназначенных для борьбы с проблемой неактивных нейронов или улучшения плавности кривой.
- Его реализация в неявных нейронных представлениях (INR) с помощью BW-ReLU позволяет захватывать высокочастотные сигналы и улучшать оптимизацию.
Когда мы погружаемся в мир глубокого обучения, часто встречаем функцию ReLU. На первый взгляд, это кажется очень простым, почти рудиментарным инструментом, но на самом деле она лежит в основе большинства современных архитектур . По сути, она действует как фильтр, определяющий, какая информация проходит через него, а какая отбрасывается, позволяя машинам изучать сложные закономерности без сбоев в процессе.
Хотя сегодня мы воспринимаем его использование как нечто само собой разумеющееся, его популярность возросла несколько лет назад, в частности, когда его начали применять в таких моделях, как AlexNet, для решения задач распознавания изображений. Особенность ReLU заключается в его способности вводить нелинейность в сеть с минимальными затратами ресурсов, становясь фундаментальным компонентом для полноценного функционирования скрытых слоев нейронной сети.
Как именно работает выпрямительный линейный блок?

Если рассматривать лежащую в основе математику, функция ReLU имеет вид $f(x) = \\max(0, x)$. Проще говоря, это означает, что если входное значение положительное, оно передается как есть; но если оно отрицательное или равно нулю, функция автоматически преобразует его в абсолютный ноль . Эта простота является ее главным преимуществом, поскольку позволяет избежать вычисления сложных экспоненциальных функций, что происходит с такими функциями, как сигмоидная функция или гиперболический тангенс.
С точки зрения обучения, его производная очень понятна: она равна 1 для положительных значений и 0 для отрицательных. В точной точке нуля она технически не определена, но большинство библиотек, таких как PyTorch, по соглашению присваивают ей значение 0. Это дает несколько ключевых преимуществ:
- Вычислительная эффективность: Если проводить простое сравнение, скорость обработки данных чрезвычайно высока.
- Прощай, насыщенность: Положительным моментом является то, что градиент всегда равен 1, что предотвращает затухание сигнала ошибки при прохождении через множество слоев.
- Разрозненные активации: Поскольку многие нейроны возвращают ноль, сеть становится более эффективной, потому что Активна только часть слоя. в каждый момент
- Пошаговая линейная структура: В итоге сеть создает функцию, состоящую из множества соединенных линейных областей.
Головная боль, вызванная неактивными нейронами

Не всё так радужно. Существует серьёзный недостаток, известный как проблема умирающей функции ReLU. Это происходит, когда нейрон всегда получает отрицательные входные сигналы; поскольку его градиент равен нулю, его веса перестают обновляться , и нейрон, по сути, умирает. Иногда это происходит из-за слишком агрессивной скорости обучения, которая слишком сильно снижает смещение.
Чтобы предотвратить ослабление сети, часто используются такие приемы, как инициализация Хе , которая корректирует начальные веса, или пакетная нормализация. Однако наиболее прямым решением стало создание вариантов, позволяющих передавать некоторую информацию даже в отрицательном направлении.
Эволюция и варианты функции

Со временем появились улучшенные версии, чтобы заполнить пробелы в стандартной функции ReLU. Например, функция Leaky ReLU добавляет небольшой наклон (обычно 0,01) к отрицательным значениям, так что нейрон никогда не перестает обучаться. Аналогичный подход используется в функции PReLU, где этот наклон не фиксирован, а изучается сетью в процессе обучения.
Также существует ReLU6, который устанавливает максимальное значение 6 для повышения стабильности вычислений на устройствах с низкоточной арифметикой, что очень распространено в мобильных моделях. С другой стороны, есть более сложные варианты, такие как ELU, использующий экспоненциальные кривые, или GELU и SiLU . Последние два представляют собой плавные кривые, не имеющие острого угла в нуле, и стали стандартом в трансформерах и многоуровневых языковых моделях.
Функция активации ReLU против классических функций
Ранее широко использовались сигмоидная функция или функция tanh. Проблема заключалась в том, что эти функции «сглаживаются» на концах, делая производную почти равной нулю и значительно замедляя обучение. Было показано, что сеть, использующая ReLU, может обучаться до шести раз быстрее, чем сеть, использующая tanh. Тем не менее, сигмоидная функция остается полезной в последнем слое, если необходимы вероятности, а tanh является предпочтительным методом для скрытых состояний рекуррентных лестничных сетей.
Применение в неявных нейронных представлениях (INR)

Одной из захватывающих областей является INR (Integrated Networks), где нейронные сети используются для представления непрерывных сигналов в виде трехмерных изображений. Ранее считалось, что функция ReLU для этого непригодна из-за спектрального смещения, то есть ей было трудно обучаться распознаванию мелких или высокочастотных деталей . Однако недавние исследования показали, что это не ограничение самой функции, а скорее проблема оптимизации.
Для решения этой проблемы была создана архитектура BW-ReLU, вдохновленная B-сплайновыми вейвлетами. Вместо использования отдельных нейронов, семь блоков ReLU с фиксированными смещениями группируются вместе для создания локализованных, осциллирующих активаций . Это кардинально меняет ситуацию: матрица Грама переходит от плохо обусловленной к высокостабильной, что позволяет сети улавливать анатомические детали на медицинских КТ-снимках или сложных сигналах с поразительной точностью, превосходя даже такие методы, как SIREN.
Интеграция теории вариационной нормы в эти сети позволяет контролировать гладкость функции с помощью параметра масштабирования. Это дает возможность математической оптимизации обобщающей способности модели , а не простого тестирования случайных значений. Это демонстрирует, что при правильной структуре функции активации ReLU более чем адекватны для любой сложной задачи представления.
Выпрямленный линейный блок (ВЛУ) произвел революцию в искусственном интеллекте, упростив вычисления градиентов и позволив создавать гораздо более глубокие нейронные сети. От его базового использования для предотвращения насыщения до сложных реализаций, таких как BW-ReLU для непрерывных сигналов, его способность балансировать между эффективностью и репрезентативной мощностью делает его незаменимым инструментом по сравнению с более дорогими или нестабильными альтернативами.