- De rectified linear unit optimaliseert de training van neurale netwerken door verzadiging bij positieve waarden te elimineren en de rekenkosten te verlagen.
- Er bestaan verschillende varianten, zoals Leaky ReLU of GELU, die ontworpen zijn om het probleem van inactieve neuronen aan te pakken of de vloeiendheid van de curve te verbeteren.
- De implementatie ervan in Implicit Neural Representations (INR) via BW-ReLU maakt het mogelijk om hoge frequenties vast te leggen en de optimalisatie te verbeteren.
Wanneer we ons verdiepen in de wereld van deep learning, komen we vaak de ReLU-functie tegen. Op het eerste gezicht lijkt het een heel simpel, bijna rudimentair hulpmiddel, maar in werkelijkheid vormt het de kern van de meeste moderne architecturen . In essentie fungeert het als een filter dat bepaalt welke informatie wordt doorgelaten en welke wordt verworpen, waardoor machines complexe patronen kunnen leren zonder dat de computer vastloopt.
Hoewel we het gebruik ervan tegenwoordig als vanzelfsprekend beschouwen, brak ReLU pas een paar jaar geleden echt door, met name toen het werd ingezet in modellen zoals AlexNet om uitdagingen op het gebied van beeldherkenning te domineren. Wat ReLU zo bijzonder maakt, is het vermogen om non-lineariteit in het netwerk te introduceren met een verwaarloosbaar resourceverbruik, waardoor het een fundamenteel onderdeel wordt voor de werking van de verborgen lagen van een neuraal netwerk.
Hoe werkt een gelijkgerichte lineaire eenheid precies?

Als we naar de onderliggende wiskunde kijken, is de ReLU-functie $f(x) = \\max(0, x)$. Simpel gezegd betekent dit dat als de invoerwaarde positief is, deze ongewijzigd wordt doorgegeven; maar als deze negatief of nul is, zet de functie deze automatisch om naar het absolute nulpunt . Deze eenvoud is de grootste kracht, omdat het de noodzaak vermijdt om ingewikkelde exponentiële functies te berekenen, iets wat wel nodig is bij functies zoals de sigmoidfunctie of de hyperbolische tangens.
Vanuit een trainingsperspectief is de afgeleide heel duidelijk: 1 voor positieve waarden en 0 voor negatieve waarden. Op het exacte nulpunt is het technisch gezien ongedefinieerd, maar de meeste bibliotheken zoals PyTorch kennen er conventioneel een waarde van 0 aan toe . Dit biedt verschillende belangrijke voordelen:
- Computationele efficiëntie: Op basis van een eenvoudige vergelijking is de verwerkingssnelheid extreem hoog.
- Vaarwel aan verzadiging: Een positief aspect is dat de gradiënt altijd 1 is, waardoor het foutsignaal niet vervaagt wanneer het door vele lagen terugreist.
- Verspreide activaties: Doordat veel neuronen nul retourneren, wordt het netwerk efficiënter, omdat slechts een deel van de laag is actief op elk moment.
- Stuksgewijs lineaire structuur: Het netwerk creëert uiteindelijk een functie die bestaat uit meerdere met elkaar verbonden lineaire gebieden.
De hoofdpijn van inactieve neuronen

Het is niet allemaal rozengeur en zonneschijn. Er is een kritieke fout die bekend staat als het 'moribund ReLU'-probleem. Dit treedt op wanneer een neuron altijd negatieve input ontvangt; omdat de gradiënt nul is, stoppen de gewichten met updaten en sterft de neuron in feite af. Soms komt dit door een te agressieve leerfrequentie die de bias te laag maakt.
Om te voorkomen dat het netwerk lamgelegd wordt, worden vaak trucs gebruikt zoals He-initialisatie , waarbij de initiële gewichten worden aangepast, of batchnormalisatie. De meest directe oplossing is echter gebleken om varianten te creëren die ervoor zorgen dat er zelfs aan de negatieve kant nog wat informatie doorgelaten wordt.
Evoluties en varianten van de functie

In de loop der tijd zijn er verbeterde versies ontstaan om de tekortkomingen van de standaard ReLU op te vullen. De Leaky ReLU voegt bijvoorbeeld een kleine helling (doorgaans 0,01) toe aan negatieve waarden, zodat het neuron nooit stopt met leren. Een vergelijkbare aanpak is te vinden in de PReLU, waar deze helling niet vastligt, maar door het netwerk tijdens de training wordt geleerd.
We hebben ook ReLU6, dat een maximumlimiet van 6 instelt om berekeningen stabieler te maken op apparaten met rekenkundige bewerkingen met lage precisie, wat veel voorkomt in mobiele modellen. Aan de andere kant zijn er meer geavanceerde opties zoals ELU, dat exponentiële curven gebruikt, of GELU en SiLU . Deze laatste twee zijn vloeiende curven die geen scherpe hoek bij nul hebben en zijn de standaard geworden in Transformers en massively multi-level taalmodellen.
ReLU versus klassieke functies
Voorheen werden de sigmoid- of tanh-functies veel gebruikt. Het probleem is dat deze functies aan de uiteinden "afvlakken", waardoor de afgeleide bijna nul wordt en de training extreem traag verloopt. Het is aangetoond dat een netwerk dat ReLU gebruikt tot zes keer sneller kan trainen dan een netwerk dat tanh gebruikt. Desondanks blijft de sigmoid-functie nuttig in de laatste laag als waarschijnlijkheden nodig zijn, en is tanh de voorkeursmethode voor de verborgen toestanden van recurrent ladder-netwerken.
Toepassingen in impliciete neurale representaties (INR)

Een fascinerend onderzoeksgebied is INR, waar netwerken worden gebruikt om continue signalen als 3D-beelden weer te geven. Men dacht dat ReLU hiervoor ongeschikt was vanwege de spectrale bias; het had namelijk moeite met het leren van fijne of hoogfrequente details . Recent onderzoek heeft echter aangetoond dat dit geen beperking van de functie zelf is, maar eerder een optimalisatieprobleem.
Om dit probleem aan te pakken, werd de BW-ReLU-architectuur ontwikkeld, geïnspireerd op B-spline-wavelets. In plaats van individuele neuronen te gebruiken, worden zeven ReLU-eenheden met vaste biaswaarden gegroepeerd om gelokaliseerde, oscillerende activaties te creëren . Dit is een baanbrekende ontwikkeling: de Gram-matrix verandert van slecht geconditioneerd naar zeer stabiel, waardoor het netwerk anatomische details in medische CT-scans of complexe signalen met verbazingwekkende nauwkeurigheid kan vastleggen, zelfs beter dan methoden zoals SIREN.
Door de variatienormtheorie in deze netwerken te integreren, kan de gladheid van de functie worden geregeld met behulp van een schaalparameter. Dit maakt wiskundige optimalisatie van de generalisatie van het model mogelijk , in plaats van simpelweg willekeurige waarden te testen. Dit toont aan dat ReLU's, mits correct gestructureerd, meer dan voldoende zijn voor elke complexe representatietaak.
De rectified linear unit (RLU) heeft de kunstmatige intelligentie getransformeerd door gradiëntberekeningen te vereenvoudigen en de creatie van veel complexere netwerken mogelijk te maken. Van het basisgebruik om verzadiging te voorkomen tot geavanceerde implementaties zoals BW-ReLU's voor continue signalen, blijft de RLU een onmisbaar instrument in vergelijking met duurdere of instabielere alternatieven.