- Die gleichgerichtete lineare Einheit optimiert das Training neuronaler Netze, indem sie die Sättigung bei positiven Werten eliminiert und den Rechenaufwand reduziert.
- Es gibt verschiedene Varianten wie Leaky ReLU oder GELU, die entwickelt wurden, um das Problem inaktiver Neuronen zu bekämpfen oder die Glätte der Kurve zu verbessern.
- Die Implementierung in impliziten neuronalen Repräsentationen (INR) mittels BW-ReLU ermöglicht das Erfassen hoher Frequenzen und die Verbesserung der Optimierung.
Wenn wir uns mit Deep Learning beschäftigen, stoßen wir häufig auf die ReLU-Funktion. Auf den ersten Blick wirkt sie wie ein sehr einfaches, fast rudimentäres Werkzeug, doch tatsächlich ist sie das Herzstück der meisten modernen Architekturen . Im Wesentlichen fungiert sie als Filter, der entscheidet, welche Informationen durchgelassen und welche verworfen werden. Dadurch können Maschinen komplexe Muster lernen, ohne dass der Computer dabei abstürzt.
Obwohl wir seine Verwendung heute als selbstverständlich ansehen, erlangte es erst vor wenigen Jahren Bekanntheit, insbesondere durch den Einsatz in Modellen wie AlexNet, die Bilderkennungsherausforderungen dominieren. Das Besondere an ReLU ist seine Fähigkeit, Nichtlinearität mit minimalem Ressourcenaufwand in das Netzwerk einzuführen und so zur grundlegenden Komponente für die Funktionsfähigkeit der verborgenen Schichten eines neuronalen Netzes zu werden.
Wie genau funktioniert die gleichgerichtete lineare Einheit?

Die zugrundeliegende Mathematik der ReLU-Funktion lautet $f(x) = \\max(0, x)$. Vereinfacht ausgedrückt bedeutet dies, dass positive Eingabewerte unverändert übernommen werden; negative oder null Werte werden automatisch auf den absoluten Nullpunkt gesetzt . Diese Einfachheit ist ihre größte Stärke, da sie die Berechnung komplizierter Exponentialfunktionen vermeidet, wie sie beispielsweise bei der Sigmoid- oder der hyperbolischen Tangensfunktion erforderlich ist.
Aus Trainingssicht ist die Ableitung sehr eindeutig: Sie ist 1 für positive und 0 für negative Werte. Genau genommen ist sie an der Nullstelle undefiniert, aber die meisten Bibliotheken wie PyTorch weisen ihr konventionsgemäß den Wert 0 zu . Dies bietet mehrere entscheidende Vorteile:
- Recheneffizienz: Bereits ein einfacher Vergleich zeigt, dass die Verarbeitungsgeschwindigkeit extrem hoch ist.
- Adieu, Sättigung! Positiv ist, dass der Gradient immer 1 beträgt, wodurch verhindert wird, dass das Fehlersignal beim Durchlaufen vieler Schichten abklingt.
- Verstreute Aktivierungen: Da viele Neuronen Null zurückgeben, wird das Netzwerk effizienter, weil Nur ein Teil der Ebene ist aktiv in jedem Moment
- Stückweise lineare Struktur: Das Netzwerk erzeugt letztendlich eine Funktion, die aus mehreren miteinander verbundenen linearen Bereichen besteht.
Die Kopfschmerzen inaktiver Neuronen

Es ist nicht alles Gold, was glänzt. Es gibt einen gravierenden Fehler, das sogenannte Moribund-ReLU-Problem. Dieses tritt auf, wenn ein Neuron ständig negative Eingaben erhält; da sein Gradient null ist, werden seine Gewichte nicht mehr aktualisiert , und die Einheit stirbt im Grunde ab. Manchmal geschieht dies aufgrund einer zu hohen Lernrate, die den Bias zu niedrig einstellt.
Um zu verhindern, dass das Netzwerk beeinträchtigt wird, werden häufig Tricks wie die He-Initialisierung , die die Anfangsgewichte anpasst, oder die Batch-Normalisierung eingesetzt. Die direkteste Lösung besteht jedoch darin, Varianten zu entwickeln, die es ermöglichen, dass auch negative Informationen durchgelassen werden.
Entwicklungen und Varianten der Funktion

Im Laufe der Zeit sind verbesserte Versionen entstanden, um die Lücken der Standard-ReLU-Funktion zu schließen. Die Leaky ReLU beispielsweise fügt negativen Werten eine kleine Steigung (typischerweise 0,01) hinzu, sodass das Neuron kontinuierlich lernt. Ein ähnlicher Ansatz findet sich in der PReLU, bei der diese Steigung nicht fest ist, sondern vom Netzwerk während des Trainings erlernt wird.
Wir haben auch ReLU6, das einen Maximalwert von 6 festlegt, um Berechnungen auf Geräten mit geringer Rechengenauigkeit, wie sie bei mobilen Modellen häufig vorkommen, stabiler zu gestalten. Daneben gibt es komplexere Optionen wie ELU, das Exponentialkurven verwendet, oder GELU und SiLU . Letztere beiden sind glatte Kurven ohne den spitzen Winkel bei Null und haben sich in Transformer-Modellen und massiv mehrstufigen Sprachmodellen als Standard etabliert.
ReLU versus klassische Funktionen
Früher wurden häufig die Sigmoid- oder Tanh-Funktion verwendet. Das Problem dabei ist, dass diese Funktionen an den Enden abflachen, wodurch die Ableitung nahezu null wird und das Training extrem langsam ist. Es hat sich gezeigt, dass ein Netzwerk mit ReLU bis zu sechsmal schneller trainieren kann als eines mit Tanh. Dennoch bleibt die Sigmoid-Funktion in der letzten Schicht nützlich, wenn Wahrscheinlichkeiten benötigt werden, und Tanh ist die bevorzugte Methode für die verborgenen Zustände von rekurrenten Ladder-Netzwerken.
Anwendungen in impliziten neuronalen Repräsentationen (INR)

Ein faszinierendes Gebiet ist die INR (Integrated Neuroreconstruction), bei der neuronale Netze zur Darstellung kontinuierlicher Signale als 3D-Bilder eingesetzt werden. Man ging davon aus, dass die ReLU-Funktion hierfür ungeeignet sei, da sie eine spektrale Verzerrung aufweise; das heißt, sie habe Schwierigkeiten, feine oder hochfrequente Details zu erfassen . Neuere Forschungen haben jedoch gezeigt, dass dies keine Einschränkung der Funktion selbst ist, sondern vielmehr ein Optimierungsproblem darstellt.
Um diesem Problem zu begegnen, wurde die BW-ReLU-Architektur entwickelt, inspiriert von B-Spline-Wavelets. Anstatt einzelne Neuronen zu verwenden, werden sieben ReLU-Einheiten mit festen Bias-Werten gruppiert, um lokalisierte, oszillatorische Aktivierungen zu erzeugen . Dies ist ein Durchbruch: Die Gram-Matrix wird von schlecht konditioniert zu hochstabil, wodurch das Netzwerk anatomische Details in medizinischen CT-Scans oder komplexe Signale mit erstaunlicher Genauigkeit erfassen und sogar Methoden wie SIREN übertreffen kann.
Die Integration der Variationsnormtheorie in diese Netzwerke ermöglicht die Steuerung der Glätte der Funktion mithilfe eines Skalierungsparameters. Dies erlaubt die mathematische Optimierung der Generalisierung des Modells , anstatt lediglich Zufallswerte zu testen. Dies zeigt, dass ReLU-Aktivierungsfunktionen bei geeigneter Strukturierung für jede komplexe Repräsentationsaufgabe mehr als ausreichend sind.
Die ReLU-Funktion (Rectified Linear Unit) hat die künstliche Intelligenz revolutioniert, indem sie Gradientenberechnungen vereinfacht und die Entwicklung deutlich tieferer neuronaler Netze ermöglicht. Von ihrer grundlegenden Anwendung zur Vermeidung von Sättigung bis hin zu fortgeschrittenen Implementierungen wie BW-ReLUs für kontinuierliche Signale – ihre Fähigkeit, Effizienz und Repräsentationsfähigkeit in Einklang zu bringen , macht sie im Vergleich zu teureren oder instabileren Alternativen zu einem unverzichtbaren Werkzeug.