Backpropagation: wie das Netz seine Gewichte anpasst
Der Gradientenabstieg braucht für jedes Gewicht eine Steigung. Backpropagation rechnet sie aus – hier mit sichtbaren Gewichten und echten Zahlen. Verstell Eingabe, Ziel und Lernrate und sieh dem Netz beim Lernen zu.
Vorwärts: was sagt das Netz?
Jedes Neuron bildet die gewichtete Summe seiner Eingaben und quetscht sie (tanh bzw. σ). Alle Zahlen stammen aus den Gewichten im Diagramm.
tanh(1.60·0.80 + −1.40·0.20 + 0.20) = tanh(1.20) = 0.83tanh(−1.30·0.80 + 1.50·0.20 + −0.20) = tanh(−0.94) = −0.74σ(−1.80·0.83 + 1.70·−0.74 + −0.30) = σ(−3.05) = 0.05Klick auf eine Kante zeigt die Herleitung dieses Gewichts. „Schritt anwenden" verändert die Gewichte wirklich – wiederhol es und sieh, wie y Richtung Ziel wandert und der Fehler schrumpft.
Vorwärts rechnet das Netz seine Antwort, der Fehler zeigt, wie falsch sie ist, und rückwärts bekommt über die Kettenregel jedes Gewicht seinen Gradienten – seine Schuld am Fehler. Ein Schritt bergab passt alle Gewichte zugleich an.