Wie lernt ein Netz?
Ein Netz senkt seinen Fehler, indem es die Gewichte verschiebt – aber woher weiss es, in welche Richtung? Die Antwort heisst Gradientenabstieg. Roll den Ball ins Tal und dreh an der Lernrate.
Der Fehler ist eine Landschaft über den Gewichten. Die Steigung (der Gradient) zeigt bergab; ein Schritt geht ein Stück in diese Richtung. Genau diese Suche läuft in jedem Netz – nur in viel mehr Dimensionen.