Attention: Worauf das Modell schaut
Damit ein Wort seinen Satz versteht, lässt das Modell jede Position über die bisherigen Wörter zurückschauen und gewichtet, was gerade zählt – worauf sich ein Wort wie „es" bezieht, welche Wörter zusammengehören, was als Nächstes folgt. Dieses Zurückschauen ist die Attention – das Herzstück des Transformers.
Die Gewichte stammen aus einem deutschen Sprachmodell. Tippe ein Wort an und wechsle die Aufgabe, um zu sehen, worauf das Modell jeweils zurückschaut.