Pretraining
Ganz am Anfang lernt ein Modell nur eines: Sprache – von Grund auf. Diese erste, längste Trainingsphase heisst Pretraining; alles Spätere baut darauf auf. Hier läuft sie live in deinem Browser: Drück auf Start und sieh zu, wie aus Zufall Sprache wird.
Oben rechnet ein neuronales Netz mit ein paar tausend Parametern – live in deinem Browser. Es sagt jeweils das nächste Zeichen voraus und korrigiert bei jedem Schritt seinen Fehler, genau wie grosse Modelle, nur millionenfach kleiner.