🧐

Finetuning: Vom Textgenerator zum Assistenten

Wie aus einem Sprachmodell ein hilfreicher Assistent wird

Wissen aus dem Pretraining, Verhalten aus dem Finetuning
Nach dem Pretraining ist das Modell noch kein Assistent

Im vorherigen Kapitel haben wir gesehen, wie ein Sprachmodell im Pretraining lernt, Texte zu ergĂ€nzen und ZusammenhĂ€nge zu verstehen. Das vermittelt dem Modell sein grundlegendes Wissen ĂŒber Sprache und Inhalte.

Probleme mit Pretraining allein:

1. Das Modell setzt einfach Texte fort statt zu antworten

2. Es ist nicht klar, dass es als Assistent fungieren soll

3. Es hat keine Struktur fĂŒr GesprĂ€che

4. Es kann schÀdliche oder falsche Inhalte generieren

Durch Finetuning lernt das Modell, wie ein Assistent zu kommunizieren. Wir trainieren es mit BeispielgesprÀchen zwischen Menschen und Assistenten, damit es:

  • Seine Rolle als hilfreicher Assistent versteht
  • Auf Anfragen direkt antwortet statt Text fortzufĂŒhren
  • Die Struktur eines Dialogs beibehĂ€lt
  • Sich an Anweisungen und Constraints hĂ€lt

Das Finetuning nutzt die gleiche Trainingsmethode wie das Pretraining, aber mit spezifischen Beispielen, die dem Modell beibringen, wie es sein Wissen im Assistenz-Kontext anwenden soll.

Finetuning simulieren
Erlebe den Unterschied zwischen einem nur vortrainierten und einem finegetuned Modell

Klicke auf "Simulation starten", um den Unterschied zu sehen

Du wirst den Unterschied zwischen einem Modell direkt nach dem Pretraining und einem Modell nach dem Finetuning erleben können, indem du verschiedene Fragen stellst.