Tokenisierung
Bevor ein Modell Text verarbeiten kann, zerlegt es ihn in Tokens – kleine Bausteine aus einzelnen Zeichen, Wortteilen oder ganzen Wörtern.
Klicke auf „Text tokenisieren", um zu sehen, wie dein Text in Tokens zerfällt.
Die Tokens müssen nicht mit Wörtern übereinstimmen – oft ist ein Wort aus mehreren Stücken zusammengesetzt.
Derselbe Tokenizer, den auch ChatGPT nutzt. Fahre über ein Token, um zu sehen, wie der Text zerschnitten wird.
Übrigens: Nicht nur Text wird zerlegt. Auch Bilder und Audio teilen moderne Modelle in Stücke, bevor sie sie verarbeiten – wie aus einer Bildfläche eine Reihe wird, zeigt die Station Bild & Ton.