Halluzinationen: wenn das Modell überzeugend daneben liegt
Sprachmodelle sagen den wahrscheinlichsten nächsten Text voraus – nicht die Wahrheit. Fehlt ihnen das Wissen, schweigen sie selten; sie füllen die Lücke mit etwas Plausiblem. Frag hier das Modell nach etwas Ausgedachtem und sieh, wie selbstsicher es erfindet.
Die Erfindungs-Maschine
Wähle ein Thema – jedes ist frei erfunden. Oder tippe selbst etwas Ausgedachtes ein.
Warum erfindet es? Ein Blick in die Wahrscheinlichkeiten
Dieselbe Mechanik wie auf der Next-Token-Seite: die Verteilung über das nächste Token – einmal bei einem Faktum, einmal bei etwas Unwissbarem.
Die Hauptstadt von Frankreich ist ▮
Wahrscheinlichkeiten gerade nicht verfügbar.
Oben antwortet ein Sprachmodell (Gemini über Vertex) mit einem ganz normalen Assistenten-Prompt – ohne Auftrag, etwas zu erfinden. Die Wahrscheinlichkeits-Balken weiter unten stammen aus demselben Mechanismus wie auf der Next-Token-Seite.