Prüfungen für das Gedächtnis von Sprachmodellen fragen bisher vor allem, ob eine Information richtig aufgenommen, abgelegt und wiedergefunden wird. Was die gefundene Erinnerung danach mit dem Denken des Modells macht, prüfen sie kaum. Eine Arbeit aus dem Bereich Computer und Gesellschaft legt dafür eine eigene Prüfsammlung vor.
Sie nennt das Problem kognitive Fallen und unterscheidet zwei Formen: das Festhalten an einer früheren Überlegung und die Verzerrung einer Annahme. Beides tritt laut der Arbeit auch dann auf, wenn die Erinnerung korrekt festgehalten und für die gestellte Aufgabe inhaltlich passend ist.
Geprüft wurden zwei Modellfamilien und fünf verbreitete Gedächtnisverfahren. Alle blieben hinter dem Betrieb ohne Gedächtnis zurück; bei den stärksten Verfahren fiel die Leistung um mehr als zehn Prozent.
Die Arbeit schlägt ein Gegenmittel vor, das erst bei der Abfrage ansetzt: Das Modell wird angewiesen, die Fallen zu meiden. Nach Angaben der Autorenschaft mildert das die Einbrüche und hält die Ergebnisse auf den üblichen Gedächtnisprüfungen mindestens gleich. Ein Messwert dazu steht nicht dabei.
Für die Region
Wer in einer Schule, einem Verein oder einem Betrieb einen Assistenten einsetzt, der sich frühere Gespräche merkt, sollte prüfen, ob die Antworten dadurch tatsächlich besser werden – nach dieser Arbeit kann es auch umgekehrt sein.