Ein Forschungsteam hat verglichen, wie gut Rückmeldungen auf offene Kurzantworten ausfallen – geschrieben einmal von Hilfsassistenzen, einmal von einem Sprachmodell. Es ging um Aufgaben aus dem Einführungsunterricht im Programmieren. Die Rückmeldung sollte die Lernenden zu einem zweiten Versuch führen, ohne ihnen die Lösung zu verraten.
Dafür stellte das Team fünf Kriterien auf und leitet sie aus der Fachliteratur ab: Die Rückmeldung soll anerkennen, was an der Antwort richtig ist. Sie soll mindestens einen Fehler benennen, sofern einer vorliegt. Sie soll einen Hinweis geben, mit dem sich weiterarbeiten lässt, die Lösung dabei nicht preisgeben und im Ton angemessen bleiben.
Verglichen wurden die Rückmeldungen von neun Hilfsassistenzen mit jenen eines Sprachmodells zu 90 Antworten von Studierenden. Bewertet haben drei Forschende und zusätzlich ein Sprachmodell, jeweils unabhängig voneinander. Nach dem Urteil der Menschen lag das Programm im Mittel beständig vorn – die besten einzelnen Rückmeldungen kamen aber häufig von einer bestimmten Hilfskraft.
Der zweite Befund betrifft das Bewerten selbst. Das Sprachmodell benotete die eigenen Rückmeldungen durchwegs besser, als die menschlichen Fachleute es taten. Nach Angaben des Teams zeigt sich diese Selbstbevorzugung der Forschung zufolge auch dann, wenn ein Modell die Ausgaben eines anderen beurteilt; es sieht darin ein methodisches Problem für Arbeiten, die Sprachmodelle als Prüfinstanz einsetzen.
Für die Region
Für eine Schule hier heisst das: Wer Rückmeldungen von einem Programm schreiben lässt, sollte deren Qualität nicht vom selben Programm beurteilen lassen.