Ranglisten für Sprachmodelle prüfen meist Aufgaben mit überprüfbarer Lösung. Wie sich die Modelle bei offenen Aufgaben entwickeln – dort, wo Originalität und Vielfalt so viel zählen wie die Güte der Antwort –, ist weniger gut belegt. Eine Untersuchung aus dem Bereich Computer und Gesellschaft hat deshalb Antworten aus drei Jahren Modellveröffentlichungen miteinander verglichen.
Grundlage sind zwei Aufgabensammlungen: eine Sammlung offener Anfragen aus dem tatsächlichen Gebrauch und eine etablierte Prüfung aus der psychologischen Messlehre, die Kreativität erfassen soll. Verglichen wurden die Antworten über ein Ähnlichkeitsmass für Sätze.
Die Vielfalt der Ausgaben nimmt über die Zeit statistisch bedeutsam ab. Die Arbeit liest das als Hinweis darauf, dass sich die Modelle im kreativen Gehalt ihrer Antworten einander annähern, und benennt die Folge, falls der Trend anhält: Eine solche Vereinheitlichung könnte den Anteil des Menschen an gemeinsam entwickelten Ideen schmälern. Vorgelegt ist das als vorläufige Analyse, nicht als Messwert.
Für die Region
Wer in einer Schule, einem Verein oder einem Betrieb Texte und Ideen mit einem Sprachmodell entwickelt, muss damit rechnen, dass verschiedene Anbieter zunehmend Ähnliches vorschlagen – ein Wechsel des Modells ersetzt die eigene Idee nicht.