Bestenlisten vergleichen Sprachmodelle danach, was ihre beste oder ihre durchschnittliche Antwort erreicht. Eine Arbeit auf dem Preprint-Server arXiv hält das für die falsche Achse. Die Treffgenauigkeit sei ausgereizt: Im Mittel lande die Antwort auf dem Ziel. Was die Systeme im Betrieb unterscheide, sei die Streuung – wie eng die Antworten um dieses Ziel liegen, wenn dieselbe Anfrage mehrmals gestellt wird.
Der Autor borgt das Bild vom Schiessen: Das Können sagt, wo der durchschnittliche Schuss sitzt, die Zuverlässigkeit, wie gross die Gruppe ist. Prüfverfahren berichteten die Mitte und nicht die Spanne und verfehlten damit genau diesen Unterschied. Messen lasse sich die Streuung günstig: ein festes Set von Aufgaben mit maschinell auswertbarem Ergebnis, viele Durchläufe bei fest eingestellter Temperatur, danach die Beständigkeit je Aufgabe. Ein zweites Modell als Prüfer braucht es dafür nicht.
Nützlich wird die Messung nach Darstellung der Arbeit, weil sie zwei Fehlerbilder trennt. Eine enge Gruppe neben dem Ziel heisst: immer derselbe Fehler, korrigierbar durch die Art, wie gearbeitet wird. Eine weite Gruppe heisst: Das Modell selbst oder seine Einstellung muss wechseln.
Ein erster Durchlauf zeigt auch die Grenze des Verfahrens. Eine gemessene Lücke schloss eine einzige Regel vollständig, von null von fünf auf fünf von fünf. Aufgaben, die aus den Regeln selbst gebaut waren, brachten dagegen nichts: Was als gute Praxis ausdrücklich formuliert ist, beherrschen die Modelle laut der Arbeit bereits. Was diese Zahlen nicht belegen, ist die Streuung einzelner Systeme – die Arbeit beschreibt ein Verfahren, keine Rangliste.
Für die Region
Wer im Verein oder im Betrieb eine solche Anwendung einsetzt, prüft sie besser mit derselben Anfrage mehrmals als mit einer einzigen, die gelingt.