Bestenlisten für Sprachmodelle zählen üblicherweise richtig oder falsch und melden den Anteil der richtigen Antworten. Dahinter steht die Annahme, Teilwissen sei anteilig etwas wert. Eine Arbeit auf dem Preprint-Server arXiv zeigt an einer echten Prüfung, dass diese Annahme kippt, sobald ein Raster nicht anteilig rechnet.
Vietnam hat seine Abschlussprüfung der Sekundarstufe 2025 umgestellt. In Teil II beurteilen die Kandidatinnen und Kandidaten pro Frage vier Aussagen als richtig oder falsch, und die Punkte steigen nicht gleichmässig, sondern je nach Zahl der getroffenen Aussagen: null, 0.10, 0.25, 0.50 oder 1.00 Punkte. Drei von vier richtig bringen 0.50 Punkte, nicht die 0.75, die eine anteilige Rechnung ergäbe. Teil II macht 4.00 der insgesamt 10.00 Punkte aus.
Punkte pro Frage in Teil II, nach Zahl der richtig beurteilten Aussagen.
Die Autoren haben daraus einen Prüfstand gebaut: 632 Aufgaben aus 21 offiziellen Prüfungen in elf Fächern, bewertet genau nach dem Raster des Ministeriums. Weil dieses die Noten von über einer Million Kandidaten veröffentlicht, lassen sich Modelle direkt in dieses Feld einordnen. Über acht geprüfte Modelle hinweg fällt die amtliche Bewertung pro Frage in Teil II um 0.020 bis 0.159 Punkte tiefer aus als die anteilige.
Klein klingende Differenzen verschieben die Rangordnung: Bei einem Modell in der Geschichtsprüfung 2025 genügten 0.042 Punkte, um es unter 481’293 Kandidaten vom 90. auf das 77. Perzentil zu setzen. Der Anteil richtiger Antworten sagt diesen Abzug nicht voraus – bei gleichem Anteil ergaben unterschiedlich verteilte Fehler zwischen 0.869 und 0.932 Punkten pro Frage. Was die Zahlen nicht belegen, ist, dass die eine Rechnung gerechter wäre als die andere. Sie zeigen, dass es darauf ankommt, wie die richtigen Aussagen zusammenfallen – und dass eine gängige Bestenliste eine Leistung ausweisen kann, die die prüfende Behörde so nicht bescheinigen würde.
Für die Region
Wer in einer Schule oder einem Verein einen Test auswertet, entscheidet mit dem Raster mit, welches Ergebnis herauskommt – und wer eine Bestenliste liest, sollte wissen, nach welcher Regel sie gerechnet wurde.