Eine Untersuchung hat handschriftliche Physikprüfungen von einem multimodalen Sprachmodell nachkorrigieren lassen: 10364 eingescannte Seiten aus 520 Abgaben von 416 Kandidatinnen, Kandidaten und Studierenden, verteilt auf drei Prüfungen – die Theorieprüfung einer nationalen Physikolympiade, das abschliessende Auswahllager mit Theorie- und Experimentalteil sowie eine Universitätsprüfung in Quantenmechanik. Zum Einsatz kam ein Modell der Reihe GPT-5.5.
Jede Abgabe wurde zweimal bewertet, beide Mal nach den offiziellen Bewertungsrastern und ohne Einblick in die Noten der offiziellen Korrektur. Bei den Gesamtpunktzahlen liegt die Korrelation mit diesen Noten zwischen 0,91 und 0,97. Für die Auswahl des Olympiadeteams kam die Maschine auf dieselben fünf Personen wie die offizielle Bewertung.
Die zweite Runde arbeitete mit überarbeiteten Anweisungen: Seite für Seite, und mit der Pflicht, die Belegstelle zu nennen. Die Übereinstimmung bei den einzelnen Teilaufgaben verbesserte sich, am deutlichsten dort, wo die erste Runde am weitesten auseinanderlag. Schwierig blieb die genaue Vergabe von Teilpunkten, besonders im experimentellen Teil. Eine hohe Korrelation bei der Gesamtpunktzahl belegt also nicht, dass die einzelne Teilaufgabe richtig bewertet ist.
Verlässlich sei eine solche Korrektur nur mit ausführlichen Bewertungsrastern, hält die Untersuchung fest; sie taugt aus dieser Sicht als zweite Lesung oder als Stichprobenprüfung unter der Aufsicht der Prüfenden, nicht als erste Instanz.
Für die Region
Für ein Gymnasium oder eine Berufsschule hier heisst das: als Zweitkorrektur einer Prüfungsserie denkbar, für die Vergabe von Teilpunkten nicht.