Die üblichen Ranglisten für Sprachmodelle messen Automatisierung: Was bringt ein Modell zustande, wenn es die Aufgabe selbst erledigt? Eine Arbeit auf dem Preprint-Server arXiv stellt daneben eine zweite Frage – wie viel besser wird die Arbeit eines schwächeren Bearbeiters, wenn ein starkes Modell ihm zuarbeitet. Als Prüfstand dienen sieben Aufgaben aus dem Arbeitsalltag; bewertet wird in verdeckten Paarvergleichen durch eine Jury aus Sprachmodellen, nach aufgabenspezifischen Rastern und zehnmal wiederholt.
Die beiden Ranglisten decken sich nur schwach. Wer beim Automatisieren gewinnt, verliert beim Zuarbeiten in fünf von sieben Aufgaben. Und Zuarbeit hilft nicht verlässlich: Bei drei Aufgaben schneidet der Bearbeiter ohne jede Unterstützung besser ab als in jeder unterstützten Variante, und nur bei einem einzigen Modell schlägt die Hilfe im Mittel das Weglassen der Hilfe.
Was die Zahlen nicht belegen, ist, dass Assistenz grundsätzlich schadet. Gemessen wurde ein festes Aufgabenset mit einem standardisierten, absichtlich schwächeren Bearbeiter, und die Noten stammen nicht von Menschen, sondern wiederum von Modellen. Die Arbeit folgert daraus, dass die Fähigkeit zum Automatisieren ein unvollständiger Ersatzmassstab für die Qualität der Zuarbeit ist – wer ein Modell zum Zuarbeiten einsetzt, erfährt aus der gängigen Bestenliste wenig darüber, ob es taugt.
Für die Region
Wer in einem Verein oder einem Gewerbebetrieb ein Modell als Unterstützung einsetzt, misst den Nutzen besser an der eigenen Arbeit als an einer Rangliste – und lässt dabei den Vergleich ohne Unterstützung mitlaufen.