Ob Sprachmodelle Behauptungen einordnen können, wird üblicherweise offline geprüft: an Aufgabensammlungen oder an Urteilen beauftragter Testpersonen. Eine Arbeit auf dem Preprint-Server arXiv berichtet nun von einem Versuch auf einer laufenden Plattform – nach Angaben der Autoren der erste dieser Art. Getestet wurde über drei Monate im Programm für Gemeinschaftsnotizen des Kurznachrichtendienstes X, über die dortige Funktion für maschinell verfasste Notizen.
Die eingesetzte Kette durchsucht das Netz und die Plattform selbst, verarbeitet auch Inhalte, die nicht nur aus Text bestehen, und schreibt daraus eine Notiz zum jeweiligen Beitrag. Sie verfasste 1’614 Notizen zu 1’597 Beiträgen. Verglichen wurde mit 1’332 von Hand geschriebenen Notizen zu denselben Beiträgen, ausgewertet über 108’169 Bewertungen von 42’521 Bewertenden.
Ein direkter Vergleich ist heikel, weil sich Einreichungszeitpunkt und Sichtbarkeit der beiden Gruppen unterscheiden. Die Autoren rechnen daher zweimal: einmal über die einzelnen Bewertungen, einmal nur über jene Personen, die alle Notizen zu einem Beitrag bewertet haben. In beiden Rechnungen liegen die maschinellen Notizen vorn – über politische Lager hinweg erhielten sie mehr positive Bewertungen, und bei jenen Personen, die alle Notizen zu einem Beitrag bewertet hatten, fiel der Nützlichkeitswert deutlich höher aus. Die Schlagwörter, die Bewertende vergeben können, deuten laut Arbeit auf sachlichere Sprache und besser gewählte Quellen.
Was die Zahlen nicht belegen: dass die Notizen sachlich richtiger waren. Gemessen wurde, wie Bewertende sie beurteilen, nicht, ob eine Aussage stimmt. Die Autoren halten selbst fest, dass das Ergebnis von der Mechanik der Plattform mitgeprägt ist – von Zeitpunkt und Sichtbarkeit also, die es in einer Offline-Prüfung nicht gibt.
Für die Region
Wer in einer Schule oder einem Verein einen Text maschinell einordnen lässt, weiss nach dieser Arbeit, dass Leserinnen und Leser das Ergebnis oft gut finden – nicht, dass es stimmt; das Nachprüfen bleibt Handarbeit.