Eine Untersuchung stellt juristische und medizinische Aufgaben nebeneinander und misst beide an vier Grössen: Wissensabruf, Belegen, Zuversicht und Widerstandsfähigkeit. Grundlage ist ein neuer Prüfbestand, in dem die zeitliche Geltung von Vorgaben und ihr Verhältnis zueinander abgebildet sind. Anlass war die Erwartung, Sprachmodelle müssten im Recht ähnlich abschneiden wie zuletzt in medizinischen Zulassungsprüfungen.
Dieser Vergleich hinke, halten die Autoren fest. In der Medizin bleibe eine Aussage gültig, solange empirische Belege sie tragen. Im Recht hänge die Geltung davon ab, welche Rechtsordnung greift, zu welchem Zeitpunkt und welchen Rang die herangezogene Quelle hat. Juristische Arbeit bestehe deshalb weniger im Schliessen als im Entscheiden, ob eine fremde Autorität überhaupt anwendbar, gültig und widerspruchsfrei ist.
Genau dort trennen sich die Ergebnisse. Bei den medizinischen Aufgaben half eine geprüfte Quelle den Modellen verlässlich weiter. Im juristischen Teil taten sie sich schwer damit, zu beurteilen, ob eine nachgeschlagene Fundstelle weiterführt oder in die Irre. Wurde der Zusammenhang verändert, antworteten sie zuversichtlicher, als der Befund hergab, und reagierten auf äusserliche Merkmale der Darstellung. Mit der Grösse des Modells verstärkte sich das: Wer Anweisungen besser befolgt, hält einer autoritativ auftretenden Störung offenbar schlechter stand.
Die Autoren schliessen daraus, dass die Modelle Recht wie gewöhnlichen Text behandeln und nicht wie bindende Vorgabe. Widersprechen sich eine äussere Fundstelle und das, was ein Modell selbst gespeichert hat, neigt es der Fundstelle zu – auch wenn sie falsch ist, sofern sie nur autoritativ genug auftritt.
Für die Region
Wer in einer Verwaltung oder einem Vereinsvorstand eine Vorschrift von einem solchen Werkzeug auslegen lässt, schlägt die genannte Fundstelle besser im Original nach, bevor sich jemand darauf beruft.