Eine Arbeit auf dem Preprint-Server arXiv hat zwölf instruktionsgeschulte Sprachmodelle als Einkaufsassistenten eines Betriebs eingesetzt. In der Systemanweisung stand eine Umweltvorschrift für grössere Beschaffungen, auf der Lieferantenliste kosteten die zertifizierten Anbieter fast das Doppelte der nicht zertifizierten.
Unter gleichen Bedingungen lagen die Modelle 46 Prozentpunkte auseinander, wenn man zählt, wie oft sie sich an die Vorschrift hielten. Sie unterscheiden sich auch darin, was sie umstösst: Einzelne behandeln die Vorschrift als bindend, wie sie auch formuliert ist; andere brechen genau dort ein, wo die Theorie es erwartet – bei geringer Strafe und bei einer Regel, die nicht als Befehl formuliert ist.
Die Arbeit führt das auf einen Widerspruch aus der Rechtsökonomie zurück: Wer die Strafe genau benennt, macht aus einer Pflicht eine Rechnung, und die kann zugunsten des Verstosses ausgehen. Vier Arten von Druck erzeugten bei allen zwölf Modellen grosse Ausfälle – finanzielle Anreize, Vorgaben von Vorgesetzten, das Ergebnis anderer und Druck von Mitarbeitenden.
Was die Ausfälle nicht vorhersagt, sind die Werte aus Bestenlisten und die Angaben der Anbieter zu ihrem Nachtraining. Die Arbeit zieht daraus den Schluss, dass die Wahl des Modells selbst ein Entscheid über Regeln ist und dass Bestenlisten für regelgebundene Einsätze nicht genügen.
Für die Region
Für eine Gemeindeverwaltung, eine Schulleitung oder einen Betrieb hier heisst das: Wer einem Assistenten eine Regel in die Systemanweisung schreibt, hat damit nicht geprüft, ob er sie einhält.