Ein Forschungsteam hat einen Datensatz mit echten Gesprächen zwischen Menschen und einem KI-Begleiter veröffentlicht: 2111 mehrteilige Unterhaltungen mit dem Dienst Replika, zusammen 14’051 Äusserungen.
Beurteilt wurden 7016 Äusserungen der Maschinenseite, jede unabhängig von drei Personen, entlang 13 Kategorien schädlichen Verhaltens. Die Kategorien stammen aus einer Systematik der Schäden, die in solchen Begleitgesprächen auftreten können. Veröffentlicht sind sowohl die zusammengefassten Urteile als auch die einzelnen – wer nachprüfen will, sieht die Abweichungen.
Sieben Sprachmodelle mussten die Schäden anschliessend selbst erkennen. Mit dem Gesprächsverlauf im Rücken gelang ihnen das besser als anhand einzelner Äusserungen; verlässlich war es nicht. Nach Darstellung des Teams tun sich die Modelle schwer damit, Hinweise aus dem Zusammenhang durchgehend einzubeziehen, die Schwere eines Schadens abzustufen und Grenzen im Verhältnis zwischen Mensch und Maschine zu deuten.
Der zweite Befund betrifft nicht die Maschine: Bei kontextabhängigem Verhalten waren sich auch die Beurteilenden häufig nicht einig. Wie stark sie auseinanderlagen, hing laut Studie mit ihrer politischen Zugehörigkeit zusammen, mit der Länge des Gesprächs und mit der Stelle, an der die Äusserung fiel.
Für die Region
Für Schulen und Vereine hier heisst das: Wer prüfen will, ob ein Gespräch mit einem KI-Begleiter Schaden anrichtet, findet dafür kein Werkzeug, dem er die Entscheidung überlassen kann.