Chatprogramme sind für Jugendliche zu einer beiläufigen Anlaufstelle bei seelischer Not geworden. Eine Arbeit auf dem Preprint-Server arXiv beziffert den Anteil für die Vereinigten Staaten auf 13,1 Prozent der Jugendlichen oder 5,4 Millionen Personen und prüft, wie verlässlich solche Systeme die Sprache dieser Altersgruppe deuten. Als Anlass nennt sie mehrere Todesfälle unter Jugendlichen, die mit Gesprächen mit solchen Programmen in Verbindung gebracht werden.
Geprüft wurden die Sprachmodelle hinter Therapie-Apps und allgemeinen Chatprogrammen, namentlich Claude, GPT-4o und Llama-3.1. Grundlage sind zwei Prüfsammlungen: 64 Äusserungen zu seelischer Not in der Sprache dieser Altersgruppe, abgesichert von Muttersprachigen und von Fachleuten, sowie 75 mehrstufige Gespräche mit zusammen 780 Zügen, jedes einmal in Standardsprache und einmal in Jugendsprache.
Die Modelle verstehen 76 bis 82 Prozent des Wortschatzes, schätzen das klinische Risiko aber nur in 64 bis 72 Prozent der Fälle richtig ein. Diese Lücke von 10 bis 14 Prozentpunkten findet die Arbeit bei menschlichen Fachpersonen nicht wieder; dort beträgt sie 3 Punkte. Je mehrdeutiger die Äusserung, desto weiter geht die Schere auf – von 7 auf 18 Punkte.
Sechs Muster
An sechs Mustern hängen die Fehleinschätzungen, jedes mit dem Rückstand gegenüber der Standardsprache.
Rückstand in Prozentpunkten je Fehlermuster.
Treffen drei oder mehr dieser Muster zusammen, werden 94 Prozent der Fälle verfehlt. Leichte Nachbesserungen halfen nicht; erst ein aufwendiger Aufbau erreichte das Niveau menschlicher Fachpersonen, zum 6,4-fachen Aufwand.
Aus einer Grundquote von 34 Prozent verfehlter Fälle rechnet die Arbeit auf schätzungsweise 146’880 übersehene Krisen im Jahr hoch. Sie empfiehlt, den Menschen verbindlich in solche Systeme einzubinden, sie vierteljährlich eigens an der Sprache Jugendlicher zu prüfen, die Ergebnisse offenzulegen und den Bereich zu regeln. Wie belastbar die Hochrechnung ist, geht aus dem Auszug nicht hervor.
Für die Region
Für eine Schule oder einen Jugendverein hier heisst das vor allem, dass ein Chatprogramm die Ansprechperson nicht ersetzt – am wenigsten dann, wenn eine Jugendliche ihre Lage beiläufig oder ironisch schildert.