Lernanalysen arbeiten mit flexiblen Vorhersagemodellen. Deren Rechenweg lässt sich kaum nachvollziehen, und der Betrieb macht Aufwand – beides hält solche Werkzeuge nach Einschätzung der Arbeit aus der Schulpraxis heraus. Vorgeschlagen wird deshalb, ein fertig angepasstes Modell samt seiner nachträglichen Deutung in ein kleines, offen zugängliches Sprachmodell zu überführen. Dieses gibt danach eine Schätzung für die einzelne Person aus und erklärt sie in gewöhnlichen Sätzen.
In einer Simulation trennt die Arbeit zwei Fehlerquellen. Bekommt das kleine Modell ein fehlerfreies Signal, gibt es die Zusammenhänge fast verlustfrei wieder – das Mass für die Übereinstimmung erreicht mehr als 90 Prozent seines Höchstwerts –, ordnet die wichtigen Merkmale in der richtigen Reihenfolge und führt keine Grösse an, die nichts zur Sache tut. Dafür genügen zwei Milliarden Parameter. Arbeitet dagegen ein realistisches Vorhersagemodell im Hintergrund, stammt fast der ganze verbleibende Fehler von dort.
Zwei Einschränkungen benennt die Arbeit selbst. Die Güte der Erklärung ist unabhängig von der Güte des Signals: Flüssigkeit belegt keine Richtigkeit. Und wo die Fälle sehr ungleich verteilt sind, fällt die Entscheidung auf die häufigste Handlung zurück.
An einem landesweit repräsentativen Datensatz gibt das Verfahren einen bekannten Befund wieder: Von anspruchsvollen Mathematikkursen profitieren jene Schülerinnen und Schüler am meisten, die am wenigsten wahrscheinlich ein vierjähriges Hochschulstudium beginnen. 98,8 Prozent der Erklärungen hielten der Prüfung stand, erfundene Zahlen fand die Arbeit keine. Das fertige Modell rechnet auf einem handelsüblichen Laptop und ohne Netzverbindung – die Daten der Lernenden verlassen das Gerät nicht.
Für die Region
Für eine Schule hier heisst das: Kennzahlen über Lernende lassen sich im eigenen Haus auswerten, ohne die Daten weiterzugeben – die mitgelieferte Erklärung braucht dennoch jemanden, der den Befund gegenprüft, weil sie auch bei schwacher Rechnung überzeugend klingt.