Konversationsbasierter KI-Coach: Ein personalisierter digitaler Coach zur Verbesserung der Leistungen und Zielerreichung von Schüler*innen

Laufzeit: Januar 2025 – Dezember 2025
Status: Abgeschlossen
Bildungsstufe: Tertiärstufe
Thema: Artificial Intelligence AI, Digital Tools
Keywords: genKI, Coaching, Sokratisch, KI, Tutoring

Ausgangslage

Student*innen in Einführungskursen für Statistik unterscheiden sich stark hinsichtlich ihres Vorwissens und ihrer Lerngewohnheiten. Traditionelle Unterstützungsangebote (Übungen, Sprechstunden, Foren) lassen sich weder hinsichtlich des Umfangs noch des zeitlichen Anfalls der Fragen skalieren, und viele Lernende benötigen Unterstützung, die auf einzelne Argumentations- und Denkschritte abzielt, statt auf die Präsentation von Endergebnissen. Grosse Sprachmodelle können personalisierte Tutorien in grossem Massstab anbieten, doch unkontrollierte Textgenerierung steht im Konflikt mit kursspezifischer Terminologie, Notation und didaktischer Sequenzierung. Eine skalierbare Lösung erfordert daher sowohl eine pädagogisch fundierte Tutoring-Strategie (sokratisches Fragen) als auch technische Leitplanken, die sicherstellen, dass die Antworten eng an die Kursmaterialien angebunden bleiben.

Ziele

1. Entwicklung eines kursspezifischen konversationellen Tutors für eine Statistikveranstaltung an der Universität Bern auf Basis von GPT-4-ähnlichen Modellen (später GPT-5).
2. Implementierung und Vergleich zweier Tutoring-Strategien: sokratisches Tutoring und standardisierte instruktionale Erklärungen.
3. Konzeption einer kontrollierbaren Architektur, die die exakte Terminologie und Notation des Kurses einhält und zugleich robust gegenüber unerwarteten Lernpfaden der Student*innen bleibt.
4. Evaluation der technischen Umsetzbarkeit und erster Lerneffekte in einem realen Einsatzszenario sowie Ableitung übertragbarer Designempfehlungen.

Methode

Wir kombinierten

• (a) eine Literaturübersicht zu Tutoring-Ansätzen und Techniken der Verhaltensänderung mit
• (b) iterativem Prototyping mehrerer Systemarchitekturen.

Das finale System basierte auf einem checkpoint-basierten Workflow, der fest kodierte Restriktionen (Terminologie, Referenzen, verbotene Paraphrasen) mit generativen Komponenten verband. Der Tutor wurde in einer Statistikveranstaltung der Universität Bern in einem ausbalancierten zweiwöchigen Feldexperiment eingesetzt: Die Student*innen wurden zufällig entweder zunächst dem sokratischen oder dem instruktionalen Modus zugewiesen und wechselten anschliessend. Analysiert wurden Chatprotokolle sowie Vor-/Nachtests.

Ergebnisse

Wir entwickelten einen funktionsfähigen Tutor und setzten ihn erfolgreich in einer laufenden universitären Lehrveranstaltung ein. Die zentrale technische Erkenntnis war, dass reale Einsätze ein hohes Mass an Kontrollierbarkeit erfordern: Kursverantwortliche erwarteten eine strikte Einhaltung der offiziellen Wortwahl und Notation, während Student*innen die Robustheit und Flexibilität von Consumer-KI-Plattformen voraussetzten. Eine checkpoint-basierte hybride Architektur erwies sich als geeignet, um terminologische Konsistenz durchzusetzen und zugleich den Dialog adaptiv zu gestalten.
In der Feldauswertung fielen die Veränderungen von Vor- zu Nachtest insgesamt gering aus; Unterschiede zwischen den Tutoring-Modi waren in Woche 1 nicht eindeutig, während sich in Woche 2 ein kleiner Trend zugunsten des sokratischen Modus zeigte (höherer mittlerer Lernzuwachs als im instruktionalen Modus). Die Studie machte zudem eine hohe Rate fehlender Daten sowie eine starke Abhängigkeit der Effekte vom Ausgangsniveau der Studierenden sichtbar, was weiterführende Evaluationen mit grösseren Stichproben nahelegt.

Umgesetzte Translation

Der Tutor wurde im Rahmen einer Statistikveranstaltung an der Universität Bern implementiert und pilotiert. Die Student*innen konnten ihn für das Selbststudium und zur Bearbeitung von Übungsaufgaben nutzen, wobei das Kursteam konkrete Vorgaben zu Terminologie, Notation und zulässigen Lösungsschritten machte. Auf Grundlage beobachteter Fehlermodi und des Feedbacks der beteiligten Akteur*innen wurden die Leitplanken iterativ verfeinert (z. B. Einschränkung von Synonymverwendung, Erzwingen von Verweisen auf die Kursmaterialien und Umgang mit unerwarteten Lösungswegen). Die Durchführung diente als Proof of Concept für die Integration eines LLM-basierten Tutors in authentische Lehrsettings und etablierte einen Workflow, der in zukünftigen Kursdurchführungen wiederverwendet werden kann.

Beteiligte Institutionen