Untersuchung der Effekte von Konversationsagenten auf das reflektierende Schreiben von Lernenden

Laufzeit: Januar 2024 – Dezember 2024
Status: Abgeschlossen
Bildungsstufe: Tertiärstufe
Thema: Artificial Intelligence AI, Digital Tools
Keywords: Adaptives Lernsystem, Künstliche Intelligenz, Metakognition

Ausgangslage

Reflektierendes Schreiben hilft Student*innen, ihr Lernen zu verstehen und metakognitive Kompetenzen zu entwickeln. Dennoch fällt es vielen – insbesondere in Wirtschaftsstudiengängen – schwer, tiefgehend zu reflektieren. Sie haben Mühe, ihre Gedanken zu strukturieren, über reine Beschreibung hinauszugehen und Erfahrungen in umsetzbare Erkenntnisse zu übersetzen. Übliche Ansätze (z. B. statische Schreibanweisungen oder Reflexionsaufsätze am Kursende) bieten selten die nötige Struktur oder das rechtzeitige Feedback. Lehrpersonen möchten Reflexion anleiten, verfügen aber oft nicht über die zeitlichen oder technischen Mittel, um individuelles Feedback in grossem Umfang zu geben. Konversationsagenten (Chatbots) könnten hier unterstützen, indem sie gezielte Nachfragen stellen, schrittweise Anleitung geben und qualitativ hochwertige Reflexion modellieren. Bisher gibt es jedoch nur begrenzte Evidenz dazu, wie solche Agenten die Qualität der Reflexion, das Lernen und die Lernerfahrung beeinflussen. Zudem benötigen Hochschulen vertrauenswürdige, datenschutzkonforme Implementierungen und einfache Dashboards, die Dozent*innen Einblick in den Fortschritt geben, ohne ihre Arbeitslast zu erhöhen. Unser Projekt adressiert diese Lücken, indem es einen Konversationsagenten und ein Begleit-Dashboard entwickelt, testet und implementiert, die personalisiertes reflektierendes Schreiben in realen Hochschulkursen unterstützen.

Ziele

• Entwicklung und Integration von MindMate, eines Konversationsagenten, der das reflektierende Schreiben Schritt für Schritt anleitet.
• Entwicklung eines Dashboards zur Visualisierung des Lernfortschritts.
• Evaluation der Effekte auf Reflexionsqualität, metakognitive Kompetenzen und Engagement im Vergleich zu statischen Prompts.
• Vergleich unterschiedlicher Prompt-Strategien, Sicherstellung verantwortungsvoller KI-Nutzung und Übertragung der Ergebnisse in die Lehrpraxis an der BFH und Partnerinstitutionen (Innosuisse-Projekt).

Methode

Wir verfolgten einen iterativen, designbasierten Forschungsansatz über mehrere BFH-Kurse hinweg. Co-Design-Workshops mit Student*innen und Dozent*innen informierten die schnellen Prototypen von MindMate und dem Dashboard. Feldstudien integrierten beide in die Reflect-App; zwei Kurs-Piloten verglichen konversationelle und statische Prompts. Die Evaluation kombinierte rubrikbasierte Reflexionsanalysen, Learning Analytics, Umfragen und Interviews. Sichere NLP-Tools unterstützten Themen- und Sentimentanalysen. Quantitative und qualitative Ergebnisse wurden zu Designprinzipien und Lehrleitlinien zusammengeführt.

Ergebnisse

Die Pilotstudien zeigen vielversprechende Resultate. Die Student*innen, die MindMate nutzten, verfassten reflektierte Texte, die strukturierter, spezifischer und handlungsorientierter waren als jene mit statischen Prompts. Sie berichteten von klarerer Anleitung, einem urteilsfreien Denkraum und stärkeren Verbindungen zwischen Theorie und Praxis. Die Effekte waren am deutlichsten, wenn der Agent schrittweise Prompts und kurze, personalisierte Rückmeldungen einsetzte. Lehrpersonen schätzten das Dashboard für den schnellen Überblick über Fortschritt und gezielte Feedbackvergabe. Wichtige Leitplanken wurden identifiziert: Transparenz über KI-Unterstützung, Vermeidung übermässiger Anleitung, die selbstständiges Denken ersetzt, und klare Erwartungen zu akademischer Integrität und Datennutzung. Details zu Studiendesign, Ergebnissen und Designimplikationen sind im CHI 2025 Extended Abstract zu MindMate sowie in einer begleitenden Publikation zu XR-gestütztem reflektierendem Schreiben dokumentiert.

Umgesetzte Translation

• Einsatz im Unterricht: MindMate ist in die Reflect-App integriert und wurde in mindestens zwei BFH-Kursen verwendet.
• Dashboard für Lehrpersonen: Dozent*innen können Fortschritt nachverfolgen und gezielt Student*innen mit Unterstützungsbedarf identifizieren; Feedbackprozesse werden effizienter.
• Lehrressourcen: Kurze Leitfäden, Beispiel-Prompts und Aktivitätsvorlagen erleichtern die Einführung von KI-gestütztem Reflexionsschreiben.
• Skalierung (Innosuisse-Förderung 2024–2026): Erweiterung der Funktionalität, Stärkung von Datenschutz und Governance, Vorbereitung des Roll-outs auf weitere Kurse und Partnerinstitutionen. Schulungs- und Einführungsmaterialien für Lehrpersonen sind Teil dieser Transferarbeit.

Beobachtete Effekte: Höhere Qualität und Tiefe der Reflexionen, gesteigertes Engagement der Student*innen, effizienteres und gezielteres Feedback durch Lehrpersonen.

Erwartete Wirkungen: Gestärkte metakognitive und selbstregulative Kompetenzen, verbesserte Transferleistung von Erfahrung zu Handlung sowie skalierbarer, gerechter Zugang zu formativer Rückmeldung. Für Institutionen unterstützt der Ansatz kompetenzorientierte Beurteilungen und trägt zu einer nachhaltigen Kompetenzentwicklung im Sinne lebenslangen Lernens bei. Die Wirkung wird anhand von Rubrikwertungen, Analysen, Umfragen und Lehrpersonenrückmeldungen fortlaufend beobachtet.

Beteiligte Institutionen