Evaluierung KI-gestützter Dialogsysteme in der Hochschulbildung
KI‑gestützte Chatbot‑Tutoren vs. traditionelle Quizze: Untersuchung, ob geführte Lerndialoge den Wissenserwerb und die Kompetenzen im kritischen Denken fördern.
Laufzeit: März 2025 – Februar 2026
Status: Laufend
Bildungsstufe: Tertiärstufe
Thema: Artificial Intelligence AI
Keywords: KI-Tutoren, Formatives Assessment, Student*innen Engagement
Ausgangslage
Traditionelle Assessment‑Methoden in der Hochschulbildung evaluieren primär Wissensabruf statt höher‑wertiger Denkfähigkeiten. Obwohl sie für grosse Kohorten effizient sind, bieten sie nur begrenzte Gelegenheiten für offene Schlussfolgerungen, kritische Analyse und reflektierenden Dialog. Formatives Assessment durch Dialog hat sich pädagogisch als wertvoll erwiesen, doch die Skalierung personalisierter Interaktionen bleibt herausfordernd. KI‑gestützte Bildungstechnologien bieten potenzielle Lösungen, aber empirische Evidenz über deren Effektivität bei der Entwicklung kritischen Denkens ist begrenzt. Können KI‑Dialogsysteme tatsächlich höherwertige kognitive Fähigkeiten fördern, oder simulieren sie lediglich oberflächliche Interaktionen? Brians KI‑basiertes Dialogtool erlaubt Lehrpersonen, anpassbare KI‑Tutoren mit definierten Abschlusskriterien für Freitexte‑Übungen zu erstellen. Systematische Forschung ist jedoch nötig, um zu evaluieren, ob solche Tools Lernergebnisse im Vergleich zu konventionellen Methoden verbessern und wie Student*innen KI‑vermitteltes Lernen erleben. Dieses Projekt schliesst diese Wissenslücke durch eine rigorose Vergleichsstudie im Hochschulumfeld.
Ziele
Ziel dieses Projekts ist es, zu evaluieren, ob KI gesteuerte Dialogübungen in verschiedenen Hochschulkontexten Lernergebnisse gegenüber traditionellen Assessments verbessern können. Dabei untersuchen wir Student*innen Leistung, Engagement Muster und Erfahrungen mit KI vermitteltem Lernen. Die Studie wird dokumentieren, was im Unterrichtskontext funktioniert, und identifizieren, unter welchen Bedingungen KI Dialogtools Potenzial für die Entwicklung kritischer Denkfähigkeiten zeigen.
Methode
Wir führen im Jahr 2025 mit Student*innen der Berner Fachhochschule (BFH) über mehrere Kurse hinweg eine Studie durch. Wo möglich, werden Student*innen entweder KI Dialogübungen oder konventionellen Lernmethoden zugewiesen. Datenerhebung umfasst Masszahlen der Lernergebnisse, Learning Analytics der Plattform Brian AG (Engagement Muster, Abschlussraten) und Student*innen Befragungen zur Nutzer*innenerfahrung und wahrgenommenen Wirksamkeit. Wir kombinieren quantitative Leistungsdaten mit qualitativen Rückmeldungen, um zu verstehen, wie KI Dialogtools im Unterrichtsumfeld funktionieren.
Geplante Translation
Dieses Projekt kooperiert mit Brian AG, um einen direkten Forschungs Praxis Feedback Loop zu etablieren. Die Ergebnisse werden in die Plattform Verbesserung einfliessen, während beteiligte Dozent*innen der BFH Unterstützung bei der Implementierung erhalten. Ergebnisse werden über Konferenzbeiträge disseminiert, und validierte Features werden in Brians Plattform integriert. Dieses Projekt wird empirische Evidenz zu KI‑Dialogsystemen in authentischen Hochschulkontexten beitragen. Die Ergebnisse unterstützen die Weiterentwicklung der Plattform von Brian und liefern Erkenntnisse für Lehrpersonen, die KI‑Tools in Betracht ziehen. Die Wirkung wird anhand von Lernergebnissen der Student*innen, Plattformnutzungsmustern und Rückmeldungen der Lehrenden zur Machbarkeit bewertet.
