«Assess-med-BERT» – Ein Algorithmus zur automatisierten Erstellung von Distraktoren in deutschsprachigen Multiple Choice Fragen für Online Self-Assessments um das Lernen effizient zu unterstützen

Laufzeit: September 2022 – Oktober 2024
Status: Abgeschlossen
Bildungsstufe: Tertiärstufe
Thema: Artificial Intelligence AI, Digital Tools
Keywords: Deep Learning

Ausgangslage

Fachübergreifend zeigt sich, dass es zu wenig Übungsaufgaben (i.S. von Self-Assessments) für Lernende gibt, weil die Erstellung viel Zeit benötigt. Da Lehrende bereits viel Zeit verwenden, Multiple Choice Fragen (MCQs) für Prüfungen zu erstellen, fehlt ihnen diese Zeit, um zusätzlich weitere Übungsaufgaben anzubieten. Die vorhandene Forschung zur automatisierten Generierung von Übungsaufgaben bezieht sich weitgehend auf englischsprachige Datengrundlagen, welche nicht auf die deutsche Sprache übertragen werden können. Diese Lücke soll mit dem vorliegenden Projekt geschlossen werden.

Ziele

Das Projekt verfolgt das Ziel, das Lernen am Beispiel des medizinischen Kontexts im deutschsprachigen Raum zu verbessern, indem Lehrende effizienter Übungsfragen generieren (lassen) können, wodurch sich Lernende (sowohl Student*innen als auch Weiterzubildende) durch die Verwendung dieser generierten Übungsaufgaben besser neues Wissen aneignen können.

Methode

Die Erstellung des Modells umfasst zwei wesentliche Schritte: Im ersten Schritt wird ein medizinischer Korpus, eine Ansammlung von Algorithmen und Daten, aufgebaut. Im zweiten Schritt soll das Modell mithilfe des Korpus lernen, automatisiert Distraktoren, d.h. Falschantworten von MCQs, zu generieren. Dabei dienen der Fragestamm und die richtige Wahlantwort als Inputvariablen. Die daraus resultierenden Distraktoren sollen für Self-Assessments eingesetzt werden. Anschliessender Bestandteil des Projekts sind die Implementierung des Self-Assessments, wobei auch eine inhaltliche Überprüfung durch Fachexpert*innen stattfindet sowie ein Praxistest mit Student*innen.

Ergebnisse

Im vorliegenden Forschungsprojekt wurde ein Modell auf Grundlage von künstlicher Intelligenz und NLP (Natural Language Processing) entwickelt, welches es Akteur*innen im Bildungsbereich ermöglicht, Lernmöglichkeiten (Self-Assessments) mit deutlich geringerem Aufwand als bisher zur Verfügung zu stellen. Es zeigte sich, dass sich die generierten Distraktoren qualitativ nur geringfügig von den realen Distraktoren abwichen. Es konnte auch kein Unterschied festgestellt werden in der Wahl der generierten Distraktoren zu den bereits vorhandenen.

Umgesetzte Translation

Im vorliegenden Kooperationsprojekt mit Beteiligten von vier Institution (Institut für Medizinische Lehre und Institut für Psychologie Universität Bern, Universität Freiburg, Berner Fachhochschule Gesundheit) wurde der Fokus auf MCQs im medizinischen Bereich gelegt, da die Projektverantwortlichen hier über besondere Expertise und eine bestehende Datensammlung verfügen. Die geplante Publikation der Ergebnisse, inklusive Mitteilung der präzisen Vorgehensweisen und wichtigsten Erfahrungen, sollte perspektivisch jedoch ermöglichen, die beschriebene Verbesserung von Self-Assessments auch bei den Kooperationspartnerinnen und Kooperationspartnern und in anderen deutschsprachigen Bildungskontexten nutzen zu können.

Bevor eine Translation erfolgen kann, müsste das Modell so optimiert werden, dass weniger Hardware-Ressourcen verwendet werden müssen.

Beteiligte Institutionen