KI-gestütztes System zur kontextabhängigen Bewertung digitaler Kompetenzen

Laufzeit: Januar 2024 – Dezember 2024
Status: Abgeschlossen
Bildungsstufe: Tertiärstufe
Thema: Artificial Intelligence AI, Data Science for Education, Digital Skills & Literacy, Digital Tools
Keywords: Data Science, Digitale Kompetenzen, Large-Scale Assessment, Metakognition

Ausgangslage

Dieses Forschungsprojekt zielt darauf ab, die Herausforderungen zu bewältigen, die durch die rasante Digitalisierung der Arbeitswelt entstehen und umfangreiche Weiterbildungs- und Umschulungsmassnahmen weltweit erforderlich machen. Angesichts der Grenzen bestehender Kompetenzrahmen, die oft die komplexen Situationen, mit denen Fachkräfte tatsächlich konfrontiert sind, unzureichend abbilden, schlägt das Projekt die Entwicklung einer KI-gesteuerten Engine zur Bewertung digitaler Kompetenzen vor.

Ziele

Diese Engine, die auf grossen Sprachmodellen basiert, soll Situational Judgement Tests (SJTs) verbessern, indem sie realistische, kontextspezifische Arbeitsszenarien generiert. Die innovative, dialogbasierte Bewertungsmethode integriert persönliche Kontexte und ermöglicht so eine massgeschneiderte Einschätzung digitaler Kompetenzen. Dieser Ansatz schliesst eine entscheidende Lücke in aktuellen Bildungs- und Weiterbildungsprogrammen, indem er die Relevanz und Genauigkeit von Kompetenzbewertungen erhöht und gleichzeitig Inklusion und Personalisierung sicherstellt – ein wichtiger Schritt hin zu einer anpassungsfähigeren und besser qualifizierten zukünftigen Arbeitswelt.

Methode

Ein SJT-Leitfaden wurde entwickelt, der in die Praxis überführt werden kann, indem er systematische Schritte bereitstellt, die es Praktiker*innen ermöglichen, Situational Judgement Tests (SJTs) zu entwickeln, zu implementieren und zu optimieren, die an spezifische organisatorische oder bildungsbezogene Bedürfnisse angepasst sind. Zunächst erfolgt ein Kompetenz-Mapping, um relevante Fähigkeiten oder Verhaltensweisen im jeweiligen beruflichen Kontext zu identifizieren. Anschließend werden Szenarien von Fachexpertinnen erstellt – oft mithilfe der Critical-Incident-Technik –, um realistische Herausforderungen aus der Arbeitswelt abzubilden. Verschiedene Antwortformate, wie geschlossene oder offene Fragen, werden entsprechend der Zielsetzung der Bewertung gewählt. In der Pretest-Phase werden Pilotgruppen gebildet, um Entwürfe der SJTs zu absolvieren. Die erhobenen Daten werden anschliessend auf Zuverlässigkeit, Fairness und Bias geprüft. Rasch-Modellierung oder andere Methoden der Item-Response-Theorie können verwendet werden, um die Schwierigkeit einzelner Items zu kalibrieren und potenzielle Unterschiede zwischen demografischen Gruppen auszugleichen. Wenn bestimmte Lesbarkeitsstandards erforderlich sind, werden Metriken wie der Flesch-Kincaid- oder Gunning-Fog-Index herangezogen, um die Sprachkomplexität anzupassen und die Zugänglichkeit sicherzustellen.

Nach der Validierung können die SJTs in Auswahlverfahren, Trainingsevaluationen oder Programme zur beruflichen Weiterentwicklung integriert werden. Auch digitale Umsetzungsformen – etwa mit Chatbots oder Online-Plattformen – werden empfohlen, um die Durchführung effizienter zu gestalten. Regelmäßige Aktualisierungen, geleitet durch technologische Entwicklungen oder neue berufliche Anforderungen, sichern langfristige Relevanz. Durch die Anwendung dieser Schritte und der im Leitfaden dargelegten psychometrischen Evidenz werden Praktiker*innen befähigt, robuste, faire und valide SJTs zu entwickeln, die wesentliche Kompetenzen in vielfältigen Kontexten zuverlässig erfassen.

Ergebnisse

Eine einsatzbereite Online-Plattform wurde in Zusammenarbeit mit dem Institut für Informatik entwickelt. Sie ermöglicht die Erstellung personalisierter DigComp-Fragebögen. Zunächst geben die Nutzer*innen ihren beruflichen Kontext an, damit der Fragebogen an ihre spezifischen Bedürfnisse angepasst werden kann. Anschliessend werden diese Kontextinformationen in eine LLM-gestützte Fragebogen-Engine geladen, die die Fragen in Echtzeit generiert. Nach Abschluss des Fragebogens stehen die Ergebnisse zur Analyse bereit. Die Plattform integriert fortgeschrittene LLM-Funktionen, um Fragen automatisch an die jeweilige Rolle, Branche oder Kompetenzlücke der Nutzer*innen anzupassen. Dadurch bleibt die digitale Kompetenzbewertung kontextuell relevant und liefert präzisere Erkenntnisse für Einzelpersonen und Organisationen. Diese Plattform ist vollständig funktionsfähig und wird beim BFH Business Breakfast vorgestellt.

Umgesetzte Translation

Das Projekt verfolgt das Ziel, ein vielseitiges und anpassungsfähiges Messinstrument zur Bewertung digitaler Kompetenzen auf Basis der SJT-Methodik zu entwickeln. Es ist für ein breites Anwendungsspektrum – von Bildungseinrichtungen bis zu Unternehmen – konzipiert und legt den Schwerpunkt auf Modularität und Anpassbarkeit, um langfristige Relevanz und Nutzen sicherzustellen. Zur Förderung der Nachhaltigkeit werden Strategien wie die Bereitstellung einer White-Label-Version, Kooperationen zur Entwicklung spezialisierter Module sowie massgeschneiderte Tools und Workshops geprüft. Unterstützt durch das Institut für Digital Technology Management der BFH soll so eine nachhaltige Ressource entstehen, die digitale Kompetenzen wirksam misst und fördert.

Beteiligte Institutionen