PANDA – Pattern ANalysis of Digital-Based Assessments

Laufzeit: Februar 2023 – Juni 2023
Status: Abgeschlossen
Bildungsstufe: Primarstufe
Thema: Data Science for Education
Keywords: Large-Scale Assessments, Learning Analytics, Prozessdaten, Testentwicklung

Ausgangslage

Während traditionelle Prüfungen in erster Linie Ergebnisdaten liefern, erfassen computerbasierte Assessments zusätzlich Prozessdaten (Paradata). Dazu gehören z. B. Antwortzeiten, Häufigkeit von Antwortänderungen, Interaktionen mit Audioplayern oder das Überspringen von Aufgaben. Im mehrsprachigen Bildungssystem der Schweiz bietet die Analyse solcher Prozessdaten grosses Potenzial – sowohl für ein besseres Verständnis des Antwortverhaltens der Schüler*innen als auch zur Sicherung der Qualität und Fairness von Testaufgaben.

Ziele

Ziel des PANDA-Projekts war es, das Testverhalten von Schüler*innen bei computerbasierten Assessments systematisch anhand von Prozessdaten zu untersuchen. Zwei zentrale Fragestellungen standen im Fokus:

• Wie beeinflussen Faktoren wie Testsprache, Position der Aufgaben oder Pausen die Leistung und das Engagement der Schüler*innen während des Tests?
• Wie kann Prozessdatenanalyse zur Qualitätssicherung bei mehrsprachigen Assessments beitragen?

Methode

PANDA analysierte Prozessdaten aus einem gross angelegten schweizerischen Bildungsmonitoring. Untersucht wurden dabei insbesondere Feldtestdaten aus dem Jahr 2022, bei dem rund 4’500 Schüler*innen der Sekundarstufe I aus allen Sprachregionen der Schweiz teilnahmen. Die Analysen umfassten:

• Antwortzeiten und Häufigkeit von Antwortänderungen
• Muster beim Überspringen von Aufgaben
• Interaktionen mit Audioelementen
• Auswirkungen der Aufgabenposition und Testkonfiguration auf die Leistung

Dabei kamen Methoden der Learning Analytics zum Einsatz, um Nutzungsmuster zwischen Sprachen und Kontexten zu identifizieren.

Ergebnisse

Die Studie ergab mehrere zentrale Erkenntnisse:

• Aufgabenpositionseffekte: Später im Test platzierte Aufgaben waren in gewissen Fachbereichen mit schlechteren Leistungen verbunden.
• Regionale Unterschiede: Positionseffekte traten insbesondere in bestimmten Sprachregionen deutlich hervor.
• Qualitätsprobleme: Verdächtige Aufgaben wurden identifiziert – u. a. aufgrund von Übersetzungsproblemen und unterschiedlicher Audioqualität.

Insgesamt zeigte PANDA, wie Prozessdaten nicht nur Einblicke in Strategien von Schüler*innen, sondern auch in strukturelle Aspekte der Testgestaltung und -durchführung ermöglichen.

Umgesetzte Translation

Die Erkenntnisse führten zu konkreten Empfehlungen für zukünftige Assessments:

• Testkonzeption: Optimierung der Aufgabenrotation und gezieltere Strukturierung von Pausen
• Testaufgaben: Verbesserung der Übersetzungsprozesse und Sicherstellung konsistenter Audioqualität
• Testdurchführung: Spezifische Schulungen für Testaufsichten zur standardisierten Durchführung

PANDA leistet einen Beitrag zur Qualitätssicherung computerbasierter Tests in mehrsprachigen Kontexten. Die systematische Nutzung von Prozessdaten ermöglicht:

• Präzise Identifikation problematischer Aufgaben
• Bessere Vergleichbarkeit zwischen Sprachregionen
• Evidenzbasierte Weiterentwicklung von Testdesign und -umsetzung

Beteiligte Institutionen