FairGrade: Überprüfung von Verzerrungen bei der KI-gestützten Benotung im mehrsprachigen Schweizer Bildungswesen
Wie fair ist die KI-gestützte Bewertung? Wir untersuchen Verzerrungen bei der Bewertung handschriftlicher Prüfungen durch multimodale grosse Sprachmodelle (LLMs) in der deutsch- und französischsprachigen Schweiz.
Laufzeit: Januar 2027 – Dezember 2027
Bildungsstufen: Sekundarstufe II, Tertiärstufe
Themen: AI – Artificial Intelligence, Digital Ethics
Keywords: KI-gestützte Bewertung; Fairness; Verzerrungen; mehrsprachige Bildung; grosse Sprachmodelle (LLMs)
Ausgangslage
KI-gestützte Bewertung verbreitet sich rasch. Laut der TALIS-Erhebung 2024 der OECD unter 280’000 Lehrpersonen nutzt bereits etwa ein Drittel KI im Arbeitsalltag. Ein Viertel davon setzt sie zur Bewertung von Schülerarbeiten ein. Multimodale KI-Modelle können inzwischen sogar Handschrift direkt lesen, was die Verarbeitung handschriftlicher Prüfungen weiter vereinfacht.
Gleichzeitig nehmen die Bedenken hinsichtlich der Fairness zu. Studien zeigen, dass KI-Bewertungssysteme längere oder sprachlich gewandtere Antworten gegenüber korrekten Antworten bevorzugen können und sich eher vom Schreibstil als vom Inhalt beeinflussen lassen. Aufsätze in «nicht muttersprachlichem» Englisch wurden um bis zu 15 % schlechter bewertet, und regionale Dialektmerkmale lösen bei Sprachmodellen negative Urteile aus. Auch Handschrift hängt nachweislich mit Geschlecht, ethnischer Zugehörigkeit und weiteren Identitätsmerkmalen zusammen. Dies wirft die Frage auf, ob sie ebenfalls die von KI vergebenen Noten verzerren könnte.
Das mehrsprachige Schweizer Bildungssystem macht diese Untersuchung dringlich: Schülerinnen und Schüler schreiben auf Französisch, Deutsch und in regionalen Dialekten – mit unterschiedlicher sprachlicher Gewandtheit und verschiedenen Handschriftstilen. Bislang hat keine Studie untersucht, wie diese Faktoren zusammenwirken und die KI-gestützte Bewertung handschriftlicher Prüfungen in der Schweiz verzerren oder wie sich diese Verzerrungen im Vergleich zu jenen bei der Bewertung durch Menschen verhalten. Institutionen benötigen wissenschaftliche Erkenntnisse, um die Risiken automatisierter KI-Bewertung besser einzuschätzen und geeignete Schutzmassnahmen und Richtlinien festzulegen.
Ziele
Wir verfolgen folgende Ziele: (1) messen, wie stark die Handschrift, die Sprache der eingereichten Arbeit (Französisch/Deutsch) und die sprachliche Gewandtheit die von KI vergebenen Noten beeinflussen; (2) Verzerrungsmuster bei der Bewertung handschriftlicher MINT-Prüfungen und längerer schriftlicher Arbeiten durch Menschen und KI vergleichen; (3) Strategien identifizieren, die Verzerrungen reduzieren könnten; und (4) einen wiederverwendbaren Benchmark zur Beurteilung der Fairness automatisierter Bewertung entwickeln. Das Projekt überführt diese Erkenntnisse in praxisorientierte Empfehlungen für Institutionen und Lehrpersonen, die den Einsatz KI-gestützter Bewertung erwägen.
Methode
Wir erstellen einen Benchmark aus handschriftlichen Prüfungen auf Französisch und Deutsch. Dieser umfasst authentische Physikprüfungen der EPFL (über 200 pro Sprache), eine kontrollierte Studie, in der Teilnehmende inhaltlich gleichwertige Antworten mit unterschiedlichen Handschriften, unterschiedlicher sprachlicher Gewandtheit und Namen als Hinweisen auf demografische Merkmale verfassen, sowie eine kleinere Auswahl schriftlicher Arbeiten im Bereich Wirtschaft.
Menschliche Bewertende beurteilen sämtliche Arbeiten anhand standardisierter Bewertungsraster. Anschliessend lassen wir multimodale grosse Sprachmodelle (LLMs) dasselbe Material bewerten. Wir vergleichen die von KI und Menschen vergebenen Noten unter verschiedenen demografischen und sprachlichen Bedingungen, um Verzerrungen gezielt zu ermitteln. Danach testen wir Strategien zur Reduktion dieser Verzerrungen, etwa Anonymisierung und Prompts, die die Bewertung an ein vorgegebenes Bewertungsraster binden.
Geplante Translation
Die Erkenntnisse fliessen direkt in sechs praxisorientierte Workshops auf Deutsch und Französisch mit Lehrpersonen der EPFL, der BFH und von Schulen aus dem BeLEARN-Netzwerk ein. Dort präsentieren wir die Ergebnisse und erarbeiten gemeinsam mit den Lehrpersonen Empfehlungen zum Einsatz von KI-Bewertungstools. Zu den Projektergebnissen gehören ein interner Benchmark, den Institutionen zum Testen von KI-Bewertungssystemen wiederverwenden können, ein vergleichender Bericht über Verzerrungen bei verschiedenen KI-Modellen sowie praxisorientierte Richtlinien zu Verzerrungen in KI-Bewertungssystemen.
Kurzfristig liefert das Projekt Schweizer Lehrpersonen konkrete wissenschaftliche Erkenntnisse zu Verzerrungen bei der KI-gestützten Bewertung. So können Schulen und Hochschulen fundierte Entscheidungen über deren Einsatz treffen, statt sich auf Vermutungen zu stützen. Langfristig schafft das Projekt eine wiederverwendbare Evaluationsmethodik und Benchmarks, die in späteren Studien auf weitere Kantone, Fächer und Prüfungsformen ausgeweitet werden können. Wir messen die Wirkung anhand der Teilnahme an den Workshops und der Rückmeldungen der Lehrpersonen sowie daran, inwieweit die beteiligten Institutionen den Benchmark und die Richtlinien übernehmen.
