FairGrade : analyse des biais dans la notation assistée par l'IA dans l'enseignement multilingue en Suisse
Dans quelle mesure l’évaluation assistée par l’IA est-elle équitable ? Nous étudions les biais dans l’évaluation d’examens manuscrits par de grands modèles de langage (LLM) multimodaux en Suisse romande et alémanique.
Durée : janvier 2027 – décembre 2027
Niveaux scolaires : niveau tertiaire, degré secondaire II
Thèmes : AI – Artificial Intelligence, Digital Ethics
Mots-clés : Évaluation par l’IA ; équité ; biais ; éducation multilingue ; grands modèles de langage (LLM)
Situation initiale
L’évaluation assistée par l’IA se répand rapidement. Selon l’enquête TALIS 2024 de l’OCDE, menée auprès de 280 000 enseignants et enseignantes, environ un tiers utilisent déjà l’IA dans leur travail. Parmi eux, un quart y recourent pour évaluer les travaux des élèves. Les modèles d’IA multimodaux peuvent désormais même lire directement l’écriture manuscrite, ce qui simplifie encore le traitement des examens manuscrits.
Cependant, les préoccupations concernant l’équité se multiplient. Des études montrent que les systèmes d’évaluation par l’IA peuvent privilégier les réponses plus longues ou formulées avec davantage d’aisance au détriment de réponses correctes, et se laisser influencer par le style plutôt que par le contenu. Des rédactions en anglais « non natif » ont reçu des notes jusqu’à 15 % inférieures, et les particularités dialectales régionales suscitent des jugements négatifs de la part des modèles de langage. On sait également que l’écriture manuscrite est corrélée au genre, à l’appartenance ethnique et à d’autres caractéristiques identitaires, ce qui soulève la question de savoir si elle pourrait, elle aussi, biaiser les notes attribuées par l’IA.
Le système éducatif multilingue suisse rend cette étude urgente : les élèves écrivent en français, en allemand et dans des dialectes régionaux, avec des degrés de maîtrise linguistique et des styles d’écriture manuscrite variés. Aucune étude n’a encore examiné comment ces facteurs interagissent et introduisent des biais dans l’évaluation par l’IA des examens manuscrits en Suisse, ni comment ces biais se comparent à ceux de l’évaluation humaine. Les institutions ont besoin de données probantes pour mieux évaluer les risques liés à l’évaluation automatisée par l’IA et définir des garde-fous et des règles appropriés.
Objectifs
Nous poursuivons les objectifs suivants : (1) mesurer dans quelle mesure l’écriture manuscrite, la langue du travail remis (français/allemand) et l’aisance linguistique influencent les notes attribuées par l’IA ; (2) comparer les biais observés dans l’évaluation d’examens manuscrits en sciences, technologie, ingénierie et mathématiques (STEM) et de travaux écrits plus longs par des évaluateurs humains et des systèmes d’IA ; (3) identifier des stratégies susceptibles de réduire ces biais ; et (4) créer un benchmark réutilisable pour évaluer l’équité de l’évaluation automatisée. Le projet traduit ces résultats en recommandations pratiques pour les institutions et le personnel enseignant qui envisagent de recourir à l’évaluation assistée par l’IA.
Méthode
Nous constituons un benchmark d’examens manuscrits en français et en allemand. Il comprend des examens authentiques de physique de l’EPFL (plus de 200 par langue), une étude contrôlée dans laquelle les participants et participantes rédigent des réponses équivalentes sur le plan du contenu en faisant varier l’écriture manuscrite, l’aisance linguistique et les noms utilisés comme indices de caractéristiques démographiques, ainsi qu’un ensemble plus restreint de travaux écrits dans le domaine de la gestion d’entreprise.
Des évaluateurs humains notent l’ensemble des travaux à l’aide de grilles d’évaluation standardisées. Nous faisons ensuite évaluer le même matériel par de grands modèles de langage (LLM) multimodaux. Nous comparons les notes attribuées par l’IA et par les évaluateurs humains dans différentes conditions démographiques et linguistiques afin d’isoler les biais. Nous testons ensuite des stratégies pour les réduire, telles que l’anonymisation et des prompts qui encadrent l’évaluation selon une grille prédéfinie.
Translation prévue
Les résultats alimentent directement six ateliers pratiques, en allemand et en français, réunissant des enseignants et enseignantes de l’EPFL, de la BFH et d’écoles du réseau BeLEARN. Nous y présentons les résultats et élaborons avec le personnel enseignant des recommandations concernant les outils d’évaluation par l’IA. Les livrables comprennent un benchmark interne que les institutions peuvent réutiliser pour tester les systèmes d’évaluation par l’IA, un rapport comparatif sur les biais de différents modèles d’IA ainsi que des lignes directrices pratiques sur les biais dans ces systèmes.
À court terme, le projet fournit au personnel enseignant suisse des données probantes concrètes sur les biais dans l’évaluation assistée par l’IA. Les écoles et les hautes écoles peuvent ainsi prendre des décisions éclairées quant à son adoption, plutôt que de s’appuyer sur des suppositions. À plus long terme, le projet établit une méthodologie d’évaluation et des benchmarks réutilisables que de futures études pourront étendre à d’autres cantons, disciplines et types d’évaluation. Nous mesurons l’impact à travers la participation aux ateliers et les retours du personnel enseignant, ainsi que l’adoption du benchmark et des lignes directrices par les institutions participantes.
