PANDA – Pattern ANalysis of Digital-Based Assessments

Durée : février 2023 – juin 2023
Statut : terminé
Niveau de formation : niveau primaire
Thème : data science for education
Mots-clés : évaluations à large échelle, learning analytics, données de processus, développement de tests

Situation initiale

Alors que les évaluations traditionnelles produisent principalement des données de résultats, les évaluations numériques génèrent en plus des données de processus (ou paradata). Ces données comprennent par exemple les temps de réponse, la fréquence des changements de réponses, les interactions avec les lecteurs audio ou le saut de questions. Dans le système éducatif multilingue suisse, l’analyse de ces données offre un grand potentiel pour mieux comprendre les comportements des élèves lors des tests et garantir la qualité et l’équité des épreuves.

Objectifs

Le projet PANDA visait à étudier systématiquement les comportements des élèves face aux évaluations numériques à l’aide des données de processus. Deux questions principales ont guidé le projet :

• Comment des facteurs tels que la langue du test, la position des questions ou les pauses influencent-ils les performances et l’engagement des élèves ?
• Comment utiliser les données de processus pour renforcer l’assurance qualité dans les évaluations multilingues ?

Méthode

PANDA a analysé des données de processus issues d’un monitoring éducatif suisse à large échelle. Les données provenaient notamment d’un test pilote mené en 2022, auquel ont participé environ 4’500 élèves du secondaire I de toutes les régions linguistiques du pays. Les analyses ont porté sur :

• les temps de réponse et les changements de réponses,
• les modèles de saut de questions,
• les interactions avec les éléments audio, et
• les effets de la position des questions et des paramètres du test sur les performances.

Des approches d’analyse de l’apprentissage (learning analytics) ont été appliquées afin de mettre en évidence des schémas d’utilisation selon les langues et les contextes.

Résultats

L’étude a permis de dégager plusieurs résultats clés :

• Effets de position : les questions apparaissant plus tard dans le test étaient associées à de moins bonnes performances dans certaines disciplines.
• Variations régionales : les effets de position étaient particulièrement marqués dans certaines régions linguistiques.
• Problèmes de qualité : des questions problématiques ont été identifiées, liées à des incohérences de traduction et à des différences dans la qualité audio.

Globalement, PANDA a démontré comment les données de processus permettent de mieux comprendre non seulement les stratégies des élèves, mais aussi des aspects structurels de la conception et de la mise en œuvre des tests.

Mise en œuvre de la translation

Ces résultats se traduisent en recommandations concrètes pour les évaluations futures :

• Conception des tests : optimiser la rotation des questions et structurer les pauses de manière plus efficace
• Contenu des tests : améliorer les processus de traduction et garantir une qualité audio homogène
• Organisation des tests : former spécifiquement les surveillant·e·s aux procédures d’évaluation

PANDA contribue à l’assurance qualité des évaluations numériques en contexte multilingue. L’exploitation systématique des données de processus permet :

• l’identification précise des questions problématiques,
• une meilleure comparabilité entre régions linguistiques, et
• un perfectionnement fondé sur des preuves du design et de l’organisation des évaluations.

Institutions participantes