« Assess-med-BERT » – Un algorithme pour la génération automatisée de distracteurs dans des questions à choix multiples en allemand pour les auto-évaluations en ligne afin de soutenir efficacement l’apprentissage

Le projet vise à améliorer l’apprentissage dans un contexte médical en permettant aux enseignant·e·s de générer plus efficacement des questions d’entraînement.

Durée : septembre 2022 – octobre 2024
Statut : terminé
Niveau de formation : niveau tertiaire
Thème : artificial intelligence AI, digital tools
Mots-clés : deep Learning

Situation initiale

De manière interdisciplinaire, il est constaté qu’il existe trop peu de questions d’auto-évaluation pour les apprenant·e·s, car leur élaboration demande beaucoup de temps. Étant donné que les enseignant·e·s consacrent déjà beaucoup de temps à créer des QCM pour les examens, il leur manque souvent les ressources pour proposer des exercices supplémentaires. Les recherches existantes sur la génération automatisée de telles questions reposent principalement sur des bases de données en anglais, difficilement transposables au contexte germanophone. Ce projet vise à combler cette lacune.

Objectifs

L’objectif est donc d’améliorer l’apprentissage dans l’espace germanophone, en particulier dans le domaine médical, en permettant aux enseignant·e·s de générer (ou faire générer) des questions d’exercice de manière plus efficiente. Cela permet aux étudiant·e·s et aux professionnel·le·s en formation continue de mieux acquérir de nouvelles connaissances grâce à ces exercices générés.

Méthode

Le développement du modèle comprend deux étapes principales : dans un premier temps, un corpus médical, c’est-à-dire un ensemble d’algorithmes et de données, est constitué. Ensuite, le modèle apprend, à partir de ce corpus, à générer automatiquement des distracteurs, c’est-à-dire des réponses incorrectes à des QCM. L’énoncé de la question et la bonne réponse servent de variables d’entrée. Les distracteurs ainsi générés sont destinés à être utilisés dans des auto-évaluations. Le projet prévoit également l’implémentation des auto-évaluations, comprenant une validation du contenu par des expert·e·s ainsi qu’un test pratique avec des étudiant·e·s.

Résultats

Le présent projet de recherche a permis de développer un modèle basé sur l’intelligence artificielle et le traitement du langage naturel (NLP) permettant aux acteur·trice·s du domaine éducatif de proposer des auto-évaluations avec un effort considérablement réduit. Il a été constaté que les distracteurs générés ne différaient que très peu en qualité des distracteurs réels. Aucune différence significative n’a été observée dans le choix entre les distracteurs générés et ceux déjà existants.

Mise en œuvre de la translation

Ce projet collaboratif, réunissant des membres de quatre institutions (Institut für Medizinische Lehre et Institut für Psychologie de l’Université de Berne, Université de Fribourg, Haute école spécialisée bernoise – santé), s’est concentré sur les QCM dans le domaine médical, un domaine dans lequel les responsables du projet possédaient une expertise particulière ainsi qu’un corpus existant. La publication des résultats, incluant les méthodes précises et les enseignements clés, vise à permettre à d’autres partenaires et contextes éducatifs germanophones de bénéficier à leur tour de ces améliorations dans les auto-évaluations.

Avant qu’une diffusion plus large puisse avoir lieu, le modèle devra être optimisé afin de réduire ses besoins en ressources matérielles (hardware).