Système basé sur l’IA pour l’évaluation contextuelle des compétences numériques

Durée : janvier 2024 – décembre 2024
Statut : terminé
Niveau de formation : niveau tertiaire
Thème : artificial intelligence AI, data science for education, digital skills & literacy, digital tools
Mots-clés : science des données, compétences numériques, évaluation à grande échelle, métacognition

Situation initiale

Ce projet de recherche vise à relever les défis posés par la numérisation rapide du monde professionnel, qui exige à l’échelle mondiale de vastes efforts de requalification et de perfectionnement. Constatant les limites des cadres de compétences actuels, souvent incapables de refléter la complexité des situations réelles rencontrées par les professionnel·le·s, le projet propose le développement d’un moteur d’évaluation des compétences numériques piloté par l’intelligence artificielle.

Objectifs

Ce moteur, basé sur des modèles de langage de grande taille, vise à améliorer les tests de jugement situationnel (SJT) en générant des scénarios de travail réalistes et spécifiques au contexte. La méthode d’évaluation innovante, fondée sur le dialogue, intègre le contexte personnel pour offrir une évaluation sur mesure des compétences numériques. Cette approche comble une lacune importante dans les programmes actuels d’éducation et de formation professionnelle, en rendant les évaluations plus pertinentes et précises tout en garantissant inclusion et personnalisation – un pas essentiel vers une main-d’œuvre plus adaptable et compétente.

Méthode

Un guide SJT a été élaboré pour permettre une mise en pratique systématique. Il décrit les étapes nécessaires pour concevoir, mettre en œuvre et affiner des tests de jugement situationnel (SJT) adaptés aux besoins spécifiques d’une organisation ou d’un établissement éducatif. La première étape consiste à cartographier les compétences afin d’identifier les aptitudes et comportements pertinents selon le contexte professionnel. Les scénarios sont ensuite élaborés par des expert·e·s, souvent à l’aide de la technique des incidents critiques, afin de représenter des défis professionnels réalistes. Différents formats de réponse, fermés ou ouverts, sont choisis en fonction des objectifs de l’évaluation. Lors de la phase de pré-test, un échantillon pilote complète les versions provisoires des SJT. Les données recueillies sont ensuite analysées afin de vérifier la fiabilité, l’équité et l’absence de biais. Des approches psychométriques telles que la modélisation de Rasch peuvent être utilisées pour ajuster la difficulté des items et corriger d’éventuelles différences entre groupes démographiques. Lorsque des objectifs de lisibilité sont requis, des indices tels que Flesch-Kincaid ou Gunning-Fog permettent d’adapter la complexité linguistique et d’assurer l’accessibilité.

Une fois la validation terminée, les SJT peuvent être intégrés dans les processus de sélection, d’évaluation de la formation ou de développement professionnel. Des adaptations pour la mise en œuvre numérique – comme l’intégration de chatbots ou de plateformes en ligne – sont également encouragées pour une administration efficace. Des mises à jour régulières, fondées sur l’évolution des technologies ou des exigences professionnelles, sont recommandées. En suivant ces étapes et les preuves psychométriques présentées dans le guide, les praticien·ne·s peuvent concevoir des SJT robustes, équitables et valides, capables de mesurer et de développer efficacement les compétences essentielles dans divers contextes.

Résultats

Une plateforme en ligne prête à l’emploi a été développée en collaboration avec le département d’informatique. Elle permet la création d’un questionnaire DigComp personnalisé. Les utilisateur·trice·s saisissent d’abord leur contexte professionnel, ce qui permet d’adapter le questionnaire à leurs besoins spécifiques. Ces informations contextuelles sont ensuite intégrées dans un moteur de questionnaire alimenté par un LLM, qui génère les questions en temps réel. Après avoir rempli le questionnaire, les résultats sont mis à disposition pour analyse. La plateforme intègre des fonctions avancées de LLM pour adapter automatiquement les questions en fonction du rôle, du secteur ou des lacunes en compétences de chaque utilisateur·trice. L’évaluation finale des compétences numériques reste ainsi contextuellement pertinente et fournit des informations plus précises pour les individus comme pour les organisations. Cette plateforme est entièrement opérationnelle et sera présentée lors du BFH Business Breakfast.

Mise en œuvre de la translation

Le projet vise à développer un instrument de mesure polyvalent et adaptable pour l’évaluation des compétences numériques selon la méthodologie des SJT. Conçu pour une large gamme d’environnements – de l’enseignement supérieur aux entreprises –, l’instrument met l’accent sur la modularité et la personnalisation afin d’assurer sa pertinence et sa durabilité. Pour renforcer son applicabilité et sa viabilité, des stratégies telles que la création d’une version en marque blanche, des partenariats pour le développement de modules spécialisés et la mise à disposition d’outils et d’ateliers personnalisés sont envisagées. Soutenue par l’Institut de gestion des technologies numériques de la BFH, cette initiative vise à créer une ressource durable pour mesurer et renforcer efficacement la culture et les compétences numériques.

Institutions participantes