Pour faire suite à notre précédente chronique, voici une autre manière de regarder la question : et si on numérisait l’évaluation ? Quel enseignant n’a pas rêvé, le dimanche soir en fin de vacances devant sa pile de copie ou après avoir reçu les 180 copies de l’examen blanc, de mettre ses copies « dans la machine » et de récupérer les corrections et même les notes et appréciations. De multiples tentatives ont lieu depuis longtemps, l’une des plus spectaculaires étant celle envisagée en médecine avec le fameux « Examen National Classant » qui devrait se dérouler à l’aide de tablettes connectées à un serveur permettant une correction en quasi temps réel. Numériser l’évaluation est une vieille histoire qui n’est pas si simple
L’évaluation peut-elle s’automatiser ?
On est étonné d’observer que les exerciseurs et autres questionnaires à choix multiples, à l’image du behaviorisme le plus traditionnel, restent autant sur le devant de la scène techno-pédagogique actuellement et souvent de la même manière que ce que l’on connaissait aux débuts de l’informatique pédagogique dans les années 1980. Il est vrai que l’utilisation de ces logiciels est parfois un peu différente de celle, sommaire, qui consiste à poser des questions réductrices et automatisées (QCM simple, un choix parmi plusieurs). On peut même observer une nouvelle habileté, en particulier en évaluation formative, de l’usage de ces exerciseurs. Mais au-delà de cette automatisation de l’apprentissage, on s’aperçoit que l’évaluation complète ne peut s’automatiser comme cela, surtout quand les travaux demandés sont des travaux de production personnelle et approfondie. Les dissertations, entre autres littéraires et philosophiques, gardent leur mystère mais souvent les raisonnements de fond aussi. Même en mathématique, le résultat ne suffit pas, comme l’a démontré Claude Bastien il y a plusieurs années : un bon résultat ne témoigne pas forcément du bon raisonnement et inversement. Que faire ?
Des besoins variés
D’un côté on met en cause, à juste titre, les apprentissages améliorés par l’usage du numérique, d’un autre on essaie d’automatiser l’évaluation traditionnelle, en la simplifiant. Car, comme on peut l’observer, faire un contrôle avec un exerciseur ne demande aucune compétence numérique particulière. Surtout si l’on utilise des boitiers de votes électroniques qui, simples à utiliser, effacent la dimension numérique qui pourrait être associée à une évaluation. Ce n’est pas vraiment ça faire entrer le numérique dans l’enseignement… Et pourtant il existe de nombreuses applications qui permettent, même sans boitier, simplement avec des cartons de couleur ou directement avec le smartphone, la tablette et même l’ordinateur (Socrative par exemple), de faire passer les questions et d’obtenir immédiatement les résultats. Certains utilisent mêmes les logiciels de sondage en ligne en les détournant de leur finalité… Si ces pratiques perdurent de cette manière c’est probablement qu’ils représentent pour ceux qui les utilisent un élément significatif pour l’évaluation des apprentissages. Entre un résultat simple à un exercice, des questions au choix et l’expression d’un raisonnement logique, quand ce n’est pas une discussion de fond, les besoins des enseignants pour évaluer de manière fiable les élèves sont variés, mais pas si simple qu’il y paraît.
Corriger les copies ?
L’aventure de Moocs a ouvert de nouvelles questions : évaluation par les pairs, évaluation automatisée à partir d’une matrice de corrélation basée sur une première évaluation humaine . A partir d’un certain nombre de copies lues par des enseignants on pourrait faire rentrer dans la machine une grille d’analyse qui permettrait cette automatisation. Encore faut-il que les algorithmes soient suffisamment puissants pour se défaire des questions de contexte, dont on sait qu’ils sont le plus difficile à comprendre (mécaniser) comme le signale G Berry .
Learning Analytics
Mais apparaît une autre forme d’évaluation qui ne se limite pas au produit, mais qui introduit le processus. Cette forme d’évaluation, que l’on peut qualifier de comportementale, est une approche qui pourrait modifier la donne. Actuellement les échanges autour du machine Learning et des Learning analytics vont dans ce sens. Garder les traces explicitement laissées par l’usager (contributions, messages,..) ou implicitement enregistrées par la machine (durée, clics, navigation etc…), ouvre un champ nouveau pour une évaluation comportementale qui associée à une approche plus qualitative basée sur des modèles de corrigés types, pourrait transformer la manière de penser l’évaluation et le rôle des moyens numériques dans celle-ci.
Imaginons que nous suivions ainsi les élèves dans une production d’un rapport suite à une question posée par l’enseignant demandant des recherches en ligne, des analyses et une synthèse. Si nous envisageons d’évaluer l’élève, et que nous ne voulons pas nous limiter à la seule production, nous allons pouvoir construire un modèle d’analyse du travail, de son comportement, qui sera à la base de l’évaluation. Ce modèle d’analyse du travail repose sur une vision type de la démarche à réaliser pour arriver au produit fini. A partir de celle-ci nous allons mesurer les écarts des élèves à ce modèle. Non seulement nous mesurerons les écarts mais aussi nous analyserons les traces des élèves pour les caractériser en regard du produit fini et aussi en rapport les uns aux autres en construisant des sortes de persona ou de parcours typiques. On le voit les données massives recueillies dans ce cas peuvent nous donner des indications très précieuses.
Mais la quantité très importante de données recueillie peut difficilement être traitée sans des instruments dédiés comportant des modèles et des algorithmes adaptés. L’histoire de l’analyse des traces n’est pas nouvelle. Il y a près de trente années, un logiciel d’aide à l’écriture enregistrait toutes les actions de celui qui écrit. A l’instar du travail que font des chercheurs sur le brouillon papier, il serait possible de travailler sur les brouillons numériques. Mais au lieu d’être statiques ces brouillons sont dynamiques, on peut revoir les étapes de l’écriture se faire sous nos yeux. L’idée de fournir ce genre de produit aux enseignants est séduisante. Mais elle se heurte à l’analyse de ces données, si nombreuses et si riches qu’il est bien plus difficile d’en faire quelque chose de pertinent rapidement. L’expérience menée jadis avec le logiciel « Genèse du texte » montrait que devant la profusion d’informations obtenues, leur utilisation est impossible dans un cadre scolaire traditionnel, sans un prétraitement automatisé.
Réinventer l’EAO ?
Automatiser l’évaluation à l’aide du numérique amène souvent à un appauvrissement de la qualité des informations recueillies et donc de ce que l’on peut en faire. Toutefois des pistes s’ouvrent en ce moment, mais elles demandent encore des travaux de recherche avant de pouvoir être disséminées. En effet les effets d’annonces lus ici ou là montrent que certains sont prompts à médiatiser ce qui n’est souvent qu’un habillage sommaire de modèles anciens. On rappelle toutefois que ces questionnements ne sont pas si nouveaux, et souvent antérieurs au développement de l’informatique. Comment évaluer de manière simple, mais véritablement pertinente, les apprentissages reste un problème complexe ? Les moyens numériques peuvent apporter des éléments nouveaux, à condition que ceux qui tentent de les inventer n’oublient pas que le domaine a déjà été travaillé. Au risque de réinventer ce qui s’est déjà fait il y a près de quarante années avec l’EAO (Enseignement Assisté par Ordinateur).
Bruno Devauchelle
Quelques références complémentaires
Claire Doquet, Christophe Leblay. Temporalite de l’ecriture et genetique textuelle : Vers un autre metalangage ?. Congres Mondial de Linguistique Francaise, Jul 2014, Berlin, Allemagne. SHS Web of Conférences – Vol. 8 (2014) – 4e Congrés Mondial de Linguistique Française, 2014 http://www.ilf.cnrs.fr/spip.php?rubrique109
Genèse du texte : articles et références
Utilité de l’informatique dans l’évaluation par QCM, Sonia Mandin
