Par François Jarraud

Peut-on vraiment mettre au point une machine à corriger les copies du bac ? C'est le défi relevé par une entreprise qui vendra cette année aux candidats leurs résultats à l'avance. Un défi qui nous semble difficile à relever mais qui a le mérite de poser une bonne question : celle de l'évaluation.

"Je veux mes notes est un site qui vous permet de connaitre votre note au Baccalauréat et au brevet 2009 avant la publication des résultats officiels par l'éducation nationale" affiche le site ouvert par l'entreprise qui gère déjà Bankexam. "En collaboration étroite avec des enseignants certifiés et agrégés de l'éducation nationale, plusieurs fois correcteurs du bac et membres des commissions d'harmonisation des notes, Je veux mes notes vous propose un moteur intelligent qui estimera au plus près votre note à l'examen dès la sortie des épreuves".

Contacté par le Café, Sacha Pavan, ingénieur co-fondateur de Bankexam, décrit le mécanisme qui doit permettre de prédire la juste note. " Nous travaillons avec des professeurs certifiés ou agrégés de l'Education Nationale sur ce projet" souligne-t-il. "L'ensemble des barèmes et critères de notation officiels font partie intégrante du correcteur.  Du point de vue l'élève, les questions qui lui sont posées permettent d'identifier les points sur lesquels il a, ou non, répondu aux attentes des correcteurs". S'en suit l'exemple d'uin sujet de maths où, grâce à des questions l'évaluation de la copie se fait. "A chaque réponse correspond un nombre de point. Pour les réponses qui ne sont fausses mais pour lesquelles l'élève a quand même appliqué la méthode attendue, des instructions sont données aux enseignants pour fixer un nombre de points. Nous appliquons ces instructions sur notre correcteur". Suivent des questions d'ordre plus général sur la propreté de la copie par exemple.

Pour les matières littéraires,  "des questions d'ordre général concernant la "technique fondamentale" sont d'abord posées. En effet, sur ces épreuves, 5 points de maîtrise et méthode sont appliquées à la copie… Enfin des questions liées au sujet sont présentées de la même façon, en s'appuyant sur l'expérience et les compétences de nos enseignants, avec toujours une fourchette de trois points appliquée permettant d'intégrer les écarts éventuels de notation". Sacha Pavan prend soin de préciser que sa société n'a pas "inventé le concept, ce dernier nous a été soufflé par des enseignants. Nous avons contribué au projet en apportant une interface technique permettant de combiner les réponses des élèves et d'appliquer des malus ou des bonus en fonction de la totalité des réponses données". Le dispositif semble sérieux. Et le fait que ses promoteurs promettent de rembourser en cas de grosse erreur  plaide en sa faveur.

Pourtant peut-on informatiquement noter une copie ? A vrai dire, d'autres s"y sont essayé. C'est el cas par exemple du logiciel Intellimetric qui, depuis 10 ans, promet une évaluation de devoirs écrits (en anglais). Le logiciel est d'ailleurs utilisé pour l'entrainement des élèves plus que pour une évaluation sèche.  Pour fonctionner, il a besoin d'être "alimenté" en devoirs corrigés. Une procédure qui n'est pas exactement celle du barême mais qui s'en rapproche. D'après ses créateurs, le logiciel évalue aussi bien que "des correcteurs entraînés".

Mais que veut dire donner une note juste ? Sans le savoir peut-être, Jeveuxmesnotes ravive un débat brûlant de l'année 2008. Dans une étude publiée par l'Iredu, B. Suchaut avait montré que trois copies du bac soumises à une trentaine de correcteurs différents obtiennent des notes très différentes (l'écart peut aller jusqu'à environ 10 points sur 20) d'un correcteur à l'autre. Ce qui l'avait amèné à souligner le caractère aléatoire du bac. Cette étude avait fait scandale et suscité des réactions syndicales clouant le chercheur au pilori. Pourtant le travail de B. Suchaut ne faisait que confirmer d'autres études qui, depuis les années 1930, avaient démontré que la notation n'est pas une science exacte. Il est des correcteurs plus sévères que d'autres. D'autres éléments totalement aléatoires (comme les effets de redondance) viennent influencer l'évaluation. Or si le risque commercial de l'entreprise peut être calculé, le risque humain, la déception d'avoir une note insuffisante, ne peut se limiter au remboursement du service…

En essayant d'établir une correction automatique basée sur les consignes officielles,  S Pavan et son entreprise participent pleinement de la redéfinition de l'Ecole à l'œuvre dans notre société. L'institution scolaire  est mise en demeure de fournir des notes qui ont tellement de valeur qu'on peut les vendre. Mais ils oublient aussi que la notation, même encadrée de grilles pré –établies, reste une activité humaine sujette à sa part d'aléatoire. Il ne faut pas surestimer l'icône du bac.

Le site Je veux mes notes

http://www.jeveuxmesnotes.com/a-propos

Bac accepter l'aléatoire

http://www.cafepedagogique.net/lesdossiers/Pages/2009/bb09_Notes.aspx

Injuste le bac ?

http://www.cafepedagogique.net/lesdossiers/Pages/2009/bb09_E[...]

Le symptome du corrigé

http://www.cafepedagogique.net/lexpresso/Pages/19062007Accueil.aspx

Les notes sont-elles justes ?

http://www.cafepedagogique.net/lemensuel/laclasse/Pages/2007/86[...]

Intellimetric
http://www.cafepedagogique.net/lexpresso/Pages/2003/05/index270503_Logiciel[...]