Notes : Accepter l'aléatoire ? 

Par François Jarraud



Faut-il faire le deuil du bac ? C'est la question que pose Bruno Suchaut, au terme d'une nouvelle étude de la notation des copies du bac. Levant un tabou, il montre que l'évaluation est aléatoire et déclenche la polémique…


En 2006 et 2007, 6 copies de Ses du bac ont été soumises à la correction d'une trentaine de professeurs. Résultat : on observe un fort écart d'un correcteur à l'autre : la copie 1 est évaluée entre 5 et 15, la copie 2 de 5 à 16.


" Cette expérimentation ne fait que confirmer les conclusions bien connues des recherches antérieures sur la question des aléas de la notation. Ces aléas persistants interrogent forcément sur leurs conséquences sur la carrière des élèves et sur l’obtention des diplômes, et en l’occurrence ici, du baccalauréat" note B. Suchaud. D'autant que les procédures d'harmonisation n'affectent pas de façon importante le caractère erratique de la notation. Alors pourquoi ne pas changer l'évaluation ? " Faire le deuil de la notation, renvoie aussi à changer plus globalement la vision de la finalité de l’acte d’enseignement. Un changement en la matière obligerait à revoir totalement les mécanismes de sélection, d’orientation et de certification des élèves, mais aussi, au quotidien, le regard que porte l’enseignant sur l’élève".

L'étude

http://www.u-bourgogne.fr/upload/site_120/publications/les_collections_[...]

Sur le Café, les notes sont-elles justes ?

http://www.cafepedagogique.net/lemensuel/laclasse/Pages/2007/[...]  


Notation : émois, émois, émois…

" Au vu de ce test, la question de la suppression de l'examen peut en tout cas être posée". Le Figaro accueille en ces termes l'étude de B. Suchaut sur la notation d'une trentaine de copies du bac que L'Expresso vous a présenté le 10 mars. B. Suchaut montrait  " un fort écart d'un correcteur à l'autre". Pour trois copies corrigées par une trentaine de correcteurs différents,  la copie 1 est évaluée entre 5 et 15, la copie 2 de 5 à 16.


Aussitôt certains montent au créneau comme le Snes qui " dénonce l’instrumentalisation d’une étude qui, somme toute, ne révèle pas grand-chose de nouveau sur les biais d’une évaluation sans concertation, ce que n’est pas le baccalauréat". Le Snes avance, peut-être un peu vite, à en lire B. Suchaut , que "l’expérience montre que les différences de notation, qui peuvent être importantes en l’absence de travail collectif sur l’application d’un barème clair et de consignes de correction s’estompent largement quand les commissions d’entente du baccalauréat se réunissent". A cela le Sgen-Cfdt répond qu'il faut "sortir de l'évaluation normative" et "désacraliser le bac".


Ce qui est certain c'est que l'étude de B. Suchaut n'apporte pas de fait nouveau mais confirme des travaux antérieurs. Déjà en 1930, Henri Laugier, après avoir travaillé sur le certificat d'étude, avait montré des écarts de 9 points entre correcteurs pour des copies universitaires. En 1962, Pieron, Reuchlin et Bacher avaient démontré que pour obtenir une note "juste" aux épreuves du bac de mathématiques il faudrait faire la moyenne des notes de 13 correcteurs en maths, 78 en français et 127 en philo. De quoi ruiner le ministère ! Inversement, une étude ministérielle a aussi démontré, à partir des résultats du bac 2003, que 3 ou 4 épreuves prédisent le résultat final. Enfin plus récemment on se rappelle les travaux d'Antibi sur "la constante macabre".


On sait donc depuis longtemps que les correcteurs ne sont pas d'accord entre eux, qu'ils ne sont même pas cohérents avec eux-mêmes; qu'ils sont influencés par des facteurs qui leur échappent et qu'il y a une grande part d'aléatoire au bac, comme d'ailleurs à n'importe quel concours ou examen.


La presse préfère s'indigner ou en retenir une condamnation du bac. Les enseignants eux préféreront peut-être viser plus haut et réfléchir à d'autres formes d'évaluation ou à sa place dans l'Ecole. C'est d'ailleurs ce à quoi invitait B. Suchaut. " Faire le deuil de la notation, renvoie aussi à changer plus globalement la vision de la finalité de l’acte d’enseignement. Un changement en la matière obligerait à revoir totalement les mécanismes de sélection, d’orientation et de certification des élèves, mais aussi, au quotidien, le regard que porte l’enseignant sur l’élève".

Article du Figaro

http://www.lefigaro.fr/actualites/2008/03/11/01001-20080311AR[...]  

Réponse du Snes

http://www.snes.edu/snesactu/spip.php?article2931  

L'étude de B. Suchaut dans L'Expresso

http://www.cafepedagogique.net/lexpresso/Pages/2008/03/1[...]  

Sur la docimologie cette page de J. Nimier

http://www.pedagopsy.eu/docimologie.htm  

Sur le bac 2003

ftp://trf.education.gouv.fr/pub/edutel/dpd/ni/ni2005/ni0538.pdf

Sur A. Antibi

http://www.cafepedagogique.net/lesdossiers/Pages/2007/r2007_[...]  



A-t-on le droit de parler du bac ?

Le débat à rebondissement qui a surgi après la publication de l'étude de Bruno Suchaut sur la notation au baccalauréat prend une tournure de plus en plus âpre. Dans un communiqué, un IPR et deux enseignants de SES dénoncent "un chercheur malhonnête" et qui "manipule" les informations. Qu'a bien pu faire ce chercheur pour essuyer une telle avanie ?


Dans une étude publiée par l'Iredu, B. Suchaut montre que trois copies du bac soumises à une trentaine de correcteurs différents obtiennent des notes très différentes (l'écart peut aller jusqu'à environ 10 points sur 20) d'un correcteur à l'autre. Ce qui l'amène à souligner le caractère aléatoire du bac.


Ses adversaires l'accusent de malhonnêteté parce que les copies ont été corrigées en dehors de l'examen. Ils estiment que les commissions d'harmonisation du bac corrigeraient d'éventuels écarts. Disons le cette argumentation est faible. D'abord parce que l'étude de B. Suchaut arrive aux mêmes conclusions que les études antérieures. La démonstration des errements des évaluations au bac a déjà été faite par exemple par Pieron, Reuchlin et Bacher qui, en 1962, ont démontré que pour obtenir une note "juste" aux épreuves du bac de mathématiques il faudrait faire la moyenne des notes de 13 correcteurs en maths, 78 en français et 127 en philo… Comme les commissions interviennent pour des correcteurs dont la moyenne des notes est anormale et qu'il n'y a pas non plus de cohérence dans les notes d'un même correcteur, il n'est vraiment pas évident que l'harmonisation joue pleinement un rôle régulateur.  


C'est peut-être pour cela que les adversaires de B. Suchaut avancent deux autres arguments. Ils lui reprochent de "jeter le discrédit" sur une discipline et de ne pas avoir demandé leur autorisation avant de publier. Ces deux arguments sont particulièrement graves car ils limiteraient la liberté du chercheur à l'intérêt de telle ou telle catégorie et réserveraient la publication aux travaux ayant reçu un imprimatur.


Par contre ils éclairent l'importance du contexte de publication B. Suchaut a choisi une discipline, les SES, qui est sous une pression médiatique et politique très forte. Il publie alors qu'il est question de revoir l'architecture des filières du lycée peut-être au détriment des ES. Il le fait au moment où une commission sénatoriale réfléchit sur le baccalauréat et où sa réforme, crainte depuis longtemps, n'est plus impossible. Mais ces craintes doivent-elles nous amener à ignorer la réalité ?


Sachons reconnaître le droit qu'ont les chercheurs à interpeller la société. Acceptons qu'ils soient l'aiguillon qui vienne soulever les tabous forcément au pire moment.

Sur l'étude de B. Suchaut

http://www.cafepedagogique.net/lexpresso/Pages/2008/03/12[...]

L'étude

http://www.u-bourgogne.fr/upload/site_120/publications/les_collections[...]

La mise en cause

http://tempsreel.nouvelobs.com/actualites/societe/20080313.OB[...]

Eps et bac

http://www.cafepedagogique.net/lexpresso/Pages/2006/09/in[...]



Par fjarraud , le mardi 01 avril 2008.

Partenaires

Nos annonces