"En janvier 2019, l’ensemble des élèves de CP ont été évalués en français et en mathématiques (770 000 élèves dans près de 31 000 écoles). Ce point d’étape, en milieu d’année scolaire, permet de mesurer l’évolution des acquis des élèves dans certains domaines de la lecture, de l’écriture et de la numération". La Depp, division des études du ministère, fait paraitre trois Notes sur les évaluations de CP et de CE1. En plein débat sur la loi Blanquer, les "résultats encourageants" véhiculés par cette publication sont un puissant soutien à la politique ministérielle. Or rien n'est moins sur. De nombreux biais affectent leurs résultats sans que les Notes osent même les évoquer , encore moins en tenir compte. Et des voix s'élèvent aussi pour contester leur conception même. Cette publication donne un avant gout de ce que pourrait être l'évaluation de l'école avec la loi Blanquer.

Des résultats encourageants ?

"Entre le 21 janvier et le 1er février, plus de 770 000 élèves de cours préparatoire dans plus de 31 000 écoles publiques et privées sous contrat ont passé une évaluation standardisée sur support papier. Cette évaluation a été construite par la DEPP, à partir d’orientations définies avec le Conseil scientifique de l’Éducation nationale (CSEN) et la direction générale de l’enseignement scolaire (DGESCO) du ministère de l’Éducation nationale et de la Jeunesse", annonce la Note sur les évaluations de mi CP en guise de descriptif technique. " Ce dispositif s’inscrit dans une stratégie pédagogique appelée « réponse à l’intervention » qui a fait ses preuves dans d’autres pays", affirme la Depp. Les seuils d'évaluation des résultats sont eux aussi présentés comme bien établis :" Le travail mené avec des inspecteurs, des conseillers pédagogiques, des maîtres formateurs, des enseignants de grande section, de CP et de CE1, complété par le traitement statistique de la DEPP, avec l’appui du Conseil scientifique de l’Éducation nationale, de la DGESCO et de l’IGEN, a permis de déterminer ces seuils".

Et la Note de la Depp sort du descriptif pour donner directement des consignes aux enseignants. " Au niveau individuel, les résultats doivent toujours être interprétés par le professeur dans le contexte de la classe. En enrichissant les pratiques des enseignants, l’identification de connaissances de base incomplètement maîtrisées à ce moment de l’année scolaire, par certains élèves, doit permettre des interventions pédagogiques sans délai".

Viennent ensuite les résultats. " En Français, les trois quarts des élèves sont entrés correctement dans la lecture et l’écriture, mais 10 % des élèves rencontrent des difficultés importantes", affirme la Depp. Par exemple, " En lecture à voix haute, d’une manière générale, on peut considérer qu’à mi-CP un peu moins de 10 % des élèves ne sont pas du tout entrés dans la lecture. Ils lisent six mots ou moins en une minute, quel que soit le contexte de lecture (mots isolés ou mots dans un texte).  Les élèves dont on peut considérer qu’ils sont entrés correctement dans la lecture (groupe au-dessus du seuil 2) représentent un peu moins des trois quarts des CP". " En mathématiques, des difficultés en résolution de problèmes et des résultats faibles pour les additions et les soustractions", poursuit la Depp.   

La Note souligne aussi un écart important en éducation prioritaire. " Dans le secteur public, les élèves des écoles d’éducation prioritaire ont une maîtrise moins affirmée. En français, l’écart le plus important entre REP+ et public hors EP concerne la compréhension orale de phrases : 22 points de différence entre les proportions d’élèves présentant une maîtrise satisfaisante (au-dessus du seuil 2). En lecture, les écarts existent, mais sont moins marqués (entre 7 et 11 points). Le constat est le même pour l’écriture de syllabes ou de mots dictés (environ 8 points), le principe alphabétique". Mais c'est pour affirmer que "ces écarts se réduisent depuis l’entrée en CP", une bonne nouvelle fortement relayée par le ministre lui-même.

La communication ministérielle prend le relais pour accompagner cette publication Depp. " Des premiers résultats encourageants, notamment en éducation prioritaire", titre un communiqué ministériel. " Des élèves en progression entre le début de l'année et le mois de janvier", poursuit le communiqué. "En janvier 2019, les élèves CP ont été de nouveau évalués en français et en mathématiques. Ce point d'étape démontre qu'ils ont progressé dans l'acquisition des bases de la lecture... Ils ont progressé dans la maîtrise des nombres". Le communiqué affirme que " des fragilités (sont) mieux identifiées", ainsi "un quart environ des élèves lisent encore trop lentement. Ils n'ont pas la fluidité nécessaire". Enfin, "les professeurs des écoles ont une bonne perception des exercices proposés". D'ailleurs à la question "les exercices proposés dans les cahiers sont-ils pertinents pour connaître les besoins des élèves ?,  les réponses positives vont de 63 à 83 % pour le Français, et de 72 à 90 %" (on imagine que ces pourcentages dépendent de différents exercices proposés).

Des résultats scientifiques ?

Mais que mesurent vraiment ces évaluations ? Peut-on prendre pour ces pourcentages comme scientifiquement établis ? La maigreur de l'appareil critique qui accompagne les Notes de la Depp ne peut faire oublier les conditions réelles de passage des évaluations.

De très nombreux témoignages montrent que les évaluations ont été passées dans des conditions très différentes d'une classe à l'autre. Il faut rappeler que ces évaluations sont passées sur cahiers au sein de la classe sous conduite de l'enseignant. La durée prescrite par les évaluations a été souvent aménagée par l'enseignant. Certains ont respecté les durées fixées d'autres non. L'écart entre les classes est allé du simple au double dans des cas probablement nombreux. Les enseignants sont aussi naturellement amenés à expliquer les questions, à intervenir ainsi dans le déroulé de l'évaluation de façon variable selon les classes. Les résultats ont été saisis par les enseignants. Cela introduit un biais d'autant plus important que cette saisie s'est faite sous la pression des inspecteurs, souvent sur des temps très courts, alors qu'un pourcentage significatif des enseignants refusait ces évaluations. Ici ou là on aurait même donné aux inspecteurs les résultats qu'ils attendaient...

Bref, les conditions de passage, de correction et de saisie des résultats retirent tout caractère scientifique à ces évaluations. Une étude scientifique aurait au minimum mentionné ces biais nombreux et importants. Mais la Depp jette un voile sur tout cela et présente ces résultats comme ceux de 770 000 élèves français ce qui est très aventuré.

Des items contestés

Des voix se sont exprimés sur les items évalués. Ainsi Roland Goigoux, un expert reconnu, dénonce en janvier 2019 les évaluations. " "Tous les tests portent sur le code sauf un sur la syntaxe de phrase. La maitrise du déchiffrage est la seule préoccupation du conseil scientifique ,même si les évaluations internationales montrent qu'à 10 ans les élèves français rencontrent des difficultés en compréhension et non en déchiffrage..." Sur son site, il explique comment les seuils ont été calculés a postériori "de manière à ne pas avoir trop d'élèves à besoins". Pour lui ces tests apporteront une réponse inadéquate aux enseignants les invitant à faire "plus de phonologie pour compenser des difficultés phonologiques alors qu'il faudrait plus de phonographie, plus de décodage... alors qu'il faudrait plus d'encodage".

Pour les mathématiques, Rémi Brissiaud s'est plusieurs fois exprimé dans le Café pédagogique où il a dénoncé "les dérives" des évaluations démontrant des erreurs de conception liées à l'influence univoque du Conseil scientifique et de son président. Il interoge aussi l'intérêt de ces évaluations de mi-cp. "Sauf à considérer qu’il conviendrait que tous les PE de France enseignent au même rythme selon une progression qui serait la même pour tous les écoliers de France, l’existence d’une évaluation nationale en milieu d’année de CP est très contestable. En effet, il est à peu près certain que divers items se trouveront inclus dans l’évaluation alors que, dans telle ou telle progression, les tâches correspondantes n’ont pas encore été étudiées à mi-parcours au CP ou qu’elles l’ont été de manière trop récente pour permettre la réussite. L’année qui suit, cela peut évidemment inciter les professeurs à vouloir « aller plus vite ». Ça ne serait pas grave si l’on était sûr qu’une étude précoce de ces tâches est bénéfique et, donc, que tous les écoliers devraient en bénéficier. Mais lorsqu’on est presque sûr du contraire, une évaluation à mi-parcours ne peut être que contre productive", écrit-il.

Ce que nous apprennent les vraies évaluations scientifiques en lecture

Quand on veut connaitre le niveau réel des écoliers français on se reporte aux évaluations internationales Pirls pour la lecture et Timms pour les maths, les deux en Cm1. C'est ce que font les experts nationaux et internationaux. On dispose aussi des enquêtes Cedre menées de façon très rigoureuses auprès d'un échantillon d'élèves par la Depp. Or ces enquêtes ne tirent pas les mêmes conclusions que le ministre.

En ce qui concerne la lecture, les résultats de Pirls 2016 montrent que les résultats des élèves français sont mauvais et en baisse par rapport à Pirls 2001 et 2011. Comme Cèdre, Pirls montre une hausse de la part des élèves faibles : 39% contre 25% en moyenne dans l'Ocde.

Mais ce que montre Pirls c'est que les jeunes français savent décoder. Il savent prélever des informations d'un texte. Ils ne savent pas en tirer des inférences pour comprendre les textes. Ils ont du mal à argumenter et à s'exprimer. Depuis 2001 nous avons perdu 8 points sur le prélèvement d'informations mais 21 sur l'interprétation. Des dimensions que les tests Blanquer évaluent très peu.

Pirls pointe aussi des explications, au premier rang desquelles la faiblesse de la formation continue des enseignants français. Cette faiblesse de la formation continue se retrouve dans les pratiques pédagogiques. Les enseignants français demandent autant que leurs collègues de l'OCDE de retrouver des informations dans un texte ou de dégager les idées principales d'un texte. Par contre ils sont nettement moins nombreux à demander de comprendre les textes. Ainsi ils sont deux fois moins nombreux à demander aux élèves de comparer le texte à des faits vécus ou à déterminer les intentions de l'auteur. Pour le premier point la France est tout en bas de l'échelle dans les 50 pays. Pirls fait aussi apparaitre des critères sociaux, le fait que la France est un des pays où les parents aiment le moins lire : 22% aiment la lecture contre 32% dans l'OCDE.

Interrogé sur les résultats de Pirls, un des spécialistes les plus reconnus sur la lecture, Roland Goigoux, nous disait en 2017 : "On a commis deux erreurs. D'abord focaliser la question de la lecture sur le CP. Puis focaliser le travail du maître sur la maitrise de la langue, l'orthographe la grammaire, la conjugaison. On considère toujours qu'une fois que l'on sait déchiffrer la pratique de la lecture suffit pour avoir des compétences en lecture. Mais si l'on veut que notre école progresse il faut un plan d'enseignement explicite de la compréhension en lecture en mettant l'accent sur le cours élémentaire et le cours moyen. On ne peut pas analyser Pirls et conclure en disant qu'on doit renforcer l'orthographe, la grammaire en CP. Cette réponse n'est pas à la mesure du problème. Dans Pirls ce qui caractérise la France c'est le décrochage entre la compréhension explicite du texte et la compréhension implicite, fine. Ce n'est pas un problème de déchiffrage. Mais par exemple de comprendre ce que le texte ne dit pas et qui doit être déduit".

Et en maths...

Pour les maths, Timms montre là aussi des résultats faibles. Seulement 23% des élèves de Cm1 français ont un bon niveau en maths contre 48% des européens et 42% de tous les participants. Il est vrai que ces élèves, comme ceux de Pirls , ont traversé les années de suppressions de postes alors que JM BLanquer était aux commandes. Ils ont aussi subi les programmes traditionalistes de 2008 que le ministre tente de remettre en place.

Quand évaluation et communication se confondent

Que faire avec ces évaluations Blanquer ? Pas grand chose si on est enseignant. Communiquer si on est ministre. Car elles ne présentent pas d'appareil critique alors que celui-ci est indispensable au vu des conditions de réalisation. Les seuils de traitement des données sont assénés par des arguments d'autorité mais pas explicités.

Ce que l'on voit avec ces évaluations c'est à quel point la communication ministérielle a pris le pas sur l'évaluation de l'école. C'est au moment où le ministre en a besoin que les Notes paraissent. Elles apportent des "résultats encourageants" qui reposent sur une construction très fragile sur le plan scientifique.

C'est la seconde fois que l'on voit cette dérive au ministère. L'épisode précédent a été la publication des résultats des dédoublements de CP présentés comme excellents alors qu'ils sont décevants.

On comprend mieux que la loi Blanquer supprime l'instrument d'évaluation indépendant qu'est le Cnesco. Ces publications nous donnent un avant goût de ce que sera l'évaluation de l'école une fois cette loi adoptée. Un mélange d'évaluation et de communication.

François Jarraud

La loi Blanquer et les CP dédoublés

Des premiers résultats encourageants

Evaluation à mi CP

Evaluation en début de CE1

Brissiaud : Une évaluation contre productive

Brissiaud : Les dérives de l'évaluation

Le décodage de R Goigoux

Goigoux : Les risques des évaluations