Par François Jarraud
Ancien secrétaire général du Haut Conseil à l'évaluation de l'école et sous directeur à l'évaluation au Ministère de l'éducation nationale, Jean-Claude Emin décrypte l'enjeu de l'évaluation pour l'éducation nationale et pose les conditions pour une évaluation scientifique.
La publication un peu mouvementée de l'étude sur les CM2 suscite pas mal de bruit. Peut-on vraiment comparer les mêmes exercices à 20 ans de distance ?
Ce « un peu mouvementée » est un délicat euphémisme. Si la « note d’information » de la DEPP qui rend compte de cette étude n’avait pas été mise en ligne par le Café pédagogique qui avait réussi à se la procurer, elle n’aurait peut-être – ou sans doute ? – toujours pas, été publiée par le Ministère, et l’étude n’aurait pas d’existence publique.
En effet, la DEPP, qui est l’instance chargée des statistiques et de l’évaluation au Ministère de l’Éducation nationale, ne peut plus publier de programme de travail depuis maintenant trois ans, les cabinets des ministres successifs ayant chaque année refusé de le rendre public. Ce programme de travail ne peut donc plus être connu des partenaires sociaux, des usagers de l’École, de la communauté scientifique et des médias ; il ne peut plus y avoir – tout au moins de façon transparente – de discussion sur la contribution que la DEPP peut apporter à la connaissance du fonctionnement et des résultats de notre système éducatif. Et il ne peut plus y avoir de publication systématique des données collectées et des résultats des études et recherches réalisées. … sauf s’il y a « un peu de mouvement ».Ceci est assez cyniquement résumé par un membre du cabinet de Xavier Darcos, cité par un journaliste de La Croix : « la DEPP fournit des instruments au service du ministre qui reste le dernier garant de leur diffusion » .
Empêcher la DEPP de publier les résultats de ses travaux a sans doute pour objectif de permettre aux responsables politiques de ne retenir, parmi les travaux de la DEPP, que ce qui peut étayer leurs orientations. La DEPP est d’autant plus remise en cause que, dans le même temps, le cabinet du ministre a confié la réalisation d’une évaluation - celle mise en place en CM2 en janvier - non plus à la DEPP mais à une direction politique du ministère, qui se trouve ainsi être juge et partie.
Je tenais à le dire avant de répondre à vos questions à propos de l’étude sur l’évolution des performances en « lire, écrire, compter » des élèves de CM2 entre 1987 et 2007.
Peut-on comparer les performances des élèves à vingt ans de distance ? C’est une question délicate qui a fait l’objet de nombreux travaux de recherche et de progrès méthodologiques au cours des dernières décennies, recherches et progrès auxquels la DEPP a apporté sa contribution. Avoir des épreuves et une procédure de passation identiques aux divers moments de l’enquête n’est pas suffisant pour garantir la comparabilité des résultats ; d’autres conditions sont nécessaires : il faut notamment vérifier que la difficulté des exercices proposés est la même à ces divers moments compte tenu, par exemple, du fait qu’ils sont plus ou moins familiers aux élèves étant donné l’évolution des programmes. Ceci a conduit à éliminer de la comparaison des exercices qui ne remplissaient pas cette condition. Il faut aussi que les consignes de correction soient toujours appliquées de la même manière et que les échantillons d’élèves soient représentatifs. Ils le sont, sachant que la comparaison effectuée ici porte sur le seul secteur public, le secteur privé n’ayant pas été compris dans les enquêtes les plus anciennes.
Les caractéristiques des enquêtes qui étayent cette comparaison et les méthodologies d’analyse de leurs résultats sont les mêmes que celles utilisées dans les enquêtes internationales les plus récentes. Les experts de la DEPP participent d’ailleurs aux comités qui arrêtent les méthodologies utilisées dans ces enquêtes et qui attestent qu’elles sont effectivement mises en œuvre.
Comment expliquez-vous les baisses de niveau constatées ?
Un des intérêts de ce travail est qu’il ne compare pas seulement les performances des élèves à vingt ans de distance, mais qu’il s’est aussi intéressé à des années intermédiaires, ce qui permet de moduler l’analyse des baisses de niveau, qui ne sont pas de même ampleur et de même nature selon les domaines :
En lecture, ce n’est que sur la dernière décennie 1997-2007 que l’on constate une baisse de la performance moyenne. Mais il faut préciser que cette baisse ne touche pas également tous les élèves. Elle est particulièrement marquée pour les élèves les plus faibles, qui sont en proportion deux fois plus importante en 2007 qu’en 1987 et 1997, alors que les meilleurs sont en proportion à peu près équivalente. On ne sera donc pas surpris de constater que la baisse des performances en lecture ne concerne pratiquement pas les cadres et les « professions intellectuelles supérieures » alors qu’elle touche toutes les autres catégories socioprofessionnelles, ce qui conduit à une aggravation des inégalités sociales en la matière. On retrouve ici un constat déjà fait par ailleurs, notamment avec les résultats de l’enquête PISA.
Notre système éducatif semble avoir de plus en plus de mal à conduire à de bonnes performances en lecture, les élèves de milieu populaire. Et en particulier les garçons, ce que confirment d’autres évaluations, notamment celle de la JAPD (la Journée d’Appel de Préparation à la Défense). On retrouve également, avec les résultats de cette enquête, un autre constat qui questionne fortement notre système éducatif : lorsque les élèves doivent donner des réponses qui exigent une rédaction, ils sont de plus en plus nombreux à s’abstenir. La DEP avait déjà signalé ce fait, notamment lors de la présentation des résultats de la première enquête PISA (en 2000) en demandant si ceci n’était pas dû à la place – insuffisante – que la pratique de l’écrit a, de fait, dans notre enseignement.
Les résultats des élèves à la même dictée proposée en 1987 et 2007 font apparaître une augmentation sensible (40%) du nombre moyen d’erreurs, ce qui ne constitue pas un constat nouveau. Il doit être mis en perspective avec un autre constat : le fait que la correction orthographique est sans doute jugée moins importante aujourd’hui dans notre société – et corrélativement dans notre enseignement – qu’autrefois.
En calcul, on constate également une baisse du score moyen, mais elle est plus accentuée qu’en lecture, elle touche tous les élèves des plus forts aux plus faibles, et enfin, elle est nettement moins accentuée au cours de la deuxième décennie de la période, ce qui « est peut-être à mettre au compte de la remise à l’ordre du jour du calcul dans les programmes de 2002 », comme le suggère la DEPP. Il s’agit évidemment là d’une hypothèse qui doit être confirmée.
En tout cas, il me semble que ce type de travail n’est pas assez exploité par les responsables de la politique éducative qui devraient s’attacher à cerner plus avant les raisons de ces évolutions, afin de proposer des réorientations de la politique suivie. Je pense notamment à l’Inspection générale et à la direction générale de l’enseignement scolaire. Cette dernière devrait se consacrer à de telles analyses et à la recherche et à la diffusion des moyens de remédier aux difficultés constatées, plutôt que de construire des outils d’évaluation comme elle le fait actuellement pour l’évaluation de CM2, évaluation qui déclenche, à juste titre, nombre de vagues.
Justement, cette publication arrive au moment où une autre évaluation est prévue en CM2. Celle-ci permettra t elle de mieux cerner les élèves en difficulté et de les aider à progresser ?
Je crains fort que non. En effet, les finalités de cette évaluation ne sont – volontairement ou non ? – absolument pas claires. Elle a été confiée, comme je l’ai dit, non pas à la DEPP, mais à la Direction générale de l’enseignement scolaire qui est normalement en charge de la définition et de la mise en œuvre de la politique de l’enseignement scolaire. Beaucoup de gens ignorent ce fait qui est totalement contraire au partage normal des compétences au sein du ministère. La Direction générale de l’enseignement scolaire prétend donner à cette évaluation deux finalités qui ne sont pas vraiment conciliables. Elle confond en effet l’évaluation-bilan, qui permet de faire un point sur les performances des élèves et sur leur évolution, et l’évaluation diagnostique, dont l’objectif est d’aider les enseignants à repérer les difficultés des élèves pour leur permettre de mettre en place des remédiations et des progressions adaptées. Vouloir courir ces deux lièvres à la fois – ou dire que l’on court l’un ou l’autre selon les moments et les interlocuteurs – ne peut conduire à rien d’efficace ni de juste, et fait fi de tous les progrès accomplis en matière de méthodologie par la DEPP au cours des dernières années. Je comprends que cette « évaluation » soulève des réactions et que l’on se puisse se demander ce qu’elle cache.
Ces deux évaluations, qui concernent le CM2, suscitent des réactions chez les enseignants. Certains y voient des instruments politiques pour dénigrer leur travail et imposer des réformes. Comment voyez-vous les choses ?
Ne confondons pas ces deux évaluations.
Celle de la DEPP est une évaluation-bilan dont l’objectif est d’apprécier de façon globale, l’évolution des performances des élèves en fin d’école élémentaire à vingt ans d’intervalle. Elle est réalisée sur des échantillons représentatifs avec une méthodologie explicite correspondant à ce qu’est aujourd’hui l’état de l’art en la matière. Elle n’a pas pour objectif de dénigrer qui que ce soit, mais de contribuer à faire ressortir des points faibles de notre système éducatif ; points faibles qui, pour certains, nécessitent des réformes, de nouvelles orientations et/ou la mise à disposition des établissements et des enseignants de nouveaux moyens d’exercer leur métier. Elle ne saurait dire automatiquement ce que doivent être ces réformes, ces nouvelles orientations ou ces moyens nouveaux.
Pour ne citer qu’un exemple, puisque vous évoquez des réformes imposées, on peut à juste titre conclure d’une analyse des résultats de cette évaluation que des améliorations sont à apporter à la formation des enseignants pour qu’ils soient mieux à même de faire progresser les élèves qui rencontrent des difficultés en début d’apprentissage de la lecture. Au moment où il est question de réformer très sensiblement la formation des enseignants, on peut se demander si une formation qui risque de ne pas comprendre un véritable apprentissage de la pratique professionnelle permettra ces améliorations ? Je vous laisse, comme à ceux qui liront ces lignes, le soin de répondre, mais si, comme je le pense la réponse est négative, ce n’est pas l’évaluation qu’il faut incriminer. Elle a permis de faire ressortir une vraie faiblesse de notre système et ses résultats incitent à renforcer la formation professionnelle des enseignants et à leur fournir des outils qui les aident à cerner les difficultés rencontrées par leurs élèves à des moments où il est encore temps d’y remédier, c’est-à-dire avant la fin d’une année scolaire, ou mieux, d’un cycle.
L’autre évaluation, celle confiée à la Direction générale de l’enseignement scolaire, se donne l’apparence de répondre à ce dernier besoin, puisqu’elle est proposée en janvier, six mois avant la fin du cycle III. Mais vouloir se servir d’une telle évaluation pour apprécier les acquis des élèves au regard des objectifs de la fin du cycle n’est pas sérieux. Cela ne peut qu’inquiéter à juste titre les enseignants qui pourraient ainsi voir dénigrer un travail … qu’ils n’auront même pas eu le temps de faire. En même temps, cette évaluation ne peut même pas servir au diagnostic des difficultés des élèves puisque le mode de correction proposé est binaire, sans nuance : c’est juste ou c’est faux. Les enseignants sauront que x% de leurs élèves rencontrent des difficultés, mais ils ne sauront pas lesquelles. Voilà comment on vide de son sens l’évaluation diagnostique que la DEPP a créé en 1989 et que le Haut Conseil de l’évaluation de l’école a considéré en son temps comme une originalité positive du système éducatif français .
L'Ecole peut-elle se passer d'évaluation ? Qui est le mieux placé pour le faire ?
Je ne pense évidemment pas qu’elle puisse s’en passer. Comme tout autre service public, le système éducatif doit rendre compte à ses « usagers » et aux citoyens de l’atteinte des objectifs qui lui sont fixés. Ses responsables ont besoin d’apprécier ses points forts et ses points faibles, ils ont besoin d’outils qui leur permettent d’envisager des mesures qui permettent d’améliorer ses résultats (et non de justifier des « réformes imposées » pour reprendre le terme utilisé plus haut). Les enseignants ont, eux, besoin d’outils qui les aident à aider leurs élèves à progresser dans leurs apprentissages.
Qui doit la réaliser ? La statistique appliquée à la mesure en éducation ne s’improvise pas. Par exemple, construire des évaluations qui apprécient correctement la même performance à plusieurs années d’intervalle, ou tout simplement d’une année sur l’autre, exige des compétences techniques qu’il faut entretenir et améliorer. La DEPP ne saurait en avoir l’exclusivité, mais si l’on ne peut plus être sûr que l’instance qui réalise les évaluations a les compétences techniques nécessaires et dispose d’une véritable autonomie scientifique garantie par la publication de ses travaux, on ne pourra plus lui faire confiance et s’appuyer sur ses évaluations pour envisager les évolutions de notre système éducatif. C’est là l’enjeu majeur des remises en cause qui pèsent actuellement sur la DEPP.
A travers l'évaluation peut-on dire que c'est le pouvoir sur l'Ecole qui change de mains ? Cette évolution est-elle incontournable ?
Je ne vois pas quelle réponse donner à la question. J’ai envie de répondre par deux autres questions : qui avait le pouvoir avant les évaluations ? qui l’aurait aujourd’hui ?
En tout cas, s’il faut parler d’évolution incontournable, je crois que, qui que ce soit qui ait le pouvoir, il ne peut sérieusement envisager de se passer d’évaluation ou, en d’autres termes, de ne pas se donner les moyens d’apprécier les résultats de ses actions pour les réguler. Si l’on ne dispose pas d’informations aussi objectives que possible sur le fonctionnement et les résultats du système, on ne peut se fier qu’à sa seule idéologie ou à son expérience immédiate, ce qui serait insensé et dangereux.
Qu'est ce qui rend en France la discussion si difficile sur ces questions ?
Est-elle vraiment plus difficile qu’ailleurs ou dans d’autres domaines ? Une bonne partie des difficultés proviennent sans doute d’une part, de ce que les résultats des travaux d’évaluation ne sont pas suffisamment expliqués, mis en perspective, qu’on ne prend pas le temps suffisant pour en rendre compte et montrer en quoi ils informent sur notre système éducatif, ses points forts, ses points faibles et ses besoins, et, d’autre part, de ce que nombre d’enseignants craignent – à tort à mon sens –de perdre leur autonomie pédagogique lorsqu’on met à leur disposition des outils destinés à les aider à réaliser les objectifs qui leur sont fixés ou que l’on attire leur attention sur des points faibles. Un autre problème, qui n’est pas non plus spécifiquement français, est qu’il arrive que les responsables politiques ne retiennent des résultats des évaluations que ce qui peut servir leur politique, ce qui dessert les évaluations et ne sert pas le système éducatif.
Jean-Claude Emin