Par François Jarraud
Ces jours derniers, on a vu à la fois le président de la République demander une « culture de l’évaluation » à l’éducation nationale et un mouvement de refus des évaluations de CM2. Ce refus est-il une première ou s’inscrit-il dans une tradition française de résistance à l’évaluation ?
Une partie des enseignants a toujours refusé ou critiqué des évaluations standardisées au nom de la liberté pédagogique et pour éviter selon eux toute forme de palmarès des établissements favorisant le développement d’un marché scolaire. Quand les premières évaluations internationales des acquis des élèves de l’IEA ont été lancées ponctuellement en France dans les années 1960 et 1970, ils ont invoqué le risque qu’elles servent à normer le comportement des élèves et à contrôler l’activité des enseignants. En 1988-1989, quand l’équipe ministérielle de Lionel Jospin décide de systématiser les évaluations diagnostiques en CE2 et en sixième, les syndicats ont obtenu du ministère que les résultats par établissement ne soient pas publiés, que leur utilisation reste à l’appréciation de l’enseignant et que leurs résultats ne soient assortis d’aucune sanction.
Pour autant, il est difficile de parler de « tradition française de résistance ». Tous les enseignants ne partagent pas ces positions. Les travaux de Patrick Rayou et Agnès van Zanten montrent par exemple que les enseignants plus jeunes sont plus ouverts à ce type d’évaluation. Même un syndicat comme le Snes-FSU ne tient pas un discours unilatéral sur la question : certains de ses membres condamnent fortement ce type d’opération, d’autres prétendent que ces évaluations sont utiles mais qu’elles devraient être améliorées.
Comment expliquer cette résistance ? Qui redoute l’évaluation ?
Je crois que l’essentiel se joue au niveau des identités professionnelles et dans la façon dont l’outil est mis en œuvre. Si ces évaluations sont perçues par les enseignants comme la nouvelle forme prise par un État éducateur désireux d’entrer dans les classes pour mieux contrôler l’enseignement qui y est délivré, il est clair que leur réaction consistera d’abord à défendre ce qui fonde leur métier à leurs yeux : la liberté pédagogique. Si concrètement, elles se traduisent par un surplus de travail, très technique quand il s’agit de saisir des données ou d’encoder les réponses des élèves, peu ou pas rémunéré, et dont les bénéfices sont incertains (dans la mesure où les enseignants ignorent toujours si leurs collègues ou l’établissement dans son ensemble vont décider d’exploiter ces évaluations), il paraît difficile qu’ils envisagent l’utilisation de ces dernières comme une partie intégrante, louable et valorisée de leur métier.
De manière générale, l’impératif du développement d’une « culture de l’évaluation », qui n’est pas nouveau puisque nous l’entendons au moins depuis le milieu des années 1980, est symptomatique de la difficulté de l’Etat central à susciter la collaboration de ses différents partenaires. Dans la mesure où l’on refuse en France d’assortir ces évaluations de toute sanction ou de toute action de remédiation explicite (ce qui peut-être est en train de changer puisque la volonté du ministre est de lier les évaluations CE1-CM2 à l’orientation en soutien scolaire), l’Etat central ne peut qu’inciter ses partenaires au changement mais ne peut en rien les contraindre.
Dans le système français, qui construit ces évaluations ?
Depuis la première expérience de 1975, ces évaluations sont construites par des groupes pluralistes de 10 à 15 personnes environ qui rassemblent des enseignants, des inspecteurs territoriaux et généraux, des membres de la DEPP et, de façon plus ou moins régulière selon les époques, des chercheurs. Les statisticiens sont supposés assurer le volet technique, à savoir la mise en œuvre concrète de l’évaluation (distribution des cahiers d’épreuves, des consignes, fourniture de logiciels informatiques aux établissements et aux rectorats etc.), l’encodage et l’exploitation statistique des données. Il s’associent avec des inspecteurs généraux de la discipline concernée, qui le plus souvent les orientent vers les inspecteurs territoriaux les plus dynamiques en la matière. Les enseignants sont choisis par les membres de la DEPP sur avis des corps d’inspection. Avec le temps, la DEPP a ainsi pu constituer un réseau d’enseignants ouverts à ce type de démarche, qui évolue en fonction des conseils des corps d’inspection et de la capacité des enseignants à démontrer leur compétence sur le sujet (par des publications, leur participation éventuelle à des associations ou des groupes de réflexion etc.). L’association des chercheurs n’a pas été systématique. Très présents dans les premières opérations, ils ont été moins associés dans les années 1990 et le sont beaucoup plus depuis 2000.
Si une telle composition permet en général au ministère de proposer des exercices pratiques relativement proches des préoccupations des enseignants et utiles à leur pédagogie générale, elle ne permet pas toujours de mobiliser les acquis de la psychométrie, comme on le fait activement dans les évaluations internationales. Quelques psychométriciens ont ainsi pu mettre en évidence les limites méthodologiques de certaines pratiques, limites connues des services de la DEPP.
L’éducation nationale est-elle bien placée pour construire des évaluations ? N’y a t il pas un risque d’instrumentalisation gouvernementale de l’évaluation?
Le ministère est bien placé pour mettre en œuvre ces évaluations dans la mesure où il profite de la remontée encore centralisée et verticale des données administratives. C’est le modèle français, incarné par l’INSEE. Nous avons en France une statistique publique centralisée forte, qui a toujours lutté pour faire admettre son indépendance politique. C’est un véritable atout au moment de lancer des évaluations de grande ampleur. La DEPP peut en général compter sur les services statistiques rectoraux, avec qui elle a des échanges réguliers, et sur la conscience professionnelle des chefs d’établissement.
Mais cette position n’est tenable que dans la mesure où la DEPP sait s’entourer de ses partenaires (chercheurs, enseignants, chefs d’établissement etc.) pour bien prendre en compte leurs avis et intérêts, et où elle parvient à s’affranchir du contrôle politique exercé par le cabinet. Or sur ce point, l’histoire des statisticiens du ministère est plutôt en dents de scie : à des périodes de forte autonomie (comme entre 1972 et 1997) succèdent des périodes de remise en cause explicite de leur mandat (ministère de Claude Allègre), de reconstruction (2000-2006) et de contrôle politique (2006-2008).
Par conséquent, il y a bien un risque d’instrumentalisation gouvernementale mais l’histoire montre qu’il vient moins des statisticiens eux-mêmes, œuvrant constamment à la préservation de leurs marges d’autonomie et de leur objectivité, que des cabinets ministériels.
À ce titre, la situation récente doit être liée à l’évolution de la politique d’évaluation dans son ensemble. L’Inspection générale n’a pas reçu de lettre de mission cette année et son mandat se réduit à la mission historique première du corps : le contrôle et l’inspection. Le gouvernement actuel mobilise plus facilement dans ses discours la comparaison internationale (dont la pertinence est le plus souvent difficile à vérifier) et certains acquis des procédures d’audits lancées dans le sillage de la LOLF depuis 2001, que les résultats des évaluations menées par ses propres services. D’un côté, on contrôle la communication officielle des services du ministère, de l’autre, on puise dans des expertises nouvelles (celle des organisations internationales, de l’inspection générale des Finances et dans son sillage de quelques cabinets privés et autres think tanks) les éléments utiles aux réformes que l’on veut mettre en œuvre.
Certaines évaluations échappent à l’Etat comme Pirls ou Pisa. Quel est leur impact sur l’Ecole ?
Il est très difficile de répondre à la question de l’impact car nous disposons de peu d’études sur le sujet. Actuellement, je participe avec Nathalie Mons et Agnès van Zanten à une recherche financée par la Commission européenne sur la réception de PISA dans différents pays, dont la France (projet Know&Pol). L’enquête de terrain est en cours. Je ne peux donc formuler à ce stade que des hypothèses. Mais il semble que les deux premières sessions de PISA aient donné lieu à un faible écho dans les médias, le débat ne sortant pas d’un cercle d’initiés. En revanche, la troisième session (2006), dont le classement final a placé la France en dessous de la moyenne des pays de l’OCDE dans certaines compétences, aurait servi de catalyseur à la mise en œuvre par le gouvernement de réformes qu’il avait déjà préparées.
Par conséquent, je ne suis pas sûr que ces évaluations internationales échappent à l’Etat central, pour le moment en tout cas. D’un point de vue institutionnel, c’est la DEPP qui représente la France dans les instances qui mettent en œuvre ces enquêtes (IEA et OCDE). C’est elle qui est responsable de la passation des épreuves en France, de la fourniture des données au niveau international et de leur première exploitation statistique. Par ailleurs, les experts internationaux qui sont envoyés par le ministère dans les différents groupes techniques participant à la conception de ces enquêtes sont le plus souvent soit des membres passés ou présents de la DEPP soit des inspecteurs (généraux, parfois territoriaux). Il s’agit beaucoup plus rarement de chercheurs, spécialistes de psychométrie.
Or, dans leurs publications officielles sur PISA, les membres de la DEPP et les inspecteurs généraux insistent sur les limites des choix méthodologiques effectués lors des enquêtes internationales et s’attachent à fortement relativiser l’importance et l’originalité de cet outil. Ils constituent donc un filtre important de leur réception en France. Tant que les médias, les chercheurs et les enseignants ne se seront pas plus approprié ce type d’enquêtes, on peut supposer que l’Etat central gardera un contrôle, certes limité, sur leur impact potentiel.
La LOLF impose aussi des évaluations. Peut-on dire que la France s’est dotée d’une accountability à l’américaine ou l’anglaise ?
Dans ces deux pays, les évaluations sont explicitement assorties d’actions de remédiation ou de sanctions (financières, administratives ou symboliques) en fonction des résultats mis en évidence, ce qu’on n’a pratiquement jamais fait en France. Aux Etats-Unis, la non atteinte par un établissement scolaire des standards nationaux en matière de compétences des élèves peut se traduire par une réduction des financements octroyés par le district ou l’État fédéral, voire par une fermeture de l’établissement. De même, en Angleterre, toute école ne satisfaisant pas, après inspection, aux standards de qualité recensés dans le guide d’évaluation de l’OFSTED (une agence indépendante mandatée par le gouvernement pour inspecter périodiquement les établissements) dispose d’un délai de 40 jours à partir de la date de réception du rapport d’inspection pour proposer un plan d’action visant à améliorer son fonctionnement et ses performances. Elle doit même l’envoyer aux parents d’élèves sous un délai de 45 jours. L’OFSTED apprécie ensuite la pertinence de ce projet et décide si cette école doit être classée comme une « failing school » (« école en situation d’échec »). Dans ce cas, deux options sont possibles : soit le projet est jugé pertinent et l’école peut même recevoir des subventions supplémentaires pour l’aider à atteindre ses objectifs, soit le directeur de l’OFSTED (l’ancien doyen de l’inspection de sa Majesté) confirme le jugement et le dossier est alors présenté au secrétaire d’Etat qui décide seul de la fermeture éventuelle de l’école.
Ces exemples ne sont pas des fins en soi bien évidemment, mais ils permettent, par comparaison, d’apprécier la faible contrainte exercée par les évaluations sur les acteurs du système éducatif français, puisque rien d’un point de vue légal ou institutionnel n’oblige les destinataires de l’évaluation à prendre en compte les résultats de cette dernière.
La LOLF change-t-elle les choses ? Dans les intentions assurément, puisque pour la première fois, le législateur entend lier l’évaluation de l’atteinte d’objectifs chiffrés à l’octroi de financements. Mais dans les faits, plusieurs incertitudes entourent encore ce processus. Pour diverses raisons, les évaluateurs nationaux (statisticiens de la DEPP et inspecturs généraux) ont été très peu associés au découpage des programmes et à la conception des indicateurs. Les premiers indicateurs par exemple ont essentiellement été choisis par la DGESCO, en accord avec la DAF. Or plusieurs d’entre-eux posaient des problèmes de pertinence ou de construction, de sorte que depuis le 1er janvier 2006, une proportion non négligeable des indicateurs sont soit non renseignés (40 sur 115 en 2006, 17 sur 98 en 2008), soit modifiés d’une année sur l’autre (en 2008 par exemple, on a retiré 21 indicateurs de l’année précédente et ajouté 22 nouveaux indicateurs). Comment apprécier dès lors à moyen terme (cinq ans) les effets des actions engagées si les instruments de leur mesure changent au cours du processus ?
De plus, on ignore encore qui va in fine apprécier la pertinence des choix effectués au regard des résultats statistiques obtenus. Officiellement, la Cour des comptes certifie les comptes. Va-t-elle aller au-delà de ce rôle comptable comme elle a essayé de le faire par le passé ? Compte-tenu de leur expérience, les inspecteurs généraux et les statisticiens du ministère pourraient apporter des éléments de contextualisation utiles pour faire parler les indicateurs. Mais les premiers, en tant que corps, n’ont pas encore pleinement investi le dossier de la LOLF et le ministère envisage d’abord les seconds comme des producteurs de données. Les chercheurs en éducation quant à eux n’ont pratiquement pas abordé cette problématique. Dès lors, il est possible qu’en l’absence d’un regard évaluatif plus global sur la LOLF, celle-ci se réduise à un instrument comptable, les appréciations globales étant portées par les services financiers du ministère. Là encore, nous serions loin d’une accountability anglaise ou américaine selon laquelle l’obligation de rendre des comptes n’est pas qu’une activité comptable mais un état d’esprit au cœur d’un changement global de régulation.
Qu’est ce qui s’oppose à une forme moderne de pilotage ? S’y opposer n’est ce pas refuser à la communauté de faire la lumière sur l’école ?
Ce qui est sûr, c’est qu’on ne fait pas en France de l’évaluation un instrument de régulation privilégié. Or c’est un vrai problème dans la mesure où l’on a commencé à décentraliser le système éducatif et où l’on compte donner plus de liberté aux acteurs locaux. Comment dès lors garantir la cohérence nationale de la politique éducative ? D’autres pays ont fait des choix clairs que nous nous refusons à faire. En Angleterre par exemple, la cohérence de la politique éducative est garantie par l’énoncé au niveau central d’objectifs chiffrés précis, formulés à différentes étapes de la scolarité, qu’on évalue de façon périodique selon une procédure standardisée et transparente (politique des standards d’éducation). Innovez, adaptez-vous aux réalités locales, faites vos choix pédagogiques, défendez vos projets éducatifs, mais l’Etat central, lui, a le devoir de vérifier les effets de vos choix sur le niveau et les compétences des élèves et de sanctionner tout manquement jugé inacceptable au regard de critères politiques qu’il a formulés. En France, nous ne sommes plus dans l’ancien modèle centralisé sans être totalement dans un nouveau modèle (l’idéal n’étant pas forcément celui de l’Angleterre). En ne faisant pas ces choix, on prive les élèves et leurs familles d’une politique éducative nationale.
Xavier Pons
Xavier Pons vient de terminer une thèse tout à fait remarquable sur « L’évaluation des politiques éducatives et ses professionnels. Les discours et les méthodes (1958-2008) », doctorat de science politique, IEP de Paris, 2008.
Il prépare un ouvrage à paraître aux PUF en 2010 : Xavier Pons, Evaluer l’action éducative, Paris, PUF, Coll. Education et sociétés, 2010.
