Dans moins d’un mois, l’OCDE dévoilera les résultats de PISA 2022. Des résultats attendus et largement commentés par l’ensemble de la société qui feront sans aucun doute les gros titres de tous les médias. Dans ce texte Daniel Bart, chercheur spécialiste de la question de l’évaluation des systèmes scolaires, questionne les fondements scientifiques de cette évaluation internationale des compétences des élèves de 15 ans.
Alors qu’un véritable compte à rebours événementiel est désormais lancé en vue de la parution, début décembre 2023, des résultats du PISA 2022 (Programme international de suivi des acquis des élèves de 15 ans), il peut être intéressant et utile d’aborder le dévoilement de la dernière édition du Programme en replaçant l’évènement dans le temps plus long des réflexions et des controverses que suscite cette fameuse évaluation pilotée par l’OCDE (Organisation de coopération et de développement économiques). À l’occasion de la parution des précédents résultats du PISA 2018, Le café pédagogique avait ainsi publié en décembre 2019 une série d’analyses sur cette édition, parmi lesquelles on trouvait, outre des textes d’analyse, des réactions syndicales mais aussi des interviews d’expertes telles que Stéphanie Lemarchand, Karine Hurtevent ou Bénédicte Shawky Milcent, et des éclairages de chercheures, comme Élisabeth Bautier ou Dominique Bucheton. À travers cette diversité d’approches et de points de vue, apparait peut-être l’un des intérêts majeurs du PISA : celui de susciter le débat public (mais aussi de réactiver des poncifs) sur le fonctionnement des systèmes scolaires, les transformations de l’École à privilégier ou les leviers d’action et de formation à viser.
Une partie importante de ces débats porte sur l’évaluation elle-même, tant dans son principe que dans ses orientations conceptuelles ou méthodologiques. Si ce type de discussions intéresse peut-être plus les spécialistes de l’évaluation et des comparaisons internationales, elles n’en sont pas moins nécessaires pour interpréter au mieux les résultats tirés du PISA et identifier les limites des conclusions qu’il est possible d’en tirer. Ainsi, tout en analysant l’absence de progrès des performances des élèves français en compréhension de l’écrit dans l’édition 2018, Élisabeth Bautier revenait dans Le café pédagogique sur les « difficultés propres à PISA », qui tiennent notamment au fait que certaines épreuves du test sont construites sur des tâches de lecture peu habituelles dans la scolarité française. De son côté, Dominique Bucheton soulignait l’intérêt de l’approche de la compréhension dans le PISA tout en précisant que la méthodologie ne permettait pas de mettre en relation les résultats obtenus avec telles ou telles pratiques enseignantes et en regrettant que l’évaluation ne prenne pas en compte « la familiarité avec les usages de l’écriture pour répondre aux questions ouvertes demandant d’argumenter ou commenter ».
Une véritable discussion scientifique ?
C’est cette discussion critique des orientations du Programme que nous voulons poursuivre, dans la suite notamment de travaux menés avec Bertrand Daunay, en interrogeant justement la manière dont le PISA traite des débats polémiques concernant son évaluation. Si depuis son lancement à la fin des années 1990, les écrits du PISA n’ont pas manqué d’adresser aux responsables, aux enseignants, aux élèves, voire à leurs parents, nombre de recommandations et conseils en matière éducative, que fait-il en retour des réflexions et analyses critiques qui concernent son approche ?
Leur prise en compte serait légitime dans une approche scientifique, que prétend suivre le PISA ; de fait, si ses visées principales touchent à l’action publique scolaire, ce programme insiste également largement sur la scientificité de son évaluation, qui serait le gage de sa validité. Ainsi, chaque édition du PISA donne lieu à la publication et à la diffusion d’un cadre qui en précise les fondements et références théoriques et méthodologiques, d’un rapport technique qui détaille l’ensemble des opérations d’élaboration, de passation et de traitement des épreuves, de plusieurs volumes de résultats avec nombre de tableaux de données et graphiques, etc. Ces publications insistent également systématiquement sur le rôle des centres de recherche et spécialistes contribuant à chaque cycle (généralement listés dans des annexes). La préface du rapport du PISA 2018 (le dernier disponible en français à ce jour), sur lequel revenaient les textes du Café pédagogique cités plus hauts, avance ainsi que cette évaluation propose « l’indicateur le plus complet et le plus fiable du monde sur les aptitudes des élèves » (p. 4 du rapport) tandis que l’avant-propos affirme qu’« en une vingtaine d’années, l’enquête PISA est devenue la référence mondiale dans le domaine de l’évaluation » (p. 5).
Mais au-delà de ces affirmations, il est difficile de trouver dans les écrits du PISA des éléments pourtant caractéristiques du discours scientifique que sont des explicitations et mises en discussion des intérêts et limites des cadres théoriques et méthodologiques retenus par rapport à d’autres orientations possibles. Par exemple, en 2018, le domaine de la compréhension de l’écrit, qui intéresse particulièrement Élisabeth Bautier et Dominique Bucheton, est construit pour l’essentiel en référence à des approches psychologiques anglo-saxonnes (voir, pp. 57-66, la bibliographie du domaine). Et non seulement d’autres approches de la compréhension (didactiques, linguistiques, sociologiques, etc.) ne sont pas citées, mais surtout, aucun dialogue explicite n’est mis en œuvre avec les travaux critiques publiés de longue date sur la méthodologie du PISA (par exemple des spécialistes de didactique du français tels que Jean-Louis Dumortier, Daniel Bain ou Isabelle Robin ont questionné l’approche de la compréhension dans le PISA dès les premières années du Programme).
Des experts des approches du PISA comme Dominique Lafontaine et Marc Demeuse ont pourtant pu débattre avec certaines perspectives critiques. Mais, globalement, on trouve peu de traces dans les rapports du PISA des nombreuses controverses portées par des chercheurs comme Jack Goody, Sig J. Prais, Harvey Goldstein, etc., dont Jean-Yves Rochex rend compte dès 2006. Et la lettre ouverte adressée en 2014 aux responsables du PISA par des dizaines de spécialistes internationaux, publiée par The Guardian, appelant à la suspension du Programme pour discuter collectivement de ses enjeux, fonctionnements et effets, n’a pas obtenu la réponse escomptée de la part d’Andreas Schleicher, directeur du PISA et de l’éducation à l’OCDE. D’autres chercheurs comme Stefan T. Hopman et Gertrude Brinek ont également témoigné des échecs rencontrés par leur invitation au dialogue lancée à des représentants du PISA.
Cette limitation de la discussion polémique dans et avec le PISA peut apparaitre comme paradoxale, au regard de l’importance des considérations sur la scientificité que l’on trouve dans les écrits du Programme. Mais ce paradoxe s’explique peut-être, précisément, par le poids attribué dans le PISA aux démarches qu’il met en place en termes d’élaboration et d’essais des instruments d’évaluation, de contrôle des biais, de maitrise des standards et normes, etc. Dès son lancement, le PISA a ainsi été présenté comme se référant à des procédures strictes de contrôle qualité de la méthodologie. Ces mécanismes sont présentés de manière synthétique dans chaque publication consacrée aux résultats, dans une annexe titrée « Assurance qualité » (par exemple en 2000, p. 258), et de manière détaillée dans les rapports techniques consacrés à chaque édition. Dans cette perspective, le Programme rappelle aussi depuis la première édition (cf. pp. 3-4), la contribution des groupes d’experts déjà évoqués, qui sont présentés comme réunissant « les meilleures compétences disponibles […] dans le domaine des évaluations » en vue d’obtenir un consensus sur le fait que « les instruments […] utilisés dans le cadre de PISA [sont] valides au plan international » et « qu’ils se fondent sur des méthodes de mesure rigoureuses ».
Le contenu des épreuves largement inconnu
Le crédit attribué à ces démarches et procédures techniques, qu’on peut mettre en relation avec les discussions sur le courant evidence-based ou des données probantes en éducation, dont Le café pédagogique s’est fait régulièrement l’écho, pourrait aussi expliquer le fait, tout aussi paradoxal, que cette insistance sur la validité méthodologique dans les rapports du PISA ne s’interroge jamais sur une limite pourtant majeure à l’interprétation des résultats (et à leur possible analyse secondaire) : l’impossibilité de consulter l’essentiel des épreuves du test, maintenues « sous embargo » par le PISA. Or, quelle que soit la qualité des données, accéder à ce matériel est pourtant indispensable pour comprendre finement les résultats en tenant compte des questions posées aux élèves, pour se pencher sur leurs réponses et mettre au jour les difficultés rencontrées, ou pour décrire les choix de correction du PISA. En ce sens, nous avions sollicité avec Bertrand Daunay, il y a quelques années, la Direction de l’évaluation, de la prospective et de la performance (DEPP ; centre national du PISA pour la France) afin de consulter des épreuves du test dans le cadre d’une étude critique didactique. La réponse obtenue avait précisé que notre approche des contenus du PISA était intéressante mais bien étroite par rapport aux enjeux de cette évaluation et que les limites des moyens de la DEPP empêchaient de répondre positivement à notre demande. Du reste, on ne sera pas surpris de constater que nulle part les écrits du Programme n’évoquent les discussions critiques que ce choix d’embargo a fait naitre…
En ce qui concerne les élèves et l’École, le PISA place pourtant au cœur même de son approche de la « culture scientifique » (au sens des sciences de la nature) la dimension critique. Dans le cadre d’évaluation du PISA 2015 où les compétences de ce domaine étaient plus particulièrement évaluées chez les élèves, les définitions que se donne le Programme (pp. 25-26) veulent ainsi insister sur le rôle de l’« examen critique par les pairs » et précisent qu’« il est normal, et non exceptionnel, que des chercheurs soient en désaccord », que c’est « l’esprit critique et le scepticisme […] qui caractérisent les scientifiques professionnels » ou que les « individus compétents en sciences comprennent la fonction et le but de l’argumentation et de la critique, et […] ils sont censés savoir […] identifier les failles dans les arguments avancés par d’autres ». Les exemples d’unités d’évaluation de la culture scientifique publiés lors du PISA 2015 (pp. 480-499), montrent également que de nombreuses questions visent à évaluer les « connaissances épistémiques » des élèves en leur demandant d’identifier des données ou arguments valides, de rejeter des explications erronées ou contradictoires avec des résultats d’expérience proposés, ou encore de se prononcer sur la qualité de méthodes d’observation et de mesure.
On ne saurait dire aujourd’hui ce qu’il en sera de la place donnée au dialogue critique dans les publications à venir du PISA, mais on peut déjà constater qu’en ce qui concerne les élèves et l’École, les exigences de l’OCDE en la matière ne vont pas diminuer. Une première version en ligne du cadre d’évaluation du PISA 2022 consacrée aux mathématiques cite ainsi les Compétences du XXIe siècle, que veut promouvoir l’OCDE, avec, en tête de liste, le « raisonnement critique ». Gageons donc que son articulation avec la compétence placée en fin de liste, « la réflexion », devrait permettre de viser une forme de réflexivité dans les propres écrits du PISA…
Daniel Bart
