PISA est-il totalement à l’abri de biais nationaux ? Ses résultats sont-ils toujours fiables ? On sait qu’un débat s’est engagé sur ce point depuis des années, certains mettant en avant des traditions scolaires différentes. Mais jusque là personne n’avait pu comparer els résultats des mêmes élèves dans PISA et dans des évaluations nationales. C’est justement ce que propose une étude de Bruno Suchaut et Ladislas Ntamakiliro réalisée pour l’URSP du Canton de Vaud. Elle montre l’importance des systèmes éducatifs nationaux dans les résultats de PISA.
Bruno Suchaut et Ladislas Ntamakiliro ont pu bénéficier des Evaluations Cantonales de Référence du Canton de Vaud, des tests qui s’échelonnent du primaire au secondaire. Ils ont pu comparer étroitement les résultats des mêmes élèves en 4ème pour l’ECR et dans les tests Pisa. Les résultats sont éclairants.
L’étude montre d’abord des fonctionnements différents des évaluations. Alors que dans Pisa les résultats des différentes disciplines sont très corrélés, ce n’est pas le cas dans les tests ECR où on peut être bon en lecture mais faible en maths. Par contre les tests ECR suivent la même logique que dans PISA en ce qui concerne la supériorité des filles, des non redoublants et des autochtones. Les différences liées au statut socio économique sont nettement moins fortes dans les ECR que dans PISA où elles sont fortes.
« On aurait pu s’attendre à une proximité plus grande entre les deux mesures et à ce que les compétences visées par PISA soient davantage reliées aux acquisitions évaluées sur la base des programmes scolaires. Or, la corrélation, dans chacune des disciplines (lecture et mathématiques) est de l’ordre de +0,7; cela signifie qu’une proportion non négligeable d’élèves réalise des performances assez différentes selon l’épreuve concernée. Par ailleurs, la corrélation entre la compréhension de l’écrit (lecture) et les mathématiques dans l’enquête PISA est particulièrement marquée (supérieure à +0,80), cela témoigne d’une proximité nettement plus grande entre les deux champs de compétences de PISA que pour un même champ de compétences issu d’évaluations distinctes (PISA et ECR) », écrivent les auteurs.
« Le lien modéré, dans un même domaine, entre les évaluations locales et PISA interroge quant à lui sur le degré de responsabilité des systèmes d’enseignement dans les classements produits par l’enquête internationale », expliquent-ils. « Peut-on, sur la base des résultats à PISA inférer directement le degré de qualité de l’école, alors que les évaluations des acquis scolaires ne reflètent que partiellement les compétences mesurées par PISA ? »
François Jarraud
Le rapport
http://www.vd.ch/fileadmin/user_upload/organisation/dfj/ursp/Publications[…]
Comment lire la récente étude de Bruno Suchaut et Ladislas Ntamakiliro ? B. Suchaut nous aide en éclairant des points essentiels sur cette relation entre Pisa et des évaluations nationales.
Peut on vraiment comparer les tests PISA et les ECR ? Les protocoles de passage sont ils aussi rigoureux dans les ECR que chez PISA ?
Savoir dans quelle mesure différents indicateurs de qualité d’un système éducatif se recouvrent est une question assez peu explorée dans la littérature scientifique, c’est que nous avons pu faire dans cette recherche en examinant le lien statistique entre les performances des élèves vaudois mesurées à l’aune des scores obtenus à l’enquête PISA et de ceux obtenus à des évaluations cantonales. Le fait de pouvoir disposer, pour un même échantillon d’élèves, des données relatives à ces deux mesures est l’occasion de confronter les résultats des élèves aux tests PISA avec ceux des épreuves locales, plus proches des objectifs des programmes scolaires. Au-delà, cela permet aussi d’envisager une lecture différente des conclusions de l’enquête internationale. Evidemment, des différences existent entre ces deux types d’évaluation en termes de contenu et de méthodologie mais les ECR font l’objet d’une attention particulière dans leur processus d’élaboration et elles respectent un cadre strict au niveau des consignes de passation et de correction de ces épreuves ; tout cela leur confère une rigueur dans la mesure et la comparaison des résultats des élèves sur cette base.
Vous relevez des différences notables dans les évaluations des deux systèmes. Par exemple le fait qu’il y ait une cohérence forte entre disciplines dans PISA et faible dans les évaluations ECR. Cela reflète-il l’influence d’une évaluation portée par un enseignant d’une discipline ? Evalue t on des contenus radicalement différents dans les deux systèmes ?
On aurait pu en effet s’attendre à une proximité plus grande entre les deux mesures et à ce que les compétences visées par PISA soient davantage reliées aux acquisitions évaluées sur la base des programmes scolaires. Or, la corrélation, dans chacune des disciplines (lecture / français et mathématiques) est plus faible que celle attendue. Ainsi, le score obtenu aux ECR n’explique que les deux cinquièmes des différences de scores des élèves à PISA. Cela signifie qu’une proportion non négligeable de jeunes réalise des performances assez différentes selon l’épreuve concernée. Par ailleurs, la corrélation entre la lecture et les mathématiques dans l’enquête PISA est particulièrement marquée, qui témoigne d’une proximité entre ces deux champs de compétences. Ce résultat est d’autant plus surprenant que cette proximité est plus forte que pour un même champ de compétences issu d’évaluations distinctes (PISA et ECR). La notion de compétences « utiles tout au long de la vie » (life skills), telle que le programme PISA la conçoit, peut donc être considérée comme transversale et s’éloigne nettement d’une approche disciplinaire dans la mesure des performances des élèves
Vous constatez que la variable sociale est nettement plus discriminante dans PISA que dans les ECR. C’est très troublant. Comment expliquer cela ?
L’indicateur du statut socioéconomique et culturel (IECS) disponible dans les données de l’enquête PISA permet de comparer l’impact de cette variable sur les deux mesures des résultats. On relève alors que cette influence du milieu social est plus faible avec les évaluations cantonales qu’avec PISA, surtout dans le domaine des mathématiques (1,5 fois plus faible). Les tests PISA laissent donc davantage s’exprimer les inégalités sociales de réussite que les évaluations locales liées aux programmes d’enseignement. On peut donc dire que les ECR mettent moins en lumière les inégalités dues à l’environnement familial de l’élève que PISA. Cela s’explique sans doute par le fait que les acquis extrascolaires, en particulier familiaux renvoient à des compétences qui peuvent être éloignées du curriculum scolaire mais, qu’en revanche, PISA valorise davantage dans le choix des items.
PISA semble aussi plus discriminant en termes de résultats. Est-ce lié au système d’évaluation ou aux objectifs d’évaluation ?
Les critères définis dans l’échelle de mesure de PISA s’avèrent en effet particulièrement sélectifs quand il s’agit de hiérarchiser les niveaux de compétences des élèves. Dans les deux disciplines testées, la probabilité pour un élève d’être considéré comme particulièrement compétent dans l’enquête internationale (niveaux 5 et 6 de l’échelle d’évaluation des résultats aux tests PISA) est faible pour la grande majorité des élèves de l’échantillon vaudois ; seuls ceux qui affichent des scores très élevés (plus de 90% de réussite aux items) aux ECR peuvent espérer faire partie de l’élite à PISA. Par ailleurs, ce constat est vrai à la fois pour la lecture et les mathématiques. Cette particularité de PISA renvoie encore une fois à la nature des compétences ciblées dans l’enquête internationale dont la parfaite maîtrise dépasse sans doute les objectifs des systèmes d’enseignement.
Avez-vous observé des évolutions différentes dans le temps dans les résultats des ECR discordantes avec celles de PISA ?
Ce qu’il serait effectivement intéressant de vérifier, c’est d’examiner si le lien statistique observé est de même nature pour les différentes vagues d’enquêtes de PISA, une prochaine recherche ? Des études du même type réalisées dans d’autres contextes nationaux seraient également les bienvenues pour approfondir la question.
Il y a en ce moment une montée des critiques sur PISA. Par exemple une forme d’appel de 120 universitaires qui accusent PISA d’être responsable du « testing for the test » et d’une évaluation négative des curriculums. En même temps on voit que dans un pays comme la France par exemple, « le choc PISA » qu’on attendait ne se produit pas. Quel jugement final portez- vous sur PISA ? Les politiques et l’opinion publique doivent ils tenir compte des résultats de PISA ?
L’OCDE a indéniablement donné en 2000 avec PISA, une nouvelle impulsion aux évaluations internationales. Ce programme de grande ampleur concerne un nombre important de pays (43 pays ont participé en 2000 et 67 en 2012) et des moyens financiers substantiels sont mobilisés pour la réalisation des différentes étapes de l’enquête et de son exploitation. La richesse des informations collectées sur les élèves et les établissements, la dimension cyclique des tests, administrés tous les trois ans et dans trois domaines de compétences (compréhension de l’écrit, culture mathématique et culture scientifique), sont autant d’éléments qui ont permis une large utilisation des résultats.
Mais un des atouts principaux du programme PISA est certainement de pouvoir nourrir et enrichir les débats politiques et sociétaux sur l’école. Les responsables des politiques éducatives font en effet systématiquement référence aux conclusions des analyses menées dans le cadre de PISA et les médias leur donnent une large place, notamment au moment de la publication des résultats.
Le problème est que, trop souvent, on se limite au classement des pays qui n’a en fait qu’une importance très relative et il arrive aussi que l’on fasse dire à PISA ce que PISA ne dit pas… D’où certaines dérives constatées par les universitaires que vous mentionnez. Il faut aussi admettre les limites de cette enquête en termes d’interprétation des résultats et des précautions doivent être prises avant d’en extrapoler des mesures hâtives sur le plan politique. Il est par ailleurs évident que pour le monde de la recherche, PISA peut être considéré comme une mine de données précieuses qui permet des comparaisons spatiales et temporelles intéressantes et donne la possibilité de riches analyses secondaires sur de nombreux objets de politique éducative.
Propos recueillis par François Jarraud
L’étude
http://www.vd.ch/fileadmin/user_upload/organisation/dfj/ursp/Publications[…]
|
Sur le site du Café
|
