PISA est-il totalement à l’abri de biais nationaux ? Ses résultats sont-ils toujours fiables ? On sait qu’un débat s’est engagé sur ce point depuis des années, certains mettant en avant des traditions scolaires différentes. Mais jusque là personne n’avait pu comparer els résultats des mêmes élèves dans PISA et dans des évaluations nationales. C’est justement ce que propose une étude de Bruno Suchaut et Ladislas Ntamakiliro réalisée pour l’URSP du Canton de Vaud. Elle montre l’importance des systèmes éducatifs nationaux dans les résultats de PISA.
Bruno Suchaut et Ladislas Ntamakiliro ont pu bénéficier des Evaluations Cantonales de Référence du Canton de Vaud, des tests qui s’échelonnent du primaire au secondaire. Ils ont pu comparer étroitement les résultats des mêmes élèves en 4ème pour l’ECR et dans les tests Pisa. Les résultats sont éclairants.
L’étude montre d’abord des fonctionnements différents des évaluations. Alors que dans Pisa les résultats des différentes disciplines sont très corrélés, ce n’est pas le cas dans les tests ECR où on peut être bon en lecture mais faible en maths. Par contre les tests ECR suivent la même logique que dans PISA en ce qui concerne la supériorité des filles, des non redoublants et des autochtones. Les différences liées au statut socio économique sont nettement moins fortes dans les ECR que dans PISA où elles sont fortes.
» On aurait pu s’attendre à une proximité plus grande entre les deux mesures et à ce que les compétences visées par PISA soient davantage reliées aux acquisitions évaluées sur la base des programmes scolaires. Or, la corrélation, dans chacune des disciplines (lecture et mathématiques) est de l’ordre de +0,7; cela signifie qu’une proportion non négligeable d’élèves réalise des performances assez différentes selon l’épreuve concernée. Par ailleurs, la corrélation entre la compréhension de l’écrit (lecture) et les mathématiques dans l’enquête PISA est particulièrement marquée (supérieure à +0,80), cela témoigne d’une proximité nettement plus grande entre les deux champs de compétences de PISA que pour un même champ de compétences issu d’évaluations distinctes (PISA et ECR) », écrivent les auteurs.
» Le lien modéré, dans un même domaine, entre les évaluations locales et PISA interroge quant à lui sur le degré de responsabilité des systèmes d’enseignement dans les classements produits par l’enquête internationale », expliquent-ils. « Peut-on, sur la base des résultats à PISA inférer directement le degré de qualité de l’école, alors que les évaluations des acquis scolaires ne reflètent que partiellement les compétences mesurées par PISA ? »
François Jarraud
