Par Françoise Solliec
La direction de l’évaluation, de la prospective et de la performance, DEPP, du ministère de l’éducation nationale a consacré la matinée du 6 décembre à la présentation d’une première analyse des résultats obtenus par les élèves français aux évaluations internationales Pirls et Pisa. Bien que les résultats globaux soient dans la moyenne, on ne peut affirmer que les performances des élèves concernant les compétences les plus complexes ou de plus haut niveau soient bonnes, mesurées à l’aune internationale. Cette situation augure mal de la capacité de la France à assurer le renouvellement de ses élites en termes de recherche et d’innovation ou même à former des citoyens très bien adaptés aux mutations rapides de la société actuelle et à venir.
Les résultats de Pirls
Pirls concerne les élèves ayant effectué 4 ans d’apprentissage de la lecture, ce qui correspond à un âge moyen de 10 ans en France, de 10,3 ans dans l’ensemble des pays ayant participé à l’enquête. En deux fois quarante minutes, les élèves doivent lire quelques textes longs (600 à 1000 mots) et répondre aux questions posées dessus.
Sur l’échelle internationale, la France atteint un score de 522, au-dessus d’une moyenne arbitrairement fixée à 500, mais en dessous de la moyenne des pays de l’OCDE, 535, ou européens, 536. La différence entre les résultats des filles et des garçons est faible (resp. 528 et 517) et inférieure de 6 points à la différence moyenne internationale de 17 points.
En comparaison avec l’enquête 2001 (score français 525), les résultats inférieurs de 3 points ne sont pas statistiquement significativement différents. En revanche, l’analyse par type d’école montre que, sur ces 5 années, les résultats des élèves de ZEP ont progressé de 1 point, ceux du privé de 9 points, tandis que les élèves des écoles hors ZEP ont chuté de 8 points.
Comme en 2001, le score est un peu en dessous de la moyenne en ce qui concerne l’objectif de lecture de textes informatifs, beaucoup moins bon pour celui de lecture de textes narratifs. Quatre compétences sont définies, réparties en trois groupes : prélever des informations, inférer, et interpréter et apprécier (juger de la qualité des informations). 73% des élèves maîtrisent la première, 63% la seconde, tandis que les compétences du dernier groupe ne sont maîtrisées que par 40% des élèves.
Les questions sont pour moitié sous forme de QCM, pour moitié des questions exigeant une réponse rédigée plus ou moins longue. Confirmant la tendance de 2001, le pourcentage français de non-réponse aux questions demandant la rédaction la plus longue est élevé (16% à comparer à une moyenne Pirls de 9%) : les élèves qui ne savent pas ou ont l’impression de ne pas savoir refusent de répondre.
On a vu que la différence entre les résultats de 2001 et 2006 n’est pas significative en termes statistiques, mais cette stabilité est surtout liée à la constance des performances des élèves à faible et moyen niveaux de compétences. Aux niveaux élevés, la tendance est plutôt à une légère baisse.
Les résultats de Pisa en termes de culture scientifique ...
Pour l’OCDE, l’enquête Pisa vise à donner des éléments de prospective sur la société de demain. Les élèves âgés de 15 ans aujourd’hui seront-ils capables d’être des élites ou au moins des citoyens performants, capables de s’adapter et d’évoluer tout au long de leur vie ?
En France, l’enquête a concerné 4 700 élèves, tirés au hasard pour être un échantillon représentatif de la population des jeunes de 15 ans scolarisés : 2,5% d’entre eux étaient en 1ère (en avance), 49,4% en 2nde GT, 8,4% en 2nde pro (à l’heure), 34,3% en 3ème et 5,1% en 4ème (40% des élèves de 15 ans ont donc redoublé au moins une fois).
Les exercices posés, qui ne relèvent pas a priori d’une discipline affirmée, font référence à des situations de la vie quotidienne et visent à évaluer pour l’OCDE « les connaissances, les savoir-faire, les compétences et les autres caractéristiques des individus qui sont pertinentes pour son bien-être personnel, social et économique ». Or, en France, la culture scientifique s’ancre fortement dans des disciplines et se construit au travers des programmes. Nombre des items proposés dans Pisa respectent cet ancrage.
L’échelle de culture scientifique comporte 7 niveaux, de complexité croissante, concernant 103 items. La moyenne en est arbitrairement fixée à 500 points et deux tiers des élèves de l’OCDE doivent obtenir entre 400 et 600 points.
De la très intéressante étude menée par la DEPP au travers de l’analyse fine des compétences ou des résultats globaux, il ressort que ...
« Les résultats en culture scientifique sont globalement proches de ceux de l’OCDE …
Les élèves français sont moins nombreux (78,9 %) que la moyenne des élèves de l’OCDE (80,7 %) à atteindre le niveau 2 qui correspond à des capacités à mobiliser des compétences et des connaissances pour aborder les problèmes liés aux sciences et à la technologie dans leur vie future. Ceci a tendance à tirer les résultats de la France vers le bas de l’échelle globale.
Si l’on observe une forte disparité des résultats entre les différentes compétences, cette enquête révèle cependant que les élèves français réussissent mieux dans le domaine des raisonnements scientifiques que dans celui faisant appel à une utilisation des connaissances ».
En ce qui concerne les questions ouvertes, comme dans Pirls, les élèves français qui ne savent pas ne répondent pas. On peut constater que les élèves ont des difficultés à sortir du cadre scolaire. Comme leurs camarades de l’OCDE, les filles disent se sentir moins compétentes que les garçons et dans les mêmes proportions, mais elles se considèrent moins qu’ailleurs efficaces dans le domaine personnel, sentiment non partagé par les garçons. Si, dans l’ensemble, les élèves prennent du plaisir à faire des sciences, ils n’envisagent pas pour autant de poursuivre des études scientifiques. « Il y a une forte corrélation entre les scores obtenus, l’intérêt porté à la science et le projet de poursuivre des études dans le domaine scientifique. Les élèves disent être concernés par les problèmes environnementaux et ceci quel que soit le niveau et le milieu socioéconomique de l’élève. Ceux dont les scores sont élevés sont ceux qui prennent le plus conscience des phénomènes liés au développement durable et qui, dans le même temps, se disent pessimistes quand à la résolution de ces problèmes ».
... de culture mathématique ...
Il s’agissait dans ce cycle d’une compétence mineure, évaluée avec 48 items, toujours sous embargo car ils seront reproposés dans le cycle suivant. On sait cependant qu’ils se répartissent en quatre catégories : quantités, espace et formes, variations et relations, incertitudes. Ce dernier contenu est sans doute assez mal adapté aux élèves français qui n’ont que peu de notion de probabilités à cet âge.
La comparaison avec les résultats de 2003 (un nombre suffisant d’items étaient communs) montre que la baisse des performances des élèves concerne pratiquement tous les items et qu’elle est plus forte lorsqu’il s’agit d’énoncés longs ou d’algorithmes décrits par un texte. On rejoint le problème de compréhension de l’écrit, mentionné dans Pirls, qu’on retrouvera ci-dessous. Le pourcentage d’élèves faibles passe de 18% à 22% et leurs performances chutent de 20 points.
Il n’ a pas de différence significative entre les résultats globaux des filles et des garçons, bien que les filles soient en proportion moindre dans les niveaux faibles et élevés.
... et de compréhension de l’écrit
Selon la définition de l’OCDE, « Comprendre l’écrit, c’est non seulement comprendre et utiliser des textes écrits, mais aussi réfléchir à leur propos. Cette définition va au-delà du simple décodage et de la compréhension littérale. Elle implique la compréhension et l’utilisation de l’écrit mais aussi la réflexion à son propos à différentes fins ».
La correction des questions a pris en compte la situation dans laquelle on lit les textes (à quels usages sont-ils destinés), leur structure (texte continu ou discontinu) et leur forme (questions ouvertes ou fermées). Les trois compétences évaluées étaient s’informer, interpréter, réagir (ou analyser), graduées en 6 niveaux en fait regroupés en 3, faible, moyen, élevé.
Entraînant une baisse globale de 17 points entre 2000 et 2006, le pourcentage des élèves de niveaux faible et très faible est passé de 15 à 22% (en moyenne dans l’OCDE on est passé de 18 à 20%), avec dorénavant 8,5% des élèves de niveau très faible, contre 4% en 2000. Les pourcentages de niveau élevé ont suivi la décrue moyenne (de 32 à 29%).
La différence est forte entre les filles et les garçons : les filles sont beaucoup plus présentes dans les niveaux élevés (34% contre 24% de garçons) et beaucoup moins au niveau faible (17% contre 27%), reproduisant la différence moyenne de l’OCDE.
A noter que les conclusions de Pisa sur la dégradation des performances en compréhension de l’écrit rejoignent, hélas, celles de l’enquête nationale sur la maîtrise des compétences en français en fin de collège.
Alors, que faire ? Les cadres nationaux sont maintenant informés et d’après Daniel Vitry, directeur de la DEPP, les recteurs ont pris la mesure du problème « avec calme et détermination », d’autant que l’outil Pisa ne peut être considéré comme un mauvais thermomètre. Les inspecteurs généraux, présents ou non à la réunion, ne peuvent se désintéresser de la question, même si Daniel Vitry prend soin de rappeler qu’il ne faut pas voir dans Pisa l’évaluation des programmes enseignés, mais bien plutôt la manière dont les jeunes de 15 ans scolarisés sont capables de mettre leurs compétences en jeu.