Analyse UFAPEC 2008 par J-L. van Kempen

19.08/ Comment bien interpréter les résultats des recherches de PISA ?

Introduction

Les enquêtes internationales menées par PISA(1) présentent tous les trois ans les résultats des comparaisons du système d’enseignement dans les différents pays de l’OCDE. Quand la grande presse les évoque, elle se contente généralement de ne présenter que le classement entre les pays. Or, le palmarès constitue l’aspect le plus fragile de ces études. En approfondissant la réflexion, il est possible de déceler les points faibles de l’école de la Communauté française.


Où se situe notre pays dans le classement ?

C’est en décembre 2001 que les belges francophones prenaient connaissance des résultats de la première enquête internationale PISA. Cette recherche internationale portait plus particulièrement sur la compréhension de l’écrit. Deux autres domaines y étaient également abordés : la culture mathématique (qui a plutôt été développée en 2003) et la culture scientifique (qui a constitué le plat de résistance de l’enquête de 2006).

Depuis 2001, le palmarès est particulièrement défavorable aux élèves francophones de Belgique (total : 32 pays).

 

  Compréhension de l'écrit Culture mathématique Culture scientifique
Finlande 546 (1è position) 536 (5è position) 538 (3è position)
Communauté Flamande 532 (3è position) 513 (3è position) 519 (8è position)
France 505 (14è position) 517 (10è position) 500 (13è position)
Communauté française 476 (25è position) 491 (20è position) 467 (26è position)

 

Le classement de l’enquête de 2006 reste assez stable et donc, toujours aussi décourageant pour les belges francophones par rapport aux 32 pays de l’OCDE (2) :
 

  Compréhension de l'écrit Culture mathématique Culture scientifique
Finlande 547 (2è position) 548 (1è position) 563 (1è position)
Communauté flamande 522 (4è position) 543 (3è position) 526 (5è position)
France 488 (18è position) 496 (18è position) 495 (20è position)
Communauté française 473 (24è position) 490 (23è position) 486 (27è position)
 

La publication du classement des différents pays a donné lieu à des articles particulièrement alarmistes dans la presse : « Enseignement : mauvais bulletin pour nos élèves. L’OCDE classe les ados francophones en queue de peloton » (Le Soir, 5 décembre 2001), « Des élèves peu performants. Une enquête de l’OCDE classe les francophones parmi les moins bons élèves » (La Libre Belgique, 5 décembre 2001).

On pourrait se rassurer en constatant que cette grande déception face à l’enseignement s’est également manifestée dans d’autres pays :

« Les élèves allemands sont-ils stupides ? » (Der Spiegel, n° 50 du 10 décembre 2001) ; « La France, élève moyen de la classe OCDE » (Le Monde, 5 décembre 2001) ; « La Suisse est-elle le cancre de l’Europe ? » (La Tribune de Genève, 10 décembre 2001).

La présentation et l’interprétation des résultats donnent également lieu à des investigations complémentaires permettant des comparaisons infranationales dans des états fédéraux. Là aussi, la Belgique n’a pas été la seule à comparer les prestations des élèves appartenant aux deux grandes communauté linguistiques. Les suisses ont également comparé les francophones et les germanophones, les allemands ont comparé les länders, etc.

Dans notre pays, ces résultats ont également servi de tests projectifs dans le monde de l’enseignement. Les partenaires de la Communauté éducative, les partis politiques, les citoyens ont formulé des hypothèses sur les causes de la « crise scolaire » : le sous-financement de l’enseignement, la succession des ministres, les réformes qui se sont succédées, la place trop importante de la transmission des savoirs par rapport à leur application, etc.(3)

Dès lors, dans différents pays, (ou communautés ou régions), l’annonce dans la grande presse du classement des résultats obtenus par les élèves dans le cadre des recherches PISA a contribué à diminuer la confiance manifestée à l’égard de système d’enseignement.

« Le plus dérangeant, en définitive, est qu’une fois de plus l’opprobre a été jeté sans discernement sur des milliers d’enseignants qui, au jour le jour et dans le contexte difficile qui est le leur, tentent de faire la classe et s’entendent dire, en retour, que leur enseignement est ‘inefficace et inéquitable’(4).»

« Paradoxalement, le danger de telles études transversales réside dans la perte de repères et le relativisme dans l’opinion publique, alors que la finalité même de PISA est de fournir aux autorités de pilotage des systèmes scolaires un cadre – certes très partiel – de référence pour le développement de compétences clés.(5)»

« Ce que les médias en retiennent le plus souvent est de loin la dimension la plus fragile de ces études (en particulier les classements), et ce à quoi ils s’intéressent le moins en constitue au contraire la dimension la plus riche et sans doute la plus robuste(6)».

Nous avons de bonnes raisons de prendre ces enquêtes au sérieux, à condition de les interpréter correctement. Une analyse sérieuse de ces résultats permet de dégager des améliorations à apporter à notre système d’enseignement.


En quoi consistent ces enquêtes ?

Le programme PISA n’est pas le premier à organiser des enquêtes internationales qui étaient déjà organisées depuis 1961 par l’IEA (International Association for the Evaluation of Educational Achievement) et portaient déjà sur les mathématiques, les sciences et la lecture. Une douzaine de pays y participaient.

Le programme PISA a été lancé en 1997 par les ministères de l’Education des pays de l’OCDE afin d’alimenter l’ensemble d’indicateurs internationaux. La première enquête fut lancée en 2000.

L’enquête est menée auprès de jeunes âgés de 15 ans, indépendamment de leur classe. Il s’agit de l’âge de fin de l’obligation scolaire dans la plupart des pays de l’OCDE.

Les tests de PISA ne se réfèrent pas à des connaissances acquises dans le cadre de programmes scolaires mais à des compétences à priori utilisables ultérieurement dans la vie professionnelle.

La compréhension de l’écrit : «La capacité de comprendre, d’utiliser et d’analyser des textes écrits afin de pouvoir réaliser ses objectifs, développer ses connaissances et son potentiel et jouer un rôle actif dans la société».

La culture mathématique mesure « l’aptitude d’un individu à identifier et à comprendre les divers rôles joués par les mathématiques dans le monde, à porter des jugements fondés à leur propos, et à s’engager, en fonction des exigences de sa vie présente et future en tant que citoyen constructif, impliqué et réfléchi.»

La culture scientifique : « la capacité à utiliser des connaissances scientifiques, à identifier les questions et à tirer des conclusions fondées sur des faits, en vue de comprendre les changements qui y sont apportés par l’activité humaine, l’essentiel étant d’être en mesure d’adopter une pensée scientifique à l’égard des faits rencontrés».

Cette enquête internationale est organisée en collaboration avec des unités qui travaillent dans chaque pays. En Communauté française, la gestion est assurée par Dominique Lafontaine, de la faculté de Psychologie et des Sciences de l’Education à l’Université de Liège.

Les deux langues officielles de ce programme sont l’anglais et le français. Le questionnaire anglais est traduit en français. Les pays qui doivent traduire dans une autre langue pratiquent la double traduction depuis les deux langues-sources. Un traducteur traduit depuis l’anglais et un autre depuis le français. Un coordinateur compare les deux traductions et la version finale dans le cadre de concertations entre les trois personnes(7).


Pourquoi faut-il relativiser le classement PISA ?

Il importe de relativiser le classement entre les différents pays pour les raisons suivantes :

  • La moyenne est fixée arbitrairement à 500. La Belgique francophone atteint le score de 473, soit à 27 unités de la moyenne. Si la moyenne était fixée à 100, nous obtiendrions un score de 94,6 % et la Finlande 109,4 %, ce qui paraîtrait plus satisfaisant.(8)
  • Parmi les quelque 3.000 élèves belges francophones âgés de 15 ans et qui ont participé aux épreuves de 2006, 44 % accusaient un retard d’au moins un an : 51 % fréquentaient une 4ème , 37 % se trouvaient en 3ème et 7 % se trouvent encore au 1er degré.(9)
  • Or, parmi les élèves en retard d’un an, on ne compte pas moins de 47 % d’élèves qui ne dépassent pas le niveau 1 (10) . Près de la moitié ne réussissent donc que des tâches de lecture élémentaires. Parmi les élèves en retard scolaire, très rares sont ceux capables de se débrouiller dans des tâches de lecture présentant une certaine complexité.(11)

Quels sont les véritables enseignements de PISA ?

Mais, au-delà des moyennes et du classement, il serait opportun de tirer des conclusions bien plus importantes pour l’avenir de notre enseignement.

Si l’enseignement francophone belge se caractérise par une moyenne plutôt faible, c’est à cause des résultats assez mauvais d’une proportion importante des élèves. Notre enseignement se caractérise par une très grande dispersion des niveaux de compétences développées par les élèves. A côté d’un groupe d’élèves compétents à très compétents, on trouve une proportion importante d’élèves faibles ou très faibles dans les trois matières étudiées.

En français, plus d’un jeune francophone âgé de 15 ans sur quatre (28 %) ne maîtrise pas de compétences suffisantes leur permettant d’acquérir des connaissances au travers de la lecture de textes écrits. A l’autre extrémité de l’échelle, 16 % des élèves sont capables de réussir des tâches de lectures complexes (ex. : retrouver des informations enchevêtrées(12) ) et 12 % sont capables d’accomplir des tâches de lectures élaborées (ex. : faire preuve de connaissance fine).(13)

En mathématiques, la dispersion des résultats obtenus par les élèves est particulièrement grande. Près d’un quart des jeunes de 15 ans n’atteignent pas le niveau de compétence leur permettant de réagir efficacement dans des situations qui impliquent un usage élémentaire des mathématiques. A l’autre extrémité de l’échelle, on note que 16 % des élèves sont capables de maîtriser des situations très complexes.(14)

En sciences, près d’un quart des élèves (24 %) ont des compétences très limitées qu’ils peuvent seulement utiliser dans quelques situations familières. A l’autre extrémité de l’échelle, 7 % des élèves se situent à un niveau tel de compétences qu’ils peuvent reconnaître les composantes scientifiques dans des contextes complexes, faire preuve d’esprit critique et utiliser leurs connaissances en sciences pour résoudre des problèmes.(15)

Inégalité de résultats : le rapport entre le 9ème et le 1er déciles, c’est-à-dire entre les élèves les plus faibles et les plus forts (sur la base des résultats de PISA 2000)(16) :

La Communauté française arrive en première position en ce qui concerne les différences de compétences entre les élèves les plus faibles et les plus forts alors que c’est en Finlande que cet écart est le plus réduit.

Notre pays se caractérise également par de très grandes différences des résultats entre les établissements scolaires. En ce qui concerne la compréhension de l’écrit, les élèves qui fréquentent certains établissements obtiennent des résultats de très bon niveau tandis que d’autres élèves plus faibles se retrouvent dans d’autres écoles. L’écart entre les établissement les plus et les moins performants est trois fois plus élevé qu’en Finlande.(17)

« Cette disparité entre établissements est loin d’être anodine. Elle correspond bien entendu à une approche éducative moins équitable, puisque la fréquentation de tel ou tel établissement est très clairement associée à des performances de valeur très inégale. ( …) Les écoles agissent chez nous comme des ‘catalyseurs de différenciation sociale’ qui exacerbent, par le biais des regroupements d’élèves, les effets des inégalités sociales de départ. »(18)


La présence d’immigrés a-t-elle fait baisser le niveau général dans notre pays ?

Dans l’échantillon PISA de la Communauté française, 82 % des élèves de 15 ans sont d’origine belge (ils sont nés en Belgique et au moins un de leurs parents est né en Belgique) ; 13 % sont nés en Belgique, mais leurs deux parents sont d’origine non belge ; 5 % sont nés à l’étranger.(19)

Si les élèves allochtones en communauté française, obtiennent des résultats moins bons, ce n’est pas à cause du manque de maîtrise du français mais surtout à cause du niveau social de leur famille.

Une étude de Nico Hirtt menée sur la base de PISA 2003 (20) a bien posé la question suivante :
« Les jeunes issus de l’immigration réussissent-ils, en moyenne, plus ou moins bien que les jeunes belges ? » ou « réussissent-ils plus ou moins bien que les jeunes belges de même origine sociale ? »

En fait les mauvais résultats des élèves allochtones (de deuxième génération) s’expliquent principalement par leur statut social et non par leur appartenance ethnique ou linguistique. Les résultats en lecture et en mathématique sont à peu près au niveau que l’on obtient pour les autres élèves belges ayant le même indice ESCS (économique, social et culturel).

Cette constatation a également été formulée par Dominique Lafontaine : « Les élèves natifs de Belgique pris isolément sont certes meilleurs que ceux de l’ensemble des élèves, mais ne sont pas exceptionnellement meilleurs. Le raisonnement qui consisterait à lier de façon simpliste la proportion relativement élevée de jeunes issus de l’immigration et la faiblesse des performances moyennes en Communauté française de Belgique ne résiste guère à l’analyse ».(21)

« A origine sociale équivalente, dans la même année d’études, bénéficiant du même niveau de ressources éducatives et culturelles à la maison, un jeune de 15 ans d’origine immigrée n’aura pas en Communauté française de moins bonnes performances en lecture que son homologue d’origine belge.»(22)


Le système belge réduit-il les inégalités de départ ?

Le grand problème de l’enseignement sur lequel il faudrait se pencher est le fait que les écoles situées en Communauté française contribuent très peu à diminuer les inégalités des élèves.

« De tous les systèmes éducatifs des pays participant à PISA, c’est en Communauté française de Belgique que l’incidence du statut socio-professionnel des parents sur les performances en lecture des élèves se marque le plus. Un élève dont les parents exercent une profession peu élevée dans la hiérarchie des revenus court ainsi chez nous un risque plus important qu’ailleurs de figurer parmi les 25 % d’élèves les plus faibles en lecture. (…) On connaissait, par des études antérieures relevant de la sociologie de l’éducation, le poids du déterminisme social. PISA confirme une nouvelle fois le caractère prégnant de cette influence, mais l’élément neuf dans l’analyse est que certains systèmes éducatifs parviennent à contenir mieux que d’autres l’ampleur des disparités liées au capital social. »(23)

Le tableau suivant montre que les différences entre les jeunes dépendent assez fortement du milieu social. Les enfants dont la mère a réussi des études supérieures réussissent beaucoup mieux que ceux dont la mère est diplômée du primaire ou du secondaire.

Inégalité des chances : différences entre les scores des jeunes dont la mère a un faible niveau d’éducation (primaire ou secondaire) et ceux dont la mère a un diplôme de l’enseignement supérieur (moyenne internationale : 500) (sur la base des résultats de PISA 2000)(24):

  

Quelles sont les caractéristiques du système d’enseignement les plus efficaces et les plus équitables ?

Les systèmes d’enseignement qui obtiennent les meilleurs résultats présentent les caractéristiques suivantes(25) :

  • un tronc commun jusqu’à 16 ans plutôt que des filières différenciées après l’enseignement primaire ;
  • la promotion automatique et l’accompagnement personnalisé plutôt que le redoublement ;
  • l’efficacité globale du système est, le plus souvent, liée à l’équité.

De plus, on observe que les systèmes éducatifs les plus efficaces et les plus équitables ne sont pas nécessairement ceux qui coûtent le plus cher. Il n’y a pas de relation probante entre le niveau des dépenses éducatives et les résultats.


Conclusions

Depuis le début de ce siècle, des enquêtes internationales publient des classements des compétences des élèves dans les différents pays de l’OCDE. Il apparaît que ces palmarès entraînent systématiquement le découragement au sein de la Communauté française et dans bien d’autres régions, communautés et pays.

Les différentes composantes de la communauté éducative, les partis politiques, chercheurs et bien d’autres personnes liées à l’enseignement en profitent pour formuler leurs interprétations sur les motifs du mauvais fonctionnement de l’enseignement.

Le classement entre les pays est tout relatif et constitue l’aspect le moins intéressant de ces études.

En revanche, les analyses menées en profondeur par les différents services de recherche de notre pays (et, plus particulièrement, la faculté de Psychologie des Sciences de l’Education de l’Université de Liège qui gère ce programme pour la Communauté française) permettent de dégager les grandes faiblesses de notre système d’enseignement en vue d’y apporter des améliorations.

Le problème essentiel de notre école se situe au niveau, d’une part, de la grande dispersion des résultats entre les élèves les plus forts et les plus faibles et d’autre part, de la grande vulnérabilité des élèves appartenant aux milieux plus défavorisés. Notre système d’enseignement souffre d’une ségrégation entre les élèves et les établissements et d’un degré d’inégalité important. L’école francophone a donc encore trop tendance à reproduire les inégalités sociales.

Or, les enquêtes internationales montrent que les pays où l’enseignement est le plus efficace et équitable évitent, d’une part le redoublement et, d’autre part, la différenciation trop précoce des parcours scolaires. Or, ces deux particularités assurent justement la structure de notre système d’enseignement…
 

 

Jean-Luc van Kempen

 

(1) PISA : Programme International pour le suivi des acquis des élèves. Cette évaluation ne cesse de prendre de l’ampleur : 32 pays en 2000, 41 en 2003, 57 en 2006 et 64 en 2009.
(2) BAYE A., QUITTRE V, HINDRYCKX G., FAGNANT A., Unité d’Analyse des Systèmes et des Pratiques d’Enseignement (ULG) sous la direction de LAFONTAINE Dominique, Les acquis des élèves en culture scientifique. Premiers résultats de PISA 2006,
(3) ROMAINVILLE Marc, Du bon usage de PISA, dans « Revue Nouvelles »,3-4, tome 115, avril 2002.
(4)ROMAINVILLE Marc, op.cit.
(5)MARADAN Olivier (secrétaire général adjoint de la Conférence suisse des directeurs cantonaux de l’instruction publique en Suisse), De l’interprétation subjective des résultats de PISA dans Le Temps, mai 2005.
(6)GRENET Julien, PISA : une enquête bancale ?, dans « laviedesidees.fr », février 2008.
(7) MEURET Denis, Considérations sur la confiance que l’on peut faire à PISA 2000, Intervention au Colloque international des l’Agence Nationale de Luttre contre l’Illetrisme sur l’évaluation des bas niveaux de compétences, Lyon, 5 novembre 2003.
(8) ROMAINVILLE Marc, op.cit.
(9)LAFONTAINE Dominique, op.cit.
(10)Au niveau 1, les élèves sont capables de repérer un élément simple, d’identifier le thème principal d’un texte ou de faire une connexion simple entre le texte et des connaissances de tous les jours.
(11)LAFONTAINE Dominique, op.cit.
(12)Enquête PISA, 2000.
(13)Les indicateurs de l’enseignement, ETNIC, 2007.
(14)Enquête PISA, 2003 ;
(15)Enquête PISA, 2006
(16)DUPRIEZ Vincent, VANDENBERGHE Vincent, L’école en Communauté française de Belgique : de quelle inégalité parlons-nous ?, GIRSEF-UCL, 2003.
(17)LAFONTAINE Dominique, op.cit.
(18)LAFONTAINE Dominique, op.cit.
(19)LAFONTAINE Dominique, op.cit.
(20) HIRTT Nico, Handicap culturel, mauvais intégration, ou ségrégation sociale, PISA 2003 et les mauvais résultats des élèves issus de l’immigration en Belgique, juin 2006.
(21)LAFONTAINE Dominique, op.cit.
(22)LAFONTAINE Dominique, op.cit.
(23)LAFONTAINE Dominique, Le Programme International pour le Suivi des Acquis des élèves de l’Ocdé,
Cahiers du Service de Pédagogie expérimentale, Université de Liège, 13-14/2003.
(24) DUPRIEZ Vincent, VANDENBERGHE Vincent, op.cit.
(25) CYTERMANN JR, (Inspecteur général de l’Administration de l’Education Nationale et de la Recherche en France).Apports et limites des comparaisons internationales en matière d’éducation, pour séminaire EHESS (Ecole des Hautes Etudes en Sciences Sociales) du 8 mars 2007.
 

Vous désirez recevoir nos lettres d'information ?

Inscrivez-vous !
En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de Cookies pour vous proposer des publicités adaptées à vos centres d'intérêts, pour réaliser des statistiques de navigation, et pour faciliter le partage d'information sur les réseaux sociaux. Pour en savoir plus et paramétrer les cookies,
OK