Le Séminaire « École et République » du Collège des Bernardins s’est interrogé sur les raisons pour lesquelles les performances des élèves et l’équité scolaire différaient tant entre les pays de l’OCDE. Parmi les causes possibles, le Séminaire a identifié la qualité de l’éducation et celle des systèmes éducatifs. Il s’est donc penché sur la question de ces deux mesures à travers des indicateurs permettant de comparer les performances dans ces domaines de l’ensemble des pays de l’OCDE.

Pourquoi un tel indicateur et ses fondements

Le Séminaire s’est intéressé aux indicateurs développés récemment tentant de mesurer des phénomènes non monétaires comme l’éducation. Depuis une quinzaine d’années, des indicateurs synthétiques non monétaires se sont développés comme approches alternatives ou complémentaires du PIB et ce dans plusieurs domaines : que ce soit pour mesurer le développement humain, la santé sociale, la richesse, le bien-être, l’empreinte écologique ou encore le vivre-mieux (note 1 ).

Dans le domaine de l’éducation, qui est d’une importance cruciale, car on sait que de sa qualité dépendent pour beaucoup la compétitivité des économies, mais aussi le dynamisme des sociétés et le bien-être des citoyens, il n’existe pas d’indicateur pour mesurer ni la qualité des systèmes éducatifs ni celle de l’éducation elle-même.

Le Séminaire « École et République » s’est penché sur cette question pour conclure qu’il serait très difficile d’arriver à un consensus international sur une définition de la qualité de l’éducation (note 2 ) ; à moins de considérer que les performances des élèves constituent une approximation de cette mesure. On sait cependant que la variable latente, mesurée par ces performances, n’est pas la qualité de l’éducation, mais les compétences des élèves.

Le Séminaire a donc décidé de tenter de construire un indicateur synthétique de la qualité des systèmes éducatifs des pays de l’OCDE (note 3 ). Un indicateur et ses composantes portant sur la qualité des systèmes éducatifs doivent naturellement refléter les principes sur lesquels nos sociétés entendent que ces systèmes soient fondés. Un tel indicateur et ses composantes doivent également refléter les valeurs sous-jacentes aux systèmes éducatifs compte tenu, comme noté plus haut,  de leur importance pour la société, l’économie et les citoyens. Enfin,  cet indicateur et ses composantes doivent être le reflet des objectifs inhérents que ces systèmes doivent atteindre. En effet, comme l'indiquait Josef Stiglitz « Ce que nous mesurons nous informe sur ce que nous faisons. Si nous mesurons les mauvaises choses, nous ferons des choses erronées » (note 4 ). Sous-jacents à l’indicateur de qualité, ces principes, ces valeurs  et ces objectifs sont donc inextricablement liés (note 5 ).

Les cinq principes de base sur lesquels doit, selon le Séminaire, se fonder la qualité d’un système éducatif, sont les suivants : les deux premiers sont l’engagement des élèves et celui des enseignants. En effet, au sens du Séminaire, un système éducatif est de qualité s’il sait conduire les élèves et les enseignants à fortement s’engager les premiers dans l’apprentissage, et les seconds dans l’enseignement ; et c’est grâce à des niveaux d’engagements qu’il en résulte une qualité élevée du système éducatif. Il existe donc une relation dialectique entre la qualité d’un système éducatif et le niveau d’engagement des principaux acteurs de ce système que sont les élèves et les enseignants. Ce qui est en question, c’est un système humain qui sache entraîner les élèves afin qu'ils puissent apprécier d'aller a l'école, y être heureux, comprendre pourquoi apprendre est important et développer leur envie de travailler. Un système qui sache aussi entraîner les enseignants afin qu’ils puissent se rendre compte de l'importance de leurs responsabilités professionnelles, avoir de l'ambition pour leurs élèves et leur prêter la plus grande attention. De la qualité de l'engagement des uns et des autres dépend pour beaucoup la qualité du système éducatif.

Le troisième principe est celui de l’efficacité du système éducatif au sens où il permet, à la fois, à une vaste majorité d’élèves d’atteindre de hautes performances, de limiter la proportion de jeunes rencontrant de grandes difficultés à l’école et de porter la proportion de jeunes très performants au plus haut niveau.

Le quatrième principe est celui de l’efficience du système éducatif, principe selon lequel les coûts du système restent dans des justes proportions par rapport aux bénéfices, ce qui sera atteint si tous les acteurs du système prennent à cœur cet objectif .

Enfin le cinquième principe est celui de l’équité du système éducatif, principe selon lequel un tel système doit offrir l'égalité des chances à tous les élèves quelle que soit leur origine sociale ou qu'ils soient issus de l'immigration ou non (note 6 ) ; un système où les inégalités sociales sont peu à peu effacées grâce à l'école et non pas perpétuées ou même accrues.

Les valeurs sur lesquelles la qualité d’un système éducatif se fonde, selon le Séminaire, renvoient à ce qui est le plus digne d'intérêt dans l'ordre social et qui sont ainsi des repères pour juger les actes, les faits et les paroles dans une société. Au regard des 5 principes déjà énoncés, ces valeurs sont, suivant le Séminaire, les suivantes :

• Engagement des élèves : le rôle des enseignants ne se résume pas à transmettre des connaissances et à développer des connaissances. Les enseignants doivent se rappeler qu'en face d'eux  ne se trouvent pas seulement des élèves, mais aussi et surtout des sujets, qui grâce à l'école et donc aux enseignants vont pouvoir s'émanciper et acquérir les connaissances et les compétences indispensables pour leur réussite personnelle, professionnelle et sociale.
  
• Engagement des enseignants : le rôle des enseignants ne se résume pas à transmettre des connaissances et à développer des compétences. Il doit aussi viser la réussite de tous les élèves grâce à une haute conscience professionnelle, une éthique du travail exemplaire, et une attention élevée accordée aux enfants.
  
• Efficacité des systèmes éducatifs : la réussite du plus grand nombre, laisser le moins possible d'enfants sur le bas-côté de la route et toujours viser l'excellence.
  
• Efficience des systèmes éducatifs : garantir le bon usage de l'argent public ; éviter le gaspillage ; viser toujours le meilleur rendement.
  
• Équité des systèmes éducatifs : garantir l’égalité équitable des chances  et la justice éducative.

Enfin, pour satisfaire ces principes et respecter ces valeurs, des objectifs précis doivent, selon le Séminaire, être poursuivis par un système éducatif s’il veut être de haute qualité. Ces objectifs sont présentés dans le tableau suivant en regard des principes et des valeurs :

Tableau 1
Principes, valeurs et objectifs constitutifs de l’indicateur synthétique de qualité des systèmes éducatifs des pays de l’OCDE

La constitution de l’indicateur

Comme on vient de le voir, la qualité d’un système éducatif est un concept polysémique qui présente de multiples facettes, tout comme d’autres phénomènes qui ont été mesurés dans les décennies récentes, qu’il s’agisse du développement humain, indicateur développé par les Nations Unies ; de la compétitivité économique, indicateur du World Economic Forum (WEF) ou encore plus récemment du « vivre-mieux » mis au point par l’OCDE : l’indicateur des Nations-Unies comportait trois facettes, celui du WEF 12 et celui de l’OCDE 11.

On l’a vu, selon le Séminaire « École et République », un système éducatif est de qualité s’il sait développer un fort engagement des élèves et des enseignants ; s’il sait être efficace, efficient et équitable (aux sens qui ont été établis plus haut). L’indicateur synthétique, qui mesure pour la première fois au monde la qualité des systèmes éducatifs, est donc constitué des cinq facettes suivantes:

Tableau 2 : L’indicateur de qualité et ses cinq facettes

Ces cinq sous-indicateurs présentent l’avantage de mesurer chacun des facettes distinctes des systèmes éducatifs. Ainsi :

• Le sous-indicateur d’engagement des élèves mesure combien ces derniers sont bien intégrés dans l’école et s’y trouvent heureux et mesure également leur motivation instrumentale et leur persévérance.
  
• Le sous-indicateur d’engagement des enseignants  mesure la participation des enseignants à la vie scolaire, leur niveau de conscience professionnelle et leur attention vis-à-vis des élèves.
  
• Le sous-indicateur d’efficacité des systèmes éducatifs mesure la capacité de ces systèmes à conduire les élèves à de bons résultats, à limiter le pourcentage d’élèves en difficulté et à maximiser la proportion d’élèves très performants.
  
• Le sous-indicateur d’efficience des systèmes éducatifs mesure le rendement des dépenses publiques d’éducation par rapport aux bénéfices apportés par les systèmes mesurés par leur efficacité.
  
• Le sous-indicateur d’équité des systèmes éducatifs mesure notamment la capacité de ces systèmes à limiter l’impact du milieu familial sur les performances des élèves.

Les cinq sous-indicateurs sont chacun formés de six statistiques, liées aux objectifs (voir tableau ci-dessous). Ainsi, l’indicateur synthétique de la qualité des systèmes éducatifs des pays de l’OCDE, développé ci-dessous, présente la particularité d’être composé de 30 statistiques regroupées en cinq sous-indicateurs, ce qui lui confère un caractère unique et une très solide assise.
 
Tableau 3 : Les cinq sous-indicateurs et leurs trente statistiques*

* L’ensemble de ces statistiques proviennent des résultats de PISA 2012 ou de Regards sur l’éducation 2013, deux publications de l’OCDE.

Les principaux résultats du nouvel indicateur

Le tableau suivant donne le résultat de l’indicateur synthétique de qualité (ISQ) pour les systèmes éducatifs des 34 pays de l’OCDE, résultat établi à partir des données statistiques de 2012.

Tableau 4 – Résultat de l’indicateur synthétique de qualité
pour les systèmes éducatifs des pays de l’OCDE en 2012

Compte tenu de leur score, on peut distinguer cinq groupes de pays en ce qui concerne la qualité de leur système éducatif. Les pays situés dans les deux dernières colonnes ont des scores inférieurs à la moyenne des 34 pays de l’OCDE qui est de 500 points.

Tableau 5 – Classement des systèmes éducatifs de l’OCDE
suivant leur niveau de qualité

Scores des pays suivants les 5 critères

Les scores et les rangs des 34 pays de l’OCDE dans les 5 composantes de l’indicateur sont donnés par le tableau suivant. Ces informations mettent en lumière les forces et les faiblesses de chacun des pays et expliquent le niveau de la qualité de leur système éducatif.

Tableau 6 – Scores et rangs des pays suivant les 5 critères

L’étude du tableau ci-dessus établit qu’aucun des 34 pays de l’OCDE ne dispose d’un système éducatif qui soit en tête dans les 5 domaines (engagement des élèves et engagement des enseignants, et efficacité, efficience et équité des systèmes éducatifs), c’est-à-dire qui présente des scores dans chacun des cinq sous-indicateurs qui le placeraient dans les cinq premiers. En d’autres termes, parmi les systèmes éducatifs des 34 pays de l’OCDE, aucun ne  peut prétendre à l’excellence. Cela signifie que nul ne peut servir de modèle absolu pour les autres. Le tableau établit également qu’il n’y a pas de caractéristiques similaires entre les pays anglo-saxons et donc qu’il n’existe pas de modèle éducatif commun à ces pays. La même analyse peut être faite pour les pays nordiques, les pays germaniques et les pays latins. On ne distingue pas non plus de caractéristiques semblables entre les cinq pays se situant aux cinq premières positions du classement de l’indicateur synthétique (Finlande, Suisse, Irlande, Japon, Estonie) ; ceci montre que chacun de ces pays suit une stratégie propre pour atteindre l’excellence et qu’il n’y a donc pas une voie unique pour arriver au sommet.

Utilité de l’indicateur synthétique pour les politiques d’éducation

Les cinq sous-indicateurs peuvent être considérés comme des instruments politiques puisque – au-delà de leur mesure – chacun peut être une perspective d’action pour contribuer à l’augmentation de la qualité du système éducatif. La question est d’importance, car les cinq instruments, même si les statistiques sur lesquelles elles se basent correspondent à des mesures indépendantes l’une de l’autre, sont – dans la réalité complexe qu’est un système éducatif – naturellement interdépendants, de sorte qu’agir sur l’un peut entraîner un impact sur d’autres. Le tableau suivant fournit cette information (plus le chiffre est proche de 1, plus cet impact est élevé).

Tableau 7 – Matrice des corrélations croisées

Une lecture des corrélations deux à deux telles que présentées dans le tableau 7 fournit les informations suivantes :

• L’engagement des élèves n’a des effets marquants (la corrélation est supérieure à 0,20) que sur un levier (l’efficacité) ou vice versa et cet effet est négatif. C’est donc un instrument politique  à éviter.
• L’engagement des enseignants n’a des effets marquants que sur deux leviers (efficacité et efficience) ou vice versa et l’effet sur l’efficience est négatif. C’est donc un instrument à utiliser avec grande prudence.
  
• L’efficacité a des effets marquants sur trois leviers (engagement des élèves, engagement des enseignants et équité) ou vice versa. C’est donc un instrument intéressant, mais entraînant un engagement négatif des élèves, il doit être utilisé avec prudence.
  
• L’efficience n’a des effets marquants que sur deux leviers (engagement des enseignants et équité) ou vice versa et l’effet sur l’engagement des enseignants est négatif. C’est donc un instrument à utiliser avec grande prudence.
  
• L’équité n’a des effets marquants que sur deux leviers (efficacité et efficience) ou vice versa, mais ils sont positifs. C’est donc un instrument intéressant.

La conclusion qui se dégage est donc que deux instruments politiques sont à privilégier : l’équité d’abord et l’efficacité ensuite. L’équité est en effet le seul des cinq instruments politiques qui conduit à des accroissements des 4 autres instruments ou vice versa (on remarque que la somme de leurs coefficients d’interdépendance est respectivement de 0.77 et de 0.57 ce qui est bien supérieur à la situation des trois autres outils). L’équité conduit directement à une augmentation marquante de l’efficacité et de l’efficience ou vice versa et à un moindre degré de l’engagement des élèves et de celui des enseignants ou vice versa. C’est donc par essence le premier outil à utiliser. L’efficacité peut être également considérée, mais à un degré moindre, car si elle permet d’augmenter l’engagement des enseignants et l’équité ou vice versa, elle conduit à une baisse de l’engagement des élèves ou vice versa.

Quelles actions politiques faut-il mener au niveau de chaque  pays ?

L’indicateur synthétique fournit des informations à deux niveaux. En premier, il indique à chaque pays où se trouvent ses forces et ses faiblesses : cette information est immédiatement disponible en regardant le score d’un pays dans chacun des 5 sous indicateurs donné dans le Tableau 6. Mais il ne suffit pas de savoir sur lesquels des cinq outils intervenir, encore faut-il savoir comment intervenir. La réponse à cette question ne peut être que contextualisée et se baser sur des analyses plus fines. C’est le second niveau d’informations apporté par l’indicateur synthétique. En effet, les informations sur lesquelles se basent chacun des sous-indicateurs donnent des indications concrètes en fonction des six statistiques sur lesquelles ils se basent (voir tableau 3). Pour chacune de ces nouvelles dimensions, l’indicateur synthétique fournit des précisions. Prenons le cas de deux pays hypothétiques dont l’engagement des enseignants serait insuffisant. Comme on peut aisément l’imaginer, les raisons pour lesquelles cet engagement est insuffisant sont certainement différentes dans les deux pays : dans le premier pays, ce sera peut-être le manque d’enthousiasme des enseignants et leur absentéisme, alors que dans le second ce sera le manque de préparation des enseignants et leur manque d’attention pour les élèves. Autant d’informations très utiles aux deux pays pour agir dans le but de résoudre leurs problèmes et à terme accroître l’engagement des enseignants et donc la qualité de leur  système éducatif.

L’utilité de l’indicateur

On voit donc la grande utilité de l’indice synthétique de qualité. Non seulement, il fournit des outils à même de guider les actions politiques en vue d’une meilleure qualité de l’éducation et de l’enseignement, mais il s’inscrit aussi dans une démarche riche, pour une véritable évaluation de la qualité des systèmes éducatifs :

• une démarche holistique en portant un regard qui englobe
  • la finalité fondamentale de tout système éducatif qui est que les élèves apprennent (efficacité),
  • une perspective sociale afin que tous les élèves réussissent (équité),
  • des exigences économiques en fonction de ressources limitées (efficience),
  • le vécu des acteurs – élèves et enseignants – à la fois moteur du processus et résultat de ce qui existe dans le système (engagement) ;
• une démarche innovante, en ne se limitant pas à un seul regard fondé sur une seule dimension - par exemple le niveau de compétences des élèves - et en cherchant à donner du sens à partir des différentes dimensions prises en compte ;
  
• une démarche scientifique, qui se base sur des statistiques reconnues et fiables, avec un traitement et une analyse variée des données ;
  
• une démarche diagnostique et diachronique, permettant un diagnostic différencié, au-delà des classements, à différents moments, pour affiner le pilotage ;
• une démarche évolutive, ouverte à la discussion - les sous-indicateurs et les statistiques qui les composent ne sont pas figés dans un moule immuable - et ayant des évolutions futures possibles vers la prise en compte d’autres sous-indicateurs (efficacité externe, équilibre, durabilité…).