La qualité d’un système éducatif est une exigence essentielle, mais relativement complexe. Elle nécessite un pilotage prenant en compte toutes les composantes du système pour garantir qu’il atteint les objectifs qui émergent à partir d’un environnement social à multiples facettes, en cohérence avec les ressources disponibles et les stratégies définies.
Ce pilotage s’organise dès lors à partir d’un certain nombre de rapports entre les différentes composantes du système : la pertinence et le réalisme des objectifs par rapport aux besoins, la cohérence entre les moyens mobilisés et les objectifs, la faisabilité de ceux-ci par rapport aux moyens disponibles, l’efficacité du système dans l’atteinte de ses objectifs internes et/ou externes, la durabilité des résultats obtenus, leur efficience, l’équité du système…
En gérant toutes les composantes du système éducatif et les rapports qui les relient de manière systémique et formalisés dans des tableaux de bord, un comité de pilotage peut – tel un pilote d’avion – s’assurer que le système arrive à bon port dans le respect des attentes qui lui sont adressées par l’ensemble des acteurs.
Introduction
Le concept de la qualité est complexe et susceptible d’être étudié sous des angles fort divers (Bouchard et Plante, 2000, 2003). Notre propos sera ici de l’examiner en prenant comme point d’entrée le pilotage du système éducatif à ses différents niveaux. En effet, comme le Conseil supérieur de l’éducation du Québec l’a mis en évidence dans son rapport annuel 1998-1999, l’enseignant pilote sa classe, le directeur son école, l’inspecteur sa circonscription, l’inspecteur principal sa région, le ministre le système éducatif dans sa globalité. Chacun à son niveau est à la recherche de la qualité ; piloter consiste à recueillir un ensemble d’informations pertinentes, à les confronter à un ensemble de critères de qualité adéquats et à prendre les décisions qui s’imposent. Nous essayerons, à la lumière du concept de qualité, parfois quelque peu revisité sur certains aspects, de faire émerger quelques règles ou principes pour améliorer le pilotage du système éducatif.

1. Y a-t-il un pilote dans l’avion ?

Nul d’entre nous ne serait assez fou pour monter dans un avion où il n’y aurait pas de pilote. Nul d’entre nous, pour reprendre une image fréquemment prise par Jacques Plante, ne serait assez fou pour monter dans un avion dont on sait que le pilote est très compétent pour toutes les opérations de décollage, mais l’est beaucoup moins pour atterrir. Nul ne serait assez fou pour monter dans un avion piloté par un excellent pilote, mais qui ne tiendrait pas compte des consignes données par la tour de contrôle et par les aiguilleurs du ciel qui prennent le relais. Le pilote n’est d’ailleurs pas seul : il travaille en synergie avec un ou plusieurs copilotes, avec un personnel de cabine et un personnel au sol. Il s’agit d’une équipe de pilotage aux compétences diverses et complémentaires ; mais en dernier ressort, c’est le commandant de bord qui est responsable de l’équipe ; c’est lui qui, éventuellement, sera tenu pour responsable d’une erreur commise par un membre de son équipe.
Si le pilotage d’une organisation (comme le voyage en avion) suppose une part assez importante d’autonomie (un avion n’est pas l’autre, le style de conduite est propre à chaque équipe, les contextes de vol peuvent être foncièrement différents…), il n’en dépend pas moins de la qualité d’autres pilotages en amont ou en aval. Il dépendra de la qualité du pilotage des services impliqués aux aéroports de départ et d’arrivée, de la qualité du pilotage de la compagnie aérienne d’attache, de la qualité du pilotage du centre coordonnant les différents centres d’aiguillage… Imaginons que toutes ces organisations travaillent indépendamment, sans souci de coordonner leurs actions et sans souci de tenir compte des contextes ou environnements spécifiques : quelles seraient les personnes suffisamment folles pour emprunter les services aériens ?
Si comparaison n’est pas entièrement raison, elle est cependant intéressante pour comprendre que les services éducatifs ont besoin d’être pilotés et qu’il est nécessaire d’autonomiser et de coordonner les différents niveaux du système éducatif (OCDE, 2005 ; Pelletier, 2001). À l’image de l’avion, l’école a besoin d’un commandant de bord (le directeur d’école)  travaillant en équipe et responsable du bon fonctionnement et des résultats de l’école. Et s’il est des styles de direction très variés, dépendant notamment des contextes (une école rurale isolée n’est pas une école urbaine recrutant une clientèle favorisée), s’il existe donc des styles de pilotage spécifiques, il n’en reste pas moins que ces pilotages dépendent également de la qualité des pilotages des niveaux dont ils dépendent directement, à savoir : en amont, le pilotage de la circonscription et le pilotage de la région ; en aval, le pilotage de la classe par les enseignants. De même, le pilotage d’une circonscription caractérisée par un nombre important d’écoles à priorité éducative se fera différemment de celui d’une circonscription où aucune école à priorité éducative n’est recensée ; mais néanmoins dans les deux cas, ces pilotages tiendront compte en amont du pilotage exercé par la région et par les autorités du ministère, et en aval, des pilotages des établissements. Au même titre, le pilotage d’une région à dominante industrielle a des spécificités différentes de celui d’une région à dominante rurale. mais toutes deux tiendront compte du pilotage effectué au niveau national qui fixe un certain nombre d’objectifs communs à l’ensemble des régions, tout en laissant une grande autonomie dans la façon de les atteindre pour tenir compte des spécificités régionales et locales.
Y a-t-il un pilote et un pilotage effectif à chaque niveau du système éducatif (comme c’est la cas pour les services aériens) ? Ces pilotages sont-ils suffisamment autonomes à chaque niveau pour tenir compte des caractéristiques du contexte ? Mais sont-ils suffisamment attentifs aux pilotages en amont et en aval pour remplir les missions du système éducatif et éviter les déboires ? Un accident d’avion est certes très spectaculaire, mais un taux d’élèves illettrés parce que l’école n’a pas rempli sa mission à la suite des erreurs de pilotage se révèle également grave pour la société.
Ce développement et ces questions mettent en évidence la nécessité d’une première règle d’or :

• Le pilotage du système éducatif est d’autant meilleur que des pilotages existent aux différents niveaux et que ceux-ci sont guidés à la fois par une vision partagée et un souci de contextualisation (Parlement européen, 2006).

2. Prendre en compte les composantes fondamentales de l’organisation

Comme toute organisation, le système éducatif prend appui sur un ensemble de composantes fondamentales en interaction, mises en évidence par les travaux de Stufflebeam et de son équipe (1980). Il baigne dans un triple environnement : des besoins, des normes, des stratégies d’acteurs. Il est finalisé par des intentions : des objectifs, des effets attendus sur le terrain, non seulement à court terme, mais aussi à plus long terme. Ses intentions nécessitent des moyens ; ceux-ci se déclinent en ressources ou contraintes et en stratégies. Ces moyens sont prévus, d’une part, et effectifs, d’autre part. Enfin, l’organisation produit des résultats à court terme (effets observés au terme de l’action) et à long terme (effets observés après l’action dans la durée ; il s’agit de l’impact).

2.1. L’environnement des besoins

L’environnement de l’école, de la circonscription et de la région est constitué d’acteurs directs ou indirects qui ont des besoins : les élèves (les bénéficiaires directs), les enseignants, les personnes ressources, les décideurs internes (aux différents niveaux du système éducatif), mais aussi les acteurs externes comme les parents, les autorités socio-politiques, les utilisateurs externes (comme les employeurs). Ces besoins peuvent être perçus ou non par les acteurs eux-mêmes ou par d’autres acteurs ; ils peuvent être exprimés ou non ; ils peuvent être objectivés, ou tout au moins triangulés (De Ketele et Roegiers, 1996), ou non, grâce à un ensemble d’informations valides (Abbey-Livingston, 1992 ; Nadeau, 1988). Il va de soi que des besoins perçus, exprimés et validés ont davantage de poids que des besoins exprimés non objectivés ou triangulés. Les besoins des différents acteurs peuvent converger ou diverger plus ou moins ; ainsi, le besoin fréquemment exprimé par les enseignants de supprimer les classes multi-niveaux peut entrer en contradiction avec le besoin et le droit à l’éducation des enfants des zones rurales éloignées (Mingat et Suchaut, 2000).
Plusieurs règles d’or du pilotage peuvent déjà être formulées à ce stade :

• Le pilotage doit identifier les besoins prioritaires de l’environnement et les hiérarchiser.
  
• Les besoins des élèves sont la norme première et ultime de toute action de pilotage, car l’élève est à la fois la « matière première » et le « bénéficiaire premier » du système éducatif.
  
• Si les besoins des autres acteurs (exemples : le besoin exprimé et validé de formation des enseignants ; le besoin de pouvoir progresser dans son plan de carrière) sont légitimes et même importants, ils le sont dans la mesure où leur satisfaction contribue à combler les besoins prioritaires des élèves. De tels besoins sont donc toujours seconds par rapport aux besoins prioritaires des élèves ; ils deviennent des « outils » au service des besoins prioritaires premiers.

2.2. L’environnement des normes

Toute organisation est soumise à des normes et crée des normes. Deux grands types de normes coexistent : les règlements (les règles officielles, mais aussi la jurisprudence) d’une part, les valeurs (déclarées ou implicites), d’autre part. Ces deux types de normes sont plus ou moins cohérentes entre elles : certaines règles vont parfois à l’encontre de certaines valeurs déclarées (exemple : certaines règles restreignant l’accès à certaines études (médecine, ingénieur…) entrent en contradiction avec les valeurs de démocratisation et d’équité) ; tandis que d’autres règles sont édictées pour être en cohérence avec les valeurs déclarées (exemple : les règles liées à l’accès à la cantine scolaire sont souvent rédigées dans le souci d’équité et de démocratisation des études).
Deux autres règles d’or peuvent être proposées pour rendre le pilotage plus facile :

• Lorsque le groupe de pilotage a le pouvoir d’édicter des règles, il aura le souci de mettre les règles au service de la satisfaction des besoins prioritaires et des valeurs…et non l’inverse.
  
• Entre deux besoins importants, le besoin prioritaire est celui qui présente la plus grande valeur ajoutée : le système des valeurs déclarées du système éducatif fait office de critère de choix.

2.3. L’environnement des enjeux personnels des acteurs du système éducatif

Les acteurs (internes et externes) d’une organisation ont leurs propres enjeux et déploient des stratégies, conscientes ou non, qui peuvent entrer en plus ou moins grande synergie avec les composantes fondamentales du système (objectifs, moyens prévus et effectifs, résultats). Le pilotage suppose une analyse stratégique en termes d’adhésion des acteurs (Bourgeois et Nizet, 1995). Celle-ci se base sur une identification de trois aspects : les enjeux pour telle catégorie d’acteurs entrent-ils en conflit avec les objectifs fixés, les moyens prévus, les résultats recherchés… ou sont-ils compatibles… voire concordants ? Les règles du jeu que se donnent les acteurs (règles tacites) sont-elles un obstacle ou favorisent-elles la poursuite des objectifs prioritaires ? Les jeux des acteurs (jeux de pouvoir et d’influence) font-ils obstacle ou peuvent-ils être pris comme des leviers pour l’action ?
Une nouvelle règle permet au pilotage d’augmenter les chances de réussite. Elle est bien connue de certaines pratiques asiatiques :

• Quant on connaît les stratégies des acteurs ou leur degré d’adhésion, on peut plus facilement tenter de faire coïncider le sens de l’énergie dépensée par ceux-ci pour leurs enjeux personnels à travers leurs jeux d’influence et les règles du jeu qu’ils se donnent… et le sens de l’énergie à dépenser en faveur des objectifs prioritaires fixés par le pilotage.

3. La visée au cœur du pilotage : objectifs et effets attendus sur le terrain

Sur la base d’une analyse des besoins prioritaires, compte tenu des normes (règles en vigueur à respecter, valeurs à promouvoir), compte tenu aussi des stratégies des acteurs, une des tâches fondamentales est de se fixer des objectifs prioritaires réalistes. Un objectif prioritaire réaliste est un objectif qui traduit un besoin prioritaire en cible pour l’action en tenant compte des normes et des stratégies présentes dans l’environnement. L’objectif prioritaire sera lui-même traduit en un nombre restreint d’effets attendus sur le terrain (E.A.T.). Ceux-ci sont des signes ou indicateurs concrets, observables ou mesurables, qui permettront de dire si l’objectif prioritaire est atteint à un seuil jugé suffisant dans le contexte donné. Il est important de distinguer et d’anticiper les E.A.T. à court terme de ceux à long terme. Les premiers permettent d’évaluer les produits directs de l’action ; les seconds, l’impact dans la durée de l’action.
À ce stade, trois règles complémentaires peuvent être proposées pour le pilotage :

• Il vaut mieux un objectif prioritaire réaliste bien choisi et sur lequel se concentrent plusieurs actions convergentes (mobilisation effective des moyens disponibles)… que plusieurs objectifs jugés prioritaires, mais dispersés et ne permettant pas de concentrer sur chacun d’eux plusieurs actions nécessaires convergentes.
  
• Face à plusieurs objectifs prioritaires, il vaut mieux les étaler dans le temps et se fixer un premier objectif prioritaire réaliste dont les chances de succès sont grandes et qui pourra faciliter ensuite la poursuite d’un autre objectif prioritaire.
  
• Dès la décision prise de retenir tel objectif prioritaire, il vaut la peine de le traduire en quelques effets attendus sur le terrain, à court terme et à plus long terme. Ces E.A.T. doivent être très concrets, facilement observables, peu nombreux mais bien choisis pour rendre la tâche économique et permettre la poursuite du pilotage dans les plus brefs délais.

4. La programmation et la mise en œuvre : ressources/contraintes et stratégies prévues ou effectives

Au-delà de la visée (objectifs et E.A.T.), toute organisation met à disposition des ressources (ressources humaines, financières, matérielles, logistiques, forces d’appui…) Mais en même temps, elle fixe ou crée des contraintes. Ainsi, parmi les ressources humaines d’une école, il y a certes les enseignants, le directeur, le personnel de service, les acteurs externes… mais aussi et avant tout, les élèves. Les élèves sont des ressources ; ils ont des aptitudes, des préacquis, des motivations pour certaines choses, etc., mais les élèves sont aussi des contraintes : la non-maîtrise de certains prérequis, la résistance face à certains efforts demandés (d’où la boutade de certains enseignants : « l’école, c’est bien, c’est dommage qu’il y ait des élèves »). Il faut se souvenir que toute ressource, quelle qu’elle soit, est en même temps une contrainte, et réciproquement : un manuel scolaire est une ressource, mais il est une contrainte, car il est conçu dans une certaine logique à respecter ; en même temps, cette contrainte est aussi ce qui fait sa spécificité.
Ces ressources/contraintes sont elles-mêmes organisées en un certain nombre de stratégies (stratégies de motivation, plan d’actions, méthodologies…). Par exemple, les responsables d’un système peuvent affecter leurs ressources financières à diverses stratégies : distribuer des manuels scolaires, organiser des formations pour les enseignants, mettre en place des cantines scolaires, etc. Si l’identification des ressources/contraintes et des stratégies prévues fait partie de la programmation, l’identification des ressources réellement utilisées, des contraintes rencontrées (non levées ou levées) et des stratégies réellement réalisées relève de la description de la mise en œuvre. Il est naïf de penser qu’il suffit de programmer pour réaliser. Les stratégies des acteurs peuvent les amener à gonfler artificiellement le besoin en ressources, alors qu’ils n’en utilisent qu’une partie en liaison avec le projet. Elles peuvent aussi les amener à exagérer les contraintes prévues, afin qu’ils puissent avancer de « bonnes raisons » pour expliquer la non-utilisation de telles ressources ou la non-exécution de telles actions prévues. Il importe donc de bien distinguer les ressources/contraintes et stratégies prévues des ressources/contraintes et des stratégies effectives.
Ces distinctions conduisent à ajouter quelques règles complémentaires pour le pilotage :

• Un acteur qui connaît précisément les ressources et les contraintes ainsi que les stratégies prévues dans le cadre d’un projet d’action a plus de chances d’utiliser effectivement ces ressources, de réagir efficacement face à ces contraintes et de mettre en œuvre ces stratégies qu’un acteur qui les ignore.
• Une communication transparente de ces ressources, de ces contraintes et de ces stratégies auprès des acteurs qui n’ont pas participé à leur identification est nécessaire.
  
• Il importe d’identifier les raisons qui ont conduit les acteurs à ne pas effectuer les actions prévues ou à ne pas utiliser les moyens alloués. Il faut bien distinguer les raisons formulées en termes de compétences insuffisantes pour mener ces actions ou utiliser les moyens disponibles des raisons liées à d’autres motifs (non-pertinence de l’action, non-mobilisation effective des moyens). Selon le type de raison, le pilotage doit réagir différemment ; ceci rejoint la célèbre distinction faite par Barbier (1991) entre besoins de formation et besoins d’action sur l’organisation.

5. Les résultats de l’organisation en termes de produits et d’impact

La dernière série de composantes fondamentales de toute organisation a trait aux résultats effectivement obtenus par l’organisation. Une double distinction mérite d’être faite : on considérera, d’une part, les résultats à court terme et à long terme ; d’autre part, les résultats effectifs en rapport avec les E.A.T. et les résultats effectifs sans rapport avec les E.A.T. La combinaison des modalités de cette double distinction nous conduit à générer différentes formes d’évaluation :

Tableau 1 : Nouvelles règles d’action pour le pilotage

Les effets relatifs …	Les effets à court terme	Les effets à long terme
Aux E.A.T.	L’évaluation du produit, des effets directs	L’évaluation de l’impact direct différé
À d’autres effets non prévus	L’évaluation des effets indirects	L’évaluation de l’impact indirect différé

Le tableau 1 permet d’identifier quelques nouvelles règles d’action pour le pilotage :
L’évaluation du produit (résultats effectifs par rapport aux E.A.T. à court terme) et plus tard, l’évaluation de l’impact direct différé (résultats effectifs en rapport avec les E.A.T. à plus long terme) sont les deux types de résultats à examiner en priorité, car ils déterminent l’efficacité de l’action entreprise, en sachant qu’il est toujours très difficile d’analyser l’impact, parce que l’atteinte ou non des E.A.T. à long terme peut être affectée positivement ou négativement par d’autres facteurs, extérieurs au projet (Gerard, 2001).
Il ne faut cependant pas négliger l’évaluation des effets indirects, c’est-à-dire des effets positifs et négatifs non prévus au départ de l’action. Les effets indirects positifs sont un levier puissant pour obtenir un impact différé positif. Les effets indirects négatifs risquent d’être un obstacle, non seulement pour obtenir l’impact direct différé, mais aussi pour la poursuite d’autres actions. C’est un aspect important à analyser dans le groupe de pilotage et à mettre en relation avec une analyse des stratégies des acteurs.

6. La qualité est une question de rapports

Le but de tout pilotage est la recherche de l’amélioration de la qualité. Or, la qualité est toujours relative et s’énonce donc essentiellement en termes de rapports entre un objet sur lequel on recueille des informations, le « référé », et un « référentiel » qui sert de critère pour la comparaison (De Ketele, 1989). La qualité d’une organisation est fonction de toute une série de « qualités », chacune d’elles étant le fruit d’une comparaison entre deux composantes de l’organisation —l’une servant d’objet ou de « référé », l’autre servant de « référentiel » ou de critère de comparaison. (Roegiers, 1997).
Dans la suite, nous identifions les principales qualités à prendre en considération par le pilotage.

La pertinence
La pertinence est le rapport ou le degré de conformité entre les intentions (objectifs et donc les E.A.T. qui en sont les signes) et les besoins. On parle parfois d’utilité : les objectifs et les E.A.T. sont-ils « utiles » à la société, sont-ce bien ceux-là dont elle a besoin ? Un objectif déclaré prioritaire dans un plan d’action est pertinent s’il correspond bien à un besoin prioritaire. Dans ce rapport, l’objectif est l’objet à évaluer, tandis que le besoin est la norme, c’est-à-dire le référentiel qui sert à l’évaluation de la qualité. Ainsi, à titre d’exemple, si assurer des sessions de formation est bien un objectif pertinent pour assouvir le besoin de formation des enseignants, il n’est pas un objectif pertinent (du moins directement) par rapport au besoin de contrecarrer une baisse de niveau de performances chez les élèves ; l’objectif pertinent serait alors d’augmenter de X % le niveau de ces élèves.

Le réalisme politique
Le réalisme politique est le rapport ou degré de conformité entre les besoins (l’objet ou référé) et les objectifs (référentiel). Un plan d’action est réaliste sur le plan politique si les besoins que l’on veut satisfaire peuvent être traduits en objectifs d’action réalisables. Ainsi, par exemple, on peut reconnaître dans certaines zones des enfants qui ont un retard important de croissance à la suite d’une malnutrition. Se fixer comme objectif pour un plan d’action de circonscription « de récupérer le retard de croissance » n’est pas réaliste (retard non rattrapable, problème à soumettre à une autre instance). Comme on peut le constater, il existe deux rapports possibles entre deux composantes, car chacun d’entre eux peut devenir tour à tour référé ou objet et référentiel. Dans la suite, nous ne reprendrons que les qualités les plus fondamentales pour le pilotage.

La validité
La validité est le rapport ou le degré de conformité entre les E.A.T (objet) et l’objectif (le référentiel) dont ils sont censés être les signes de réalisation. Ainsi, par exemple, « augmenter le pourcentage de réussite de 5 % » n’est pas un signe suffisant pour évaluer l’objectif « augmenter le niveau qualitatif des performances » ; il faut lui adjoindre un E.A.T. comme « augmenter de 5 % le niveau de performances en résolution de problèmes ». La validité est donc fonction de l’identification claire d’une configuration d’E.A.T. nécessaires et suffisants (ni trop, ni trop peu).

La cohérence
La cohérence est le rapport ou degré de conformité entre les moyens (ressources/contraintes et stratégies) et l’objectif fixé. Si on prend l’objectif comme référence, peut-on dire que les moyens prévus sont ceux qu’il faut prévoir ? Ainsi, si l’objectif est de rendre les enseignants capables de diagnostiquer les erreurs des élèves, mobiliser un formateur et d’autres ressources pour organiser une session d’utilisation d’un logiciel de traitement de texte n’est pas cohérent.

La faisabilité
La faisabilité est le rapport ou le degré de conformité entre l’objectif et les moyens prévus. Le rapport est ici inversé. Si les moyens sont la norme (ils restent constants), l’objectif est-il atteignable ? Sans ordinateur et sans enseignants formés à l’usage de l’informatique, il ne sert à rien de se fixer comme objectif immédiat d’informatiser les écoles.

L’applicabilité
L’applicabilité est le rapport ou le degré de conformité entre les moyens (ressources/ contraintes et stratégies) effectivement utilisés et les moyens prévus. Alors qu’il était prévu telles actions, telle enveloppe budgétaire, tel matériel, telle logistique, telles aides en personnel, etc, il se peut que toutes les actions n’aient pas été menées, que toute l’enveloppe budgétaire n’ait pas été consommée, que certains matériels n’aient pas été utilisés, que l’ensemble de la logistique prévue n’ait pas été entièrement exploitée, et que certaines aides n’aient pas été sollicitées. Cette situation traduit la difficulté d’appliquer ce qui est prévu. Beaucoup de facteurs sont susceptibles d’être évoqués : des moyens matériels ou financiers non libérés à temps, l’insuffisance des compétences face à l’utilisation du matériel, face à telle action ; la résistance face à des actions qui demandent de changer ses habitudes ; la peur de montrer ses faiblesses à des personnes ressources ou la peur de l’intrusion d’une personne dans son quotidien, l’incohérence des conseils donnés par différents accompagnateurs (inspecteurs, directeur, conseillers pédagogiques…), etc.

La régulation des moyens
C’est le rapport inverse de l’applicabilité, profondément ancré dans l’action : apporte-t-on au projet les régulations qui sont nécessaires ? Par exemple, on avait prévu un ordinateur pour 2 enseignants formés… on se rend compte que ce n’est pas suffisant, mais on ne fait rien alors qu’il suffisait peut-être d’aller dans le local à côté où il y avait le double d’ordinateurs. On a appliqué ce qui était prévu (il n’y a donc pas de problème d’applicabilité), mais on n’a pas apporté les régulations nécessaires alors qu’on le pouvait.

L’efficacité interne
L’efficacité est le rapport ou le degré de conformité entre les résultats effectivement observés à court terme et les E.A.T à court terme. C’est l’évaluation du produit ou des effets directs. C’est une qualité tout à fait fondamentale, car elle détermine le degré de réussite de l’action entreprise. À côté de ce rapport, on peut également en prendre un autre, à savoir le rapport entre des effets observés et des effets non attendus : il s’agit d’une évaluation des effets indirects immédiats de l’action qui peuvent être plus ou moins favorables ou défavorables. L’efficacité interne est évidemment une qualité importante, très recherchée dans les stratégies de pilotage. Mais ce concept est bien plus complexe qu’il n’y paraît et mériterait tout un développement que nous ne pouvons faire ici (Gerard, 2001 ; Sall et De Ketele, 1997).

L’efficacité externe
L’efficacité externe est le rapport ou le degré de conformité entre les résultats obtenus à long terme et les E.A.T. à long terme. Un autre rapport peut être examiné en complément : le rapport entre des résultats observés à long terme et des résultats non prévus est un indice d’impact différé indirect. Cet impact peut être positif (exemple : l’action chez une catégorie d’acteurs a généré un dynamisme qui rejaillit sur d’autres actions) ou négatif (exemple : une usure engendrée par une trop grande implication dans une action). Il est toujours difficile d’interpréter l’efficacité externe : un projet A peut être « efficace externe » alors que l’E.A.T. à long terme n’est pas atteint… tout simplement, parce qu’un autre projet B qui poursuivait le même E.A.T. a échoué. L’impact positif du projet A a donc été annihilé par l’impact négatif du projet B (ou toute autre circonstance externe identifiée ou non). Il est donc très dangereux de « condamner » des projets ou des systèmes sur la non-atteinte d’un E.A.T. et donc sur une inefficacité externe apparente (Gerard, 2001).

La durabilité
La durabilité est le rapport ou le degré de conformité entre les résultats observés à long terme et les résultats observés à court terme. Cet indice est particulièrement important lorsqu’il s’agit de performances scolaires jugées fondamentales pour la suite des apprentissages. On sait que la capacité à résoudre des problèmes résiste mieux aux effets du temps que le simple rappel de connaissances.
Toutes les qualités que nous venons de passer en revue ont pris leur point de départ dans l’analyse de l’environnement des besoins. L’environnement des pratiques au quotidien est fait aussi de stratégies personnelles des acteurs et baigne dans un environnement de règlements et, plus fondamentalement, de valeurs. Cela nous conduit à porter notre attention sur quelques qualités complémentaires.

L’efficience
L’efficience est le rapport entre les résultats effectivement obtenus et les moyens utilisés. Une organisation ou une action est d’autant plus efficiente qu’on obtient plus de résultats avec peu de moyens. On peut distinguer l’efficience interne si l’on prend en compte les résultats à court terme et l’efficience externe si l’on prend en compte les résultats à plus long terme. L’efficience ne doit pas être confondue avec l’efficacité : l’efficience est l’efficacité rapportée aux moyens mis en œuvre, que ceux-ci soient de l’ordre des ressources (financières, mais aussi humaines, matérielles, temporelles) ou de l’ordre des stratégies.

L’adhésion
L’adhésion est le rapport ou le degré de conformité entre les enjeux personnels (opinions et actions) observées chez les acteurs et les composantes fondamentales internes de l’action (objectifs, E.A.T., ressources et stratégies, résultats).

La synergie
La synergie va au-delà de l’adhésion. Il s’agit d’un souci des acteurs de réguler le système en fonction d’une vision. Elle est le rapport entre les stratégies de coordination des efforts des acteurs (réflexion sur l’action et actions de coordination effective) et l’ensemble en interaction des composantes fondamentales internes de l’action (objectifs, E.A.T., ressources et contraintes, résultats). Cette qualité est un des meilleurs gages d’une démarche de qualité.

La conformité
La conformité est le rapport entre les composantes fondamentales internes de l’action (objectifs, E.A.T., ressources et contraintes, stratégies, résultats) et les règlements existants ou créés pour l’action. Dans certains contextes, la conformité est une qualité. Mais il est des contextes où une rupture avec les règlements en vigueur est nécessaire parce que ceux-ci ne cadrent plus avec l’esprit nouveau impliqué par l’action.

L’équité
L’équité est une qualité qui relève de l’éthique institutionnelle. Si elle s’évalue aussi par des rapports, ceux-ci sont cependant particuliers. Il s’agit du rapport entre les bénéfices récoltés par un sous-groupe particulier de personnes et les mêmes bénéfices récoltés par un autre sous-groupe de personnes. Ces sous-groupes se différencient par leurs caractéristiques sociales : garçons versus filles, public favorisé versus défavorisé, rural versus urbain, professeurs jeunes versus plus âgés, etc. En fonction du type de bénéfices que l’organisation ou l’action peut apporter, on distingue plusieurs types d’équité (Gerard, 2001 ; Sall et De Ketele, 1997).
L’équité d’accès est présente lorsque le rapport entre les proportions d’accès à l’organisation ou à une filière d’études ou à l’action envisagée (exemples : rentrer dans tel niveau d’études ; faire partie d’une action innovante) sont les mêmes selon les sous-groupes.
L’équité de confort pédagogique est présente lorsque les moyens attribués sont les mêmes quels que soient les sous-groupes. Le fait que proportionnellement il existe davantage de professeurs expérimentés dans les écoles dont les élèves viennent de milieux plus favorisés est un signe d’iniquité pédagogique. L’équité de confort pédagogique se réfère donc à la composante moyens (ressources et stratégies).
L’équité pédagogique se réfère à la composante résultats et suppose deux mesures, l’une au départ et l’autre à l’arrivée d’une action. Il y a équité pédagogique si la distance qui existe au départ entre les plus performants et les moins performants n’augmente pas, voire diminue, à l’arrivée. L’iniquité pédagogique témoigne d’une attention plus grande à ceux qui sont les plus performants au départ. Elle révèle un modèle sélectif inéquitable.
L’équité de production se réfère également aux résultats. Elle consiste à examiner dans quelle mesure deux sous-groupes différents socialement parlant, mais à aptitude égale au départ ont les mêmes chances de réussir (pourcentage de réussite ou pourcentage de diplômés). On sait, par exemple, que les enfants d’enseignants ont plus de chances, à aptitude égale, de réussir leurs études primaires et secondaires que les autres enfants. Sans doute, grâce à leurs parents, ont-ils mieux intériorisé les normes de l’école.
L’équité d’accomplissement ou équité externe se réfère aux résultats à plus long terme. Il s’agit de savoir si, à niveaux de résultats équivalents dans le court terme, deux sous-groupes sociaux différents ont les mêmes chances d’obtenir les mêmes bénéfices ou résultats à long terme (E.A.T. à long terme ou autres bénéfices non prévus). On peut distinguer trois types d’accomplissement étroitement reliés : l’équité d’accomplissement professionnel (comme la probabilité d’obtenir un emploi selon les sous-groupes), l’équité d’accomplissement social (comme la probabilité de bénéficier de certains avantages sociaux) et l’équité d’accomplissement personnel (comme la probabilité de pouvoir accomplir ses projets personnels).

En guise de synthèse et de conclusion

Le problème de la qualité et du pilotage du système éducatif nécessite une approche stratégique au sens où Edgar Morin (1990) l’a explicité, car nous sommes dans la complexité et dans le systémique. Le schéma ci-après essaie de visualiser notre représentation de la qualité. Il consigne les composantes fondamentales d’une organisation ou d’une action, ainsi que les qualités passées en revue et exprimées par une flèche reliant l’objet (O) et le référentiel (R). Il existe évidemment d’autres qualités. En effet, nous n’avons pas ici exploité tous les rapports possibles deux à deux, ce qui a été fait ailleurs (De Ketele, 1989 et 2002). Nous nous sommes contentés d’en expliciter les plus importants dans le cadre des processus d’évaluation de la qualité.

Au terme de ce parcours, nous pouvons encore formuler quelques règles d’or complémentaires pour guider le pilotage d’une organisation en général ou d’une action particulière :

• Un pilotage est d’autant plus efficace qu’il s’appuie sur une prise d’informations quant aux qualités du système, exprimées en termes de rapports entre une composante essentielle du système (objet) et une autre composante essentielle qui sert de norme pour l’évaluation (référentiel).
  
• Dans la pratique, les réunions de pilotage ont intérêt à s’appuyer non pas sur toutes les qualités souhaitables (ce qui ne serait pas économique), mais sur la ou les qualités pertinentes selon l’objet concerné et le moment. Ainsi, par exemple, la pertinence est une qualité importante au début de l’élaboration d’un plan d’action ; l’efficacité est une qualité à prendre en compte lors de l’évaluation finale ou lors d’une réunion de régulation. L’efficience concernera davantage ceux qui ont la responsabilité d’attribuer des moyens…
  

La norme ultime du pilotage réussi restera toujours l’efficacité en termes de performances des élèves ainsi que l’équité pédagogique (Lessard et Meirieu, 2005). Il ne s’agit pas seulement d’être efficace, mais aussi équitable. Il s’agit non seulement que l’ensemble du groupe d’élèves progresse, mais aussi que le fossé qui, au départ, sépare les élèves les plus faibles des plus forts ne se creuse pas et, si possible, se réduise.
Nous sommes d’ailleurs heureux de terminer sur cette indication, car c’est le thème qui a été approfondi dans le colloque de l’ADMEE à Liège en septembre 2003 : « L’évaluation : entre efficacité et équité ».

Bibliographie
Abbey-Livingston, D. (1992). Connaître ses clients et leurs besoins : guide pratique d'analyse de besoins, Québec, MLCP.
Barbier, J.-M. (1991). Élaboration de projets d’action et Planification, Paris, Presses universitaires de France.
Bouchard, C. et J. Plante (2000). « La qualité : sa définition et sa mesure », Service social, 47(1/2), p. 27-62.
Bouchard, C. et J. Plante (2003). « La qualité : mieux la définir pour mieux la mesurer », Les Cahiers du Service de Pédagogie Expérimentale, (11/12), Service de pédagogie expérimentale de l’université de Liège, p. 219-236.
Bourgeois, E. et J. Nizet (1995). Pression et légitimation, Paris, Presses universitaires de France.
Conseil supérieur de l’éducation (1998-1999). L'évaluation institutionnelle en éducation : une dynamique propice au développement, Rapport annuel 1998-1999 sur l'état et les besoins de l'éducation, Québec, Conseil supérieur de l’éducation.
De Ketele, J.-M. (1989). « L'évaluation de la productivité des institutions d'éducation », Cahiers de la Fondation Universitaire : Université et société, le rendement de l'enseignement universitaire, 3, p. 73-83.
De Ketele, J.-M. (2002). L'évaluation de la qualité, Communication inédite faite pour l’UNICEF et la Banque mondiale, Antananarivo.
De Ketele, J.-M. et X. Roegiers (1996). Méthodologie du recueil d’informations, Paris-Bruxelles, De Boeck Université.
Gerard, F.-M. (2001). « L’évaluation de la qualité des systèmes de formation », Mesure et évaluation en éducation, 24(2/3), p. 53-77.
Lessard, C. et Ph. Meirieu (dir.) (2005). L’obligation de résultats en éducation. Évolution, perspectives et enjeux internationaux, Bruxelles, De Boeck.
Mingat A. et B. Suchaut (2000). Les systèmes éducatifs africains : une analyse comparative, Bruxelles, De Boeck Université.
Morin, E. (1990). La Pensée complexe, Paris, ESF Editeur.
Nadeau, M.A. (1988). L‘évaluation de programme. Théorie et pratique, Sainte-Foy, Presses de l’Université Laval.
OCDE (2005). Lignes directrices pour des prestations de qualité dans l’enseignement supérieur transfrontalier, Paris, OCDE.
Parlement européen (2006). Recommandation du Parlement européen et du Conseil du 15 février concernant la poursuite de la coopération européenne visant la garantie de la qualité dans l'enseignement supérieur (2006/143/CE).
Pelletier, G. (dir.) (2001). Autonomie et décentralisation en éducation : entre projet et évaluation, Montréal, Éditions de l'AFIDES.
Roegiers, X. (1997). Analyser une action d’éducation ou de formation, Paris-Bruxelles, De Boeck Université.
Sall, H.N. et J.-M. De Ketele (1997). « L'évaluation du rendement des systèmes éducatifs : apports des concepts d'efficacité, d'efficience et d'équité », Mesure et évaluation en éducation, 19(3), p. 119-142.
Stufflebeam D.L., W.J. Foley, W.J. Gephart, E.G. Guba, R.L. Hammond, H.O. Merriman et M.M. Provus (1980). L’évaluation et la prise de décision en éducation, Victoriaville, N.H.P.