L'évaluation de la qualité des systèmes de formation

Les systèmes de formation – qu'ils soient " éducatifs ", c'est-à-dire dans le champ de l'enseignement, ou " professionnels ", lorsqu'ils concernent le monde du travail et/ou de l'entreprise (note 1) – sont aujourd'hui plus que jamais soumis à une pression importante visant à évaluer leur rendement pour en permettre un meilleur pilotage. Cette idée n'est pas neuve, comme le fait remarquer de Landsheere (1994) : dès la création du premier Ministère de l'Éducation américain, en 1867, il fut précisé que celui-ci devait publier chaque année " des statistiques et des observations informant sur l'état et les progrès de l'éducation ". Après un long cheminement, sous l'impulsion et avec l'appui d'organismes internationaux – comme l'O.C.D.E., l'UNESCO ou la Banque Mondiale –, des dispositifs méthodologiques ont été mis au point pour évaluer le rendement des systèmes de formation et fournir aux responsables un certain nombre d'indicateurs, réunis au sein de " tableaux de bord " susceptibles d'aider la prise de décision. Les systèmes de formation professionnelle ne font pas exception et sont de plus en plus souvent soumis à des évaluations externes ou à des audits.

Ces travaux ont été pour l'essentiel initiés par des économistes de l'éducation et/ou de la formation dont la préoccupation première était d'optimiser au mieux le rendement des systèmes. Cette perspective a conduit à aborder la problématique sous une dimension économique, et cela à travers deux types d'indicateurs :

• d'une part, des indicateurs liés à la productivité des systèmes, c'est-à-dire leur efficacité en termes de produits obtenus ;
• d'autre part, des indicateurs liés aux investissements, spécialement au niveau des coûts de la formation, se traduisant dans l'étude de l'efficience des systèmes, c'est-à-dire leur capacité à obtenir les produits pour le moindre coût.

Plus récemment, est apparue une tendance à élargir la conception en introduisant une dimension sociale par la prise en compte des problèmes d'équité, c'est-à-dire " la façon dont les coûts et les avantages de l'investissement sont distribués parmi les différents groupes de la société " (Psacharopoulos & Woodhall, 1988, p. 259.).

Les experts internationaux s'accordent aujourd'hui pour articuler la problématique de l'évaluation des systèmes de formation (note 2) autour de ces trois concepts-clés : l'efficacité, l'efficience et l'équité (Sall & De Ketele, 1997) (note 3). Ce faisant, ils nous semblent restreindre la " qualité " de la formation à la dimension socio-économique, en oubliant deux dimensions qui nous apparaissent fondamentales :

• d'une part, la dimension pédagogique qui est liée à la spécificité des produits engendrés par les systèmes de formation, et qui devrait se traduire par l'étude de l'équilibre dans la prise en compte de toutes les dimensions du " savoir " et du processus d'enseignement/apprentissage, en tant qu'éléments constitutifs spécifiques du produit " formation ". Cette notion est notamment liée à la pertinence des objectifs poursuivis par le système ;
• d'autre part, la dimension conative, c'est-à-dire la dépense d'énergie que les sujets des systèmes de formation – principalement les apprenants (élèves, étudiants, stagiaires, formés, etc.) – sont prêts à investir, et qui pourrait s'étudier par la capacité des systèmes de formation à développer dans leurs produits l'engagement tant en termes d'apprentissage que d'action.

Ces cinq caractéristiques d'un système de formation de qualité peuvent s'articuler sous la forme de leur initiale commune : un E … comme Évaluation :

• les deux qualités placées aux extrémités – efficacité et efficience – sont liées, comme l'indiquent leurs trois premières lettres communes, à l'effort à fournir par le système ;
• les deux qualités situées à la charnière des axes – équité et équilibre – sont relatives, de par leur étymologie, à la notion d'égalité, même si, comme nous le verrons plus loin, leur mise en œuvre nécessite inévitablement la création d'inégalités, par exemple des discriminations positives ;
• l'axe supérieur – équité - efficacité – porte surtout sur les produits du système, alors que l'axe inférieur – équilibre - efficience – aborde plutôt les processus mis en œuvre ;
• l'engagement, enfin, est au centre du système et permet de réunir les autres qualités, voire de leur donner sens.

L'objectif de notre propos consiste seulement à expliciter ces différentes dimensions à prendre en compte dans l'évaluation des systèmes de formation. Nous ne souhaitons pas – à ce stade de notre réflexion – entrer dans le détail de la mesure des différents indicateurs relatifs aux différentes dimensions, ni dans l'étude des difficultés méthodologiques qu'elle pose, même si, de toute évidence, ces questions sont fondamentales.

Le fait de traiter dans une même réflexion l'évaluation des systèmes éducatifs et celle des systèmes de formation professionnelle pourrait paraître discutable pour les acteurs impliqués concrètement dans l'un ou l'autre de ces systèmes. Notre expérience des deux univers nous montre en effet que les enseignants rechignent à se voir assimilés au monde de l'entreprise, alors que les acteurs de celui-ci ont tendance à considérer l'enseignement comme un univers à part et non productif. Notre propos n'est pas d'essayer de lutter contre cette antinomie – même si nous pensons qu'elle n'est pas fondée –, mais il nous semble enrichissant de prendre conscience que les deux types de systèmes de formation peuvent être évalués avec les mêmes critères, même si la spécificité de chaque système entraîne le recours à des indicateurs différents (note 4). Remarquons aussi que cette réflexion concerne les systèmes de formation quelle que soit leur taille : depuis les systèmes les plus petits (une classe, une école, une petite entreprise,…) jusqu'aux plus grands (un système éducatif national, voire continental, un système national de formation professionnelle, une grande entreprise multinationale,…)

 

2. L'efficacité d'un système de formation

2.1. Concept et indicateurs de l'efficacité

Pour être de qualité, un système de formation doit être efficace. Cela veut dire qu'il doit permettre d'atteindre ses objectifs. On ne peut donc parler d'efficacité qu'en relation avec les objectifs de la formation, ou encore avec les effets attendus sur le terrain, c'est-à-dire les répercussions que cherche à avoir tout système de formation au profit de l'organisation dans laquelle il prend place (Roegiers, 1997). Un système de formation se situe au sein d'une société (au sens large : la société humaine ; ou au sens restreint : la " société " en tant qu'entreprise) et a pour objet de fournir à cette société des individus susceptibles de la faire fonctionner et fructifier. L'efficacité d'un système de formation doit donc non seulement être estimée par rapport au produit tel qu'il se présente à la sortie du système, mais aussi par rapport à la place et au rôle qu'occupe ce produit dans la société une fois qu'il est sorti du système.

Ces deux niveaux d'objectifs permettent de distinguer l'efficacité interne de l'efficacité externe.

• L'évaluation de l'efficacité interne (note 5) prend en compte les produits du système en son sein, c'est-à-dire ses performances sans considérer leur mise en application ou leurs conséquences hors du système (Sall & De Ketele, 1997). Elle revient à se demander si les effets attendus, en termes d'objectifs en cours ou à la fin de la formation, sont atteints.

Dans des systèmes éducatifs, les indicateurs généralement utilisés pour évaluer l'efficacité interne portent sur le nombre des réussites, des redoublements, des abandons, les niveaux de diplômes, etc., mais aussi sur les niveaux atteints par les élèves en cours de formation dans les différentes matières d'enseignement ou sur la comparaison entre les profils de compétences atteints à la sortie par rapport à ceux d'entrée.

Dans des systèmes de formation professionnelle, l'évaluation de l'efficacité interne consistera essentiellement à vérifier si le public-cible d'une formation a acquis les compétences visées par les objectifs. Cette efficacité interne est liée d'une part à la proportion du public-cible qui a effectivement participé à la formation, et d'autre part au niveau de maîtrise atteint par ces participants. Ceci revient à relativiser le niveau d'efficacité d'un système de formation. En effet, prenons un cas favorable : parmi le public-cible visé par une formation, admettons que 80% des agents ont effectivement suivi toute la formation (note 6). Parmi ceux-ci, considérons – dans une vision optimiste – que 80% d'entre eux ont acquis 80% des compétences visées. Au bout du compte, l'efficacité interne de cette formation peut être estimée à 0,8 x 0,8 x 0,8 (note 7) ; c'est-à-dire à 51,2%, ce qui – répétons-le – serait une vision " optimiste " d'un système de formation.

• L'évaluation de l'efficacité externe prend en compte les produits ou effets engendrés par le système de formation observés hors de ce système lui-même. Elle revient à se demander si les bénéfices attendus, en termes d'objectifs à la suite de la formation, sont réalisés.

Dans le cadre d'un système éducatif, on déterminera dans cette optique le nombre d'étudiants sans emploi quelque temps après leur sortie du système, le nombre de demandes d'emploi non encore satisfaites formulées par les produits du système, mais aussi le nombre d'offres d'emploi en provenance des entreprises et qui ne sont pas satisfaites par manque de main-d'œuvre qualifiée, la façon dont – qualitativement – les postes sont occupés, etc. À côté de ces indicateurs socio-économiques, il faudrait aussi pouvoir évaluer – conformément aux finalités énoncées dans la plupart des politiques éducatives et des curriculums – l'efficacité en termes de citoyenneté responsable, d'épanouissement personnel, de communication sociale,...

Au sein des systèmes de formation professionnelle, l'évaluation de l'efficacité externe portera sur deux dimensions.

• D'une part, l'évaluation du transfert consistera à déterminer si les participants mettent effectivement en œuvre les compétences qu'ils ont acquises en formation, une fois qu'ils se retrouvent sur leur poste de travail. Un " non-transfert " n'est pas lié exclusivement au manque d'engagement du participant, mais est souvent lié à des éléments externes, comme l'absence de conditions matérielles permettant la mise en œuvre des acquis de la formation ou encore le refus du chef hiérarchique direct de concrétiser les " innovations " issues de la formation. Dans la logique de l'exemple précédemment cité, prenons un cas favorable : 80% des participants ayant effectivement acquis 80% des compétences visées mettent en œuvre celles-ci une fois revenus sur leur poste de travail. L'efficacité externe de transfert peut être dans ce cas évaluée à 0,8 x 0,8 x 0,8 x 0,8 (note 8) , soit 40,96%.
• D'autre part, l'évaluation de l'impact permettra de savoir dans quelle mesure la formation a permis d'atteindre sur le terrain les résultats escomptés (note 9). Ainsi, si une formation à l'accueil est organisée au sein d'une entreprise ou d'une administration afin de réduire de 20% le nombre de plaintes des clients, on évaluera l'impact de la formation en regard de la diminution effective du nombre de plaintes. Continuons notre exemple : si l'objectif que l'on s'était donné est atteint à 80% (note 10), le taux d'efficacité externe d'impact ne sera pas… 0,8 x 0,8 x 0,8 x 0,8 x 0,8 (note 11), soit 32,8%, mais bien de 80%, puisque l'impact doit se mesurer en fonction de l'objectif visé. Cela dit, dans la logique de l'exemple, il est plus vraisemblable que l'effet effectivement atteint sur le terrain se situe – dans le meilleur des cas – autour de ces Å30% (note 12), ce qui permet à nouveau de relativiser la notion d'efficacité externe d'un système de formation.

L'évaluation de l'efficacité externe, aussi importante soit-elle, est toujours une opération délicate, et cela pour au moins deux raisons :

• une difficulté importante est que la formation n'est jamais qu'un élément parmi d'autres. Il est donc difficile d'isoler sa contribution exacte, et – a fortiori – d'analyser en quoi les effets obtenus ou non sont liés à la qualité du système de formation ;
• l'efficacité externe est liée à la pertinence de l'action de formation. Par exemple, si l'impact recherché est de diminuer les plaintes relatives à l'accueil téléphonique, il est évident qu'une formation à la manipulation technique d'un nouveau central téléphonique n'est pas pertinente et que son efficacité externe eu égard à l'objectif recherché sera nulle. Cet exemple grossier ne doit pas cacher que, dans la réalité, la pertinence des actions de formation laisse parfois à désirer.

Qu'elle soit interne ou externe, l'efficacité d'un système de formation est liée à la plus-value, ou à la valeur ajoutée, qu'il apporte, c'est-à-dire à l'écart positif entre le niveau d'entrée dans le système et le niveau atteint par ses produits. On ne peut évaluer l'efficacité d'un système exclusivement en regard du niveau de sortie, que ce soit en termes de niveau de performance ou eu égard au nombre de personnes qui atteignent un niveau donné de performance. Prenons, par exemple, deux écoles dont la moyenne des niveaux de performance en fin de scolarité est équivalente, mais qui recrutent des populations fort différentes : l'école A accueille des élèves d'un niveau socioculturel élevé, alors que les élèves de l'école B sont issus d'un milieu dont le niveau socioculturel est faible. Bien que les niveaux atteints soient équivalents, l'école B est plus efficace que l'école A puisque sa plus-value est supérieure (note 13). Les mesures appropriées pour évaluer l'efficacité d'un système de formation ne sont donc pas des mesures brutes liées aux niveaux de performance atteints par les apprenants, mais des mesures relatives, à savoir les gains entre les niveaux de départ et les niveaux de sortie.

Ces gains peuvent être eux-mêmes mesurés de manière brute, mais il est sans doute opportun de mesurer les gains relatifs (note 14) qui prennent en compte non seulement les niveaux de départ et de sortie, mais aussi le niveau qui pouvait être gagné grâce à l'action de formation (note 15).

2.2. Représentation de l'efficacité

Qu'elle soit interne ou externe, l'efficacité d'un système de formation est liée au niveau de performance atteint par ses produits. Un système de formation est d'autant plus efficace que la moyenne de son niveau de performance est élevée : toutes choses étant égales par ailleurs, un système de formation ayant un niveau moyen de performance de 8 est plus efficace que celui dont le niveau moyen de performance ne serait que de 6. Cela peut être représenté en ayant recours à la courbe de Gauss :

 

Figure 1 - Représentation de l'efficacité

Il s'agit bien sûr là d'une représentation très caricaturale de l'efficacité, dont elle ne prend en compte que certains aspects. De plus, les tenants de la pédagogie de la maîtrise ont pu mettre en évidence – avec raison – qu'à un enseignement réellement efficace ne correspond pas une courbe " en cloche ", mais plutôt une courbe en " J ", c'est-à-dire une situation où la majorité des apprenants atteint le niveau de performance optimal. Le recours à la courbe de Gauss classique nous semble cependant avoir une valeur heuristique importante et mettre l'accent sur l'essentiel : vouloir accroître l'efficacité d'un système de formation, c'est vouloir augmenter la moyenne de son niveau de performance.

L'évaluation de l'efficacité se situe essentiellement dans une logique de contrôle, qui va de pair avec un projet de formation dont le but est de rendre savant. Si l'on veut prendre en compte les acteurs du système, c'est-à-dire les enseignants, les élèves, les responsables hiérarchiques, les participants, etc. en tant que sujets, il faudrait pouvoir également intégrer une logique qui tournerait autour d'un projet dit de maturation, de développement des personnes (Vial, 1997). La notion d'équilibre de la formation, que nous développons plus loin, est sans doute plus sensible à cette autre logique.

 

3. L'équité d'un système de formation

L'équité est une préoccupation importante pour la plupart des analystes des systèmes éducatifs. Il semble que ce concept soit moins présent dans le monde de la formation professionnelle, mais nous verrons en quoi celui-ci peut être concerné par l'équité, après avoir abordé la place que peut occuper celle-ci dans l'évaluation des systèmes éducatifs.

3.1. Concept et indicateurs de l'équité

Le concept d'équité est lié à la justice sociale : un système éducatif est d'autant plus équitable qu'il réduit les disparités entre les plus forts et les plus faibles, entre les groupes favorisés et défavorisés.

Selon McMahon (cité par Psacharopoulos & Woodhall, 1988, p. 263), trois types d'équité peuvent être identifiés :

• l'équité horizontale, à laquelle on donne également le sens de traitement égal pour des individus égaux ;
• l'équité verticale, qui fait référence à un traitement inégal pour des individus inégaux (note 16) (ce qui bien sûr pose la question de savoir comment il convient de se former un jugement sur l'égalité et l'inégalité) ;
• enfin l'inégalité intergénérationnelle, qui se situe entre les deux types d'inégalités et s'attache simplement à s'assurer que les inégalités existant au sein d'une génération ne sont pas forcément transmises à la génération suivante.

La notion d'équité est complexe, en raison notamment de la multiplicité des interprétations possibles. La plupart des responsables et experts de l'éducation estiment que chaque individu doit avoir les mêmes chances d'accès au système éducatif, ce qui justifie notamment les efforts des organismes financiers internationaux en matière d'accès des filles à l'éducation. Il existe aussi – la plupart du temps – un accord sur la nécessité d'égalité de chances d'accès à une même qualité d'enseignement pour tous. Il est cependant moins évident qu'il y ait un accord sur l'égalité en termes de produit. Si la plupart des systèmes éducatifs restent très sélectifs, c'est en partie lié au nombre limité de places pour des raisons d'ordre économique, que ce soit par exemple le nombre de places dans l'enseignement secondaire pour de nombreux pays du Sud, ou encore l'accès volontairement limité aux études de médecine pour éviter un nombre pléthorique de médecins sur le " marché " de la santé. De plus, de nombreux acteurs des systèmes éducatifs sont convaincus de la nécessité d'une sélection afin de dégager " l'élite " dont une société aurait besoin, ce qui se traduit par des politiques éducatives nationales parfois très élitistes.

Sans vouloir entrer dans un débat philosophique ou politique, nous relèverons d'une part que certains systèmes de formation ont effectivement pour obligation de déboucher sur une " élite " au sens où les produits du système doivent être pleinement certifiés conformes aux objectifs de la formation. Il en va ainsi d'une formation de pilotes d'avion qui exige que seuls les pilotes réellement compétents puissent être certifiés. En dehors de ces cas particuliers, il convient de distinguer les systèmes éducatifs qu'on peut qualifier d'élitistes, parce qu'ils cherchent à sélectionner les meilleurs sujets, de ceux qui sont élitaires, en ce sens qu'ils visent à permettre à chacun d'atteindre le meilleur niveau de formation qui soit.

Face à la multiplicité d'interprétation possible de l'équité, Sall et De Ketele (1997) proposent que l'évaluation de celle-ci tienne compte de cinq types d'équité :

• l'équité socio-économique d'accès, dont les indicateurs lient le nombre d'inscription dans un système à des variables indépendantes telles le sexe, le niveau socio-économique, l'appartenance ethnique, les études antérieures,… ;
• l'équité de confort pédagogique prenant en compte des indicateurs comme le niveau de formation des enseignants, les taux d'encadrement, la quantité et la qualité des outils didactiques,… ;
• l'équité de production pédagogique qui conduit à se demander si – à niveaux d'accès et de compétences au départ égaux – les programmes conduisent à des niveaux de production pédagogique équivalents (ce questionnement étant fortement lié à ce que nous appelons l'équilibre d'un système éducatif) ;
• l'équité pédagogique, que Bressoux (1993) définit comme la réduction de l'écart qui existe entre les forts et les faibles en termes de performances scolaires entre le début et la fin de l'action pédagogique ;
• l'équité externe ou équité d'accomplissement, qui s'intéresse à l'égalité des chances de se réaliser professionnellement à la fin d'une formation pour les différents groupes de la société, à niveau de formation égale, ou à durée de formation égale.

On sent bien l'importance de la notion d'équité pour les systèmes éducatifs. Mais qu'en est-il pour les systèmes de formation professionnelle? Ceux-ci ne doivent-ils pas favoriser le développement optimal des compétences, et, à ce titre, créer des disparités entre les travailleurs de telle sorte que les potentialités des meilleurs d'entre eux soient développées au maximum, afin d'en retirer le meilleur profit?

S'il nous semble qu'effectivement un système de formation professionnelle a pour mission de développer au mieux et de manière différenciée les compétences dont l'entreprise a besoin, cela ne signifie cependant pas qu'il doit le faire au détriment de l'équité. Au contraire, celle-ci est un gage de réussite, pour deux raisons :

• d'une part, l'équité du système de formation doit permettre d'entretenir un climat social serein et propice à la réalisation des objectifs de l'entreprise ;
• d'autre part, elle est au service de la " compétence collective (note 17) ", car celle-ci s'accroîtra dans la mesure du développement des compétences individuelles qui en constituent la principale ressource.

Évaluer l'équité d'un système de formation professionnelle consistera dès lors à vérifier l'impartialité de traitement par population (Mingoteaud & Minet, 1994) : les plus âgés sont-ils exclus du processus formatif? l'investissement sur les jeunes diplômés est-il adapté? les anciens sont-ils formés pour faciliter le changement? …

On veillera aussi à savoir (Le Boterf, Perrenoud & Bosman, 2000) si le système permet la mise en place de structures matricielles ou de groupes à géométrie variable favorables au brassage des personnes et des compétences, s'il favorise la mise en place de cartographies de compétences par rapport à un processus dans lequel chacun peut se situer et peut faire appel aux autres, s'il organise des complémentarités entre les compétences,…

3.2. Représentation de l'équité

L'équité d'un système de formation est liée à l'écart entre les niveaux atteints par ses produits. Si on prend en compte l'équité pédagogique, un système de formation est d'autant plus équitable que la dispersion de son niveau de performance est faible : toutes choses étant égales par ailleurs, un système d'enseignement ayant une dispersion (mesurée par la variance ou l'écart-type) des niveaux de performance de 2 est plus équitable que celui dont la dispersion des niveaux de performance serait de 3. Cela peut être représenté en ayant recours à la courbe de Gauss :

Figure 2 - Représentation de l'équité

Il va de soi que l'équité et l'efficacité ne sont nullement liées. Comme l'a montré Bressoux, tous les cas de figures existent. Ainsi parmi les enseignants qui font le plus progresser la moyenne des résultats des élèves – qui sont donc des enseignants " efficaces " –, il en est qui réduisent l'écart qui existait au départ entre les élèves les plus forts et les plus faibles – ils sont aussi " équitables " –, tandis que d'autres ne font qu'accentuer cet écart. Réciproquement, parmi les enseignants qui n'augmentent guère la moyenne des performances du groupe d'élèves dont ils ont la charge, certains ont réussi à diminuer l'écart entre les forts et les faibles, alors que d'autres – enseignants " inefficaces et inéquitables " – ont encore augmenté cet écart (Braibant & Gerard, 1996).

 

4. L'efficience d'un système de formation

4.1. Concept et indicateurs de l'efficience

L'efficience d'un système est liée à son efficacité, mais pas de manière absolue. L'évaluation de l'efficience s'attarde sur la nature et le volume des moyens mis en œuvre pour exécuter le programme de formation et donc pour atteindre ses résultats. Il s'agit de mettre en relation les produits du système avec les ressources – qu'elles soient institutionnelles, humaines, matérielles, financières, spatiales, temporelles ou encore méthodologiques – qui ont été mises à sa disposition.

L'efficience est le rapport entre le niveau d'efficacité et les ressources. Prenons deux sessions de formation A et B dont les niveaux de gains relatifs (sur les mêmes objectifs) sont respectivement de 80% et de 60%. La session A est plus efficace que la session B. Imaginons que pour atteindre ces résultats, la session A ait duré 5 jours, alors que la session B se soit déroulée en 3 jours. Le niveau d'efficience (temporelle) de la session A est de 80/5 = 16, alors que celui de la session B est de 60/3 = 20. La session B est donc – d'un point de vue temporel – plus efficiente que la session A.

La plupart du temps, les évaluations de l'efficience des systèmes de formation ne prennent en compte que les coûts financiers, dans une perspective elle-même assez restrictive : tout se passe comme si le seul moyen d'accroître l'efficience du système était dans la diminution des ressources (un " bon " système de formation serait un système " qui ne coûte pas cher "), sans prendre en compte que l'efficience peut tout aussi bien s'accroître en augmentant l'efficacité du système.

Cette approche restrictive de l'efficience explique que cette notion a souvent mauvaise presse, spécialement dans le monde de l'éducation, auprès des acteurs du terrain – les enseignants – qui y voient surtout le prétexte à diminuer les moyens qui sont affectés à l'enseignement, que ce soit en diminuant le nombre des enseignants, en diminuant les budgets consacrés aux moyens didactiques ou à la formation, ou encore en augmentant les temps et les limites des prestations.

Cependant, le bon sens indique l'importance de l'efficience de tout système éducatif, et cela surtout quand on se place dans une perspective globale ou mondiale : on ne peut se permettre de dilapider le potentiel humain et il est évident qu'il faut gérer les ressources de la meilleure manière qui soit. Mais, en ce sens, l'exigence de qualité en termes d'efficience d'un système ne devrait pas viser à limiter les ressources, mais bien à augmenter l'efficacité en fonction des ressources disponibles et à améliorer la gestion des ressources en fonction des besoins d'efficacité.

L'évaluation de l'efficience devrait donc prendre en compte toutes les ressources qui ont été utilisées dans une formation, de quelque type qu'elles soient. Les coûts financiers seront bien sûr considérés, mais aussi les ressources humaines, au niveau des personnels formateurs ou non (note 18), et les ressources non matérielles comme les stratégies et les méthodes pédagogiques, ou encore les ressources temporelles en termes de temps consacré à la formation.

Quoique timides, des efforts sont actuellement faits pour tenter d'estimer les coûts humains, à travers des concepts tels que l'engagement et l'implication, c'est-à-dire des efforts consentis par une personne pour obtenir un produit déterminé ; ou encore les coûts sociaux au niveau des familles en termes par exemple d'ascension ou de régression sociale, ou au niveau d'un pays en termes d'incidence de l'amélioration du système éducatif sur la santé, sur l'économie et sur le développement du pays en général.

4.2. Représentation de l'efficience

L'efficience d'un système de formation est le rapport entre son efficacité et la somme des ressources qui sont mises en œuvre pour atteindre cette efficacité. Un système de formation est d'autant plus efficient soit que son efficacité, c'est-à-dire son niveau moyen de performance, est élevée pour une quantité donnée de ressources, soit que la quantité de ressources est optimalisée pour le même niveau moyen de performances. Il convient donc d'introduire la quantité de ressources dans les graphiques précédents, ce qui peut être fait, en prenant quelque liberté par rapport à la rigueur scientifique, de la manière suivante :

 

Figure 3 - Représentation de l'efficience

L'aire de chaque parallélogramme représente la quantité de ressources investies. Le niveau de performance est identique dans les deux schémas tant au niveau de la tendance centrale (efficacité) qu'en ce qui concerne la dispersion (équité).

À nouveau, cette représentation est sans doute imparfaite, mais elle permet de montrer que l'efficience découle d'un rapport harmonieux entre l'efficacité et les ressources mises en œuvre. Cette situation est à distinguer de celle d'un système d'enseignement exsangue, c'est-à-dire sans moyens – qui serait représenté par une base réduite à sa plus simple expression –, et qui semble malheureusement parfois recherché par certains milieux économiques.

 

5. L'équilibre d'un système éducatif

5.1. Concept d'équilibre (note 19)

Comme nous l'avons écrit dans l'introduction, l'équilibre d'un système de formation porte sur sa dimension pédagogique. Jusqu'à présent, nous avons pris en compte les produits, en termes de niveau de plus-value, et les ressources des systèmes. Nous avons dit que l'évaluation de l'efficacité interne consistait à voir si les résultats obtenus correspondaient aux objectifs propres aux systèmes de formation. Mais nous n'avons pas précisé quels étaient ces objectifs.

Ceux-ci peuvent être nombreux, et sont définis par les politiques éducatives de chaque nation, par les politiques de formation, issues des objectifs stratégiques, de chaque entreprise ou administration, ou encore par les projets éducatifs ou de formation de chaque sous-système. Au-delà des accents propres à chacune de ces définitions, liées notamment aux valeurs qui sont prises en compte, il nous semble pouvoir dire que la plupart des systèmes de formation visent à développer chez les apprenants une compétence essentielle, celle de pouvoir – à la sortie du système – analyser, traiter et solutionner une situation inédite ou réaliser un projet, et pour cela recueillir et utiliser l'information nécessaire. Cette perspective nous semble vraie non seulement en ce qui concerne l'enseignement mais aussi pour le monde de la formation. En effet, même dans le cas d'une formation technique, ce qui est visé est que l'individu soit à même d'utiliser les acquis de la formation pour solutionner les situations auxquelles il sera confronté une fois revenu sur son poste de travail.

Pour atteindre cet objectif, le système de formation s'efforce de transmettre et de développer un certain " savoir " chez chaque individu, et il le fait de manière équilibrée lorsque toutes les dimensions de ce savoir sont effectivement promues auprès de l'apprenant.

Nous avons décrit par ailleurs (Gerard, 2000) ces différentes dimensions du savoir à prendre en compte que nous présentons ici brièvement afin d'illustrer notre propos. Cette présentation, brève et donc limitée, ne satisfera ni les lecteurs peu intéressés par cette préoccupation, ni ceux qui au contraire se soucient d'une telle approche. Nous conseillons aux premiers de passer l'encadré suivant et aux seconds de se référer à notre article susmentionné.

Savoir… oui mais encore?

• des savoir-reproduire, lorsqu'il s'agit de répéter ce qui a été précédemment appris ;
• des savoir-faire, qui exigent un travail de transformation face à une situation structurellement différente de celle de l'apprentissage ;
• des savoir-être, qui concernent des savoir-faire qui sont passés dans l'habituel. Ils sont devenus des comportements spontanés et témoignent ainsi de ce qu'" est " la personne.

Ces différentes activités peuvent – chacune – s'exercer dans différents domaines :

• le domaine cognitif, qui concerne toutes les activités d'ordre essentiellement mental ou intellectuel ;
• le domaine psycho-sensori-moteur, qui recouvre toutes les activités d'ordre essentiellement gestuel, nécessitant un contrôle kinesthésique ou le recours aux sens ;
• le domaine socio-affectif, qui concerne toutes les activités d'ordre essentiellement affectif ou social, se traduisant par des attitudes, des valeurs,…

Ces différents types de savoirs ont besoin pour être réellement et complètement utilisés par la personne de s'intégrer les uns aux autres, c'est-à-dire d'établir des relations significatives et mobilisables entre eux. Mis en interrelation constante, les différents savoirs gagnent non seulement en profondeur, mais aussi s'affinent de plus en plus. Petit à petit, les frontières entre les différents types de savoir – savoir-reproduire, savoir-faire, savoir-être – s'estompent à leur tour pour ne plus former qu'un seul et unique savoir intégré, qui permet de maîtriser tous les aspects du domaine concerné.

Plus le savoir est intégré, plus il permet d'être confronté à de nombreuses situations. Selon la variété des situations qui peuvent être solutionnées, on peut définir :

• les connaissances, qui sont des savoirs existant, de manière juxtaposée, en dehors de toute situation ;
• les capacités, qui – selon cette approche (note 20) – peuvent être définies comme l'actualisation d'un savoir-reproduire, d'un savoir-faire ou d'un savoir-être permettant la réalisation de performances s'activant pour l'essentiel dans un champ d'apprentissage, que celui-ci soit scolaire ou même professionnel ;
• les compétences, qui sont la mobilisation intégrée d'un ensemble de ressources (dont les différents types de savoirs) permettant d'appréhender des situations variées et d'y répondre de la manière la plus adéquate possible. Ces situations appartiennent à un champ que l'on pourrait qualifier " d'activité ", voulant par là dire qu'elles s'inscrivent dans l'action, de quelque type que soit celle-ci, professionnel, familial, social, ou autre. Une compétence parfaitement maîtrisée doit permettre, en théorie, de résoudre toutes les situations dépendant de son univers, quel que soit leur degré de complexité.

 

Un enseignement équilibré est celui qui parvient à prendre en compte toutes les dimensions du savoir que nous avons pu mettre en évidence. Il cherche donc

• à développer chez l'apprenant des savoir-reproduire, des savoir-faire et des savoir-être ;
• à aborder les domaines cognitif, psycho-sensori-moteur et socio-affectif ;
• à intégrer ces différents savoirs et domaines de telle sorte que l'élève non seulement acquière des connaissances mais aussi et surtout exerce des capacités pour tendre progressivement vers des compétences permettant de gérer le plus grand nombre possible de situations.

Il existe cependant d'autres aspects de l'équilibre d'un système d'enseignement, dont notamment (Gerard & Roegiers, 1993) :

• l'équilibre entre les apports d'informations et les activités développant chez l'élève la capacité d'apprendre à apprendre ;
• l'équilibre entre les activités fonctionnelles (réelles ou simulées) et les activités de structuration ;
• …

Les indicateurs qui permettront dès lors d'évaluer l'équilibre d'un système éducatif sont de nature essentiellement qualitative, dans la mesure où ils doivent prendre en compte la manière avec laquelle le " savoir " est développé chez les apprenants. Sans présumer des réflexions qui devraient avoir lieu à ce niveau, on pourrait identifier des indicateurs tels que :

• le degré de prise en compte des différents domaines et activités de l'apprentissage dans les curriculums, dans les manuels scolaires, dans la formation des maîtres,… ;
• le type d'activités d'apprentissage évaluées dans les épreuves d'évaluation de passage de classe ou de niveau, d'orientation ou de certification ;
• la répartition et le poids, dans l'horaire scolaire, des activités de type cognitif, psycho-sensori-moteur ou socio-affectif ;
• le degré d'intégration des activités d'apprentissage, évaluées essentiellement par le nombre d'apprentissages antérieurs et les relations entre ceux-ci sollicités dans des situations proches de la vie quotidienne, tant au moment des apprentissages qu'au moment des évaluations ;
• etc.

Cette notion d'équilibre est-elle spécifique aux systèmes éducatifs? Est-elle aussi pertinente pour les systèmes de formation professionnelle initiale et/ou continue?

En ce qui concerne les systèmes de formation professionnelle initiale, on pourrait penser que la mise en avant de l'équilibre d'un enseignement conduirait à valoriser, encore davantage qu'il ne l'est déjà, l'enseignement général par rapport à l'enseignement technique et professionnel. S'il est évident que ce type d'enseignement et la plupart des formations professionnelles – spécialement celles d'ordre technique –, visent l'acquisition de savoir-faire très ciblés, appartenant le plus souvent à un seul domaine, il semble néanmoins que l'objectif premier de ces formations est de viser la compétence. Or celle-ci est synonyme d'intégration et de confrontation à des situations multiples. Nous pensons donc que l'équilibre au sens où nous l'avons défini est également une qualité de l'enseignement technique et professionnel.

Mais qu'en est-il en ce qui concerne les systèmes de formation professionnelle continue? À nouveau, l'équilibre doit en être une qualité, même s'il se décline sur d'autres aspects. Évaluer l'équilibre d'un système de formation consistera essentiellement à vérifier qu'il propose une variété de types de formation :

• le système propose-t-il, à côté des formations d'ordre technique, des formations à l'organisation, au management, à la communication, voire à l'éducabilité cognitive (sur ce dernier sujet, voir Giry, 1994)…?
• le système est-il centré uniquement sur le court terme, ou prend-il aussi en compte un développement à moyen terme (réussite d'un investissement, développement des potentiels, optimisation des flux promotionnels,…) ou encore à long terme (changement de culture, développement de l'adaptabilité,…) (Meignant, 1991)?
• le système cherche-t-il à disposer de bons professionnels ou veut-il aussi faire émerger des agents de changements (Gerard, Lavendhomme & Roegiers, 1997)?
• le système se concentre-t-il exclusivement sur des formations permettant l'ancrage du travailleur au sein de son entreprise, ou permet-il aussi la mobilité (ibidem)?
• le système ne prend-il en compte que la dimension collective, ou permet-il aussi à des projets de formation individuels de se concrétiser?
• …

5.2. Représentation de l'équilibre

Un système de formation est équilibré s'il parvient à développer chez les apprenants toutes les dimensions du savoir. En d'autres termes, l'efficacité de la formation ne se réduit pas à une courbe unique, mais concerne un ensemble – intégré – de niveaux de performance. En continuant à prendre quelques libertés avec la rigueur scientifique des graphiques, ceci peut être représenté de la manière suivante :

 

Figure 4 - Représentation de l'équilibre

Une quatrième dimension apparaît, permettant à la fois de représenter la diversité des objectifs maîtrisés, et leur répartition homogène dans le curriculum.

Telle quelle, cette représentation porte surtout sur la pertinence des objectifs poursuivis. Mais d'autres déséquilibres peuvent exister, liés à l'efficacité, l'équité ou l'efficience des apprentissages. Ainsi, un système de formation qui développerait auprès des apprenants les différents types de savoirs, mais avec des niveaux d'efficacité, d'équité ou d'efficience différents, serait également un système d'enseignement déséquilibré. Le concept d'équilibre est donc particulièrement englobant.

6. L'engagement d'un système de formation

Derrière une certaine légèreté avec laquelle nous traitons ici cette notion, surtout en ce qui concerne sa représentation, il nous semble exister ce qui constitue la qualité première et indispensable de tout système de formation : tout simplement celle de donner aux apprenants – qu'ils soient élèves, étudiants, chômeurs, travailleurs,… – l'envie d'apprendre et de provoquer l'engagement de ceux-ci dans une démarche d'apprentissage.

Cet engagement est lié à la motivation, mais ce lien n'est pas automatique. En effet, certains apprenants peuvent être motivés par un apprentissage, sans pour autant décider de s'engager et de fournir les efforts nécessaires à la maîtrise de celui-ci, par exemple parce qu'ils estiment qu'une écoute attentive lors du cours leur permet une maîtrise suffisante. Inversement, il existe des apprenants qui s'engagent activement dans un apprentissage, sans pour autant être motivés par celui-ci, par exemple parce que la notion de " devoir " est importante pour eux, en raison notamment d'un " surmoi " puissant.

L'engagement est cependant dans la plupart des cas un bon indicateur de la motivation, produit par celle-ci. Il est donc intéressant de se référer à la notion de motivation, qui peut recouvrir une variété de conceptions :

• une première approche de la motivation se réfère à la théorie des pulsions biologiques selon laquelle tout déséquilibre d'un quelconque élément de base nécessaire à l'organisme – par exemple le sucre, l'eau, l'oxygène… – entraîne automatiquement un état de besoin et l'apparition d'une pulsion biologique qui " pousse " l'individu à combler ce besoin. L'individu agira afin de rejoindre l'homéostasie, c'est-à-dire l'état dans lequel se trouve l'organisme en l'absence de tout besoin à satisfaire. Selon cette vue, un élève aura envie d'apprendre lorsqu'il prendra conscience de son incompétence (Courau, 1993) ; et un système de formation donnera cette envie lorsqu'il permettra aux apprenants de réaliser cette prise de conscience. Celle-ci peut cependant être source de désengagement lorsqu'elle favorise chez l'apprenant un sentiment d'incompétence apprise ayant un rôle inhibiteur ;
• une deuxième conception peut être rattachée à la théorie du comportement telle qu'elle est défendue par les néo-behavioristes selon lesquels un individu se met en action en fonction d'un but extérieur à lui, que ce soit une récompense, l'évitement d'une punition, etc. Un système de formation donnera l'envie d'apprendre lorsqu'il créera cette motivation extrinsèque. Le danger de cette approche est qu'un enfant récompensé à chaque action positive aura de moins en moins envie d'agir sans récompense ou simplement pour le plaisir de se sentir utile ou agréable ;
• une troisième conception enfin fait écho aux théories cognitivistes de la motivation. Celles-ci partent du constat qu'à tout moment notre organisme est activé, qu'il y ait ou non un manque à combler ou un but extérieur. Ce n'est, par exemple, que dans des cas très rares que la faim nous " pousse " à agir de façon pressante. La plupart du temps, nous choisissons au contraire de manger ou non, de grignoter ou de nous attabler devant un repas copieux, après avoir choisi, parmi les aliments disponibles, ceux qui nous plaisaient le mieux. Selon Deci et Ryan (1985), nous sommes davantage attirés par une activité qui nous permet de développer un sentiment de compétence. Ainsi, les meilleures performances sont souvent attribuables aux personnes ayant le sentiment d'effectuer des choix dans la façon d'organiser leur travail. Selon leur thŽorie de la motivation intrins?que, ce sont souvent les buts qu'on s'est donnés et les projets d'avenir qui orientent le choix de nos comportements actuels. Deci et Ryan soulignent que ce ne sont pas tellement les buts eux-mêmes qui motivent nos comportements, mais bien plus l'intention de les atteindre. Un système de formation créera l'engagement d'apprendre s'il parvient à susciter cette intention, s'il prend appui sur les projets d'avenir des apprenants. Pour ce faire, les activités d'enseignement-apprentissage permettront d'influencer différentes perceptions constitutives de la motivation (Viau, 1997) : la perception par l'apprenant de la valeur d'une activité, la perception de sa compétence à l'accomplir, et la perception de la contrôlabilité de son déroulement et de ses conséquences.

La qualité d'un système de formation est dès lors liée à sa capacité à engendrer un engagement de la part des apprenants. La majorité des indicateurs de cette qualité devrait être d'ordre qualitatif, en référence aux trois théories présentées ci-dessus. Pour un système de formation professionnelle, nous pensons notamment aux indicateurs suivants :

• quels incitants à la formation le système fournit-il? des primes à la formation? des possibilités de promotion? des crédits-temps? …
• quelle reconnaissance est accordée à la formation? Celle-ci est-elle perçue positivement ou un travailleur participant à une formation est-il essentiellement considéré, en le lui faisant sentir, comme non productif?
• dans quelle mesure la formation est-elle intégrée au plan de carrière?
• le système de formation développe-t-il l'adhésion des travailleurs, notamment en les impliquant dans l'analyse des besoins de formation et la détermination des moyens de mise en œuvre du plan de formation?
• la formation fait-elle l'objet d'une véritable promotion? Y a-t-il une " culture formation "? Un travailleur envoyé en formation est-il soutenu par son chef hiérarchique direct? A-t-il avec lui un entretien avant et après le temps de formation pour dégager des objectifs d'évolution et d'application? Que se passe-t-il lorsqu'un travailleur normalement convié à une formation est confronté à une " nécessité " liée à la production?
• …

Pour un système éducatif, on étudiera également des indicateurs qualitatifs : les enseignants présentent-ils l'apprentissage comme un plaisir ou comme un fardeau? l'évaluation met-elle en avant les réussites ou les échecs? l'élève est-il acteur de son apprentissage ou spectateur de l'enseignement du professeur? etc.

Mais il faut cependant être attentif, tout en n'oubliant pas leur causalité multiple, à la portée de certains indicateurs quantitatifs.

Nous pensons par exemple au taux de décrochage scolaire, relatif au nombre de jeunes qui quittent volontairement le système scolaire sans avoir atteint un niveau suffisant de qualification. Ce phénomène qui concerne tous les systèmes éducatifs, y compris les plus performants, est encore relativement peu étudié. Il faut se rendre compte que la notion même de " jeune sans qualification ayant quitté le système scolaire (note 21) " n'est pas constante d'un pays à un autre, voire même au sein d'un même pays. Il suffit à cet égard de relever la difficulté qui existe pour obtenir des statistiques quant à la réalité du phénomène. En France, par exemple, la Direction de la Programmation et du Développement (DPD) s'est efforcée récemment de corriger – non sans difficulté – les anciennes mesures des taux de décrochage, car ses responsables se sont rendu compte que les chiffres donnés ne correspondaient pas parfaitement à une réalité qui est très complexe (Poulet, 1998). Ce taux de décrochage scolaire nous semble pertinent pour évaluer " l'engagement " d'un système éducatif, car la raison principale qui semble pousser ces jeunes à abandonner leur scolarité est qu'à un moment donné, ils ne perçoivent plus d'intérêt à rester à l'école parce que tout simplement ils " en ont marre ". Certaines mesures qui sont prises pour apporter une solution à ces jeunes poursuivent dès lors comme premier objectif de leur permettre de redécouvrir la volonté et le plaisir d'apprendre (Gerard, 1998).

D'autres indicateurs quantitatifs du même ordre – en termes de non-engagement – pourraient être exploités, tout en n'oubliant pas leur multi-causalité :

• les taux d'absentéisme ;
• les taux de violence scolaire ;
• les taux de sanctions disciplinaires ;
• … (note 22)

À côté de ces indicateurs quantitatifs négatifs, on pourrait encore étudier l'engagement à travers des indicateurs plus positifs tels que

• les niveaux de satisfaction des apprenants à propos de leurs apprentissages et de l'organisation scolaire ;
• le degré d'auto-apprentissage ;
• le degré d'ouverture des situations didactiques proposées aux élèves ;
• le niveau de créativité des actions éducatives ;
• …

 

6.1. Représentation de l'engagement

Que le lecteur nous pardonne : nous avons sans doute épuisé les ressources de la courbe de Gauss, c'est-à-dire ses possibilités offertes par un espace à trois dimensions. L'engagement nous emmène dans une nouvelle dimension, fort peu scientifique sans pour autant être moins importante, ni même moins rigoureuse : celle du plaisir! Il ne nous est dès lors possible de représenter cette qualité d'un système éducatif que de la manière suivante :

 

Figure 5 - Représentation de l'engagement

Si cette représentation n'a rien de " scientifiquement correct ", elle a le mérite de la clarté : entre les deux types de système, où se trouve la véritable qualité?

 

7. Conclusion

L'évaluation de la qualité d'un système de formation ne peut se limiter à une approche socio-économique. Si le recours aux concepts d'efficacité, d'efficience et d'équité n'est pas contestable, il ne permet cependant qu'imparfaitement de rendre compte de toutes les composantes qui sont en œuvre à l'intérieur des systèmes de formation.

Limiter l'évaluation à une approche économique quantitative risque d'ailleurs de condamner certains (sous-)systèmes. Par exemple, la survie de certaines initiatives prises dans les pays d'Europe en faveur des jeunes sans qualification – initiatives qui présentent la plupart du temps des caractéristiques à la fois des systèmes éducatifs et des systèmes de formation professionnelle – est liée à des résultats quantitatifs concrets. S'il est évident qu'une initiative doit être productrice d'effets, il est tout aussi évident que la spécificité des actions en faveur des jeunes sans qualification ne permet pas de garantir de manière immédiate des effets tangibles et observables en termes quantitatifs, comme des taux de réinsertion (Colson, Gerard, Guitard & Martynow, 1998). Cela est d'autant plus vrai que les problèmes de ces jeunes ne sont jamais unifactoriels, et que bon nombre d'éléments constitutifs des problèmes ne sont pas directement liés aux jeunes, mais au fonctionnement sociétal lui-même.

En ce sens, on peut dire que les jeunes qui quittent le système scolaire sans qualification ne posent pas de problèmes au système scolaire, ni même au système social, mais qu'ils posent les problèmes du système scolaire ou de formation et du système social.

Une évaluation externe effectuée par ou pour l'organisme finançant l'initiative peut certainement être un élément permettant à la formation de s'améliorer et favoriser de meilleurs résultats. Toutefois, si les critères d'évaluation se chiffrent en termes d'emploi obtenus, s'ils s'avèrent trop élevés ou ne dépendent pas de la sphère de compétence directe de l'initiative, cette évaluation peut desservir l'initiative. En effet, dans plusieurs cas, une telle quantité d'énergie est dépensée à satisfaire le commanditaire et ses critères d'évaluation que le travail en lui-même ne peut être effectué de manière optimale.

Il nous paraît donc nécessaire, pour ne pas dire indispensable, d'approfondir la réflexion afin de déterminer quels indicateurs – et quelle méthodologie – pourraient être utilisés pour évaluer la dimension pédagogique des systèmes de formation, en termes d'équilibre entre les différents aspects du savoir, et leur dimension conative qui permet de prendre en compte le niveau avec lequel l'enseignement ou la formation suscite un engagement en vue d'apprendre.

 

8. Bibliographie

 

Braibant, J.-M. & Gerard, F.-M. (1996). Savoir lire : une question de méthodes? Bulletin de psychologie scolaire et d'orientation, 1, 1996 : 7-45.

Bressoux, P. (1993). Les effets des écoles et des classes sur l'apprentissage de la lecture. Thèse de doctorat non publiée, Université de Bourgogne, Institut de recherche en économie de l'éducation, Dijon.

Colson, D., Gerard, F.-M., Guitard, C. & Martynow, N. (1998). Poursuivre sa formation. Luxembourg : Office des publications officielles des Communautés européennes. (Publié en français, en allemand et en anglais).

Courau, S. (1993). Les outils d'excellence du formateur – Pédagogie et animation. Paris : ESF éditeur.

Crahay, M. (2001). Peut-on espérer un jour être dispensé de mener une politique d'éducation? Dans Ministère de l'Éducation - CNIPRE (Éds). Actes des Journées internationales de réflexion et d'échange sur le Programme d'Éducation Prioritaire. Tunis : UNICEF, pp. 272-279.

D'Hainaut, L. (1975). Concepts et méthodes de la statistique. Bruxelles : Labor.

Deci, E.L., et Ryan, R.M. (1985). Intrinsic motivation and self-determination in human behavior. New York: Plenum.

De Ketele, J.-M. (1977). L'observation au service de la gestion du processus éducatif. Thèse inédite de doctorat, Université catholique de Louvain.

De Ketele, J.-M. (1982). Docimologie Introduction aux concepts et aux pratiques. Louvain-la-Neuve : Cabay.

De Ketele, J.-M. (1996). L'évaluation des acquis scolaires : quoi? pourquoi? pour quoi? Revue Tunisienne des Sciences de l'Éducation, 23, 17-36.

de Landsheere, G. (1994). Le pilotage des systèmes d'éducation. Bruxelles : De Boeck Université.

Fourez, G. (1999). Compétences, contenus, capacités et autres casse-têtes. Forum des pŽdagogies, mai, 26-31.

Gerard, F.-M. (1998). Quelles réponses les pays d'Europe apportent-ils aux jeunes sans qualification? Dans Bloch, M.C. & Gerde, B. (dir.). Les lycéens décrocheurs – De l'impasse aux chemins de traverse. Lyon : Chronique Sociale, pp. 89-102.

Gerard, F.-M. (2000). Savoir, oui… mais encore! Forum - pédagogies, mai 2000, 29-35.

Gerard, F.-M., Lavendhomme, É., Roegiers, X. (1997). Les fonctions de la formation continue. Dans Roegiers, X. Analyser une action d'éducation ou de formation. Bruxelles : De Boeck Université, pp. 237-241.

Gerard, F.-M. & Roegiers, X. (1993). Concevoir et évaluer des manuels scolaires. Bruxelles : De Boeck Université.

Giry, M. (1994). Apprendre à raisonner, apprendre à penser. Paris : Hachette Éducation.

Hauser G., Massingue B., Maitre F. et Vidal F. (1985). L'investissement Formation. Paris : Les Éditions d'Organisation.

Le Boterf, G. (1998-1999). L'ingénierie des compétences. Paris : Éditions d'Organisation.

Le Boterf, G., Perrenoud, Ph., débat animé par Bosman, C. (2000). Questions autour des compétences. Dans Bosman, C., Gerard, F.-M., Roegiers, X. (Éds) (2000). Quel avenir pour les compétences? Bruxelles : De Boeck Université, pp. 173-183.

Meignant, A. (1991). Manager la formation. Paris : Editions Liaisons.

Mingotaud, F. & Minet. F. (1994). Rentabiliser la formation. Paris : Éditions d'organisation.

Postic, M. & De Ketele, J.-M. (1988). Observer les situations éducatives. Paris : Presses universitaires de France.

Poulet, P. (1998). Nouvelles approches quantitatives sur les sortants du système éducatif. Dans Bloch, M.C. & Gerde, B. (dir.). Les lycéens décrocheurs – De l'impasse aux chemins de traverse. Lyon : Chronique Sociale, pp. 53-61.

Psacharopoulos, G. & Woodhall, M. (1988). L'éducation pour le développement. Une analyse des choix d'investissement. Paris : Economica.

Roegiers, X. (1997). Analyser une action d'éducation ou de formation. Paris-Bruxelles : De Boeck Université.

Sall, H.N. & De Ketele, J.-M. (1997). Évaluation du rendement des systèmes éducatifs : apports des concepts d'efficacité, d'efficience et d'équité. Mesure et Evaluation en Education. Vol. 19, n°3.

Vial, M. (1997). La régulation cybernétique et la régulation systémique. Éducations - Revue de diffusion des savoirs en éducation. n°12, 52-57.

Viau, R. (1997). La motivation en contexte scolaire. Bruxelles : De Boeck Université.

 

Notes

(1) Par la suite, nous entendons par " système de formation " tout système qui vise à accroître le niveau de formation d'une population, que ce soit au niveau de l'éducation de base ou de la formation professionnelle, qu'elle soit initiale ou continue. Retour

(2) C'est spécialement le cas des systèmes éducatifs, mais il nous semble que cette réflexion peut être élargie au niveau de tout système de formation, comme nous le verrons tout au long de cet article. Retour

(3) L'intérêt fondamental de l'approche de ces auteurs est de ne pas limiter la réflexion à la seule perspective économique et quantitative. Sall & De Ketele montrent de manière claire et pertinente que la mesure de l'efficacité et de l'efficience doit se faire également en termes qualitatifs. Ils insistent également avec raison sur la mesure de l'équité dont ils proposent plusieurs dimensions sur lesquelles nous reviendrons. Retour

(4) Pour rappel, un critère est un point de vue sur lequel on se place pour porter un regard sur un objet d'évaluation. Il représente une qualité idéale de l'objet évalué, est abstrait et se situe du côté du référentiel. L'indicateur est ce qui permet d'opérationaliser un critère, d'avoir une information quant à celui-ci. L'indicateur est concret, directement observable et se situe du côté de la réalité. Retour

(5) On parlera aussi de performance. Retour

(6) L'absentéisme est un phénomène bien connu des systèmes de formation, sans doute moins lié au désinvestissement ou à la non-motivation des individus qu'aux obstacles issus du système de production lui-même, lorsqu'un agent normalement présent à une formation est " prié ", pour une raison ou une autre, de " travailler " (= chose sérieuse) au lieu de " se former " (= chose futile). Retour

(7) 80% de compétences maîtrisées par 80% des participants représentant 80% du public-cible. Retour

(8) 80% de transfert parmi les 80% de compétences maîtrisées par 80% des participants représentant 80% du public-cible. Retour

(9) Cet objectif d'évolution, selon la terminologie de Hauser, Massingue, Maitre et Vidal (1985), ou cet effet attendu sur le terrain (Roegiers, 1997) n'est malheureusement pas toujours déterminé lorsqu'un projet de formation se met en place. Retour

(10) Par exemple, 50 personnes sur 1000 clients se plaignent au départ, soit 50‰ de plaintes. L'objectif est de réduire ce taux de 20%, et de n'avoir donc plus que 40 plaintes pour 1000 clients. Le résultat observé est de 42 plaintes pour 1000 clients, ce qui correspond à 80% de l'objectif visé. Retour

(11) Cette multiplication consisterait à prendre 80% d'efficacité pour les 80% de transfert parmi les 80% de compétences maîtrisées par 80% des participants représentant 80% du public-cible. Mais l'effet observé sur le terrain est lié à l'attitude du public-cible entier, et non pas seulement à celle des agents ayant maîtrisé les compétences visées. Retour

(12) Étant donné le peu d'efficacité interne, il est fort vraisemblable que la formation aura peu d'impact. Dans l'exemple cité, le nombre de plaintes à la suite de la formation devrait plutôt être de l'ordre de 47‰ au lieu de 42‰. Retour

(13) Cette réflexion se fonde sur le postulat que le niveau cognitif d'un public socioculturellement défavorisé est moins élevé, au départ, que celui d'un public favorisé. Quel que soit le bien-fondé de ce postulat, il est évident qu'eu égard à d'autres valeurs que la cognition, le rapport de force peut très bien être inversé. Retour

(14) " Le gain brut a souvent été employé à tort pour évaluer l'efficacité d'une action pédagogique. Il s'agit là d'une variable peu adéquate, car des intervalles égaux de gains bruts ne correspondent pas à des intervalles égaux de la grandeur mesurée (efficacité de l'action pédagogique) ; en effet, il est bien plus facile de passer de 55/100 à 65/100 que de 85/100 à 95/100 : les intervalles du haut de l'échelle sont plus " lourds " que ceux du bas de l'échelle, ce qui est contraire à la condition de proportionnalité entre la mesure et la grandeur. (…). Le gain relatif – qui est le rapport de ce que l'élève a gagné à ce qu'il aurait pu gagner au maximum – est indépendant du niveau de départ et comme, à niveau de départ égal, il est proportionnel à la performance, on peut considérer que le gain relatif est proportionnel à ce qu'il veut mesurer. " – D'Hainaut, L. (1975, Volume 1, pp. 158-159). Retour

(15) À partir de mesures prétest-posttest, d'autres outils statistiques peuvent être avantageusement utilisés, notamment les indices MUCER proposés par De Ketele (1977, 1982). Ceux-ci analysent la rentabilité (R) d'un apprentissage en fonction de son niveau de maîtrise (M), de son niveau d'utilité (U), de son niveau de conservation (C) et de son niveau d'efficience (E). L'examen des indices permet de mieux cerner l'efficacité de l'apprentissage. Retour

(16) C'est ce type d'équité qui justifie les mesures dites de " discrimination positive ". Celles-ci s'intègrent la plupart du temps dans des programmes d'éducation prioritaire qui donnent des moyens supplémentaires aux écoles accueillant une population déficitaire, que ce soit en fonction du niveau socio-économique ou eu égard aux résultats obtenus. Notons que face à la relative inefficacité de ces politiques, certains proposent aujourd'hui de les remplacer par des politiques d'intégration qui consisteraient à privilégier les établissements qui se caractérisent par une grande hétérogénéité quant au recrutement des élèves (Crahay, 2001). Retour

(17) " La valeur des compétences d'une organisation n'est pas faite de la simple sommation des compétences individuelles, mais de leurs combinaisons spécifiques. Ce sont ces combinaisons qui sont difficiles à copier par les concurrents, qui peuvent constituer un avantage compétitif et qu'il y a donc intérêt à développer. " (Le Boterf, 1998-1999, p. 120). Retour

(18) Notons que bien souvent, en Belgique du moins, le calcul réalisé pour estimer le coût d'une action ou d'un système de formation au sein des entreprises ou des administrations oublie de prendre en compte ce qui pourtant représente le coût le plus élevé, à savoir le coût salarial des participants à la formation. Ce coût essentiel devrait même être multiplié par deux pour intégrer ce que l'on peut appeler le " coût d'absence " : lorsqu'une personne est en formation, non seulement l'organisation continue à lui verser son salaire, mais en plus elle ne " produit " pas. Prendre en compte ces coûts accroît évidemment le coût de la formation, mais c'est la seule manière d'en estimer le coût réel. Retour

(19) Sall & De Ketele (1997) rangeraient ce concept dans ce qu'ils appellent l'efficacité (interne ou externe) qualitative. Malgré le grand intérêt de la réflexion de ces auteurs mettant notamment en évidence le fait qu'on ne peut se limiter à des critères quantitatifs pour évaluer les systèmes éducatifs, nous préférons garder une place spécifique à cette dimension " pédagogique ". En effet, le risque existe de se limiter à une approche pédagogique en termes d'efficacité, c'est-à-dire de niveau réellement atteint par les apprenants eu égard à un certain nombre d'objectifs pédagogiques considérés comme essentiels. Sans nier l'importance d'une telle préoccupation, nous pensons qu'il est important de s'interroger sur la manière dont un système éducatif essaie d'atteindre ce niveau. En d'autres termes, évaluer si les apprenants maîtrisent ou non les objectifs visés par le système est effectivement – comme le proposent ces auteurs – une question d'efficacité. Mais évaluer quels objectifs sont visés, et surtout la répartition entre les différents types d'objectifs, tels qu'ils sont visés mais aussi tels qu'ils sont effectivement poursuivis au sein du système, est – selon nous – une question d'équilibre (ou encore de pertinence). Notre questionnement porte plus sur le système et sa manière de fonctionner que sur les apprenants eux-mêmes, même si – en termes d'efficacité – il faut, à un certain moment, se demander ce qu'il en est exactement à leur niveau. Retour

(20) Le débat visant à différencier les concepts de capacité et de compétence est, selon nous, passionnant mais stérile ! D'un point de vue épistémologique, il ne semble pas qu'on puisse distinguer de manière satisfaisante les deux concepts, car, la plupart du temps, " tout ce qui est présenté comme spécifique aux compétences s'applique aux capacités et vice versa. " (Fourez, 1999). Sur un plan opérationnel, il peut cependant être utile de faire une telle distinction, que ce soit selon le modèle présenté ici, ou encore en référence avec l'équation proposée par De Ketele (1996) stipulant Compétence = {capacités x contenus} x situations. Retour

(21) Pour parler de ces jeunes, le monde anglo-saxon a tendance à privilégier désormais l'appellation early school leaver à celle plus péjorative de drop-out. Dans le même esprit, nous préférons utiliser cette formulation jeune sans qualification ayant quitté le système scolaire plutôt que celle de décrocheur scolaire, même si le champ sémantique des deux formulations est légèrement différent. Retour

(22) Ces points de suspension sont pour nous avant tout une manière de dire que les indicateurs de l'engagement restent à développer, en prenant en compte toute la complexité de cette dimension. Retour