L'évaluation de l'efficacité d'une formation

L'évaluation de l'efficacité des actions de formation est aujourd'hui plus que jamais une nécessité évidente. Plus aucune organisation (entreprise, administration, association,…) ne peut se contenter de " former pour former ". Former coûte cher et prend du temps. Plus encore que pour un investissement matériel, il importe de connaître ou de situer le retour d'investissement de la formation pour être sûr de le rentabiliser.

Pourtant, dans la plupart des organisations, les opérations d'évaluation des actions de formation sont relativement rares. Elles se limitent souvent à un " questionnaire de satisfaction " rempli rapidement à la fin de la formation. Ce questionnaire est parfois traité de manière plus intuitive que systématique et apporte souvent peu d'informations réellement intéressantes. L'" évaluation " de ces actions se limite dès lors parfois à un simple coup d'œil rapide d'un gestionnaire de formation ou du formateur sur les questionnaires, sans qu'il y ait la moindre décision qui en découle.

Ce paradoxe est lié à deux difficultés principales :

• l'évaluation de l'efficacité d'une action de formation est complexe ;
• les outils opérationnels d'évaluation font défaut.

Nous voudrions ici analyser la complexité de cette évaluation, afin de proposer quelques pistes susceptibles de la réduire. Nous voudrions aussi montrer comment un outil aussi simple que le " questionnaire de satisfaction " peut aider à réaliser cette évaluation de l'efficacité des actions de formation, pour autant qu'il soit construit en ce sens (note 1).

 

1. " Des évaluations " de l'efficacité de la formation

L'évaluation de l'efficacité des actions de formation peut se décliner en trois dimensions complémentaires et hiérarchisées, appelant chacune des méthodologies différentes, et présentant chacune des difficultés spécifiques.

• Le premier niveau concerne l'évaluation des acquis, ou encore l'efficacité pédagogique : est-ce que les objectifs ont été atteints ? En d'autres termes, " les participants ont-ils acquis à la fin de la formation les compétences qui étaient visées par les objectifs de formation ? ".

• Le deuxième niveau concerne le transfert : est-ce que les acquis de la formation sont appliqués sur le terrain ? En d'autres termes, " les participants, une fois revenus sur leur poste de travail, mettent-ils en œuvre les compétences acquises lors de la formation ? ".

• Le troisième niveau concerne l'impact de la formation : est-ce que les acquis de la formation permettent d'atteindre certains résultats sur le terrain ? En d'autres termes, " les nouvelles compétences des participants permettent-elles de faire évoluer l'organisation ? ".

Ces trois niveaux sont importants à évaluer, mais il faut avoir conscience que l'organisation (l'entreprise, l'administration, l'association,…) en tant que telle n'est vraiment concernée que par l'évaluation de l'impact de la formation. De son point de vue, ce qu'il importe de savoir, c'est si la formation a permis d'atteindre les effets attendus sur le terrain (Roegiers, 1997). Le reste ne concerne que le service de formation (ou du personnel), le formateur, voire le responsable hiérarchique direct, c'est-à-dire ceux qui sont directement impliqués dans la formation en tant que telle. Cependant, la logique montre que les trois niveaux d'évaluation sont étroitement imbriqués : il ne devrait y avoir impact que si les participants mettent en œuvre ce qu'ils ont appris en formation, et ils ne le feront que s'ils ont appris quelque chose... Cette logique - qui est d'ailleurs plus théorique que réaliste - ne va bien sûr que dans un sens : les participants peuvent très bien avoir appris, mais ne pas transférer pour autant. Et ils peuvent très bien mettre en application leurs nouveaux acquis sans que cela change quoi que ce soit dans l'organisation elle-même, ou du moins sans atteindre les résultats escomptés.

Idéalement, il faudrait donc pouvoir procéder aux trois opérations d'évaluation, mais ce n'est sans doute pas réaliste tant chacune d'elles peut se révéler complexe en elle-même.

 

2. L'évaluation de l'impact

L'évaluation la plus facile est peut-être, au bout du compte et d'un certain point de vue, celle qui a la réputation d'être la plus difficile, à savoir l'évaluation de l'impact de la formation. En effet, il devrait " suffire " de regarder si les résultats attendus sur le terrain sont atteints, ce qui ne devrait pas présenter en soi de problèmes majeurs. Ainsi, si la formation a été réalisée parce que l'on souhaitait augmenter les ventes de tel produit, il suffit de voir ce qu'il en est dans les chiffres de vente. Il en est de même si l'objectif était de diminuer le nombre de plaintes des clients, d'augmenter la vitesse de traitement ou de production, de réduire le nombre de pannes ou de casses, etc.

Néanmoins, plusieurs difficultés existent pour évaluer l'impact d'une action de formation.

• La première difficulté, et non la moindre, est que bien souvent le résultat attendu sur le terrain n'est pas clairement défini. Sans retomber dans l'écueil de former pour former, il existe de nombreuses situations où un travailleur va en formation simplement parce qu'il l'a demandé, ou parce que l'organisation a l'habitude de proposer ce type de formation, ou parce qu'un organisme de formation a pu vendre son produit sans qu'on se demande à quoi, concrètement, cela va servir ! Dans de telles conditions, on ne peut évaluer l'impact de la formation parce qu'on ne sait pas quel pourrait - ou plutôt quel devrait - être cet impact. Et, comme dit le proverbe berbère, " si tu ne sais pas où tu vas, tu risques de mettre longtemps pour y arriver " !

Il arrive aussi que le résultat attendu sur le terrain soit défini, mais de manière diffuse, ou purement qualitative. C'est le cas par exemple lorsqu'on vise une " meilleure qualité de l'accueil ". Toute la question est dès lors de savoir ce qu'on entend par là. Il convient de traduire cette formulation qualitative par des indicateurs concrets et opérationnels, même si c'est complexe.

• Une deuxième difficulté est que l'impact peut être multiple, et pas toujours tel qu'on pouvait l'attendre. À toute action, il peut y avoir des effets attendus mais aussi inattendus, et ceux-ci peuvent être bénéfiques tout comme ils peuvent être pervers. Évaluer l'impact ne peut donc pas toujours se limiter à vérifier ce qu'il est advenu de l'effet attendu sur le terrain, mais il faut aussi parfois partir à la recherche d'autres effets, sans d'ailleurs savoir dans quelle direction chercher. Par exemple, nous avons rencontré des ouvriers qui, à la suite d'une formation technique, étaient particulièrement démotivés parce qu'ils avaient ressenti - notamment en raison d'une information lacunaire - l'envoi en formation comme une menace : " tu ne travailles pas bien, on t'envoie donc en formation, et c'est la dernière porte avant celle de la rue... ". Ces ouvriers étaient cependant des leaders au sein de leur équipe, et on peut imaginer les dégâts causés, bien éloignés de ceux qui étaient espérés.

• Une troisième difficulté est de pouvoir isoler l'impact dû réellement à l'action de la formation. D'une part, il faudrait pouvoir savoir ce qui se serait passé en l'absence de l'action de formation. Il se peut très bien que les résultats attendus sur le terrain soient atteints de toute façon, parce qu'ils étaient dans l'ordre des choses... Plus vraisemblablement, on peut se trouver dans des situations où l'atteinte d'un résultat est liée par exemple pour 20% à l'évolution normale et pour 80% à l'action de formation. Mais comment mesurer la proportion liée à la formation ?

D'autre part, souvent l'impact observable n'est pas lié à la seule action de formation, mais aussi à d'autres facteurs qui peuvent tout aussi bien renforcer que contrecarrer l'impact de la formation. Imaginons une formation dont le résultat attendu sur le terrain est l'accroissement de la vitesse de traitement de dossiers complexes, gérés par un logiciel spécifique. Les agents apprennent à utiliser de manière optimale le logiciel et utilisent leurs nouvelles compétences. Les mesures du nombre de dossiers traités par semaine et par agent indiquent cependant qu'il n'y a pas eu d'amélioration, qu'il y a même un certain ralentissement. Le mystère est vite éclairci : la formation a coïncidé avec une mise à jour du logiciel qui a entraîné de nombreux " plantages " du système, bloquant fréquemment l'avancement du travail. Cet exemple relativement grossier ne doit pas cacher que, dans de nombreuses situations, il existe toutes sortes de facteurs qui peuvent influencer d'une manière ou d'une autre les résultats d'une formation : l'ambiance au sein de l'équipe de travail, le climat social, d'autres projets d'amélioration, la conjoncture économique, etc. Il existe des techniques statistiques plus ou moins sophistiquées (note 2) qui permettent d'isoler la part des différents facteurs, pour autant que ceux-ci soient d'une part identifiés et d'autre part " mesurables " de manière plus ou moins précise. La difficulté principale est que bien souvent il est difficile d'identifier tous les facteurs qui ont pu avoir une influence : il est donc toujours hasardeux d'attribuer à la seule action de formation l'impact - positif ou négatif - que l'on observe dans la réalité.

Ces difficultés de l'évaluation de l'impact d'une action de formation sont réelles, et il serait vain de les ignorer en prétendant démontrer l'(in)efficacité d'une formation sur la seule base de résultats observés ou non sur le terrain. En d'autres termes, ce n'est pas parce qu'on observe un résultat - attendu ou non - sur le terrain qu'on peut l'attribuer avec certitude à l'action de formation, et si on n'observe pas sur le terrain l'effet escompté on ne peut pas pour autant conclure à l'inefficacité de l'action entreprise.

Est-on dès lors condamné à ne jamais pouvoir apprécier l'impact de l'action de formation ? Heureusement, il n'en est rien, mais il convient toujours d'être très prudent dans les conclusions que l'on peut tirer de résultats observés.

La manière la plus simple de surmonter ces difficultés est sans doute de tenir compte des différents niveaux d'évaluation que nous avons évoqués plus haut, en les intégrant dans une perspective systémique de la formation, selon le schéma suivant :

Dans cette perspective, une action de formation est mise en place parce que l'organisation s'est défini, en fonction de ses besoins, un objectif d'évolution (Hauser et al., 1985) qui est l'effet attendu sur le terrain évoqué plus haut : diminuer le nombre de pannes, accroître le chiffre d'affaires, augmenter la qualité du service à la clientèle, etc.

L'action de formation mise en place doit permettre a priori d'atteindre cet objectif d'évolution. Pour ce faire, il faut déterminer les objectifs de formation les plus adéquats. Ces objectifs de formation ne sont autres que les compétences que l'on va essayer de développer ou de faire acquérir et qui devraient permettre, en étant mises en œuvre, d'atteindre l'objectif d'évolution. La pertinence des objectifs de formation est donc primordiale. Les objectifs de formation seront pertinents si, a priori, ils sont ceux qui permettront le mieux d'atteindre l'objectif d'évolution. L'évaluation de la pertinence est une étape essentielle du processus, car il est évident - par définition - que des objectifs qui ne seraient pas pertinents ne permettraient pas d'atteindre l'objectif d'évolution et donc d'avoir l'impact recherché.

L'action de formation consistera à mettre en œuvre un processus permettant d'atteindre les objectifs de formation, c'est-à-dire que les compétences soient acquises par les participants. L'évaluation des acquis permettra d'attester qu'il en est bien ainsi. Elle pourra se réaliser durant ou à la fin de la formation. Cette évaluation (note 3) est donc également essentielle, car il va de soi que des compétences qui ne seraient pas acquises ne permettraient pas non plus d'atteindre l'objectif d'évolution et donc d'avoir l'impact recherché.

Lorsque l'action de formation est terminée (ou même parfois lorsqu'elle est encore en cours dans le cas d'actions étalées sur plusieurs semaines, voire plusieurs mois), une évaluation du transfert permettra de vérifier que les compétences acquises sont effectivement mises en œuvre sur le poste de travail. Cette évaluation est bien sûr indispensable, car il va de soi que des compétences qui ne seraient pas mises en œuvre ne permettraient pas non plus d'atteindre l'objectif d'évolution et donc d'avoir l'impact recherché.

On le voit, l'impact d'une action de formation est directement lié à la pertinence des objectifs de formation, à l'efficacité pédagogique de la formation et à la qualité du transfert des compétences acquises.

Ceci peut être mis sous la forme d'une équation :

Impact = Pertinence x Acquis x Transfert

Cette équation (note 4) est intéressante, parce qu'elle permet - dans une certaine mesure - de pallier les difficultés évoquées ci-dessus au niveau de l'évaluation de l'impact des actions de formation. En effet, s'il s'avère bien souvent difficile voire impossible d'apprécier l'impact de ces actions, il est possible d'inférer celui-ci à partir de l'évaluation des autres dimensions. Ainsi, une action de formation dont il serait possible de prouver à la fois la pertinence des objectifs de formation, l'atteinte de ceux-ci et la mise en œuvre sur le terrain des compétences acquises pourrait être considérée comme ayant un impact, même si celui-ci n'est ni observable ni observé, pour les raisons que nous avons relevées plus haut.

Il ne s'agit bien sûr jamais que d'une inférence, qui ne peut être maniée qu'avec prudence, mais qui ouvre des perspectives intéressantes pour l'évaluation des actions de formation, dans la mesure où il devient possible d'évaluer l'impact de ces actions en en évaluant la pertinence, l'efficacité pédagogique et le transfert. Cela ne dispense bien sûr pas de s'efforcer de mettre en évidence de manière spécifique l'impact, mais cela permet d'établir celui-ci même lorsque sa mise en évidence n'est pas possible.

 

3. L'évaluation de la pertinence

L'évaluation de la pertinence est directement liée à l'analyse des besoins de formation (note 5). En effet, celle-ci devrait permettre de dégager

• quel est l'effet attendu sur le terrain, ou objectif d'évolution, c'est-à-dire quel est le résultat que l'organisation souhaite atteindre au niveau de son produit ou de son fonctionnement ;
• quel(s) est (sont) le(s) type(s) d'action le(s) plus approprié(s) pour atteindre cet objectif d'évolution : action de formation ou action d'un autre type (recrutement de personnel, changement organisationnel, achat de matériel,...) ;
• si l'action de formation est appropriée, quels sont les objectifs de formation les plus appropriés, c'est-à-dire quelles sont les compétences, tant individuelles que collectives, à développer ou à acquérir pour pouvoir atteindre l'objectif d'évolution.

Les deux dernières questions concernent l'évaluation de la pertinence de la formation, alors que la première est relative à ce qu'on peut appeler l'évaluation de l'utilité.

Idéalement, l'évaluation de la pertinence doit bien sûr se faire avant l'action de la formation. On parle d'évaluation ex ante. Il s'agit alors d'une évaluation a priori, de type prédictif, ce qui en fait la principale difficulté, car la validité de toute évaluation prédictive est toujours sujette à caution, surtout en ce qui concerne sa durée. En effet, on peut très bien dégager des objectifs de formation tout à fait pertinents au moment de l'analyse des besoins, mais que ces objectifs soient devenus obsolètes au moment où l'on met en œuvre l'action de formation, en raison de changements de conjoncture économique, de personnel, d'orientation stratégique, etc. L'évaluation de la pertinence peut donc aussi se réaliser durant la formation, pour s'assurer que la pertinence existe toujours et est bien celle qui a été mise préalablement en évidence. On pourra également évaluer la pertinence à la fin de la formation, ou même après celle-ci, essentiellement alors pour comprendre une absence d'impact : a posteriori, on mettrait ainsi en évidence qu'il n'y a pas d'impact parce que l'action de formation n'était pas pertinente. Ce n'est pas former qu'il fallait faire, ou pas avec ces objectifs-là, mais on ne s'en rend réellement compte qu'une fois l'action de formation réalisée !

En dehors des problèmes de validité de l'évaluation de la pertinence d'une action de formation, sa difficulté principale réside dans l'identification d'indicateurs pertinents et observables.

Un certain nombre d'indicateurs sont directement contextualisés et spécifiques à l'action entreprise. Par exemple, l'existence de nouvelles normes ou d'une nouvelle réglementation, l'acquisition d'un nouveau matériel, ou l'élargissement des activités de l'organisation constituent des indicateurs assez évidents tant pour décider de la nécessité d'une action de formation que pour en décider les objectifs. Il n'est bien sûr pas possible de proposer ici une liste exhaustive d'indicateurs contextualisés, puisque par définition ceux-ci dépendent du contexte (note 6).

Par contre, il est possible de présenter un certain nombre d'indicateurs qui peuvent témoigner de la pertinence d'une action de formation, quel que soit le contexte dans lequel ils opèrent. Nous en proposons ici quelques-uns (note 7), en présentant d'abord ceux qui nous semblent les plus puissants pour attester de la pertinence d'une action de formation et de ses objectifs :

• l'élaboration de l'action de formation a été précédée d'une analyse des besoins auprès des différentes catégories d'acteurs concernés (direction, responsables hiérarchiques, bénéficiaires,...) et les objectifs de formation sont partagés par plusieurs de ces catégories ;
• une action similaire a été réalisée antérieurement, au sein de l'organisation ou ailleurs, et a montré qu'un objectif d'évolution similaire pouvait être atteint de la sorte ;
• l'analyse des besoins comprend une analyse systématique des facteurs incidents sur les problèmes à résoudre et sur les projets à réaliser ;
• l'action de formation est articulée avec d'autres types d'action qui poursuivent le même objectif d'évolution (note 8) ;
• le climat social est favorable à la formation (période d'embauche, cercles de qualité,…) ;
• l'environnement économique est favorable à la formation (croissance, reprise, nouvelles commandes, bénéfice,…) ;
• l'action de formation assure une cohérence avec les autres sous-systèmes de la politique des ressources humaines ;
• …

Ces indicateurs ne sont pas tous de la même nature. Notamment, les premiers sont de l'ordre des faits et peuvent être facilement constatés, alors que les derniers sont plutôt des représentations et s'expriment donc à travers le discours de certaines personnes, que ce soient celles auprès de qui on réalise le recueil d'informations, ou celles qui analysent et traitent l'information. Les deux types d'indicateurs sont intéressants, même s'ils n'ont pas le même statut. Un fait a bien sûr la force du constat objectif, mais les représentations permettent souvent de mieux comprendre une situation dans sa complexité, pour autant qu'on ne se fonde pas sur une représentation isolée, mais sur une convergence de représentations.

Les représentations offrent aussi l'avantage d'être relativement faciles à recueillir, par exemple grâce à un " questionnaire de satisfaction ", dont l'objet n'est autre qu'un ensemble de représentations. Pour évaluer la pertinence d'une formation, il est dès lors possible d'identifier certains indicateurs qui peuvent être explorés par le biais d'un tel questionnaire, trouvant de la sorte un début de réhabilitation :

• les participants sont-ils satisfaits des objectifs de la formation ?
• les participants estiment-ils que l'action de formation est un bon moyen pour atteindre l'objectif d'évolution ?
• les participants estiment-ils que les objectifs de la formation peuvent les aider à être plus performants dans leur travail ?
• le formateur est-il satisfait des objectifs de la formation ?
• …

 

4. L'évaluation des acquis

L'évaluation des acquis, ou de l'efficacité pédagogique, devrait aller de soi : quoi de plus naturel que de vérifier qu'on a bien atteint son objectif ! Néanmoins, rares sont les actions de formation qui font l'objet d'une telle évaluation. Tout se passe comme si on considérait que le simple fait de participer à la formation devait suffire à acquérir les compétences visées, en se basant sur le postulat qu'un adulte est maître de son apprentissage et suffisamment responsable pour tirer pleinement profit des stratégies didactiques qui lui sont proposées. Ce postulat, certes généreux, est malheureusement faux, au moins partiellement.

La plupart des gestionnaires de formation sont pleinement conscients de cette réalité, mais l'évaluation des acquis reste peu présente, essentiellement en raison de deux types de problème :

• d'une part, un problème méthodologique. Il n'est pas facile de savoir comment faire pour évaluer les acquis d'une formation qui vise la mise en place ou le renforcement de compétences. On sent bien que cela ne sert à rien de demander aux participants de restituer une série d'informations sans réellement les utiliser dans une situation proche de la situation professionnelle. Il conviendrait donc de mettre les participants face à une situation complexe, proche de la réalité. Mais de telles situations ne sont pas faciles à construire ni à mettre en œuvre, et cela prend du temps. De plus, la dynamique de formation fortement liée au travail de groupe risque de conduire à évaluer une compétence collective alors qu'elle devra être mise en œuvre individuellement sur le terrain ;
• d'autre part, un problème psychologique. Il n'est pas évident d'imposer à des adultes ce regard extérieur, qui ne rappelle que trop les sinistres évaluations scolaires.

Face à ces difficultés, un questionnaire de satisfaction peut apporter une ébauche de solution, qui - certes - ne remplace pas une véritable évaluation de la maîtrise des compétences par les participants, mais qui peut constituer un indicateur précieux pour évaluer un certain degré d'efficacité pédagogique.

L'outil que nous proposons -utilisé avec beaucoup de bénéfices dans de nombreuses formations - se fonde sur l'idée que l'évaluation des compétences passe peut-être nécessairement par une autoévaluation, permettant à l'apprenant comme au travailleur, de circonscrire dans quelle mesure il est à même d'affronter de manière pertinente les situations auxquelles il peut - dans le cadre de la compétence visée - apporter une réponse satisfaisante (Gerard & Van Lint-Muguerza, 2000). En effet, autant un observateur extérieur est à même d'observer et d'évaluer si tel ou tel individu maîtrise ou non tel ou tel comportement, autant il est difficile, voire impossible, à cet observateur extérieur de dire si oui ou non une compétence est réellement maîtrisée. En effet, l'exercice de la compétence fait appel à la mobilisation intégrée d'un ensemble approprié de savoirs, de savoir-faire et de savoir-être dans une situation propre à la compétence mais qui peut être en soi inédite, imprévisible. La personne elle-même n'est-elle pas la mieux placée pour estimer si elle est à même de réaliser cette mobilisation dans toutes les situations ? Le principe de l'outil proposé est dès lors de demander au participant d'exprimer dans quelle mesure il s'estime lui-même plus ou moins compétent au début et à la fin de la formation.

Pour construire l'outil, il convient de reprendre les différents objectifs de la formation, formulés à partir des compétences visées en formation professionnelle, et de demander au participant d'estimer pour chaque objectif son niveau de compétence avant et au terme de la formation. La validation que nous avons faite de l'outil nous a montré que ce double questionnement peut se faire en même temps, à la fin de la formation.

Nous proposons ici un exemple de question, tel qu'il a pu être élaboré dans le cadre d'une formation en gestion de projet.

Pour chaque objectif, estimez, selon vous, votre niveau de compétence.

 

Cet outil permet un certain nombre de traitements quantitatifs, relativement simples et pouvant être standardisés à l'aide d'un tableur, qui permettent d'analyser de manière intéressante les résultats de la formation. Nous présentons ici ces traitements, mais le lecteur rébarbatif aux approches quantitatives peut passer directement à la section 5, relative à l'évaluation du transfert !

Par exemple, prenons le cas où 10 personnes ont participé à la session sur la gestion de projets. Pour l'objectif " a) Planifier et gérer des projets par des objectifs ", ils ont donné les évaluations suivantes :

 

À partir de ces résultats, on peut dresser un bilan global des compétences, pour chaque objectif, en calculant un certain nombre d'indices :

• calcul de la moyenne (m) avant la formation et au terme de la formation ;
• calcul de l'écart-type (s) avant la formation et au terme de la formation ;
• calcul du taux d'hétérogénéité (ou coefficient de variation) (h). Ce taux correspond au rapport entre l'écart-type et le score moyen (h = s / m x 100). Son avantage par rapport à l'écart-type est qu'il donne un pourcentage qui permet de supprimer la référence à la moyenne. L'intérêt de cet indice est qu'il permet d'avoir une idée du degré d'accord entre les personnes interrogées. On considère qu'en dessous de 15%, l'accord (ou l'homogénéité) est important(e), alors qu'au-dessus de 30%, il existe un désaccord (ou une hétérogénéité) important(e) (D'Hainaut, 1975 ; Ouellet, 1985).

Sur la base des données ci-dessus, le calcul de ces trois indices peut déboucher sur les tableaux suivants (note 9):

 

Ces premiers indices apportent déjà des informations intéressantes :

• puisque la moyenne au terme de la formation est plus élevée qu'avant la formation, il y a eu une amélioration dans la maîtrise de la compétence - nous y reviendrons -, mais le niveau de maîtrise final est encore relativement faible. Un score moyen de 8 sur 10 est un meilleur indicateur de maîtrise, mais il convient bien sûr d'être prudent à cet égard (il est important de comparer les niveaux atteints pour les différentes compétences afin de mieux analyser les résultats) ;
• la comparaison des taux d'hétérogénéité montre que la formation a permis de réduire la disparité qui existait au départ, ce qui signifie que l'apprentissage a eu un effet d'" équité ", dans la mesure où les écarts de compétences entre les participants se sont réduits et que la formation a donc contribué à un plus grand " partage " des compétences.

L'analyse de l'effet d'" apprentissage " peut être affinée en calculant des indices de gains entre les deux moyennes :

• le gain brut moyen correspond à ce qui a été effectivement gagné et se calcule simplement par la différence entre le score moyen " après " et le score moyen " avant " la formation (m₂ - m₁) ;
• le gain relatif moyen est le rapport entre ce qui a été gagné et ce qui pouvait être gagné (note 10) et se calcule par la formule suivante (Score APRÈS - Score AVANT) / (Score MAXIMUM - Score AVANT) x 100, soit - selon notre exemple - par le calcul

Ces deux indices peuvent être synthétisés dans un nouveau tableau (note 12) :

 

Ces indices de gain permettent de mieux cerner l'effet d'" apprentissage ". Notamment, on voit que le gain relatif de 50,8% est important et indique que les participants estiment avoir réellement progressé dans leur maîtrise de l'objectif, même si nous avons vu que le score moyen de 7,1 n'indique pas une maîtrise absolue.

Le traitement de ces indices par rapport à chaque objectif permet d'avoir une appréciation assez fine de l'efficacité pédagogique de la formation, notamment en mettant en évidence les objectifs qui ne seraient pas suffisamment maîtrisés et pour lesquels un complément de formation serait éventuellement nécessaire.

Notre expérience nous a montré que l'utilisation de cet outil est particulièrement intéressante, mais il convient bien entendu de ne pas en oublier les principales limites :

• il ne s'agit bien sûr que d'une autoévaluation, de type prédictif, à laquelle les participants ne sont peut-être pas suffisamment préparés. Ce sont des représentations qui s'expriment et - même si nous pensons que le risque d'erreur est relativement faible - on ne peut bien sûr pas être certain que la maîtrise des compétences est réellement celle déclarée ;
• tant pour des raisons de commodité que pour tenir compte de la prise de " conscience de son incompétence " (Courau, 1993) propre à toute formation, l'outil est proposé en fin de formation, mais il est évident qu'il peut être difficile pour les participants d'estimer à ce moment quel était leur niveau de compétence avant la formation. Il est vraisemblable que les participants cherchent plus à indiquer quel est leur niveau de gain, mais cela ne représente pas une grosse difficulté dans la mesure où ce sont les calculs de gains qui permettront d'apprécier l'efficacité pédagogique de la formation ;
• l'expression des représentations en fin de formation peut être influencée par une certaine euphorie caractéristique de ce moment, et cela d'autant plus que les questionnaires de satisfaction sont souvent remplis à la demande et en présence du formateur. Celui-ci n'aura pas manqué de créer une relation de confiance durant la formation, et il est vraisemblable que les participants ne souhaitent pas remettre en question son efficacité de manière directe. Le cas inverse peut bien sûr aussi se présenter - un formateur en tension avec les participants - et avoir également une influence sur les réponses.

En lien avec ces limites, il importe de signaler que l'utilisation des indices ne peut, selon nous, qu'être collective et non individuelle. Cela signifie que l'outil ne peut en aucun cas permettre de certifier que tel ou tel individu maîtrise ou non les acquis de la formation. Son ambition est d'apporter, grâce à un dispositif aussi léger qu'un " questionnaire de satisfaction ", une information en ce qui concerne l'efficacité pédagogique globale de l'action de formation. L'outil nous semble pouvoir répondre à cette attente, pour autant que les conditions minimales d'utilisation soient remplies, notamment que les participants sachent qu'en aucun cas leurs réponses ne pourront se retourner contre eux.

 

5. L'évaluation du transfert

Par définition, l'évaluation du transfert ne peut valablement se réaliser qu'après la formation, lorsque les participants sont revenus sur leur poste de travail. Cette évaluation ne devrait en soi pas poser trop de difficultés, puisqu'il suffirait d'observer les participants et de voir s'ils mettent ou non en pratique les acquis de la formation. L'évaluation peut encore être facilitée par la définition d'" objectifs d'application " (Dennery, 1997), dont l'intérêt principal n'est d'ailleurs pas de faciliter l'évaluation du transfert, mais surtout d'optimiser et de favoriser celui-ci.

Le principe des objectifs d'application est de décider à la fin de la formation et avec le participant d'un certain nombre d'objectifs qu'il pourra mettre en œuvre sur son poste de travail. Un tel objectif d'application doit idéalement présenter plusieurs caractéristiques :

• il exprime une action concrète, observable et délimitée dans le temps. Par exemple, " réaliser un entretien d'appréciation avec chacun de ses collaborateurs dans les 2 mois suivant la formation " ;
• il est voulu par le participant, ce qui signifie que celui-ci est directement impliqué dans son élaboration ;
• il est directement lié à l'activité du participant ;
• il est entièrement sous la responsabilité du participant (sa mise en œuvre ne doit pas dépendre de quelqu'un d'autre) ;
• il est ambitieux mais réaliste ;
• les conditions de réalisation de l'objectif sont clairement définies ;
• il est exprimé en termes positifs.

Il " suffira " par la suite de vérifier si ces objectifs d'application ont été réalisés ou non pour se faire une bonne idée du transfert. Cette évaluation est dès lors plus du ressort du responsable hiérarchique que du Service Formation.

Il est à noter que les obstacles au transfert ne sont pas exclusivement liées aux participants ou à l'action de formation elle-même, mais peuvent avoir de nombreuses sources :

• l'action de formation n'a pas lieu " au bon moment ", parce que les préoccupations managériales sont autres, parce qu'une récession est en cours, etc. ;
• les responsables hiérarchiques des participants ne mettent pas en place les conditions nécessaires pour le transfert, quand ils ne s'y opposent pas de manière plus ou moins déclarée ;
• les acquis de la formation ont peu de liens avec la réalité du terrain ;
• le contexte de la formation ne correspond pas à celui du terrain (par exemple, le matériel utilisé durant la formation n'est pas celui utilisé en réalité) ;
• les méthodes pédagogiques ne sont pas orientées vers la modification des comportements au travail des participants ;
• les informations envoyées aux participants ou aux responsables hiérarchiques avant la formation ne leur ont pas permis d'avoir une idée précise des conséquences qu'entraîneront les compétences acquises sur leur travail ;
• les participants ne sont pas ceux qu'il fallait, ils n'ont pas le bon profil pour pouvoir mettre en œuvre les acquis ;
• les participants ne sont pas motivés pour modifier leurs comportements ;
• les participants ne peuvent pas mettre en œuvre leurs acquis rapidement après la formation, pour l'une ou l'autre raison (ils sont affectés à un autre travail, la formation a lieu juste avant leurs vacances, le matériel nécessaire n'est pas encore disponible,...) ;
• les participants n'ont aucun intérêt à mettre en œuvre les acquis (cela va entraîner un surcroît de travail, ils vont être " mal vus " par leurs collègues, il n'y a aucune mesure de valorisation ni financière ni institutionnelle,...) ;
• les participants vont être affectés prochainement à un autre poste ;
• …

Ces différentes raisons sont dans la plupart des cas déjà connues par les participants lors de la formation. Il est dès lors possible de les consulter à la fin de la formation pour avoir une certaine idée des possibilités de transfert, et évaluer celui-ci a priori avec une certaine finesse. À nouveau, le classique " questionnaire de satisfaction " pourra être utilisé en ce sens en y incluant quelques questions qui portent sur le transfert, comme par exemple :

• Êtes-vous satisfait des possibilités d'utilisation des acquis sur votre lieu de travail ?
• Quelle partie des acquis estimez-vous pouvoir mettre en œuvre sur votre lieu de travail ?
• Dans quel délai aurez-vous l'occasion de mettre les acquis en œuvre sur votre lieu de travail ?
• Êtes-vous satisfait des compétences que vous avez acquises ?
• Êtes-vous optimiste quant aux possibilités de transfert des compétences acquises ?
• …

En combinant les résultats issus de telles questions, il est possible d'avoir une idée assez précise de ce que sera le transfert. Des réponses positives ne préjugent bien sûr pas avec certitude de la réalité du transfert, mais des réponses négatives indiquent à tout le moins l'existence d'un certain nombre d'obstacles à celui-ci.

 

6. Conclusion

De toute évidence, l'évaluation de l'efficacité des actions de formation est indispensable pour en garantir la rentabilité. Il est particulièrement important - et attendu par les décideurs - de montrer l'impact positif de l'investissement-formation. Il existe de nombreuses circonstances où la mise en évidence de cet impact est relativement facile à réaliser, mais cela n'est malheureusement pas toujours fait pour l'une ou l'autre raison. Il existe d'autre part de nombreuses autres circonstances où l'évaluation de l'impact est effectivement difficile à réaliser, la plupart du temps d'ailleurs parce que l'impact recherché n'a pas été clairement défini.

Tout se passe trop souvent encore comme si l'on formait pour former. On sait que la formation est importante, et donc on forme. On a une vague idée de ce que cela peut apporter, mais on ne prend pas la peine de vérifier ce qu'il en est, puisque l'important est de former, la suite " allant de soi ".

Nous connaissons par exemple un système de formation pour professeurs d'université censé leur apprendre diverses techniques pour améliorer leurs cours (créer des supports pédagogiques - transparents, syllabus,… - performants, gérer l'apprentissage des grands groupes, …). L'effet attendu sur le terrain de telles actions de formation est que la pratique d'enseignement des professeurs soit améliorée, et par là que l'apprentissage de leurs étudiants soit performant, objectif qui pourrait facilement être opérationalisé en termes d'accroissement des taux de réussite ou des notes aux examens. Une telle opérationalisation, et donc l'évaluation qui pourrait l'accompagner, n'est malheureusement jamais réalisée dans ce cadre, alors même que l'effort de formation est relativement important en termes de nombre d'actions de formation réalisées.

Selon nous, tout système de formation devrait d'une manière ou d'une autre chercher à établir l'impact de ses actions (note 13). Si cette évaluation ne peut être faite de manière systématique, nous pensons qu'elle pourrait au moins être approchée par inférence à partir de l'évaluation de la pertinence de l'action, de son efficacité pédagogique et du transfert qui en résulte.

La stratégie qui sera adoptée pour réaliser ces évaluations dépendra de ce qu'on souhaite faire grâce à l'évaluation. Si l'objectif est de pouvoir valider et certifier la réussite, une stratégie stricte et relativement fermée s'impose. Par contre, si l'objectif est d'améliorer le dispositif de formation, des outils plus ouverts seront nécessaires afin de déboucher sur un diagnostic nuancé. Cette question du choix de la stratégie en fonction des objectifs de l'évaluation est très importante et mériterait d'autres développements. Il semble évident, par exemple, qu'on évaluera les acquis de manière différente si l'objectif est de certifier que le Service Formation remplit correctement ses tâches, ou de permettre au participant de se situer dans son parcours d'apprentissage ou encore de délivrer un certificat permettant l'accès à un nouveau poste (note 14).

Lorsque l'objectif est de montrer - de manière continue - le bon fonctionnement du " système formation ", il devrait être possible d'utiliser un " questionnaire de satisfaction " amélioré pour réaliser les trois niveaux d'évaluation. Des résultats positifs aux différentes questions ne permettront bien sûr jamais de certifier un quelconque impact, mais ils pourront en augurer. Par contre, la mise en évidence de résultats négatifs sur l'une ou l'autre de ces dimensions devrait attirer l'attention des gestionnaires de la formation et les conduire à réaliser une analyse plus approfondie afin de prendre les mesures nécessaires pour assurer une meilleure rentabilité de leur système.

Un tel questionnaire orienté vers l'évaluation de l'efficacité d'une formation pourrait ressembler à celui que nous proposons en annexe, en sachant que notre souci est surtout d'illustrer et de concrétiser notre propos, et non pas d'imposer un modèle.

Dans cet exemple, les questions 3, 4 et 8 concernent plus spécialement l'évaluation de la pertinence, les questions 1, 2 et 10 plus spécialement l'évaluation des acquis, et les questions 5, 6, 7 et 9 plus spécialement l'évaluation du transfert. Il y a donc chaque fois plusieurs indicateurs qui permettent de recouper l'information afin de mieux cerner l'évaluation. Dans la perspective que nous avons développée ici, le questionnaire proposé ne s'attarde qu'à l'évaluation de l'efficacité d'une action de formation, à travers les 3 critères. Il ignore volontairement l'évaluation du processus de formation, qui cependant est indispensable si on souhaite interpréter en profondeur les éventuelles difficultés rencontrées et apporter les améliorations nécessaires.

 

Bibliographie

Courau, S. (1993), Les outils d'excellence du formateur - Pédagogie et animation, Paris : ESF éditeur.

Dennery, M. (1997), Organiser le suivi de la formation, Paris : les Éditions d'Organisation.

Dennery, M. (1999), Piloter un projet de formation, Paris, ESF Éditeur.

D'Hainaut, L. (1975). Concepts et méthodes de la statistique (Vol. 1). Bruxelles : Labor.

Gerard, F.M., Van Lint-Muguerza, S. (2000). Quel équilibre entre une appréciation globale de la compétence et le recours aux critères ?, in Bosman, C., Gerard, F.M., Roegiers, X. (Éds). Quel avenir pour les compétences ? Bruxelles : De Boeck Université, pp. 135-140.

Hauser G., Massingue B., Maitre F. et Vidal F. (1985). L'investissement Formation, Paris, Les Éditions d'Organisation.

Ouellet, G. (1985). Statistiques. Théorie, exemples, problèmes. Sainte-Foy (Québec) : Le Griffon d'argile.

Roegiers, X. (1997). Analyser une action d'éducation ou de formation, Paris-Bruxelles : De Boeck Université.

Roegiers, X., Wouters, P. & Gerard, F.M., (1992). Du concept d'analyse de besoins en formation à sa mise en œuvre, Formation et Technologies - Revue européenne des professionnels de la formation, Vol.I, n° 2-3, 32-42.

 

 

Exemple de questionnaire de satisfaction, orienté vers l'évaluation de l'efficacité

1. Comment vous sentez-vous à l'issue de la formation ?

2. Pensez-vous que l'alternance théorie-pratique a permis une efficacité maximale ?

3. Êtes-vous satisfait des contenus proposés ?

4. Estimez-vous que les objectifs de la formation sont ceux qui vous aideront à être plus performant dans votre travail ?

5. Êtes-vous satisfait des possibilités d'utilisation des acquis sur votre lieu de travail ?

6. Quelle partie des acquis estimez-vous pouvoir mettre en œuvre sur votre lieu de travail ?

7. Dans quel délai aurez-vous l'occasion de mettre les acquis en œuvre sur votre lieu de travail ?

8. Êtes-vous satisfait des compétences que vous avez acquises ?

9. Êtes-vous optimiste quant aux possibilités de transfert des compétences acquises ?

10. Pour chaque objectif, estimez, selon vous, votre niveau de compétence.

 

Notes

(1) Contrairement à ce qui est souvent présenté, le " questionnaire de satisfaction " ne correspond pas à un premier niveau d’évaluation de la formation. Il ne s’agit en fait que d’un " questionnaire " et donc d’un outil de recueil d’informations qui – comme nous le verrons – peut être utilisé pour différents niveaux d’évaluation. Retour

(2) Notamment, les analyses de régression multiple. Retour

(3) Cette évaluation porte sur le produit de la formation, et non pas sur le processus mis en œuvre. L’évaluation de celui-ci est bien sûr possible et importante, surtout parce qu’elle peut apporter des éléments intéressants pour comprendre une éventuelle inefficacité. Par exemple, si une journée de formation est entrecoupée par un repas offert aux participants et que celui-ci se révèle trop frugal, ou au contraire trop copieux, on peut imaginer que cet élément ait une influence négative sur l’efficacité pédagogique, soit que les participants soient de mauvaise humeur, soit qu’au contraire ils soient " endormis " durant l’après-midi. C’est à dessein que nous prenons comme exemple un élément de processus relativement " externe " à la formation elle-même, car on peut imaginer que des éléments plus internes (stratégie pédagogique, qualité des supports didactiques, connaissance du sujet par le formateur,...) auront une influence encore plus importante, qu’il conviendrait de mettre en évidence le cas échéant. L’évaluation du processus est donc indispensable, mais nous avons fait le choix ici de ne nous positionner que dans une perspective d’évaluation des résultats. Retour

(4) L’équation peut être mise en relation avec l’approche de Dennery (1999) qui considère que la performance d’un travailleur (ou d’une équipe) est liée à la compétence, à la motivation et à l’environnement (P = CME). La compétence est en lien avec l’efficacité pédagogique, tandis que la motivation et l’environnement sont deux facteurs qui peuvent expliquer la présence ou l’absence du transfert. Retour

(5) Voir notamment Roegiers, X., Wouters, P. & Gerard, F.M., (1992). Retour

(6) Ce contexte peut être analysé à l’aide d’un outil tel que FORMALYSE, outil d’aide à la décision en formation, développé par le BIEF. Retour

(7) La plupart d’entre eux sont issus d’EVOLYSE, outil d’aide à l’évaluation d’actions de formation, développé par le BIEF. Retour

(8) Il est à noter que cette articulation contribue à rendre l’action plus pertinente, mais qu’elle peut être aussi la source de difficultés au niveau de l’évaluation de l’impact, puisqu’il sera difficile d’isoler l’influence de chaque action. Il peut d’ailleurs arriver qu’une des actions rencontre des problèmes importants, débouchant sur un impact négatif qui annihilerait l’impact positif des autres actions. Retour

(9) Les formules à utiliser dans un tableur seront : m = MOYENNE (P1:Pn) – s = ECARTYPEP (P1:Pn) – h = s / m [à mettre en format %] Retour

(10) " Le gain brut a souvent été employé à tort pour évaluer l’efficacité d’une action pédagogique. Il s’agit là d’une variable peu adéquate, car des intervalles égaux de gains bruts ne correspondent pas à des intervalles égaux de la grandeur mesurée (efficacité de l’action pédagogique) ; en effet, il est bien plus facile de passer de 55/100 à 65/100 que de 85/100 à 95/100 : les intervalles du haut de l’échelle sont plus " lourds " que ceux du bas de l’échelle, ce qui est contraire à la condition de proportionnalité entre la mesure et la grandeur. (…). Le gain relatif – qui est le rapport de ce que l’élève a gagné à ce qu’il aurait pu gagner au maximum – est indépendant du niveau de départ et comme, à niveau de départ égal, il est proportionnel à la performance, on peut considérer que le gain relatif est proportionnel à ce qu’il veut mesurer. " (D’Hainaut, 1975, Volume 1, pp. 158-159). Retour

(11) Il est difficile de dégager un seuil précis, car cela dépend aussi du type d’apprentissage. Par exemple, pour des apprentissages techniques, la différence est souvent nette : " je ne savais rien, et maintenant je sais ". Le gain relatif pourrait dans ce cas être supérieur à 50% pour considérer qu’il y a un réel accroissement de compétences. Par contre, pour des apprentissages plus sociaux ou comportementaux, on ne part pas de rien et les progrès sont moins visibles. Dans certains cas, un gain relatif de 25% pourrait alors être considéré comme significatif. Il faut donc analyser les chiffres avec prudence et circonspection. Retour

(12) Les formules à utiliser dans un tableur seront : Gain brut = m ₂ - m ₁ – Gain relatif = (m ₂ - m ₁) / (10 - m ₁) [à mettre en format %] Retour

(13) Même lorsque la formation s’inscrit dans une logique individuelle, il devrait y avoir un impact qui peut être évalué. L’effet attendu au niveau individuel est-il atteint, que ce soit une promotion, un changement de carrière ou simplement le plaisir d’apprendre, d’être en relation avec d’autres, etc. ? Retour

(14) Ces trois objectifs peuvent se justifier. Parfois cependant, on demande au Service Formation de se substituer à celui de Gestion des Ressources Humaines en prenant appui sur les résultats de l’évaluation de la formation pour licencier l’un ou l’autre participant ou accorder une augmentation. Il s’agit là d’une dérive dangereuse, mais dans laquelle on tombe facilement. Retour