L'indispensable subjectivité de l'évaluationFrançois-Marie GERARD
Lors de nombreuses interventions relatives à l'évaluation, que ce soit à propos de l'évaluation d'actions de formation, de projets, de manuels scolaires ou encore des acquis des élèves, la réflexion que nous entendons le plus souvent est " nous faisons de l'évaluation, mais un peu n'importe comment, nous devrions faire une évaluation plus objective... ". Cette réflexion traduit une préoccupation légitime les enjeux de l'évaluation sont importants, et on ne peut pas se permettre de " faire n'importe quoi " ainsi qu'une réelle difficulté comment faire pour ne pas " faire n'importe quoi ". Les tentatives tant théoriques que pragmatiques de rendre l'évaluation objective sont dès lors nombreuses, mais au bout du compte elles semblent toutes déboucher sur un échec : atteindre l'objectivité semble être de l'ordre de la chimère, du rêve inaccessible. L'idée que nous voudrions développer ici est que non seulement l'objectivité de l'évaluation est impossible, parce que la subjectivité est inévitablement présente dans tout processus d'évaluation, mais que de plus cette subjectivité est nécessaire pour que l'on puisse vraiment parler d'un processus d'évaluation. En d'autres termes, il n'y a évaluation que parce qu'il y a subjectivité !
Précisons bien le sens exact de notre propos : nous partageons tout à fait le souci des nombreux évaluateurs que nous rencontrons de " ne pas faire n'importe quoi ". Quelle que soit la fonction de l'évaluation orientation, régulation ou validation (note 1) , les décisions qui vont découler de l'évaluation sont importantes, et il convient évidemment de prendre les " bonnes " décisions, c'est-à-dire celles qui correspondent à la situation qui est évaluée. Il est donc nécessaire que l'évaluation se déroule de façon rigoureuse, précise, complète, etc. Plus encore, il est souhaitable que l'évaluation se fonde sur la réalité, et non pas sur l'impartialité de l'évaluateur. Cependant, ce qu'il est nécessaire d'éviter n'est pas la subjectivité de l'évaluation, mais bien l'arbitraire (note 2). Une évaluation arbitraire serait celle qui procéderait " n'importe comment ", sans se fonder sur une démarche consciente, rigoureuse, critique. Et il faut reconnaître que l'arbitraire est malheureusement présent dans de nombreuses opérations d'évaluation. Combien d'élèves échouent-ils lors d'un examen tout simplement parce que leur tête ne revient pas à l'enseignant, ou encore que celui-ci porte son évaluation sur des choses qui n'ont rien à voir avec les compétences à maîtriser ? Combien de projets sont-ils considérés comme de " bons " projets, uniquement parce que les personnes qui y ont participé y ont pris plaisir, alors que le projet n'a pas atteint de résultats positifs, ou vice versa ? Combien de manuscrits de manuels scolaires sont-ils rejetés par une commission d'agrément tout simplement parce qu'ils n'ont pas été réalisés par la " bonne " équipe de concepteurs ? Tous ces exemples montrent à suffisance la nécessité absolue de lutter contre l'arbitraire de l'évaluation. Mais pour mener ce combat, l'entrée " objectivité de l'évaluation " est une impasse, car il existe un risque à limiter cette objectivité au caractère de ce qui existe en dehors de la pensée, alors que l'évaluation est fondamentalement un acte de la pensée. Déjà en 1992, Jean Cardinet, à la suite de Jacques Weiss (1984), abordait la question à travers un excellent article, trop méconnu malheureusement. Nous reprenons ici de manière très synthétique son intéressant raisonnement, même si celui-ci ne concerne quasi exclusivement que l'évaluation des acquis des élèves (note 3) alors que notre réflexion s'intéresse à tous les champs d'application de l'évaluation. Selon Cardinet,
Cardinet propose alors de concentrer l'évaluation des acquis de l'élève sur des instruments permettant essentiellement une interprétation clinique, de privilégier l'évaluation formative pour laquelle le manque de repères est moins gênant dans la mesure où celle-ci n'exige pas de mettre une note à une copie, de constituer des " banques d'items étalonnés " à partager pour être le plus précis possible pour les critères et les indicateurs, de favoriser les " portefeuilles de présentation " (portfolios) pour la reconnaissance des acquis expérientiels. Il termine en disant que si l'on peut améliorer le contrôle, on ne peut pas oublier qu'évaluer, c'est avant tout comme l'a montré Ardoino (1976) donner du sens au résultat observé... et il sous-entend qu'il s'agit donc là inévitablement d'une opération subjective. Nous voudrions compléter le raisonnement de Cardinet non seulement en élargissant le champ d'application de la réflexion, mais aussi en montrant en quoi et pourquoi tout le processus d'évaluation est fondamentalement subjectif, et doit l'être. Nous esquisserons également des pistes pour éviter que cette subjectivité soit synonyme d'arbitraire.
Pour ce faire, nous allons nous référer à la définition qui nous semble la plus complète du processus d'évaluation, celle donnée par Jean-Marie De Ketele (1989) et que nous avons déjà diversement commentée (note 4). Évaluer signifie
L'évaluation prépare une décision. Celle-ci n'est bien sûr pas connue au départ (sinon, il ne servirait à rien d'évaluer...), mais ce qui doit être connu, pour pouvoir orienter le processus d'évaluation, c'est le type de décision qui pourrait être prise au terme de l'évaluation :
Selon tel ou tel type de décision, tout le processus d'évaluation sera modifié pour pouvoir atteindre l'objectif qui est visé par l'évaluation. On n'utilisera pas les mêmes critères, les mêmes indicateurs, ni les mêmes outils, etc. Dans de nombreux cas, l'évaluateur a une liberté assez grande pour choisir l'objectif de l'évaluation. Par exemple, quand un chef d'une P.M.E. décide d'avoir un entretien d'évaluation avec un membre de son personnel, il peut choisir d'orienter cet entretien vers la détermination commune de mesures à prendre pour améliorer le travail de l'agent ou d'utiliser cet entretien pour augmenter ou non sa rémunération. Mais dans de nombreux autres cas, le type de décision est imposé aux évaluateurs. C'est le cas lorsqu'une commission d'agrément siège pour accepter ou non la distribution d'un manuel scolaire. Constatons néanmoins qu'il y a toujours quelque part quelqu'un qui choisit le type d'objectif que doit poursuivre l'évaluation et que ce choix va orienter le processus d'évaluation. Première inévitable et indispensable subjectivité (note 5).
Une fois connu le type de décision à prendre, l'évaluateur va devoir choisir les critères auxquels devra correspondre l'objet évalué. Un critère est une qualité que l'on attend de l'objet évalué, c'est un point de vue duquel on se place pour porter un regard sur l'objet. Par exemple, pour évaluer un projet ou un système de formation afin de décider s'il est nécessaire de lui apporter des modifications, je peux me demander si le projet ou le système est efficace, c'est-à-dire si les résultats atteints correspondent aux objectifs visés, mais aussi s'il est efficient, c'est-à-dire si ces résultats sont atteints de la manière la plus " économique " possible, ou encore s'il est équitable, c'est-à-dire s'il permet à chacun d'atteindre les résultats visés quelles que soient les conditions de départ (note 6). L'efficacité, l'efficience, l'équité sont différents critères qui peuvent être utilisés. D'autres critères pourraient encore être choisis : la pertinence des objectifs poursuivis, la cohérence des moyens mobilisés, l'adhésion des acteurs, etc. (note 7) À nouveau donc, un choix va être effectué. L'enseignant va-t-il tenir compte ou non de la présentation du travail qu'il veut évaluer, de l'orthographe, de l'économie du raisonnement, de l'exactitude de la réponse, etc. ? Pour toute évaluation, il y a une multitude de critères qui peuvent être retenus. Un choix doit être effectué, d'une part parce qu'il est impossible d'un point de vue pratique de gérer trop de critères (note 8), et d'autre part parce que cela déboucherait vraisemblablement sur une standardisation socialement inacceptable comme l'a relevé Cardinet. Il faut donc choisir des critères, mais ce choix ne peut pas s'effectuer " n'importe comment ". Les critères retenus doivent être (Gerard, F.M. & Van Lint-Muguerza, S., 2000) :
La sélection des critères d'évaluation est un des éléments qui permet de différencier l'évaluation du contrôle. Dans celui-ci, les critères ne sont pas choisis, mais sont imposés par une norme extérieure. Par exemple, un contrôle de qualité dans la construction de boulons consiste à vérifier si la mesure des boulons produits ne dépasse pas le taux de tolérance prédéfini par le manuel des procédures ; un contrôle de vitesse consiste à vérifier si une voiture ne dépasse par la vitesse prévue dans le code de la route, etc. Le choix des critères est une opération importante de l'évaluation. Elle est délicate et difficile, parce qu'il convient de choisir les " bons " critères, c'est-à-dire ceux qui permettront de prendre la " bonne " décision. Deuxième inévitable et indispensable subjectivité.
Les critères définissent, de manière abstraite et générale, l'idéal auquel doit correspondre l'objet évalué. Pour savoir si ces critères sont atteints, l'évaluateur doit observer un certain nombre d'indicateurs. Ceux-ci ne sont pas de l'ordre de l'idéal, mais de la réalité. Ils ne sont pas abstraits, mais concrets ; leur caractère n'est pas général, mais particulier. À nouveau, l'évaluateur a le choix entre une multitude d'indicateurs. S'il veut évaluer la qualité matérielle d'un manuel scolaire, va-t-il observer le format, le nombre de couleurs, le grammage du papier, les polices de caractères utilisées, le type de couverture, etc. ? Le choix qui va s'effectuer devra bien sûr ne pas être arbitraire. L'élément décisif est, comme le relève la définition de De Ketele, la pertinence de l'indicateur. Cela veut dire que l'indicateur choisi doit effectivement apporter à l'évaluateur de l'information relative au critère auquel il se réfère. Autrement dit, les informations qu'il recueille, c'est-à-dire les indicateurs, doivent lui permettre de vérifier ce qu'il veut vérifier. Par exemple, si un responsable de formation veut évaluer la qualité du dialogue formateur-participants en salle de cours (= critère), il ne doit pas chercher à connaître le niveau de connaissances des participants (= indicateur non pertinent), mais bien l'avis de ceux-ci sur la qualité du dialogue (= indicateur pertinent). Les informations à recueillir ne sont pas des connaissances, mais des avis, c'est-à-dire des représentations. Par contre, s'il veut vérifier si les participants ont acquis les connaissances et compétences visées par la formation, il ne lui sert à rien de demander aux participants si les cours ont été intéressants. Il existe deux types principaux d'indicateurs : les faits, que l'on peut constater, et les représentations (note 10), c'est-à-dire ce que les personnes pensent, ce qu'elles disent. D'autre part, les indicateurs peuvent être quantitatifs, lorsqu'ils contiennent des données chiffrées, ou qualitatifs, lorsqu'ils ne s'expriment que par des mots, à l'exclusion de chiffres (note 11). La recherche de " l'objectivité " ne doit pas conduire à ne privilégier que les faits et les indicateurs quantitatifs. Les représentations et les indicateurs qualitatifs sont tout aussi intéressants, parfois même plus, parce qu'ils permettent souvent de mieux comprendre la situation, et donc de donner sens à l'évaluation. Ce qui compte, c'est d'une part que les indicateurs soient pertinents par rapport aux critères, et d'autre part que l'information recueillie soit valide. Ceci dépend du choix de la stratégie de recueil d'informations dont nous parlerons dans le point suivant. Pour référer un objet d'évaluation à un critère, l'évaluateur doit donc choisir un certain nombre d'indicateurs (pour de nombreux critères, un seul indicateur ne suffit pas si l'on veut que la démarche soit rigoureuse). Troisième inévitable et indispensable subjectivité.
Pour recueillir l'information à propos des indicateurs, l'évaluateur va devoir choisir une stratégie, parmi plusieurs méthodes de recueil d'informations. Il peut interviewer des personnes, les interroger par voie de questionnaire, étudier des documents, observer une situation, etc. Toutes ces méthodes peuvent être utilisées, mais certaines sont plus adaptées que d'autres à l'une ou l'autre situation (De Ketele, J.M. & Roegiers, X., 1993). Pour garantir la rigueur du processus, le choix de la stratégie doit permettre de garantir deux caractéristiques importantes de l'information recueillie : sa validité et sa fiabilité. Les informations récoltées seront valides si elles correspondent effectivement aux informations recherchées, ce qui implique que l'évaluateur choisisse la bonne stratégie (méthodes, techniques, outils) à mettre en uvre pour recueillir les informations qu'il souhaite obtenir. Par exemple, si un enseignant veut vérifier si ses élèves sont capables de mesurer un courant à l'aide d'un multimètre, il ne doit pas demander aux élèves de décrire par écrit les opérations à effectuer, mais bien les mettre en situation pratique de mesurer un courant à l'aide d'un multimètre. Si un responsable de formation veut étudier la qualité du dialogue entre un formateur et les participants, s'il a identifié les indicateurs pertinents et les informations à recueillir (les avis des participants), il doit créer un climat de confiance pour que ceux-ci s'expriment librement, ou bien recueillir les avis de façon anonyme, pour que les participants n'aient pas peur d'exprimer des avis négatifs. S'il recueille les avis oralement, par exemple en présence du formateur ou même du chef hiérarchique, les informations ne sont pas valides, même si elles avaient été identifiées comme pertinentes. La fiabilité signifie quant à elle que les mêmes informations pourraient être récoltées par quelqu'un d'autre, à un autre moment ou à un autre endroit. Dans l'exemple de l'évaluation du dialogue formateur-participants, il y a des moments et des lieux plus propices que d'autres pour recueillir une information fiable. Dans le cas de la vérification de l'utilisation d'un multimètre, si l'enseignant demande successivement à chaque élève de prendre la même mesure, et que les élèves ont l'occasion de voir ce que fait le précédent, l'information recueillie ne sera pas fiable, sauf pour le premier élève. Le choix de la stratégie a donc un impact important sur le processus d'évaluation. C'est vraisemblablement à ce niveau que l'évaluateur peut le plus " objectiver " sa démarche, en étant particulièrement attentif à la validité et à la fiabilité de telle sorte que l'information recueillie reflète bien la réalité évaluée. Il n'en reste pas moins vrai que même à cet égard, c'est une question de choix, et que deux évaluateurs peuvent pour la même évaluation choisir deux stratégies différentes, garantissant l'une et l'autre un bon niveau de validité et de fiabilité. Quatrième inévitable et indispensable subjectivité.
Une fois l'information recueillie, il s'agit de confronter les indicateurs aux critères pour voir s'il y a adéquation ou non entre la réalité et l'idéal. Cette opération est au cur-même de l'évaluation, car c'est à ce moment-là que va vraiment se déterminer la " valeur ", c'est à ce moment-là que va être donné le sens, par l'intermédiaire d'un " jugement de valeur " de l'évaluateur. Pour comprendre ce qui se passe dans l'évaluation, reprenons l'exemple du contrôle de vitesse. Lorsqu'un radar contrôle la vitesse de ma voiture et que celle-ci dépasse la vitesse autorisée, il se contente de faire un constat. Il s'agit d'un contrôle. Admettons que je reconnaisse l'excès de vitesse, mais que j'estime pouvoir le justifier pour l'une ou l'autre raison (je me rendais au chevet de mon fils accidenté, j'avais un avion à prendre,...). Je vais m'adresser au juge pour qu'il entende mes explications. Le juge, sur la base d'un certain nombre de critères qu'il aura déterminés et sur la base des indicateurs en sa possession, va prendre une décision. Il va faire un " jugement de valeur " qui pourrait, si j'ai de la chance, pardonner mon excès de vitesse en raison de circonstances atténuantes. Le juge a fait de l'évaluation. Il ne s'est pas contenté de constater un écart entre la norme et la réalité, mais il a donné du sens à tous les éléments en présence. Il en va de même lorsqu'on évalue, avec toute la rigueur souhaitée, la réussite ou l'échec d'un élève, l'efficacité d'un projet, l'adéquation d'un manuel à un système éducatif, etc. Chaque fois, l'évaluateur donne du sens. Non pas " n'importe comment " : il fonde ce jugement de valeur sur tout un processus qu'il s'est efforcé de rendre le plus rigoureux possible, le plus systématique. Mais l'acte du sens reste fondamentalement un jugement de valeur. Cinquième inévitable et indispensable subjectivité. Pour synthétiser la place de la subjectivité dans l'évaluation, nous reprenons le schéma proposé par Jean-Marie De Ketele et Xavier Roegiers (1993, p. 77), en écrivant en blanc sur fond noir les opérations où la subjectivité intervient. La plus grande partie du processus d'évaluation est fondamentalement subjective, parce qu'en de nombreuses étapes du processus, l'évaluateur doit réaliser un certain nombre de choix, qui vont conditionner le processus et donc aussi le résultat de l'évaluation.
4. La conscience de la subjectivitéIl est vain de vouloir éviter cette subjectivité. Bien plus, il faut en avoir pleinement conscience, et savoir que c'est parce qu'il y a cette subjectivité que l'on peut parler d'évaluation. Mais il faut être réellement conscient des choix qui sont faits, savoir pourquoi on fait tel choix plutôt qu'un autre, savoir quelles sont les implications des choix effectués, vérifier que ces choix permettent de préparer la décision consécutive à l'évaluation de la manière la plus rigoureuse possible,... Finalement, ce que l'on peut reprocher la plupart du temps aux évaluations telles qu'elles sont pratiquées, ce n'est pas leur subjectivité, mais le flou dans lequel elles se déroulent. Des choix sont faits, mais ils ne sont pas clairement désignés en tant que tels, ne sont pas rendus transparents. Souvent aussi, ils ne sont pas non plus cohérents. Par exemple, lorsqu'on décide d'évaluer une action de formation, la démarche la plus fréquente consiste à élaborer un questionnaire, à le faire passer aux participants et à rassembler l'information ainsi recueillie. À aucun moment, on ne s'est demandé pourquoi on faisait cette évaluation (quel type de décision doit-on prendre au terme du processus), quels étaient les critères qui permettraient de fonder la décision, quels étaient les indicateurs nécessaires pour confronter la réalité à ces critères, quelle était la stratégie la plus appropriée pour recueillir l'information sur ces indicateurs, et enfin on n'a pas cherché à vraiment donner du sens aux résultats recueillis. La subjectivité est donc inévitable dans tout processus d'évaluation, mais elle est aussi indispensable. Subjectivité, oui... mais arbitraire, non !
Bibliographie
Ardoino, J. (1976). Préface du livre de Morin, M. L'imaginaire dans l'éducation permanente : analyse du discours des formateurs, Paris : Bordas/Gauthier-Villars. Cardinet, J. (1992). L'objectivité de l'évaluation, Formation et technologies - Revue européenne des professionnels de la formation, n°0, 17-26. Chevallard, Y. (1986). Vers une analyse didactique des faits d'évaluation, in De Ketele, J. M. (1986). L'évaluation : approche descriptive ou prescriptive ?, Bruxelles : De Boeck Université, pp. 31-59. De Ketele, J.M., (1989). L'évaluation de la productivité des institutions d'éducation, Cahiers de la Fondation Universitaire : Université et société, le rendement de l'enseignement universitaire. De Ketele, J.-M., Gerard, F.-M., Roegiers, X. (1997). L'évaluation et l'observation scolaires : deux démarches complémentaires, Éducations - Revue de diffusion des savoirs en éducation, 12, 33-37. De Ketele, J.M. & Roegiers, X., (1993). Méthodologie du recueil d'informations, Bruxelles : De Boeck Université. Gerard, F.-M. (1998). L'évaluation au service des manuels scolaires, ATTAALIM - Revue pédagogique et culturelle de l'Institut Pédagogique National, Mauritanie, n°29, 115-122. Gerard, F.-M. (2001). L'évaluation de la qualité des systèmes de formation, Mesure et Évaluation en Éducation, Vol. 24, n°2-3. Gerard, F.M., Roegiers, X., (1993), Concevoir et évaluer des manuels scolaires, Bruxelles : De Boeck Université. Gerard, F.M., Van Lint-Muguerza, S. (2000). Quel équilibre entre une appréciation globale de la compétence et le recours aux critères ?, in Bosman, C., Gerard, F.M., Roegiers, X. (Éds). Quel avenir pour les compétences ? Bruxelles : De Boeck Université, pp. 135-140. Perrenoud, P. (1984). La fabrication de l'excellence scolaire dans l'enseignement primaire : du curriculum aux pratiques d'évaluation, Genève : Droz. Roegiers, X. (1997). Analyser une action d'éducation ou de formation, Paris-Bruxelles : De Boeck Université. Sall, H.N. & De Ketele, J.-M., (1997). Évaluation du rendement des systèmes éducatifs : apports des concepts d'efficacité, d'efficience et d'équité, Mesure et Evaluation en Education, Vol. 19, n°3. Weiss, J. (1984), La subjectivité blanchie ?, Neuchatel : Institut Romand de Recherches et de Documentation Pédagogiques, IRD/R 84.17b.
Notes(1) Voir notamment De Ketele, J.M. & Roegiers, X., (1993) ; Gerard, F.-M. (1998). Retour (2) En philosophie, Heidegger a pu montrer la dissociation qui existe entre subjectivité et affectivité. Dans notre philosophie occidentale, la subjectivité occupe une noble place : elle est fondatrice de l'individu, en liaison avec sa rationalité. Elle s'exprime dans le cogito cartésien, selon lequel le sujet est celui pour qui le monde est une représentation, un tableau déployé devant le regard. Retour (3) Il s'agit là vraisemblablement d'une problématique particulière, parce que plus que toute autre évaluation, elle s'inscrit également dans une " intersubjectivité ". Chevallard (1986) a bien montré comment l'évaluation des acquis des élèves s'inscrit dans une " négociation didactique " qui permet à l'enseignant et aux élèves de réguler en interactivité le processus d'apprentissage. Ainsi, selon le moment où elle se situe, l'interrogation servira à obliger les élèves à travailler davantage ou, au contraire, à remonter une moyenne de classe compromettante pour l'enseignant. Retour (4) Gerard, F.M., Roegiers, X., (1993) ; De Ketele, J.-M., Gerard, F.-M., Roegiers, X. (1997). Retour (5) Relevons aussi, comme le signale la définition de De Ketele, que l'objectif de l'évaluation peut être ajusté en cours de processus. On peut par exemple évaluer pour décider si des élèves doivent s'orienter vers une section littéraire ou scientifique, mais constater, face à certains élèves, qu'une orientation ne sera possible que si elle est accompagnée de certaines mesures, et qu'il convient donc aussi de décider quelles mesures d'accompagnement doivent être mises en uvre. Retour (6) L'équité d'un système de formation concerne plusieurs dimensions. Voir à ce sujet Sall, H.N. & De Ketele, J.-M., (1997). Retour (7) Pour une systématisation des critères d'évaluation de projets ou de systèmes, voir Roegiers, X. (1997) ; Gerard, F.-M. (2001). Retour (8) C'est pourtant ce qui se passe souvent lorsqu'on élabore des référentiels de formation et des référentiels d'évaluation. Retour (9) L'inverse n'est évidemment pas vrai : un résultat incorrect n'entraîne pas nécessairement une interprétation incorrecte. En cas de dépendance, il arrive souvent qu'un des deux critères soit en fait un indicateur de l'autre. Dans ce cas, le critère " exactitude du résultat " (ou du moins le résultat lui-même) pourrait être considéré comme un des indicateurs parmi d'autres de l'interprétation correcte du problème. Retour (10) Notons qu'un même indicateur peut être soit un fait, soit une représentation, selon l'aspect qui intéresse l'investigateur. Ainsi, l'information " la formation est un investissement rentable pour notre entreprise " peut être traitée comme un fait, vérifié par une diminution des pannes, l'augmentation de la rentabilité,..., si on cherche à vérifier l'impact de la formation ; soit comme une représentation si on s'intéresse à l'idée que se font de la formation les différents acteurs de l'organisation. Retour (11) Il ne faut pas associer d'un côté " fait " et " quantitatif ", et d'un autre côté " représentation " et " qualitatif ". Un fait peut-être une information qualitative (tel formateur commence la formation avec du retard), ou quantitatif (2 formateurs sur 3 commencent dans 80% des cas leur formation avec 20 minutes de retard). Une représentation peut également être qualitative (des participants estiment que les formations devraient commencer à l'heure) ou quantitative (les participants estiment à une valeur moyenne de 1,5 sur une échelle de 1 à 4 la ponctualité du formateur). Retour
|
|