Résumé
La subjectivité de l’évaluation est une réalité qu’il est vain d’ignorer. Cette subjectivité, bien comprise, est due au fait que les acteurs de l’évaluation sont des êtres humains, c’est-à-dire des penseurs. Le problème de l’évaluation n’est pas sa subjectivité, mais le fait qu’elle est parfois arbitraire. Pour l’éviter, il convient de rendre le processus le plus transparent possible, explicite tant pour les évaluateurs que pour les étudiants, et de déterminer des balises concrètes qui permettront de systématiser et de contrôler les fonctions de l’évaluation, les critères et les indicateurs qui sont utilisés ainsi que la démarche qui est en œuvre.

Objectifs
– Porter un regard critique, tant pour les enseignants que pour les étudiants, sur la subjectivité du processus d’évaluation, quelles que soient les disciplines, les fonctions et les démarches considérées.
– Proposer des pistes permettant de maîtriser cette subjectivité et d’objectiver le processus d’évaluation.

L’évaluation est subjective. Toujours (note 1 ). Inévitablement. Nécessairement (Cardinet, 1992 ; Gerard, 2002 ; Romainville, 2012 ; Weiss, 1984). Elle est subjective parce que tout au long de son processus, tel que décrit, par exemple, par Durand et Chouinard (2012), les évaluateurs prennent – sur la base de leur subjectivité, fût-elle professionnelle – une série de décisions (Gerard, 2002) : Quels sont les objectifs poursuivis ? Quels sont les critères utilisés ? Quelles sont les informations à recueillir ? Quels sont les indicateurs issus de ces informations qui pourront être confrontés aux critères ? Quelle méthodologie utiliser pour recueillir les informations ? Comment – sur la base de la confrontation des critères et des indicateurs – construire le jugement de valeur qui permettra de répondre aux objectifs de l’évaluation ?

Ils pourraient chaque fois prendre d’autres décisions, mais ce sont celles-là qu’ils prennent. Non pas de manière aléatoire ou impulsive, mais en fonction d’une réflexion systématique et consciente. Du moins, ce devrait être le cas. La question de la subjectivité n’est en soi pas un problème pour l’évaluation. Ce qui est – parfois – un problème, c’est quand cette subjectivité n’est pas maîtrisée, lorsqu’elle devient folle et hasardeuse, par exemple parce que l’évaluateur n’a pas conscience de manière explicite des choix qu’il effectue et des raisons qui soutiennent ces choix. L’ennemi de l’évaluation, ce n’est pas sa subjectivité, mais son arbitraire (Jeffrey, 2013 ; Jeffrey et Boily, 2017).

La subjectivité dont il est question ici est loin d’être une tare ! Au contraire, il s’agit de l’essence même de l’être humain, de sa noblesse. «  Je pense, donc je suis !  », écrivait René Descartes au début du XVIIe siècle. C’est parce que nous pensons que nous existons, que nous sommes des êtres humains. La différence fondamentale entre un être humain et tous les autres êtres vivants est sa pensée, sa subjectivité. C’est celle-ci qui est en œuvre dans l’évaluation : c’est elle qui permet de donner du sens, de construire la valeur de ce qu’on évalue. C’est d’ailleurs son sens étymologique premier : qui a rapport au sujet, en parlant de ce qui se passe dans notre esprit, de ce qui est en nous et s’oppose à l’objet qui lui serait objectif. Ce n’est que dans son deuxième sens que le mot subjectivité endosse une éventuelle connotation négative : qui relève du jugement ou du goût personnel, comme si celui-ci était inévitablement sans validité ni fiabilité !

Il faut évidemment aussi s’entendre sur ce qu’est l’évaluation. À cet égard, un détour étymologique n’est également pas un luxe. Les mots évaluation et évaluer ont pour origine la racine indo-européenne *wal dont la signification est exprimer sa force, être puissant. Sur cette base, le latin utilisera evaluatio, un mot composé de la préposition e (ou ex) signifiant hors de, et du substantif valuatio, dérivé du verbe valere, être fort, bien portant, puissant ou valoir. Cette référence étymologique est intéressante : évaluer consiste à faire sortir la valeur de ce qu’on évalue, à en montrer la force et la puissance…

Il peut dès lors être question de formuler un jugement sur l’objet à évaluer (Bressoux et Pansu, 2003), d’attribuer une valeur à celui-ci (Hameline, 2005), d’attribuer une signification à la prestation d’un sujet (Jorro, 2007), de lui donner du sens (Ardoino, 1976), ou encore de fonder une prise de décision (De Ketele, 1993 ; Gerard et BIEF, 2009 ; Stufflebeam et al., 1980). Dans cette dernière perspective, l’évaluation peut être définie de la manière suivante (De Ketele, 1989, 2010) : l’évaluation est le processus qui consiste à recueillir un ensemble d’informations pertinentes, valides et fiables, puis à confronter cet ensemble d’informations à un ensemble de critères choisis adéquatement pour attribuer une signification aux résultats de cette confrontation et ainsi pouvoir fonder une prise de décision.
La question de la subjectivité – et les interpellations qu’elle soulève – n’a cependant pas toujours la même importance. Notamment, cela dépend de ce qu’on évalue, c’est-à-dire de l’objet de l’évaluation. Dans l’univers de l’éducation ou de la formation, on distingue aujourd’hui deux objets d’évaluation des apprentissages ou des acquis des étudiants. On peut évaluer :

• d’une part des compétences (note 2 ), c’est-à-dire la manière dont un étudiant est à même de gérer une situation complexe exigeant une production complexe, en combinant de manière plus ou moins appropriée et intégrée des ressources diverses ;
• d’autre part ces ressources en elles-mêmes, en matière de savoirs ou de savoir-faire, voire de savoir-être (note 3 ).

Par exemple (note 4 ), pour un étudiant en musique, évaluer une ressource consistera à vérifier s’il est à même de jouer toutes les gammes avec son instrument, alors qu’évaluer une compétence amènera le même étudiant à interpréter – devant un public réel – un concerto accompagné d’un orchestre avec lequel il n’a jamais joué auparavant.

On sent intuitivement que l’évaluation des ressources peut relativement être objectivée, car, dans une certaine mesure, il suffit de contrôler si l’étudiant exécute exactement ce qu’on attend de lui, alors que l’évaluation des compétences est – par définition – éminemment plus complexe, car elle fait appel à des dimensions diverses, elles-mêmes subjectives.
L’évaluation des ressources ne peut certainement pas être réduite à un simple contrôle, même si – par exemple dans le domaine musical – des machines sont à même de réaliser de telles évaluations. Il ne faut cependant pas croire que ces ressources sont exclusivement simples.

Ainsi, dans son ouvrage Psychopédagogie de l’école musicale. Entendre, écouter, comprendre, Afsin (2009) insiste avec raison sur la nécessité de prendre en considération trois domaines importants et reliés de façon complexe : les domaines cognitif, psychomoteur et affectif (Gerard, 2000). Les exemples suivants donnés par l’auteur (cités dans De Ketele, 2011) sont particulièrement parlants, d’autant plus qu’ils manifestent bien le caractère relié des trois domaines.

• Domaine cognitif : «  Le sujet sera capable de chanter le thème de “L’hymne à la joie” de la 9e symphonie de Beethoven à partir de la note fa dièse, c’est-à-dire dans la tonalité de ré majeur, mais reconstituera par la suite aux instruments cette même mélodie à partir de si, c’est-à-dire en sol majeur, sans aucun accessoire visuel  » (p. 126).
• Domaine psychomoteur : «  Le sujet saura exécuter le rythme aksak (boiteux, irrégulier) de 9/8 de la chanson turque Veresiye en utilisant le pouce et l’auriculaire sur un tambour basque  » (p. 126).
• Domaine affectif : «  Le sujet sera capable de créer et d’improviser dans le cadre de ces formules rythmiques (5/8, 7/8, 9/8, etc.) et dans toutes les décompositions. Cette maîtrise des éléments rythmiques de Veresiye peut permettre au sujet de développer son intérêt spécifique émotionnel pour les musiques construites sur des cellules rythmiques aksak  » (p. 126-127).

Ces ressources n’ont rien de simple, mais elles peuvent être évaluées relativement simplement et objectivement, car elles portent sur des objets clairement délimités dont il suffit de constater la présence ou non, en permettant à l’étudiant une certaine marge d’erreur qui lui permettra d’avoir des appréciations chiffrées plus ou moins élevées si l’évaluation se traduit par des points.

Par contre, pour évaluer une compétence, on ne peut pas se permettre de constater uniquement une bonne réponse puisque celle-ci n’existe pas. La production fournie par l’étudiant est complexe, c’est-à-dire composée de différents éléments en interaction. C’est cette complexité et cette interaction qu’il s’agit de mettre en valeur. Il faut alors déterminer clairement les critères selon lesquels on veut évaluer la production de l’étudiant et expliciter les indicateurs concrets qui permettront d’opérationnaliser ces critères. Nous reviendrons sur ces aspects. La question de la subjectivité ne se pose pas non plus dans les mêmes termes selon l’évaluation qui est en jeu. Principalement, les enjeux sont très différents selon la fonction qui est poursuivie par l’évaluation et selon la démarche qui est mise en œuvre dans le processus d’évaluation.

1. Les fonctions de l’évaluation

La fonction de l’évaluation – c’est-à-dire la raison d’être de celle-ci, en relation directe avec le type de décision à prendre au terme du processus d’évaluation – peut être triple, quel que soit l’objet d’évaluation. Que ce soit en art ou dans n’importe quelle autre discipline, on peut vouloir orienter l’étudiant ou le travail à effectuer avec lui, ou améliorer un processus de formation ou d’apprentissage, ou enfin certifier, en apportant la preuve que le processus de formation a atteint ses objectifs et que l’étudiant maîtrise les compétences visées.

Si l’objectif de l’évaluation est d’améliorer et de réguler le processus de formation, d’enseignement ou d’apprentissage – ce qu’on appelle l’évaluation formative – la question de la subjectivité ne se pose pas vraiment. Dans le parcours de formation d’un musicien, on sait bien que celui-ci va travailler avec différents maîtres, reconnus tant pour leur compétence musicale que pour leur compétence pédagogique. Deux films illustrent chacun à leur manière cette approche : Le maître de musique (Corbiau, 1988) avec l’extraordinaire José van Dam ou – dans un genre tout à fait différent – La famille Bélier (Lartigau, 2014) dans lequel un obscur professeur de musique en lycée décèle et développe un talent vocal inattendu. Dans les deux cas, peu importe finalement que ces enseignants-évaluateurs soient objectifs ou subjectifs. Ce qui compte, c’est qu’ils participent au développement musical de ces artistes en herbe et leur permettent de rencontrer d’autres maîtres. Chacun de ceux-ci leur apportera ensuite toute sa subjectivité pour faire éclore un artiste complet et puissant. Tout le monde sait que le maître de musique est totalement subjectif, mais cela ne pose aucun problème, car c’est cette subjectivité qui participe profondément au processus d’éclosion et de développement du talent concerné. Celui-ci aura bien l’occasion de se confronter à d’autres subjectivités qui, chacune à leur manière, contribueront à ciseler le diamant et en faire un artiste hors pair. En ce sens, objectiver la subjectivité consiste simplement à multiplier les subjectivités. L’artiste qui n’aurait été façonné que par un seul maître manquerait plus que vraisemblablement de nombreuses facettes de son art.

À côté de cette fonction de régulation de l’évaluation – qui devrait être la plus fréquente dans un processus de formation – les experts en évaluation s’accordent sur le fait qu’il en existe deux autres : celle d’orienter et celle de certifier.

Dans une formation artistique d’enseignement supérieur, la fonction d’orientation est particulièrement importante, surtout lorsqu’il s’agit de sélectionner les candidats à l’entrée en formation. Pour un candidat, choisir de façon adéquate une telle entrée est un moment important qui risque d’engager toute sa vie. Il est donc fondamental pour lui que la décision prise corresponde réellement à ses potentialités. Pour l’institution de formation, sélectionner ou refuser tel candidat est un processus tout aussi important : le risque est d’accepter de façon inadéquate un candidat qui peut nuire à l’institution ou de refuser un candidat qui aurait pu devenir un excellent artiste, ce qui peut constituer une grave erreur. Le besoin d’objectiver le processus d’orientation ou de sélection est donc particulièrement important afin de réduire au mieux le risque d’erreur. Celui-ci existera cependant toujours : on sait que la validité dans le temps d’une évaluation prédictive vis-à-vis d’une personne est difficile à estimer, mais relativement limitée, entre six mois et sept ans (Lievens et al., 2005). En d’autres termes, le même processus de sélection, aussi rigoureux soit-il, utilisé avec la même personne peut très bien conduire à des décisions différentes selon le moment où est réalisée l’évaluation. Enfin, il convient de considérer que l’évaluation d’orientation, dans une formation artistique, recouvre deux types de décisions importantes qui s’inscrivent dans le processus de formation plutôt qu’à son entrée :

• d’une part, la décision de laisser passer un étudiant dans l’année supérieure, voire de lui conseiller de réaliser tel ou tel projet artistique (par exemple, un concours), dans la mesure où il s’agit, dans les deux cas, d’une prédiction sur le parcours de l’étudiant. Cette évaluation ne consiste pas à certifier que l’étudiant maîtrise les compétences visées par la formation, mais à prédire qu’il pourra réussir l’année supérieure ou son projet artistique ;
• d’autre part, la décision de conseiller l’étudiant à poursuivre sa formation dans telle ou telle autre école, ou avec tel ou tel autre maître.

La fonction de certification (note 5 ) est tout aussi importante, quoiqu’il faille éviter de lui donner trop d’importance dans un processus de formation. Elle consiste à certifier socialement, normalement sur la base d’une preuve, que les résultats d’une action (ou une séquence) terminée correspondent aux objectifs. Dans le cadre d’une formation, l’évaluation certificative permet de délivrer le diplôme ou le certificat qui attestera de la réussite de l’étudiant. La raison d’être de cette évaluation n’est pas pédagogique (elle n’apporte rien au processus de formation), mais sociale (elle permet de garantir aux yeux de la société que la personne diplômée maîtrise bien les compétences visées). Pour une institution de formation, le risque est à nouveau double : elle risque de diplômer un sujet qui ne maîtrise pas les compétences – on parle alors de réussite abusive –, mais aussi de ne pas diplômer un sujet qui maîtrise les compétences – on parle d’échec abusif. Les deux risques existent et l’un n’est pas plus ou moins important que l’autre. Il est donc essentiel de garantir que la décision finale ne dépende pas du bon vouloir ni de l’humeur de l’évaluateur ni encore des circonstances de l’évaluation.

2. Les démarches de l’évaluation

La situation est complexe, car cette problématique des fonctions de l’évaluation est en interaction constante avec les démarches possibles de l’évaluation (De Ketele, 2006 ; Gerard, 2013 ; Gerard et BIEF, 2009). En effet, chacune des fonctions peut être accomplie par une ou plusieurs des démarches suivantes, qui – si elles sont différentes – existent toutes les trois dans la réalité et ne peuvent être considérées ni bonnes ni mauvaises a priori :

• une démarche sommative, qui cherche à dresser un bilan des apprentissages en attribuant une somme (une note, un score, une mesure ou une appréciation chiffrée) au produit de la confrontation entre le référé de l’évaluation (ce qu’on observe) et le référent (ce à quoi devrait correspondre ce qu’on observe) ;
• une démarche descriptive, qui tente de décrire de manière qualitative des comportements, des performances, des difficultés, des produits, des procédures utilisées, etc. qui serviront à la prise de décision ;
• une démarche herméneutique (interprétative ou intuitive) qui cherche à attribuer, de façon plus ou moins consciente et volontaire, une signification à un ensemble d’indices, tant qualitatifs que quantitatifs, rassemblés pour fonder la prise de décision.

Quel que soit le domaine, le croisement des fonctions et des démarches donne au moins neuf cas possibles. Inspiré du travail de De Ketele (2011), le tableau 2.1 reprend quelques situations issues du domaine de la formation musicale.
A priori, l’évaluation la plus subjective est celle qui utilise la démarche herméneutique, d’autant plus que souvent, les indices recueillis le sont de manière inconsciente ou non structurée. Elle n’est pas à rejeter pour autant, d’une part parce qu’elle est de toute façon utilisée par de nombreux enseignants, sans doute en particulier dans la formation artistique, et d’autre part parce que cette approche intuitive et pragmatique des enseignants se révèle souvent au moins aussi efficace que certaines approches lourdes utilisées par des experts. Plusieurs études ont montré que l’évaluation par les enseignants des comportements et des compétences des étudiants en classe apporte un gain d’information, par rapport aux évaluations des performances scolaires standardisées, dans la prédiction des performances scolaires et des trajectoires de réussite ou d’échec des étudiants (Guimard et al., 2007). Même s’ils sont subjectifs dans leur approche, les enseignants se fondent sur une connaissance assertive et interactive des étudiants qui leur permet d’aller de manière pertinente au-delà de ce qu’une évaluation standardisée peut apporter.

TABLEAU 2.1 / Situations du domaine de la formation musicale

Source : Adapté de De Ketele, 2011.

Les travaux indiquent que cette démarche herméneutique peut se révéler performante pour une évaluation d’orientation, y compris dans la durée de la prédiction. Dans le cadre d’une évaluation de régulation, ces évaluations réalisées par les enseignants ont un intérêt limité en matière de validité dans la mesure où elles ne permettent pas – à elles seules – ni de déterminer les processus en jeu dans les apprentissages ni d’aboutir à un diagnostic pour les étudiants en difficulté, si ce n’est de manière globale et intuitive. Cependant, la démarche herméneutique peut très utilement compléter, tant pour orienter que pour réguler, une démarche descriptive, car non seulement elle tient compte des éléments descriptifs observés, mais elle prend en compte aussi d’autres indices (notamment sur les processus d’apprentissage antérieurs) pour produire un diagnostic pertinent qui permettra de mieux orienter l’apprentissage en cours.

Enfin, dans le cadre d’une évaluation certificative, il est évident qu’il faut gérer une telle démarche avec la plus grande prudence, d’autant plus que les enseignants – comme le rappelle Crahay (2006) – accordent naturellement une grande confiance à leur jugement, à la limite de l’infaillibilité. «  Plus précisément, bon nombre des enseignants interrogés semblent considérer que leurs jugements sont objectifs du fait même qu’ils sont en contact quotidien avec les enfants  » (p. 137) ! Même si tous ces travaux concernent l’enseignement obligatoire, il n’y a pas de raison de penser qu’ils ne peuvent pas s’appliquer à l’enseignement supérieur artistique.

La démarche herméneutique est, par essence, subjective. Ce serait une erreur de penser que les deux autres démarches ne le sont pas. Certes, la démarche sommative se donne une apparence d’objectivité sur la base des nombres sur laquelle elle se fonde. Pourtant, c’est bien sur cette démarche qu’ont porté les premiers travaux de la docimologie, la science de l’évaluation. Laugier et Weinberg ont montré – dès 1938 – qu’il faut 127 correcteurs d’une dissertation philosophique pour avoir une moyenne de notes qui ne varie plus par l’ajout d’un nouveau correcteur. Il en faut 78 pour la composition française, et 13 pour une épreuve de mathématiques (de Peretti, 1993).

Combien en faudrait-il pour stabiliser la note dans une épreuve artistique ? Sans doute plus de 127. Pourtant, alors que ce texte est en cours d’écriture, se déroule en Belgique la session 2015 du Concours Reine Élisabeth, consacrée au violon. Le jury de ce qui est considéré comme un des plus grands concours musicaux est composé de 12 personnalités du violon reconnues pour leurs compétences tant musicales que pédagogiques. Ce jury fonctionne exclusivement sur la base de notes : chaque membre du jury donne ses notes pour tous les candidats à l’huissier de justice à la fin de chaque session. Aucune consultation n’a lieu entre les membres du jury et il n’y a pas de délibération dans le sens habituel du terme. Les notes sont traitées de manière confidentielle et le palmarès est, après ajustement éventuel, calculé sur la base de ces notes. Démarche purement sommative donc, qui pourrait également être appliquée en situation académique. Comme tous les candidats qui arrivent à ce stade ont un niveau tant technique qu’artistique élevé, le Concours a toujours couronné d’excellents musiciens. Mais, eu égard aux travaux de la docimologie, il est permis de penser qu’un jury composé de 12 autres personnalités du violon déboucherait vraisemblablement sur d’autres résultats !

La démarche descriptive n’échappe pas à la subjectivité, mais c’est peut-être celle où elle est plus facilement contrôlable et contrôlée. En effet, si une des grandes difficultés de la démarche sommative est qu’on ne sait jamais trop comment est construite la note finale, et donc ce que signifie exactement celle-ci, les commentaires produits lors d’une démarche descriptive sont à la fois plus significatifs et plus vérifiables. L’observateur, ou l’évalué, peut aisément cerner à quoi font référence les descriptions et attester ou non de leur véridicité.

3. Vers une objectivation de la subjectivité

L’évaluation est par nature inscrite dans la subjectivité. Il n’est bien sûr pas acceptable de s’en tenir à ce constat et toutes les tentatives réalisées pour objectiver au mieux l’évaluation sont à prendre en compte. Un danger serait cependant de croire qu’il est possible de surmonter la subjectivité et de pratiquer une évaluation entièrement objective, du moins quand on vise à évaluer des compétences – et leurs apprentissages – et pas seulement la maîtrise de techniques. Avec les technologies actuelles, il est tout à fait possible de demander à une machine de vérifier qu’un musicien exécute une partition dans le respect absolu du rythme, du tempo et de la justesse. Ce n’est pas de l’évaluation, mais du contrôle. Si on va au-delà de ces aspects purement techniques et qu’on souhaite déterminer si le musicien (ou l’étudiant musicien) est à même de faire vivre la partition, de créer l’émotion chez l’auditeur, d’apporter une vision originale de l’œuvre interprétée…, seule une véritable évaluation sera à même de faire ressortir cette valeur ajoutée.

Cette évaluation, que seuls des êtres humains peuvent réaliser, sera inévitablement subjective. Ce qui importe n’est pas de supprimer la subjectivité, mais de garder la maîtrise de celle-ci, de faire en sorte qu’elle ne soit ni aléatoire ni aveugle ni arbitraire. Le véritable danger serait une subjectivité folle, sans aucun garde-fou ni visibilité.

Objectiver l’évaluation consiste dès lors, d’une part, à rendre celle-ci la plus transparente possible, y compris en informant clairement les étudiants et, d’autre part, à lui donner des balises rigoureuses qui, à défaut d’être totalement objectives, permettront de ne pas laisser partir le processus dans tous les sens. Toutes les phases du processus d’évaluation où intervient la subjectivité (Gerard, 2002) devraient être concernées par cette objectivation.

3.1. La fonction de l’évaluation

La fonction de l’évaluation doit être précise et connue tant de l’évaluateur que de l’évalué. Il faut que ceux-ci sachent à quelle décision prépare l’évaluation et sur la base de quels objectifs clairement définis et transmis à l’étudiant : s’agit-il d’orienter l’étudiant, de réguler son apprentissage ou de certifier qu’il a acquis ou non les compétences visées ? Idéalement, l’évaluation ne devrait jamais servir à une autre fonction que celle qui est annoncée, du moins, jamais au détriment de l’étudiant. Ainsi, il ne serait pas acceptable qu’un étudiant qui, dans le cadre d’une évaluation formative, montre ses difficultés ou ses limites soit empêché de présenter l’épreuve finale d’évaluation certificative. On peut envisager qu’il soit conseillé à un étudiant de ne pas présenter cette épreuve finale, mais ce ne devrait pas être sur la base des moments d’évaluation formative durant lesquels, par définition, l’étudiant est invité à montrer ses difficultés afin qu’un travail de remédiation soit effectué pour les surmonter. Par contre, on peut très bien envisager qu’avant l’évaluation certificative finale, une épreuve de sélection soit organisée pour éviter d’y présenter des étudiants qui ne la réussiraient pas. En quelque sorte, ce serait alors une préévaluation certificative. Pour autant que le processus soit clair et connu des étudiants, cette préévaluation – réussie ou non – pourrait être utilisée à des fins formatives pour peaufiner certains éléments non parfaitement maîtrisés ou pour identifier les savoir-faire à retravailler de manière systématique. Dans ces derniers cas, l’utilisation de l’évaluation pour une autre fonction que celle initialement prévue est au bénéfice de l’étudiant.

3.2. Les critères d’évaluation

Une deuxième balise fondamentale devrait être la définition la plus précise possible des critères qui serviront de référents lors de l’évaluation. Un critère est un regard que l’on porte sur l’objet évalué, un point de vue auquel on se place pour évaluer l’objet. Le critère correspond à une qualité de cet objet. Une production artistique peut avoir de nombreuses qualités. Il est donc important de préciser quelles seront les qualités, c’est-à-dire les critères, qui seront prises en compte dans l’évaluation. L’enjeu est de rendre explicite et systématique ce qui est souvent de l’ordre de l’implicite et de l’aléatoire. Dans tout processus d’évaluation, les critères sont présents, mais ils sont souvent implicites, uniquement connus – parfois même de manière inconsciente – par l’évaluateur qui, de plus, n’accorde pas toujours le même poids à tel ou tel critère selon l’étudiant qu’il est en train d’évaluer, souvent, d’ailleurs, au détriment de celui-ci ou de ses apprentissages. Par exemple, un étudiant violoniste particulièrement expressif serait pénalisé parce qu’il commet l’une ou l’autre fausse note, alors qu’un autre étudiant se verrait reprocher par le même évaluateur la froideur de son interprétation, tout en n’ayant produit aucune fausse note. La définition des critères doit donc permettre de savoir quelles sont exactement les qualités de la production de l’étudiant qui seront évaluées, de déterminer éventuellement quel poids est accordé à chacun de ces critères et de se référer à ceux-ci de manière systématique et égale lors de l’évaluation. La valeur de la production des étudiants n’émergera qu’à travers ces critères qui devraient être utilisés de la même manière pour tous les étudiants, sur la base des indicateurs dont nous parlons plus loin.

Le travail sur les critères est aujourd’hui au cœur du processus d’évaluation des compétences des étudiants et de leurs apprentissages, en particulier en ce qui concerne son objectivation. Bon nombre des textes de cet ouvrage devraient d’ailleurs porter sur leur définition dans le cadre des différentes formations artistiques. Par exemple, dans le Programme de formation de l’école québécoise (2007), on trouve les critères suivants, transposables à l’enseignement supérieur :

• pour la compétence Créer des œuvres musicales : variété dans l’utilisation des éléments du langage musical, efficacité de l’utilisation des moyens sonores, originalité dans le traitement des éléments musicaux, cohérence entre la proposition de création et la réalisation, intégration de retours réflexifs au cours de l’expérience de création ;
• pour la compétence Interpréter des œuvres musicales : fluidité de l’enchaînement des phrases musicales de l’œuvre, efficacité de l’utilisation des éléments de technique et des éléments du langage musical, cohérence entre l’interprétation et le caractère expressif de l’œuvre, constance dans l’application des règles relatives à la musique d’ensemble, intégration de retours réflexifs au cours de l’expérience d’interprétation ;
• pour la compétence Apprécier des œuvres musicales : pertinence des éléments repérés ; justification de son appréciation, justesse du vocabulaire disciplinaire utilisé, intégration de retours réflexifs.

Pour bénéficier pleinement à l’objectivation du processus d’évaluation, ces critères devraient :

• être clairement définis en ne se limitant pas à la formulation du critère, mais en explicitant de manière précise ce qu’on entend, par exemple, par «  variété dans l’utilisation des éléments du langage musical  », non seulement en précisant des indicateurs qui seront utilisés pour l’évaluer, mais aussi en clarifiant, sur le plan du critère, ce qu’il recouvre concrètement ;
• être indépendants les uns des autres (Gerard et Van Lint-Muguerza, 2000), ce qui signifie que l’échec, ou la réussite, d’un critère ne doit pas entraîner automatiquement l’échec, ou la réussite, d’un autre critère ;
• être éventuellement pondérés, si on souhaite accorder plus de poids à l’un ou l’autre critère. Cette pondération devrait être bien réfléchie, si possible collectivement, et établie en fonction des indicateurs et des objectifs d’apprentissage (Lemenu et Heinen, 2015) ;
• être connus des évalués, y compris dans leur signification précise et dans leur éventuel poids relatif par rapport aux autres critères ;
• être utilisés systématiquement, de la manière prévue, lors du processus de correction de la production de l’étudiant.

3.3. Les informations à recueillir, ou les indicateurs des critères

Sur la base de la fonction de l’évaluation et des critères qui ont été retenus, l’évaluateur décide quelles seront les informations à recueillir, notamment en décidant dans quelle situation concrète se retrouvera l’étudiant pour exercer sa compétence. Cette situation correspond non seulement à la compétence visée (note 6 ) : on ne proposera pas la même situation selon qu’il s’agit d’évaluer la compétence d’Interpréter des œuvres musicales ou au contraire celle d’Apprécier des œuvres musicales. On tiendra compte aussi du niveau de formation : interpréter une œuvre de Wolfgang Amadeus Mozart ou de Anton Webern n’exige pas le même niveau de compétence.

Au-delà de la situation concrète d’évaluation, il importe également de concrétiser la manière dont seront utilisés les critères d’évaluation. En effet, un critère – par exemple intégration de retours réflexifs – est, par nature, général (il peut porter sur plusieurs compétences, comme c’est le cas dans l’exemple, et même être la plupart du temps utilisé dans différents domaines) et abstrait (en soi, on ne sait pas ni ce que sont les retours réflexifs ni ce que signifie leur intégration).

Il est donc impossible d’évaluer une production d’un étudiant sur la base de critères si on n’a pas des précisions sur ce que, d’une part, le critère signifie, mais aussi, d’autre part, sur les éléments concrets qui pourront être observés dans la production et qui témoignent de la maîtrise ou non des critères. C’est le rôle des indicateurs. L’indicateur est :

• contextualisé : il se réfère à une situation précise (dans notre exemple, telle œuvre précise à interpréter) ;
• concret : on peut directement l’observer (je peux détecter la justesse des notes, je peux entendre telle structure musicale travaillée au cours, etc.).

C’est l’indicateur qui – dans la production de l’étudiant – apporte de l’information sur sa maîtrise des critères, et donc de la compétence ou des apprentissages à réaliser. Il apporte de l’information et, à ce titre, ne donne jamais qu’une indication. Un écueil, fréquemment observé, est d’accorder à l’indicateur plus de valeur qu’il n’en a (Gerard et BIEF, 2009) : ce n’est pas lui qu’il s’agit d’évaluer, voire de noter, mais c’est le critère dont la maîtrise ne dépend pas seulement de la somme des indicateurs, mais de leur interaction. Cette remarque est d’autant plus importante dans le domaine artistique dans la mesure où l’impossibilité d’être exhaustif dans l’identification a priori des indicateurs y est encore plus évidente que dans d’autres domaines mieux circonscrits. La force d’un étudiant artiste dépend souvent d’une originalité dans sa production, à laquelle on n’avait pas pensé a priori, mais qui indique la maîtrise par l’étudiant de tel ou tel critère. Cette originalité doit évidemment être prise en compte lors de l’évaluation pour évaluer le critère auquel elle se réfère.

Cela explique qu’au contraire des critères, les indicateurs propres à une situation d’évaluation ne doivent pas être connus en tant que tels par les étudiants. La production de l’étudiant risquerait alors de se réduire à la stricte application des indicateurs prédéfinis alors même que la richesse d’une production artistique réside notamment dans son originalité, dans sa valeur ajoutée unique. Par exemple, lors d’un examen certificatif, où l’étudiant est invité à interpréter une sonate pour violon de Mozart, compositeur travaillé précédemment, un étudiant réalise un staccato, également déjà travaillé, non indiqué dans la partition, mais qui apporte une richesse supplémentaire. Cet étudiant montre par là son originalité. Si l’enseignant dit, avant l’interprétation, qu’un staccato dans ledit passage serait un indicateur d’originalité, l’étudiant cherchera plus que vraisemblablement à le réaliser, sans que cela corresponde alors à de l’originalité. L’étudiant ne doit donc pas connaître l’indicateur concret. Par contre, il doit savoir qu’être original, c’est varier – quand c’est possible – les rythmes, les nuances, les effets, etc. Il est d’ailleurs souvent impossible a priori de connaître les indicateurs d’originalité, ce qui est une difficulté de ce critère, pourtant essentiel en arts. C’est sur la base de ce que l’étudiant produira que l’évaluateur se dira que tel ou tel élément révèle de la créativité ou de l’originalité. Il n’est donc pas possible – et c’est vrai pour tous les critères – d’avoir une liste exhaustive a priori des indicateurs et donc de la transmettre aux étudiants.

Si les étudiants ne doivent pas connaître les indicateurs qui seront utilisés en situation concrète d’évaluation certificative, il importe cependant qu’ils aient pu concrétiser leur propre compréhension des critères non seulement par une explicitation précise de ce que les critères signifient pour les enseignants, mais aussi grâce aux indicateurs utilisés concrètement pour les apprécier lors d’évaluations formatives préalables.

3.4. Les stratégies d’évaluation, ou les démarches

La manière dont on va évaluer influence fortement la production de l’étudiant : ce n’est pas la même chose de devoir interpréter une œuvre devant un jury composé de son professeur et d’un autre professeur bien connu, ou devant un jury totalement inconnu, ou encore devant un public composé de l’ensemble des étudiants du collège. Tout comme ce n’est pas la même situation lorsque l’œuvre à interpréter est travaillée toute l’année, ou est imposée un mois avant la passation, ou encore est découverte une semaine avant celle-ci. Ces différences ne prennent d’ailleurs véritablement sens qu’en fonction des objectifs d’apprentissage.

Au-delà de tous ces éléments qui influencent la qualité de la production, notamment en termes affectifs, il importe aussi d’être au clair avec la démarche d’évaluation qui sera utilisée. Est-on dans une démarche purement sommative où la décision issue de l’évaluation dépendra de la somme des notes attribuée aux différents critères, voire aux indicateurs ? Est-on au contraire dans une démarche purement herméneutique où, par exemple, les membres d’un jury discuteront sur la base des éléments qu’ils ont perçus de manière plus ou moins intuitive ? Est-on dans une démarche herméneutique qui combine des éléments sommatifs et descriptifs et qui attribue du sens à l’ensemble de ces indices ? Ou encore est-on dans une démarche descriptive qui obligera les évaluateurs à préciser de manière explicite les éléments qui fondent leur jugement ? Chacune de ces démarches existe, mais elles n’ont pas la même valeur et surtout elles ne débouchent pas nécessairement sur les mêmes conclusions. Il est donc important de les préciser et de les justifier, notamment vis-à-vis des étudiants, puis de les respecter – en toute équité – lorsqu’elles sont mises en œuvre.

3.5. La confrontation entre indicateurs et critères, ou le jugement de valeur

Une fois les informations recueillies, une étape fondamentale intervient : l’évaluateur va confronter les indicateurs qu’il a pu observer dans la production de l’étudiant aux critères qui sous-tendent l’évaluation. C’est à ce moment qu’il va devoir donner une valeur à la production de l’étudiant, selon le critère évalué. Selon la démarche retenue, ce jugement de valeur va déboucher soit sur une note, soit sur une appréciation, soit sur des commentaires. Au bout du compte, et quel que soit le système utilisé, l’évaluateur devra décider si – oui ou non – le critère est maîtrisé et si – plus largement – l’ensemble des critères est maîtrisé ou non, et donc si les objectifs d’apprentissage sont atteints ou non.

Il est important d’insister sur le fait que le jugement s’exprime in fine en termes dichotomiques : le critère est maîtrisé ou non, la compétence est maîtrisée ou non, l’objectif d’apprentissage est atteint ou non… D’un point de vue strictement pédagogique, seule cette conclusion dichotomique importe, quelle que soit la fonction de l’évaluation (orientation, régulation, certification). Bien sûr, dans le cas d’un concours – tel le Concours Reine Élisabeth – il faut désigner un vainqueur. C’est exact, mais il est intéressant de constater que les douze finalistes de ce Concours sont, quoi qu’il advienne, désignés comme lauréats : ils ont satisfait à tous les critères. Simplement, six d’entre eux seront classés dans un ordre d’excellence avec, parmi ceux-ci, un premier lauréat. Il s’agit là d’un concours international de très haut niveau où l’on sait que les récompenses sont importantes. Mais lors d’un examen dans le cadre d’une formation, ces classements ordonnés n’ont pas beaucoup de sens. Seul importe finalement le fait de savoir si oui ou non l’étudiant maîtrise les compétences visées et qu’on peut donc le sélectionner pour entrer dans la formation ou la continuer, ou savoir quelles sont les techniques ou dimensions à retravailler avec lui, ou enfin le diplômer en étant assuré qu’il maîtrise les compétences visées et qu’il fera honneur à la formation qu’il a reçue.

Cette vision dichotomique est sans doute réductrice, mais elle a l’avantage de remettre au centre du processus d’évaluation ce qui en fait sa raison d’être : savoir vers quoi orienter ou si on peut sélectionner, savoir sur quoi il faut encore travailler, savoir si on peut certifier la réussite de la formation.

Il est permis de penser que si on se limitait à cette dimension dichotomique – le critère est maîtrisé ou non – on diminuerait drastiquement les écarts de correction entre les évaluateurs tout acharnés qu’ils soient à donner une note la plus précise et la plus exacte possible, parfois au centième de point, alors qu’on sait bien que ces notes n’ont de valeur que pour ceux ou celles qui les donnent, sans jamais constituer de réelles valeurs scientifiques mesurant la production de l’étudiant. Les statisticiens, même dans des domaines aussi objectifs que la métrologie, ont depuis longtemps fait le deuil de la valeur vraie d’une mesure, sachant qu’un mesurage n’étant jamais parfait, cette valeur vraie est toujours inconnue. Ce qui est vrai pour la mesure de l’intensité d’un courant, de la tension, d’une longueur… l’est a fortiori pour des mesures de la créativité, de l’expression, de l’intensité d’une production artistique !

Conclusion

Il est étonnant de constater combien la subjectivité est perçue négativement. Dans de nombreuses circonstances, dès qu’un avis est exprimé, nous entendons «  Oui, mais c’est subjectif !  » S’il est évident qu’un fait objectif n’a pas la même valeur qu’une représentation subjective, il serait vain de vouloir affirmer que la valeur du fait est supérieure à celle de la représentation. Le grand chanteur québécois Gilles Vigneault a été plus d’une fois accusé de chanter faux. Il est vrai que si l’on fait passer ses interprétations à travers le crible d’une mesure électronique, on risque de détecter quelques distorsions par rapport à la note exacte. Mais, comme l’écrit Marc Gagné (1977), «  Vigneault chante d’une voix affreuse, éraillée, soit, mais il le fait avec une telle émotion, un tel don de soi, qu’on ne se fatigue pas de l’entendre  » (p. 206).

Les travaux de mesure et d’analyse objective des gestes dans la performance musicale, tels ceux de Demoucron (2014), sont certes indispensables, même s’ils ne sont pas possibles dans tous les domaines artistiques. Néanmoins, ce ne seront jamais ces techniques, aussi sophistiquées soient-elles, qui expliqueront pourquoi on sent parfois l’émotion nous submerger quand un musicien – qu’il soit professionnel ou en apprentissage – interprète une œuvre qu’on a déjà entendue maintes fois, mais qui – grâce à ce qu’il en fait – nous touche soudainement avec une profondeur inattendue.

Il ne faudrait pas croire que la subjectivité se limite au domaine artistique. Par exemple, dans le cadre très professionnel de l’analyse des besoins de formation (évaluation d’orientation), on sait depuis les travaux de Barbier et Lesne (1977), de Bourgeois (1991) ou de Roegiers, Wouters et Gerard (1992) que «  la vie sociale n’offre jamais à l’observation scientifique d’objets dont celle-ci puisse dire qu’il s’agit de besoins objectifs. On ne rencontre jamais que des expressions de besoins formulés par des agents sociaux divers, pour eux-mêmes ou pour d’autres  » (Barbier et Lesne, 1977, p. 20).

Feindre de croire que la subjectivité peut ne pas exister dans l’évaluation ou refuser toute évaluation qui se fonderait sur elle serait à la fois vain et illusoire. Au contraire, l’important est d’assumer cette subjectivité de l’évaluation tant il est vrai que la nier ou l’ignorer serait le meilleur moyen de lui laisser libre cours, avec le risque de la laisser gambader vers la folie. Il est indispensable de la contrôler, de savoir à quel niveau ou à quelle étape elle intervient et comment elle influence le processus. Bien plus, les évaluateurs ne peuvent que gagner en crédibilité à rendre transparente la subjectivité de leur processus. En exposant celle-ci et en la justifiant, c’est-à-dire en clarifiant de manière explicite les choix qu’ils réalisent et en exposant leurs raisons d’être, ils pourront mieux maîtriser les territoires inconnus qu’ils explorent. À cet égard, le premier concerné est l’évalué. Il est fondamental qu’il sache exactement dans quel jeu il joue. Il doit savoir pourquoi il est évalué, c'est-à-dire quels sont les enjeux réels de cette évaluation. Il doit connaître, de manière explicite, les critères qui seront utilisés pour apprécier sa prestation, ainsi que les mécanismes qui permettront aux éléments concrets (les indicateurs) d’alimenter et de construire le sens et le jugement apportés par les évaluateurs à sa production.

Si cette transparence existe, si le processus d’évaluation sort ainsi de la zone arbitraire dans laquelle elle est trop souvent cantonnée, alors les évaluateurs auront réussi – dans la limite de ce qui est possible – à objectiver la subjectivité.

Bibliographie

Afsin, K. (2009). Psychopédagogie de l’écoute musicale. Entendre, écouter, comprendre, Bruxelles, Éditions De Boeck.
Antoine, J.-Y. et J. Caelen (1999). « Pour une évaluation objective, prédictive et générique de la compréhension en CHM orale: le paradigme DCR (Demande, Contrôle, Résultat) », Revue Langues, 2(2), 130-139.
Ardoino, J. (1976). « Préface », dans M. Morin, L’imaginaire dans l’éducation permanente: analyse du discours des formateurs, Paris, Bordas/Gauthier-Villars, p. 9-39.
Barbier, J.-M. et M. Lesne (1977). L’analyse des besoins en formation, Paris, Jauze.
Bourgeois, E. (1991). « L’analyse des besoins de formation dans les organisations: un modèle théorique et méthodologique », Mesure et évaluation en éducation, 14(1), 17-60.
Bressoux, P. et P. Pansu (2003). Quand les enseignants jugent leurs élèves, Paris, Presses universitaires de France.
Cardinet, J. (1992). « L’objectivité de l’évaluation », Formation et technologies – Revue européenne des professionnels de la formation, (0), 17-26.
Corbiau, G. (1988). Le maître de musique [film], Bruxelles, RTBF, K2 One, Ministère de la Communauté française de Belgique.
Crahay, M. (2006). « L’évaluation des élèves: entre mesure et jugement », dans G. Figari et L. Mottier Lopez (dir.), Recherche sur l’évaluation en éducation – Problématiques, méthodologies et épistémologie, Paris, L’Harmattan, p. 132-138.
De Ketele, J.-M. (1993). « L’évaluation conjuguée en paradigmes », Revue française de pédagogie, 103, 59-80.
De Ketele, J.-M. (2006). « Contrôles, examens et évaluation », dans J. Beillerot et N. Mosconi (dir.), Traité des sciences et des pratiques de l’éducation, Paris, Dunod, p. 407-420.
De Ketele, J.-M. (2010). « Ne pas se tromper d’évaluation », Revue française de linguistique appliquée, 15(1), 25-37.
De Ketele, J.-M. (2011). « La sélection à l’entrée de la formation », dans F. Regnard et L. Mottiez Lopez (dir.), Former à l’enseignement musical, Paris, L’Harmattan, p. 51-64.
De Ketele, J.M. et X. Roegiers (1996). Méthodologie du recueil d’informations, Bruxelles, De Boeck Université.
Demoucron, M. (juin, 2014). « Mesure et analyse du geste dans la performance musicale », La Revue du Conservatoire, Conservatoire national supérieur de musique et de danse de Paris, 3, <http://larevue.conservatoiredeparis.fr/index.php?id=248>, consulté le 4 août 2017.
de Peretti, A. (1993). Controverses en éducation, Paris, Hachette Éducation.
Durand, M.-J. et R. Chouinard (2012). L’évaluation des apprentissages – De la planification de la démarche à l’évaluation des résultats, 2e édition, Montréal, Éditions Hurtubise inc.
Gagné, M. (1977). Gilles Vigneault: bibliographie descriptive et critique, discographie, filmographie, iconographie, chronologie, Québec, Presses de l’Université Laval.
Gerard, F.-M. (2000). « Savoir, oui… mais encore! », dans Forum – pédagogies, mai 2000, p. 29-35.
Gerard, F.-M. (2002). « L’indispensable subjectivité de l’évaluation », Antipodes, 156, 26-34.
Gerard, F.-M. (2011). « L’apprentissage et l’évaluation des attitudes et des savoir-être », dans X. Roegiers (dir.), Curricula et apprentissages au primaire et au secondaire – La pédagogie de l’intégration comme cadre de réflexion et d’action, Bruxelles, De Boeck, p. 146-150 et Annexe 4.
Gerard, F.-M. (2013). « L’évaluation au service de la régulation des apprentissages: enjeux, nécessités et difficultés », Revue française de linguistique appliquée, 18(1), 75-92.
Gerard, F.-M. et BIEF (2009). Évaluer des compétences – Guide pratique, 2e édition, Bruxelles, De Boeck.
Gerard, F.-M. et S. Van Lint-Muguerza (2000). « Quel équilibre entre une appréciation globale de la compétence et le recours aux critères? », dans C. Bosman, F.-M. Gerard et X. Roegiers (dir.), Quel avenir pour les compétences?, Bruxelles, De Boeck, p. 135-140.
Guimard, P., O. Cosnefroy et A. Florin (2007). « Évaluation des comportements et des compétences scolaires par les enseignants et prédiction des performances et des parcours à l’école élémentaire et au collège », L’Orientation scolaire et professionnelle, 36(2), 179-202.
Hameline, D. (2005). Les objectifs pédagogiques en formation initiale et continue, 2e édition, Paris, ESF éditeur.
Inspection générale de l’éducation nationale (2013). La notation et l’évaluation des élèves éclairées par des comparaisons internationales, Rapport no 2013-072, Paris, Ministère de l’Éducation nationale et Ministère de l’Enseignement supérieur et de la Recherche.
Jeffrey, D. (2013). L’éthique dans l’évaluation scolaire, Québec, Presses de l’Université Laval.
Jeffrey, D. et L. Boily (2017). «  L’éthique de l’évaluation des apprentissages en arts  », dansD. Leduc et S. Béland (dir.), Regards sur l’évaluation des apprentissages en arts à l’enseignement supérieur, Québec, Presses de l’Université du Québec, p. 9-27.
Jorro, A. (2007). L’évaluation et le développement professionnel, Paris, L’Harmattan.
Lartigau, É. (2014). La famille Bélier [film], Paris, Jerico et Mars Films; France 2 Cinéma et Vendôme Production.
Laugier, H. et D. Weinberg (1938). Recherche sur la solidarité et l’interdépendance des aptitudes intellectuelles d’après les notes des examens écrits du baccalauréat, Paris, Chantenay.
Lemenu, D. et E. Heinen (dir.) (2015). Comment passer des compétences à l’évaluation des acquis des étudiants? – Guide méthodologique pour une approche programme dans l’enseignement supérieur, Louvain-la-Neuve, De Boeck.
Lievens, F., E. Van Keer, E. De Witte et E. Morel (2005). « Les centres d’évaluation en Belgique: résultats d’une étude sur leur validité et équité », Psychologie du travail et des organisations, 11(1), 25-33.
Ministère de l’Éducation, du Loisir et du Sport (2007). Programme de formation de l’école québécoise, Secondaire, Deuxième cycle, Musique, Montréal, Gouvernement du Québec.
Perrenoud, P. (2001). « Les trois fonctions de l’évaluation dans une scolarité organisée en cycles », Éducateur, 2, p. 19-25.
Roegiers, X., P. Wouters et F.-M. Gerard (1992). « Du concept d’analyse de besoins en formation à sa mise en œuvre », Formation et technologies – Revue européenne des professionnels de la formation, 1(2-3), 32-42.
Romainville, M. (2012). « Objectivité versus subjectivité dans l’évaluation des acquis des étudiants », Revue internationale de pédagogie de l’enseignement supérieur, 27(2), 1-9.
Stufflebeam, D.L., W.J. Foley, W.J. Gephart, E.G. Guba, R.L. Hammond, H.O. Merriman et M.M. Provus (1980). L’évaluation et la prise de décision en éducation, 2e édition, Victoriaville, N.H.P.
Weiss, J. (1984). La subjectivité blanchie?, Neuchâtel, Institut romand de recherches et de documentation pédagogiques.