Les outils ouverts d’évaluation, aussi appelés « outils ou items de production » ou encore « items à réponses construites », s’opposent aux « outils de sélection » ou « items à réponses choisies ». Historiquement, les outils ouverts sont les plus anciens : il y a longtemps qu’on utilise pour évaluer les acquis d’apprenants des outils de production en demandant à l’apprenant de produire un comportement ou un discours qui témoigne de sa maîtrise.
Les travaux de la docimologie ont montré les limites de ces items de production et ont entraîné la création des items de sélection. Ceux-ci se caractérisent par deux éléments :

• d’une part, la réponse est fournie (parmi d’autres) à l’élève qui ne doit donc pas aller la chercher dans son répertoire cognitif mais l’identifier,
• d’autre part, en corollaire, l’item permet une correction « objective » puisqu’il suffit de constater que l’élève a bien sélectionné la réponse attendue.

L’identification de la (des) « bonne(s) réponse(s) » dans les items de sélection ne signifie pas nécessairement que cette (ces) réponses étai(en)t connue(s) du sujet. Ce problème ne se pose pas pour les items de production, mais celle-ci peut être limitée par les exigences de communication écrite qu’elle nécessite et qui peuvent occulter les connaissances réelles.
La problématique de base des « outils de production » est aussi posée : ils débouchent sur une évaluation subjective et cette subjectivité serait à bannir. La question est complexe et si plusieurs auteurs (Cardinet, 1992 ; Weiss, 1986) ont montré que non seulement la subjectivité est inévitable, mais qu’elle peut même constituer une composante essentielle de l’acte d’évaluation, il n’en reste pas moins qu’un enjeu important des outils ouverts d’évaluation est d’apporter des « clés de fermeture » susceptibles de réduire la part de subjectivité et surtout d’éviter de transformer celle-ci en arbitraire.
Face à ces éléments, de nouveaux « outils de production » ont été développés ces vingt dernières années pour participer à l’évaluation. Parmi d’autres, nous conduirons notre propos sur la base de trois outils, que nous présenterons d’abord brièvement :

• l’évaluation de la progression des apprentissages par le portfolio,
• l’évaluation de compétences à travers des situations complexes,
• l’évaluation de projets, de programmes ou de systèmes à l’aide de modèles d’analyse.

Trois outils ouverts

L’évaluation de la progression des apprentissages par le portfolio

S’il est bien un outil d’évaluation à propos duquel la littérature abonde depuis quelques années, c’est le portfolio (Allal, Wegmuller, Bonaiti-Dugerdil & Cochet Kaeser, 1998).
Le portfolio est « un assemblage finalisé (purposeful collection) des travaux de l’élève qui démontrent ses efforts, ses progrès et ses acquisitions dans un ou plusieurs domaines. Il implique la participation de l’étudiant à la sélection des contenus, à la définition des critères de sélection et d’appréciation des travaux, ainsi que des manifestations d’auto-réflexion (self-reflection) de la part de l’étudiant » (Northest Evaluation Association, 1990, traduit par Allal et al., 1998, p. 7).

L’évaluation des compétences à travers des situations complexes

La principale caractéristique de l’approche par les compétences est le fait de susciter la mobilisation de ressources intégrées pour résoudre des situations-problèmes (De Ketele, 2000 ; Perrenoud, 1997 ; Roegiers, 2000). Dès lors, ces compétences ne peuvent plus être évaluées par des items isolés formulés en termes de contenus et/ou d’objectifs opérationnels (Dauvisis, 2006 ; De Ketele & Gerard, 2005).
L’outil le plus communément admis pour évaluer les compétences est la présentation d’une situation complexe relative à la famille des situations problèmes de la compétence, nécessitant de la part de l’élève une production complexe de résolution de la situation (Gerard, 2005 ; Rey, Carette, Defrance & Kahn, 2003).
Les questions principales que pose ce genre d’outil sont : comment valider les épreuves ? Comment assurer l’équivalence d’épreuves évaluant la même compétence ? Comment les corriger ?

L’évaluation de projets, de programmes ou de systèmes à l’aide de modèles d’analyse

L’évaluation existe aussi en dehors du champ scolaire, avec les mêmes problématiques en ce qui concerne l’élaboration des outils. L’évaluation de projets, de programmes ou de systèmes constitue un enjeu important mais rencontre de nombreuses difficultés techniques, psychologiques et financières.
Certains outils fermés existent en ce domaine, mais ils ont du mal à s’adapter à la variété des situations. Aussi, à la suite des travaux de l’équipe de Stufflebeam (1974/1980), des outils d’évaluation ont été développés sous la forme de modèles structurant un certain nombre de critères permettant d’évaluer un projet ou un système selon toutes ses facettes et quel que soit le moment de son existence (Gerard, 2001 ; Roegiers, 1997 ; Sall & De Ketele, 1997).

Des caractéristiques communes pour des clés de fermeture

Ces outils, malgré leurs différences, ont un certain nombre de caractéristiques communes qui sont vraisemblablement liées à leur place et à leur spécificité dans l’évaluation. Certaines de ces caractéristiques conduisent à cadrer les outils, apportant ainsi des clés de fermeture qui contribuent à leur validité.

Les outils ouverts d’évaluation privilégient les trois fonctions de l’évaluation

Plus encore que pour un outil fermé, il importe de se demander à quoi sert l’évaluation réalisée avec des outils ouverts : poursuit-elle une fonction d’orientation, de régulation et/ou de certification ?
L’orientation peut être un élément crucial au niveau individuel, notamment lors de la Validation des Acquis de l’Expérience (VAE), par exemple lorsqu’un institut de formation pour adultes utilise une épreuve sur les compétences génériques pour orienter les candidats lors de la procédure d’admission (De Ketele, 2004). Lors de la même procédure, les candidats sont invités à présenter leurs expériences en y joignant des pièces probantes, à l’instar du portfolio. L’orientation est, à un niveau plus collectif ou systémique, une fonction essentielle de l’évaluation de projets à travers l’évaluation ex ante.
La régulation est au cœur de l’utilisation du portfolio. Dans ce cas, le portfolio est souvent appelé « dossier d’apprentissage » ou « dossier de progression ». L’évaluation des compétences par situations complexes poursuit aussi avant tout une fonction de régulation. Ainsi, les « modules d’intégration » mis en place dans le cadre de la pédagogie de l’intégration (Roegiers, 2000) consistent à confronter les élèves, tant à des fins d’apprentissage que d’évaluation, à des situations complexes à la suite d’apprentissages ponctuels. L’utilisation des critères et des indicateurs permet ensuite de dégager des stratégies personnalisées de remédiation. Enfin, les modèles d’évaluation intégrée de projets accordent une place importante à l’évaluation du processus, afin de régulariser l’ensemble du projet, notamment lors des évaluations à mi-parcours.
La certification est également visée par tous ces outils. Lorsque le portfolio s’appelle « dossier de présentation ou d’évaluation », c’est avant tout cette fonction qui est poursuivie. De plus en plus, des épreuves d’évaluation certificative, ou de type PISA, sont élaborées sur la base de situations complexes, appuyées par la construction de barèmes permettant de disposer d’une note. Enfin, les évaluations de projets accordent une grande importance à la certification, notamment quand il s’agit de décider de libérer ou non la dernière tranche budgétaire sur la base d’une évaluation finale, voire ex post. Cette dernière inclut l’évaluation de l’impact, essentielle pour garantir qu’un projet a servi à quelque chose, même si son interprétation est toujours difficile (Gerard, 2001).
Cette question de la fonction de l’évaluation est fondamentale pour les outils ouverts. C’est elle qui permettra de décider des caractéristiques premières de l’outil, d’orienter son élaboration et son utilisation. En quelque sorte, c’est une première clé de fermeture à apporter : savoir pourquoi et pour quoi on veut utiliser un outil.

Les outils ouverts d’évaluation deviennent des outils d’action

Cette évolution des outils d’évaluation est particulièrement sensible dans le cas du portfolio. Celui-ci devient lui-même outil d’apprentissage : en créant son portfolio, l’élève est supposé apprendre mieux et plus en profondeur, car conscient de ses apprentissages. Si cette idée généreuse, renforcée par le taux élevé de satisfaction des utilisateurs, n’a pas encore fait l’objet, à notre connaissance, de validations empiriques, il n’en va pas de même de l’utilisation de situations complexes : plusieurs études ont montré que leur utilisation dans le cadre de « modules d’intégration » permettait aux élèves de gagner environ 15 points sur 100 (Gerard, 2005).
Il importe de bien fixer le ou les buts qui sont poursuivis par les outils qu’on utilise, et notamment de savoir si on veut avant tout évaluer ou agir, sans quoi on risque de s’y perdre. Il s’agirait d’une deuxième clé de fermeture aux outils ouverts d’évaluation. Cette nécessité est peut être moins importante dans le cadre de l’évaluation de projets. Par exemple, c’est naturellement qu’un modèle d’évaluation de projet ou de système devient outil de pilotage de ce projet ou de ce système, car il fournit tous les éléments pour dégager – avant, pendant, à la fin et après – les nécessités d’action et de pilotage.

Les outils ouverts d’évaluation intègrent le sujet dans la démarche

Par définition, le portfolio fait de l’élève un acteur de son évaluation, dans une démarche de « co-construction de sens », qui peut inclure non seulement l’enseignant et l’élève, mais aussi ses parents. Ce rôle de l’élève acteur de son évaluation est moins présent dans le cadre des épreuves d’évaluation des compétences par situations complexes, quoique déjà en 1977, Tourneur et Bouillon aient fait état d’études qui ont montré qu’un moyen efficace pour apprendre à un élève à résoudre un problème était de lui demander de rechercher ou de construire lui-même des énoncés de problèmes.
Les outils d’évaluation de projets ont bien intégré, notamment dans le domaine de la santé ou des évaluations des universités, cette notion d’« évaluation participative » qui vise à considérer que les parties prenantes d’un projet, ses bénéficiaires, sont les meilleurs experts pour participer à la construction de sens recherchée par l’évaluation.

Les outils ouverts d’évaluation se fondent sur des critères et des indicateurs

Les spécialistes du portfolio insistent sur la détermination des critères de sélection et d’appréciation des travaux en montrant l’importance de l’implication de l’élève dans cette phase. L’évaluation de projets, même lorsqu’elle n’est pas entièrement participative, passe par une phase où les promoteurs et/ou bénéficiaires du projet définissent avec les évaluateurs les critères qui seront utilisés pour l’évaluation. Dans l’évaluation des compétences par situations complexes, la connaissance par les apprenants des critères sur lesquels ils seront évalués est essentielle, car c’est par rapport à ceux-ci qu’ils pourront optimiser leur performance.
Les critères sont un élément-clé de l’élaboration des outils ouverts. Souvent, dans un outil fermé, le critère est implicite, non formulé. Dans l’évaluation des acquis, ce critère caché est souvent l’exactitude de la réponse (Gerard, 2005). Mais ce critère ne peut fonctionner dans les outils ouverts, tout simplement parce que la réponse correcte n’existe pas. L’ouverture de ces outils tient à la diversité des productions qui peuvent être apportées. Pour pouvoir limiter une subjectivité arbitraire dans l’appréciation de ces productions, il est essentiel de disposer de critères qui détermineront de manière précise les qualités qui sont attendues de cette production. Des indicateurs concrets permettront d’opérationaliser ces critères de telle sorte que l’évaluateur sache exactement ce qu’il doit observer, la manière dont il doit gérer son observation et inférer à propos de la maîtrise de la compétence.
Les critères et les indicateurs sont une clé de fermeture supplémentaire – et fondamentale – des outils ouverts. Sans eux, ces outils ne seraient que des outils de recueil d’information.

Les outils ouverts d’évaluation portent sur des réalités multidimensionnelles

Les travaux qui peuvent apparaître dans un portfolio ou dans la résolution d’une situation complexe sont eux-mêmes complexes et flexibles, non réductibles à une seule et unique démarche ni à un seul et unique produit. Cette multidimensionnalité s’oppose au postulat de l’unidimensionnalité du trait mesuré qui fonde les techniques de la théorie classique des scores ou des théories de réponse à l’item (De Ketele & Gerard, 2005).
Cette caractéristique n’est pas sans poser des difficultés méthodologiques et peut conduire à devoir limiter l’inférence qui est faite au départ de l’observation d’une réalité. Ainsi, Rey et al. (2003) considèrent qu’il n’est pas possible d’inférer la maîtrise d’une compétence large à partir de la résolution d’une situation complexe. Ils ne remettent pas en cause l’utilisation de situations complexes pour évaluer une compétence, mais limitent la définition de celle-ci au « fait d’être capable d’accomplir une tâche déterminée », homogène dans sa finalité technico-sociale, sans qu’on puisse inférer de la complexité d’une situation à la multidimensionnalité d’une compétence. D’autres auteurs mettent cependant l’accent sur la nécessité d’une inférence multidimensionnelle, en se fondant sur la notion de famille de situations, non limitée à une tâche déterminée (Roegiers, 2000).
Travailler ces questions liées à cette multidimensionnalité des réalités évaluées par les outils ouverts constitue un défi important pour l’avenir de ces outils.

Les outils ouverts d’évaluation favorisent la communication

Allal et al. (1998) ont bien montré combien le portfolio est un outil précieux pour favoriser la communication entre les enseignants, les élèves et les parents. Le portfolio présente l’avantage de proposer de l’information brute. La personne qui a devant elle une production de l’élève est bien mieux renseignée sur la compétence de son auteur que par une note ou une appréciation. La discussion qui s’en suit peut dès lors se concentrer sur l’essentiel, sur le concret de la production de l’élève.
Dès 1992, Cardinet soulignait qu’on évite ainsi deux sources d’erreur majeures : celle du codage du premier correcteur et celle du décodage de celui qui doit interpréter le rapport d’évaluation, le bulletin. On évite en même temps de perdre l’information concernant tous les aspects qualitatifs du travail.
Ce problème de codage-décodage est très présent au moment de la correction d’épreuves par situations complexes et représente vraisemblablement une difficulté essentielle de ce type d’outil, nécessitant des études complémentaires. Si le codage peut déboucher sur une note unique, non porteuse en elle-même de sens, il peut aussi s’inscrire dans une démarche plus descriptive que sommative. Ce qui importe, c’est de pouvoir mettre en évidence quels critères sont maîtrisés ou non, et pourquoi il en est ainsi. On peut ainsi déboucher sur un tableau susceptible de favoriser la communication, pour autant qu’il reste compréhensible par des utilisateurs profanes.

Conclusion

Les outils ouverts d’évaluation permettent de prendre en compte l’ensemble de la réalité, dans une approche holistique et intégrée.
Les outils discutés ici – l’évaluation de la progression des apprentissages par le portfolio, l’évaluation des compétences par situations complexes et l’évaluation de projets à l’aide de modèles d’analyse – ont chacun leur spécificité, mais présentent un ensemble de caractéristiques communes :

• ils privilégient les trois fonctions de l’évaluation,
• ils deviennent des outils d’action,
• ils intègrent le sujet dans la démarche,
• ils se fondent sur des critères et des indicateurs,
• ils portent sur des réalités multidimensionnelles,
• ils favorisent la communication.

Ces caractéristiques constituent un ensemble de « clés de fermeture » des outils ouverts, en ce sens qu’elles permettent de les cadrer, de définir leur portée et le sens qu’ils apportent à l’évaluation. En concrétisant chaque caractéristique – quelle fonction ? quelle action ? quel sujet ? quels critères ? quels indicateurs ? quelle réalité ? quelle communication ? – les acteurs de l’évaluation contribuent à accroître la pertinence, la validité et la fiabilité de leurs outils.

Références

Allal, L., Wegmuller, E., Bonaiti-Dugerdil, S. & Cochet Kaeser, F. (1998). Le portfolio dans la dynamique de l’entretien tripartite. Mesure et évaluation en éducation, 20, 5-31.
Cardinet, J. (1992). L’objectivité de l’évaluation. Formation et technologies - Revue européenne des professionnels de la formation, n°0, 17-26.
Dauvisis, M.-C. (2006). L’évaluation des compétences au risque des barèmes et des notes scolaires, Usages sociaux de la notion de compétence, Journée d’étude organisée par CNAM-CRF-MRPP-CEREQ-IUFM Champagne-Ardenne-ENSIETA, le 9 mars 2006 au CNAM, Paris.
De Ketele, J.-M. (2000). En guise de synthèse : Convergences autour des compétences. In C. Bosman, F.-M. Gerard & X. Roegiers (Éds.). Quel avenir pour les compétences ? (pp. 187-191). Bruxelles : De Boeck Université.
De Ketele, J.-M. (2004). La reconnaissance et la validation des acquis de l’expérience dans le cadre de la formation d’adultes à l’Université de Louvain. Lisbonne : Communication au colloque de l’ADMEE.
De Ketele, J.-M. & Gerard, F.-M. (2005). La validation des épreuves d’évaluation selon l’approche par les compétences. Mesure et évaluation en éducation, 28, n°3, 1-26.
Gerard, F.-M. (2001). L’évaluation de la qualité des systèmes de formation, Mesure et évaluation en éducation, Vol. 24, n°2-3, 53-77.
Gerard, F.-M. (2005). L’évaluation des compétences par des situations complexes. Actes du Colloque de l’Admee-Europe, IUFM Champagne-Ardenne, Reims, 24-26 octobre 2005.
Perrenoud, Ph. (1997). Construire des compétences dès l’école. Paris : ESF.
Rey, B., Carette, V., Defrance, A. & Kahn, S. (2003). Les compétences à l'école - Apprentissage et évaluation. Bruxelles : De Boeck.
Roegiers, X. (1997). Analyser une action d’éducation ou de formation. Bruxelles : De Boeck Université.
Roegiers, X. (2000). Une pédagogie de l’intégration. Bruxelles : De Boeck.
Sall, H.N. & De Ketele, J.-M., (1997). Évaluation du rendement des systèmes éducatifs : apports des concepts d’efficacité, d’efficience et d’équité. Mesure et évaluation en éducation, 19, n°3, 119-142.
Stufflebeam D.L., Foley W.J., Gephart W.J., Guba E.G., Hammond R.L., Merriman H.O. & Provus M.M. (1980), L’évaluation et la prise de décision en éducation, Victoriaville (Canada), N.H.P. (1974 pour l’édition américaine).
Tourneur, Y. & Bouillon, D. (1977). Typologie des questions en mathématique, une étude critique. Communication devant la Commission Internationale pour l’Étude et l’Amélioration de l’Enseignement de la Mathématique, Lausanne, juillet 1977.
Weiss, J. (1986). La subjectivité blanchie ? In J.-M. De Ketele (Éd.) (1986). L’évaluation : approche descriptive ou prescriptive ? (pp. 91-105). Bruxelles : De Boeck Université.