Les Cahiers pédagogiques sont une revue associative qui vit de ses abonnements et ventes au numéro.
Pensez à vous abonner sur notre librairie en ligne, c’est grâce à cela que nous tenons bon !

La docimologie

Second ou avant dernier ? Admis à l’agrégation ou éliminé ?

En 1930, le professeur Laugier sème un malaise pernicieux dans les milieux universitaires, en effectuant une expérience de multicorrection de copies d’agrégation d’histoire puisées dans les archives. 166 copies ont été corrigées par deux professeurs travaillant séparément, sans connaître leurs appréciations respectives. Les résultats furent surprenants. La moyenne des notes du premier correcteur dépassait de près de deux points celle du second. Le candidat classé avant dernier par l’un était classé second par l’autre. Les écarts de notes allaient jusqu’à 9 points. Le premier correcteur donnait un 5 à 21 copies cotées entre 2 et 14 par le second ; le second donnait un 7 à 20 copies cotées entre 2 et 11,5 par le premier. La moitié des candidats reçus par un correcteur était refusée par l’autre.
Cette expérience caractéristique de docimologie a amené des chercheurs de plus en plus nombreux à s’interroger sur les sources d’erreurs des procédures d’évaluation traditionnelles.

F. Bacher (1969) distingue trois sources d’erreurs :

1. La première source d’erreurs est due à l’évaluateur lui-même qui note autour d’une moyenne plus ou moins élevée et qui disperse plus ou moins ses notes autour de cette moyenne.

2. La seconde source d’erreurs tient, dans les examens traditionnels, au choix du sujet même de l’examen.

3. La troisième source d’erreurs vient des élèves. D’un jour à l’autre, d’un moment à l’autre, se produisent des fluctuations aléatoires de la capacité qu’il s’agit d’évaluer. De plus une certaine forme d’évaluation peut défavoriser de façon systématique un type d’élèves (la question s’est posée notamment à propos des épreuves orales).

Les évaluateurs ne sont pas d’accord entre eux

En 1932 eut lieu une des premières enquêtes docimologiques. La Commission Carnégie effectua une expérience de multicorrection en prélevant, au hasard, cent copies dans les archives du baccalauréat à Paris. Ces copies furent distribuées à 6 groupes de 5 examinateurs. Les disciplines concernées étaient : le français, la philosophie, le latin, les mathématiques et la physique. On demanda aux examinateurs de noter les copies et de fournir un rapport.
Les résultats montrèrent une forte dispersion des notes attribuées à chaque copie par les correcteurs. Aucune copie ne reçut deux fois la même note. L’écart maximum des notes dépassa les prévisions.
Une copie de français est notée 3 et 16 ; en philosophie et en latin l’écart maximum est de 12 points. Les mathématiques et la physique, réputées pour être des sciences exactes, ne sont pas épargnées : l’écart maximum est respectivement de 9 et 8 points.

En 1975, l’Institut de recherche sur l’enseignement des mathématiques (IREM) de Grenoble entreprend une expérience analogue de multicorrection.
Un échantillon de 6 copies photocopiées de mathématiques (niveau BEPC) est soumis à 64 correcteurs, avec un barème, très précis, sur 40 points.
Les résultats confirment ceux de l’enquête précédente, effectuée 43 ans plus tôt. La dispersion des notes atteint près de 20 points.

Le Centre international d’études pédagogiques de Sèvres, l’Association des professeurs de français, le Centre pédagogique régional de Toulouse, l’IREM de Toulouse, pour ne citer que les plus marquants ont mené des expériences du même type et sont arrivés aux mêmes conclusions.
De plus, Laugier et Weinberg ont montré que la double correction est illusoire. En effet il faudrait, pour obtenir une note « exacte » (Une note « exacte » étant une moyenne de notes telle que l’adjonction d’une autre note ne modifie pas sensiblement cette moyenne). 127 correcteurs en philosophie, 78 en composition française, 28 en anglais, 19 en version latine, 16 en physique, 13 en mathématiques.

Les évaluateurs pas davantage fidèles à eux-mêmes lorsqu’il s’agit de juger une seconde fois un devoir…

En France, à la demande de Laugier et Weinberg, un professeur de physiologie de la Faculté des sciences accepta 37 copies – dactylographiées et anonymes – qu’il avait corrigées trois ans et demi auparavant. Dans 7 cas seulement, il remit la même note au même devoir. Dans les 30 autres cas, il y eut des divergences comprises entre 1 et 10 points.
L’admissibilité, avec ses nouvelles notations, aurait été modifiée ; la moitié des précédents admissibles aurait été refusée et la moitié des refusés déclarée admissible.

On poursuivit plus loin l’expérience, et elle aboutit à un fait plus troublant encore.

On demanda à une bachelière, Paulette, intelligente mais ignorant tout de la question traitée, de noter à son tour ces compositions de physiologie, après les avoir lues une fois pour se faire une idée du sujet. Ses notes eurent une corrélation de 0,51 avec celles attribuées par les professeurs compétents. La bachelière ne se trouvait pas plus en désaccord avec les spécialistes que ceux-ci entre eux. (cf. Science et Vie, 1968, n° 610).

Lire la suite à : [ http://perso.wanadoo.fr/jacques.nimier/docimologie.htm ]