Les déchiffreurs de l’éducation

Information

Cet article a été écrit le 06/12/2013, dans la rubrique :
aucune.

Que peuvent vraiment dire et ne pas dire les statistiques et les évaluations?

Nous avons lancé ce blog en avril 2012 pour essayer de faire pièce à l’accumulation de chiffres bidonnés et d’évaluations douteuses dont nous abreuvaient alors les ministres de l’éducation sarkozyens. Dans ce domaine, les choses ont changé.

Cela est dû, en grande partie aux changements  survenus à la DEPP du ministère de l’éducation nationale : elle a retrouvé un programme de travail pertinent, une liberté de publication effective avec de nombreuses notes, une revue qui paraît de nouveau sur des sujets précédemment occultés[1] et des conférences de presse de la directrice. Même si les moyens restent certainement insuffisants, si l’on attend toujours la constitution et le démarrage des travaux du Conseil national d’Évaluation du Système Éducatif, et même si … on devrait pouvoir mieux faire (voir l’appel du collectif des déchiffreurs de l’éducation), il est clair que, dans l’immédiat, nous ne connaissons plus les errements précédents.

Déchiffrer le « construit » qui est derrière le nombre ou le pourcentage.

Tout en restant évidemment vigilants quant à la véracité et la qualité des statistiques et évaluations dans le domaine éducatif, mais voudrions davantage insister sur deux points :

  • la communication politique et médiatique à partir des travaux d’études, et
  • les questions de pertinence et d’usage des statistiques et des évaluations, en rappelant que l’objet statistique ou ce que l’on évalue est un « construit » élaboré avec une visée sociopolitique, dans la tradition d’un Alain Désrosières.

Sur le premier point, nous pouvons déjà renvoyer à notre article « rentrée 2013 dans le scolaire, mention admissible » et donnons plus loin quelques exemples d’articles de journalistes qui montrent comment ceux-ci peuvent – étant donné les contraintes qui sont les leurs – présenter les résultats de travaux statistiques ou d’évaluation.

Pour prendre un exemple simple du second point, les statisticiens de l’éducation comptent les « élèves » et lorsqu’on les laisse travailler, ils les comptent bien, mais qu’est ce que cet « élève » qu’ils comptent ? C’est un « construit » en ce sens qu’il n’existe pas d’élève « dans l’absolu », mais que le comptage porte sur des jeunes scolarisés dans tel ou tel type d’établissement, dans telle ou telle région ou pays, appartenant éventuellement à tel niveau scolaire, etc.. Les publications correctes précisent ce qui est compté et précisent aussi la façon de compter, qui n’est évidemment pas neutre, comme nous l’avons par exemple montré pour les «  jeunes sans diplôme » ou les « décrocheurs » que l’on peut dénombrer au moins de trois façons différentes, voire plus, aussi valables l’une que l’autre, et qu’il faut évidemment préciser lorsque l’on annonce ou que l’on publie un nombre de ces « sans diplôme » ou « décrocheurs ».

Nous publierons bientôt un nouvel article à ce sujet, car les décrocheurs continuent à être l’objet de nombreux comptages dont l’accumulation peut rendre difficiles l’appréciation de l’ampleur et de l’évolution du décrochage et la compréhension des processus qui conduisent à ce décrochage.

La question est tout aussi, sinon plus complexe lorsque l’on aborde les évaluations, de plus en plus nombreuses dans le domaine de l’éducation. Pour en prendre là aussi un exemple simple, mais dont la solution n’est pas simple, lorsque l’on annonce que telle proportion de jeunes ne savent pas lire,  il devrait être obligatoire de préciser quelle est la définition retenue du « savoir lire » (déchiffrer correctement ou donner du sens, à quels types de textes, plus ou moins complexes, etc…). Les évaluations de la lecture doivent être accompagnées de ces précisions, ainsi que de la manière dont les données ont été recueillies et évidemment des limites qu’il convient de respecter quant à leur usage.

En tout été de cause, plusieurs évaluations qui prétendent rendre compte d’un même acquis peuvent ne pas donner le même résultat selon la définition retenue de cet acquis[2], selon la façon dont a été organisée la collecte des données, et selon la façon dont les résultats de la mesure ont été calculés et présentés. Pour autant, chacune de ces évaluations aura pu, d’un strict point de vue technique, être parfaitement effectuée.

Les questions de présentation et de médiatisation des résultats des évaluations sont aujourd’hui d’autant plus cruciales que nous devons rompre avec une période au cours de laquelle a sévi une « évalautionnite » forcenée (voir notre article sur les évaluations CE1, CM2,: http://www.cahiers-pedagogiques.com/blog/lesdechiffreurs/?cat=4), ce qui a conduit certains  à avoir peur de toute évaluation et à voir celle-ci comme l’outil d’une mise en concurrence au sein du service public et d’une « marchandisation » de l’École, alors qu’elle doit permettre de mieux connaître les résultats et le fonctionnement de ce service public.

21,5 ou 16% d’adultes en difficulté avec l’écrit en France ?

On en a actuellement un excellent exemple avec les enquêtes sur les compétences des adultes, l’enquête internationale PIAAC coordonnées par l’OCDE en 2013[3] et l’enquête IVQ[4] menée par l’INSEE, en collaboration avec la DARES du Ministère du Travail et la DEPP du Ministère de l’Éducation nationale en 2012. La première estime à 21,5% la part de la population en difficulté vis-à-vis de l’écrit en France, alors que la seconde l’estime à 16%. La différence tient pour l’essentiel à ce qu’elles n’ont pas mesuré exactement la même chose et n’ont pas mesuré de la même manière.

Nous ne le développerons pas plus ici mais nous contenterons de renvoyer à une excellente note qui explicite bien ces différences et précise donc les éléments à avoir en tête pour interpréter chacune de ces deux enquêtes : « Mesurer les compétences des adultes : comparaison de deux enquêtes », INSEE analyses, octobre 2013[5].

C’est pourquoi, comme le CNIS l’a rappelé lors de se réunion du 7 novembre dernier, nous demandons que l’INSEE renouvelle régulièrement l’enquête IVQ.

Augmentation des acquis des élèves en fin de maternelle, … mais de quels acquis s’agit-il ? Ouvrons le débat.

En septembre, la DEPP a publié une note faisant état d’une forte augmentation des acquis des élèves à l’entrée au CP[6].

Des réactions ont immédiatement soulevé des questions touchant, non pas à la qualité des mesures pratiquées pour cette évaluation, mais à ce que l’on pourrait appeler la pertinence politique et pédagogique de ce qu’elle mesurait : s’agirait-il, comme se le demande Rémi Brissiaud, un des premiers à avoir réagi, de « faux bons résultats »[7].

Nous ouvrons le débat à ce sujet en ajoutant aux réflexions de Rémi Brissiaud,  une réaction assez vive de Christine Passerieux du GFEN (Groupe Français d’Education Nouvelle), réaction qui insiste sur les limites qui peuvent être celles d’une telle évaluation, qui ne saurait évidemment tout dire sur la maternelle, le bien-fondé de ses objectifs et des politiques suivies.

Cette contribution est à lire dans la rubrique que nous créons : Maternelle de faux bons résultats ? Elle appelle évidemment réaction

Notre collectif souhaite ouvrir ce blog à d’autres rubriques du même type permettant de questionner la pertinence d’une statistique ou d’une évaluation.

Notre but, conformément à notre charte est de faire en sorte que les chiffres servent avec rigueur le débat démocratique sur l’organisation et l’avenir de notre système éducatif.

Les déchiffreurs.



[1] Voir par exemple le numéro d’Éducation et formation consacré aux effets de l’assouplissement de la carte scolaire, consultable sur http://cache.media.education.gouv.fr/file/2013/63/3/DEPP_EetF_2013_83_Effets_assouplissement_carte_scolaire_254633.pdf

[2] Ainsi, la définition de la littéracie retenue par l’OCDE pour l’enquête PISA ne correspond pas exactement à la conception de la lecture retenue dans notre enseignement. C’est d’ailleurs ce qui fait un des intérêts de PISA qui peut permettre de s’interroger sur les objectifs et les pratiques de notre école.

[3] Les capacités des adultes à maîtriser des informations écrites ou chiffrées, Résultats de l’enquête PIAAC 2012, INSEE première, octobre 2013, à consulter sur http://www.insee.fr/fr/ffc/ipweb/ip1467/ip1467.pdf.

Pour une présentation « journalistique » de la même enquête, voir l’article du Monde : http://www.lemonde.fr/societe/article/2013/10/08/les-adultes-francais-sont-parmi-les-plus-mauvais-a-l-ecrit-et-en-calcul_3491689_3224.html. On appréciera le titre peu nuancé, alors que l’article l’est plus, et surtout la dernière phrase, qui cite un responsable de l’OCDE qui tire de cette enquête la conclusion qu’ « en réalité, ce que confirme cette enquête, ce sont les grandes défaillances de la formation professionnelle en France ». Quel peut bien être rapport entre cette enquête et la formation professionnelle ? Mais l’OCDE est coutumiers de ce type de raccourci à l’emporte pièce.

[4]  Pour les générations les plus récentes, les difficultés des adultes diminuent à l’écrit, mais augmentent en calcul, INSEE première, décembre 2012, à consulter sur http://www.insee.fr/fr/ffc/ipweb/ip1426/ip1426.pdf.

[5] http://www.insee.fr/fr/ffc/iana/iana13/iana13.pdf

[6] Forte augmentation des acquis des élèves à l’entrée au CP entre 1997 et 2011, consultable sur : http://cache.media.education.gouv.fr/file/2013/11/2/DEPP_NI_2013_19_forte_augmentation_niveau_acquis_eleves_entree_CP_entre_1997_2011_269112.pdf

Encore pour une présentation « journalistique » : l’article du Monde : L’école maternelle laboratoire de la réussite, consultable sur  http://www.lemonde.fr/idees/article/2013/09/13/l-ecole-maternelle-laboratoire-de-la-reussite_3477080_3232.html

[7] Rémi Brissiaud, Maternelle de faux bons résultats dans l’Expresso du 18 septembre 2013 du Café pédagogique, consultable sur http://www.cafepedagogique.net/lexpresso/Pages/2013/09/18092013Article635150858806829907.aspx et Comprendre les premiers nombres plutôt que savoir compter loin dans Fenêtre Sur Cour n°390, novembre 2013,  consultable sur : http://www.snuipp.fr/IMG/pdf/FSC_390_BD.pdf



Laisser un commentaire