Accueil > L’actualité vue par le CRAP > L’actualité éducative > Evaluer la difficulté des textes - L’approximation n’est pas l’erreur


Evaluer la difficulté des textes - L’approximation n’est pas l’erreur

Par Jean Mesnager

Dans un article publié dans "Le Français aujourd’hui" [2], je me suis efforcé de montrer que mesurer la difficulté des textes n’était impossible ni par principe ni dans les faits.
Le logiciel Lisi est utilisé depuis une dizaine d’années dans le cadre du Réseau des Observatoires Locaux de la Lecture, et occasionnellement dans l’édition, pour évaluer la difficulté des textes. Après un bref rappel sur le fond, je rapporte une ici une expérimentation méthodique qui confirme sa pertinence.

Evaluer la difficulté des textes : nécessaire et impossible ?

L’état de la question paraît pour le moins paradoxal.
D’un côté, sa nécessité recueille d’emblée l’assentiment de la plupart des maîtres. Elle est ressentie comme un besoin de tous les jours, tant pour les textes proposés en lecture autonome ou personnelle, que ceux sur lesquels s’appuient les activités méthodiques, voire les exercices orientés vers la compréhension. Mal apprécier la difficulté, par exemple proposer "La couleuvrine" de Michel Tournier en CM2, selon les indications de la brochure "Littérature" du Ministère, ou "Un printemps vert panique" en CE2 [3], c’est positivement décourager les jeunes enfants, tuer dans l’œuf une vocation naissante. Ne pas calibrer méthodiquement un texte de 300 lignes destiné à un atelier de lecture, c’est condamner la séance : l’interprétation même du sujet du texte engage d’emblée sur des malentendus, ou dans le cas inverse de trop grande facilité, la séance est stérile. Michel Fayol ("Maîtriser la lecture", ONL) ne choque personne quand il recommande : il s’agit ... de proportionner l’effort de l’élève à promouvoir... en veillant soigneusement à ce que la difficulté augmente régulièrement mais reste toujours dans les possibilités de l’élève et de l’effort qu’il est susceptible de fournir [4]. Je suis étonné parfois d’avoir à rappeler ces vérités élémentaires.
C’est que, d’un autre côté, l’opération d’évaluation suscite de réserves, voire des oppositions fortes de la part de spécialistes divers. Certains professionnels de la culture d’abord pour qui mesurer la chose littéraire est un attentat. Passons ! Des pédagogues qui soutiennent que, dès que la lecture est accompagnée, aidée, la question du lisible ne se pose plus, et que refuser Jules Verne aux CM1 contreviendrait au dogme de l’élitisme pour tous. Plus pertinemment, beaucoup font remarquer que la lecture étant affaire d’interaction entre un texte et un lecteur (avec ses inclinations, ses connaissances), vouloir déterminer une difficulté interne du texte n’aurait pas de sens. Enfin, et cela me semble l’objection la plus sérieuse, le linguiste considérera comme impossible de rendre compte de manière chiffrée d’une difficulté liée à tant de facteurs : lexique, syntaxe, grammaire de texte, cohérence etc. Comment "mesurer" par rapport à des "niveaux de difficulté" la charge inférentielle d’un récit ou la complexité de son système anaphorique ?
J’ai déjà répondu à ces objections dans l’article précité : les meilleurs arguments ci-dessus, à savoir les derniers cités, concluent abusivement à l’impossibilité parce que leurs auteurs examinent l’affaire de manière trop générale ; en réalité, il est des domaines du lisible (le lexique et la syntaxe) où l’évaluation sous forme de mesure est envisageable.

Les mesures existantes ; le logiciel lisi

Dans les années 70-80, les enseignants et pédagogues français ont découvert les "indices de lisibilité" , en usage aux Etats-Unis dans l’édition et l’enseignement depuis 1930 [5].
Leur principe de fonctionnement peut se résumer ainsi :
- on évalue la difficulté du lexique à partir de la fréquence moyenne des mots ;
- on évalue la difficulté de la syntaxe à partir de la longueur des phrases ;
- on intègre le tout dans une formule qui produit un indice chiffré ;
- on traduit cet indice en niveau de difficulté à l’aide d’un tableau ; ainsi i = 3,5 peut signifier "texte lisible par des élèves de 6°-5°" ou "par 80% de la population adulte"
Leur premier succès a fait place à une grande désillusion, puis une démolition en règle. J’ai expliqué dans plusieurs articles que ce rejet est abusif : si l’on élabore un outil mieux adapté à la langue française, et qu’on lui assigne d’emblée une portée limitée, on constate ceci : malgré son caractère foncièrement approximatif, il est beaucoup plus fiable que n’importe quel avis obtenu après un feuilletage, voire une lecture attentive, même venant de professionnels chevronnés. Après tout, c’est le rôle d’un outil ! Qui songerait à reprocher au météorologue d’utiliser un baromètre, sous prétexte que cet objet seul ne suffit pas pour prédire le temps ? En somme, les universitaires qui récusent cette démarche, constatant l’insuffisance de tels outils, ont conclu de manière un peu désinvolte à leur inutilité.

Le logiciel Lisi a été élaboré il y a une quinzaine d’années par Stéphane Bres [6] et moi-même. Il est construit sur les mêmes principes que ceux évoqués ci-dessus, mais nous nous sommes efforcés de corriger nombre d’erreurs propres aux indices des années 70-80. La principale évolution est que la mesure est informatisée. Après entrée du texte dans le logiciel, celui-ci produit son évaluation en 1 seconde. Il fallait trois quarts d’heure il y a trente ans.

Le résultat est exprimé sous cette forme :

"La langue de ce texte est accessible à la plupart des élèves de CM1-CM2."

Aperçu de l’utilisation du logiciel Lisi

Comme on le voit, le champ de validité du logiciel se limite à l’aspect linguistique.
D’autres limites doivent être mentionnées :
- Il ne s’applique qu’aux enfants du CE2 à la 5°. En deçà du CE2, les textes trop courts ne se prêtent pas à une mesure statistique sérieuse. Au-delà de la 5°, les caractéristiques "textuelles" deviennent majeures dans la compréhension, et mesurer la seule lisibilité linguistique fait passer à côté de l’essentiel [7].
- Fondé sur un traitement informatique simple, il ne prend pas en compte la polysémie ! Ainsi il ne distingue pas les sens différents d’une même forme, comme "court" : bref ? terrain de tennis ? verbe courir ? Cette grave insuffisance suffirait à elle seule à rejeter l’objet [8]. Sauf que... sur 1000 textes analysés par Lisi dans le seul champ de validité qui est le sien, celui de la difficulté de la langue, l’erreur due à cette insuffisance ne fait pratiquement jamais (1 à 2 cas sur 100) changer le niveau finalement obtenu !
Ce dernier phénomène est exemplaire. Il fait apparaître la différence entre les objections théoriques légitimes, mais purement conceptuelles, et la pertinence constatée dans un domaine limité : la difficulté de la langue des textes destinés aux 8-13 ans. On a pu montrer la validité du logiciel dans ce domaine limité, certes, mais sûrement pas mineur. J’explique comment dans les lignes qui suivent.

Validation de Lisi : deux expérimentations

Après quelque temps de pratique et d’affinement de "Lisi", on a confronté ses "préconisations" concernant des textes narratifs et explicatifs à la compréhension effective des mêmes textes par des groupes importants d’enfants.

Première étude sur le narratif

On compare les pronostics du logiciel à des résultats d’épreuves de compréhension. Plus précisément, si Lisi indique que "la langue de ce texte est accessible à la plupart des élèves de CM1 CM2 " , cette proposition doit être confirmée par des épreuves de compréhension appliquée à des élèves de CE et CM, : pour les CE2, les résultats à l’épreuve doivent être nettement plus faibles, et bien meilleurs pour les CM2.
La mise en œuvre précise a respecté le protocole suivant.

  1. On a d’abord élaboré 4 versions de difficultés graduées du même texte de 400 mots : "Aventures souterraines", de A (facile) à D (le plus difficile). L’échelonnement de la difficulté a été déterminé à l’aide du logiciel LISI. Voici deux extraits qui illustrent la variation.
    César se précipite pour poser ses fesses sur l’un des bancs... qui s’écroule aussitôt dans un grand nuage de poussière. Le bois pourri n’a pas supporté son poids. Malgré leur peur, les enfants éclatent de rire (version 2 CE2-CM1)
    César se précipite pour poser son séant sur l’un des bancs... et s’effondre aussitôt dans un grand nuage de poussière, le bois détérioré n’ayant pas supporté la charge ! En dépit de leur angoisse, les enfants s’esclaffent.(Version 4 CM2 6°)
  2. On a ensuite élaboré un QCM de compréhension, le même pour les 4 versions, portant sur les éléments essentiels du texte : lieux, personnages et leurs motivations, déroulement dramatique (situation, péripéties, dénouement).
  3. Texte et questionnaire ont été proposés à des élèves de 3 écoles de France, soit huit classes. Dans chacune d’entre elles, on a constitué deux groupes "opposables", équivalents en compétences ; à l’un d’entre eux, on a fait passer l’épreuve sur le texte supposé de son "niveau" ; à l’autre, l’épreuve sur le texte de niveau inférieur ou supérieur. Les enfants n’étaient pas avertis de la difficulté du texte auquel ils étaient confrontés.

Constatations
- On observe une régulière baisse de performance lorsque les élèves sont exposés à la version que LISI pointe comme plus difficile ; une hausse avec un texte plus facile. Ainsi, en CM1, le score moyen de compréhension passe de 3,89 (sur 7) avec la version B, à 3,05 pour la version C. On observe en outre une grande régularité du score pour les versions supposées "du niveau" (entre 3,6 et 3,9).
- La différence de score Lisi correspond à une différence réelle de performance en compréhension. Le coefficient de corrélation entre score Lisi et compréhension effective est de .86.

Première étude sur le documentaire

On a reproduit cette expérimentation avec des textes documentaires (ou " informatifs"), et ce deux fois de suite. Voici un extrait de deux versions A et C du texte "Oiseaux migrateurs" utilisé la seconde fois.

Version A : On pense que les oiseaux se dirigent en utilisant plusieurs moyens.
D’abord le soleil. C’est vrai il indique le sud... à midi ! Mais il tourne ! Alors comment les oiseaux s’orientent-ils le matin, le soir, à quatre heures, sans se tromper ? Ils doivent faire une espèce de calcul !

Version C : Il semble que les oiseaux se dirigent de diverses manières. Ils s’aident sans doute du soleil qui les oriente plutôt au Sud ; mais le soleil bouge dans le ciel ! Il faut alors admettre que les oiseaux tiennent compte de son mouvement, à tout moment de la journée, et à tout endroit du trajet.

Constatations
Les résultats ont été beaucoup moins convaincants ! Les scores de réussite ne sont guère différents quand on expose deux groupes d’élèves opposables à deux versions différentes (exemple : versions B et C pour deux moitiés de CM1 ) ; en revanche les résultats aux épreuves de compréhension d’ un même texte proposé à deux niveaux ( version B pour CE2 et version B pour CM1) font bien apparaître la différence attendue.

Deuxième étude sur le narratif

Les résultats des évaluations nationales de 6° ont servi de support.
Remarques préalable sur les écarts de performances
D’une année à l’autre, les résultats chiffrés varient pour les mêmes champs ; ainsi, les centaines de milliers de petits français obtiennent 78,8% en compréhension en 2001, et puis 69,8 % en 2002, etc.

Champ compréhension, récapitulation sur 5 ans
2000 2001 2002 2003 2004
80,4 78,1 69,8 70,00 78,8

Une différence de 10%, c’est considérable ; cela met en cause la pertinence du dispositif ; d’autant que l’amplitude effective des résultats ne va pas de 0 à 100 mais de 50 à 90 en moyenne. L’écart relatif est donc plus important encore ! Qui plus est, des différences aussi importantes de moyennes sur 25 ou 30 items supposent que pour les exercices proprement dits, les écarts sont encore plus grands !
Par exemple, dans l’exercice "Reconstruire la chaîne événementielle", on passe entre 2001 et 2002 de 53 % à 28% de réussite ! Pourtant dans ce cas comme dans ceux qu’on évoque plus loin, les exercices mis en parallèle s’appuient sur des textes supports aussi longs, et les deux questionnaires sont de facture identique. Ce qui semble en cause finalement, ce sont les difficultés respectives des textes supports. D’où l’idée de les évaluer avec Lisi et de confronter ces scores avec les pourcentages de réussite aux exercices.

Score Lisi et réussite aux épreuves
Nous l’avons fait pour les textes de 3 x 3 exercices (extraits des épreuves 2001, 2002, 2004) portant sur les compétences suivantes : donner un titre à un passage, reconstruire la chaîne événementielle, trouver les référents derrière les substituts dans le système anaphorique.
Les corrélations obtenues entre difficulté lisi et taux de réussite aux exercices ont été bien plus nettes encore que dans l’étude précédente : elles avoisinent .97 ! On se rappellera que les épreuves ont été passées par des centaines de milliers d’enfants.

Constatations
Cette étude confirme nettement les résultats de la première aux textes narratifs.

Conclusions

Les études ci-dessus sont axées différemment :
- la première porte sur plusieurs niveaux et la compréhension en général.
- la seconde concerne des centaines de milliers d’élèves, mais à un seul niveau (celui de la 6°) , et des performances portant chaque fois sur une micro-compétence entrant dans la compréhension.
Dans les deux cas, la corrélation semble plus que fondée entre difficulté du texte narratif selon LISI et les performances réelles de compréhension ; elle est moins avérée sur les textes documentaires.

Au passage, une remarque un peu dérangeante : le logiciel, qu’encore une fois j’avoue et revendique comme sommaire, ne prend pas en compte la grammaire de texte ; cette insuffisance ne devrait pas permettre d’obtenir de Lisi une telle précision dans les prédictions, de telles corrélations entre score LISI et compréhension effective. Sous réserve d’investigation plus approfondie, cela pourrait soulever un (petit) lièvre : le poids réel de caractéristiques dites "textuelles" dans la compréhension au niveau primaire seraient mineures au regard des compétences linguistiques ? Je ne m’avancerai pas plus sur ce terrain.

La pertinence de Lisi semble ainsi validée, de même que les principes qui l’inspirent. Cela ne fait pas pour autant de l’outil une référence absolue pour évaluer la difficulté de la langue des textes narratifs : il reste sommaire par les composantes limitées qu’il prend en compte, par les approximations qui subsistent.
Mais la démarche se révèle pertinente, malgré ces limites. Elle est beaucoup plus fiable que les examens "cursifs" utilisés dans la plupart des cas pour déterminer le "niveau" de difficulté, qu’ils soient hâtifs ou attentifs, qu’ils viennent de personnes peu averties ou compétentes (j’insiste sur ce point), On ne peut dès lors accepter que la mesure simple ici décrite soit ignorée ou rejetée, voire méprisée. Tout se passe comme si le météorologue, peu satisfait des limites du baromètre pour prévoir le temps du lendemain, préférait regarder le ciel du soir.

Un ouvrage consacré à la question, accompagné du logiciel Lisi, doit paraître aux Editions Nathan au premier trimestre 2008 : "Evaluer la difficulté des textes".
Le site http://jlisi.free.fr est d’ores et déjà disponible, et nous invitons les lecteurs du présent article à s’y reporter. Ils pourront avoir une idée plus nette du fonctionnement du logiciel et questionner les auteurs : en y publiant demandes et réponses, nous y construirons progressivement un fonds pratique et théorique sur le sujet [9].

Jean Mesnager


Bibliographie

- HENRY, G., Comment mesurer la lisibilité, Bruxelles : Labor, 1987, 2e édition
- BOYER Y., La lisibilité, in Revue Française de Pédagogie, avril-mai-juin 1992.
- DENHIERE G. ET BAUDET S., Lecture et compréhension des textes, Aspects cognitifs, 1988
- FAYOL M., Questions de compréhension, in Regards sur la lecture et ses apprentissages, Observatoire National de la lecture, 1996
- GIASSON J., La lecture, théorie et pratique, Editions De Boeck
- GELINAS C., PREFONTAINE C. et al. , Lisibilité ­ Intelligibilité de documents d’information, département de linguistique, Université du Québec à Montréal, disponible sur Internet.
- GROMER WEISS, Lire, A Colin, chapitre lisibilité, pp 70 et suivantes.
- LABASSE B., La lisibilité rédactionnelle est-elle soluble dans la psycholinguistique ?, article disponible sur Internet.
- MESNAGER J., Lisibilité des livres pour enfants : un nouvel outil ?, Communication et langages , 1989
- MESNAGER J., Pour une étude de la difficulté des textes, ou la lisibilité revisitée, Le Français aujourd’hui, n° 137, avril 2002
- RICHAUDEAU F., Le langage efficace, Marabout
- SORIN, N. (1996), La lisibilité dans le roman pour enfants de 10-12 ans par une analyse sémiotique des textes, Thèse de doctorat, 2 vol. Université du Québec à Montréal.


[1Evaluer la difficulté des textes in "L’attention aux textes,", Le Français aujourd’hui, n° 53, mai 2002.

[2Evaluer la difficulté des textes in "L’attention aux textes,", Le Français aujourd’hui, n° 53, mai 2002.

[3La Couleuvrine (Michel Tournier) et Un Printemps Vert Panique (Paul Thiès) figurent parmi les 150 ouvrages recommandés dans la brochure "Littérature" accompagnant les programmes 2002.

[4Faire appel au concept de Zone Proximale de Développement paraît même excessif pour une recommandation aussi évidente.

[5Voir l’historique de cette démarche dans Georges Henry, Comment mesurer la lisibilité, Labor 1987.

[6Chercheur à l’INSA de Lyon.

[7Si l’on examine les textes d’un manuel d’histoire de terminale, ou les articles du Monde, on contate que les 4/5 des informations à retenir s’obtiennent par inférence ou en mobilisant des connaissances du lecteur.

[8Des travaux plus avancés pour rendre compte de la polysémie existent, mais ne permettent pas encore de proposer aux maîtres, ou même aux éditeurs, des outils simples à mettre en œuvre. On peut citer le dispositif américain "Coh-Metrix" (Université de Memphis).

[9Procéder ainsi nous paraît plus judicieux que de charger d’emblée le site avec des développements massifs !