Enjeux et choix méthodologiques pour l’étude des rendements des classes dans la recherche REAlang

La recherche REAlang s’est donné comme objectif, entre autres, d’évaluer la performance des classes de CE2, CM1 et CM2 concernant des savoirs grammaticaux et orthographiques fondamentaux, autour du verbe et de l’adjectif. L’objectif général de REAlang est de rendre compte des réalités d’enseignement-apprentissage de la langue en milieu scolaire ; pour ce faire, il s’agit de mettre en relation des pratiques observables avec une typologie de classe établie pour rendre compte du degré d’efficacité observée via des passations d’évaluations. L’enjeu méthodologique sur lequel nous allons précisément revenir ici est la conception et l’utilisation de différentes variables de rendement (performances d’élèves dans un domaine défini) dans le but d’établir une typologie de performances des classes, et donc, potentiellement, des enseignants.

Le corpus a été constitué par le biais d’un test écrit : il s’agit de trois épreuves, administrées à l’identique deux fois, en septembre puis en janvier, à une population constante d’élèves. Les trois épreuves sont conçues dans le but de rendre compte des compétences et des connaissances des élèves concernant deux notions fondamentales de la grammaire scolaire le verbe et l’adjectif. Les élèves ont ainsi successivement écrit un texte dicté, souligné les verbes puis les adjectifs dans un texte normé, défini ce qu’est un verbe puis ce qu’est un adjectif par le biais d’une production écrite Les cohortes d’élèves sont de 502 individus répartis dans 28 classes en CE2, 536 individus répartis dans 32 classes en CM1, 585 individus répartis dans 32 classes en CM2.
L’ensemble des tests écrits a été soumis à un processus d’encodage numérique permettant de constituer une base de données exploitable par les logiciels de statistiques.

Notre protocole décrit les performances des élèves par le biais de quatorze variables sur la pertinence desquelles nous aurons à discuter lors de cette présentation. Partant de là, nous avons utilisé trois méthodes d’investigation.
Dans un premier temps, nous avons partitionné les populations d’élèves en usant d’un outil basé sur le critère d'information bayésien. Ce partitionnement permet d’observer des groupes d’élèves en fonction de leur performance selon tout ou partie des variables.

Une autre méthode consiste à comparer des classes sélectionnées pour leurs performances à certaines variables selon la méthode des boites de Tukey (Le Guen, 2002). Cette comparaison permet d’établir plusieurs types de rendement au sein des classes, en s’appuyant sur une logique de partition des classes en quartiles.
Enfin, nous avons comparé des classes et étudier leurs rendements selon un test inspiré de l’ANOVA de Friedman par rangs. Il s’agit de mesurer la moyenne des rangs des élèves d’une classe pour une ou plusieurs variables. Cette méthode permet notamment d’étudier le rendement des classes sur les résultats d’une épreuve donnée tandis que les deux méthodes précédentes visent à comparer des résultats sur des variables issues d’épreuves différentes.

Le but du présent article est de présenter les méthodes utilisées.