Articles Taggés ‘Evaluation’

Évaluation par les pairs

15 mai 2015

Pour compléter mon propos sur l’évaluation par les pairs, je vous invite à regarder l’excellente vidéo de Rémi Bachelet : il y explique tout ce qu’il faut savoir sur l’organisation et la pratique de l’évaluation par les pairs. Mais cette courte vidéo est aussi très riche d’enseignements –ou de rappels- pour les professeurs.

Après avoir résumé quelques notions fondamentales en matière d’évaluation par les pairs (intérêt pour l’apprentissage, rappel de la taxonomie de Bloom), il aborde dans la deuxième partie la question du commentaire (signes positifs ou négatifs, conditionnels ou inconditionnels) et de ses incidences sur la progression et la confiance de l’apprenant. Il traite d’ailleurs à cette occasion du cas de l’absence de retour, dont je parlais en décembre dernier après mon évaluation par mes pairs à la fin d’un MOOC.

Enfin, il explique comment, grâce à la « méthode sandwich », pair et professeur peuvent présenter un retour constructif pour chaque travail évalué.

 

 

 

Évaluation par les pairs : la note ne suffit pas !

13 décembre 2014

Le week-end dernier, j’ai terminé le MOOC « Enseigner et former avec le numérique en langues », en ligne sur la plateforme de France Université Numérique. Ce cours, qui durait quatre semaines, était proposé par l’université Stendhal de Grenoble. Il abordait quatre approches : les formations hybrides en langues, la télécollaboration, les outils de l’intercompréhension et l’exploitation du web social. Chaque semaine traitait d’une approche à partir de deux vidéos et d’une évaluation sous forme de questionnaire à choix multiple. Enfin, tous les participants (nous étions 4500) pouvaient échanger sur le forum et participer/assister aux hang-out hebdomadaires. Une évaluation finale venait clore la formation : nous devions préparer une tâche qui exploitait les ressources du web social et qui pouvait s’intégrer dans un dispositif hybride, dans un projet de télécollaboration ou dans une formation à l’intercompréhension.

Quel bilan tirer de cette expérience ? D’abord, j’ai été heureux de découvrir de nouvelles approches : pas tant celle de la formation hybride, que je connaissais déjà pour la mettre en pratique, que celles de la télécollaboration et de l’intercompréhension. Découvrir est le mot : on peut regretter qu’en raison du format et de la durée de ce cours les sujets soient traités trop superficiellement. De manière générale, c’est d’ailleurs un peu le reproche que je ferais aux MOOC (c’est ma troisième expérience en la matière). Mais un MOOC 2 est apparemment à l’étude et la bibliographie, en attendant, permettra de pallier mes lacunes et ce goût d’inachevé.

J’ai très peu participé aux forums mais lisais régulièrement et assez rapidement les commentaires des participants : en général, les forums ne m’intéressent pas plus que ça et je trouve que j’y perds mon temps. Peut-être ai-je tord. Les hang-out ont généralement réuni des intervenants intéressants, aux expériences variées.

Les évaluations hebdomadaires étaient bien faites, ce qui n’était pas gagné au vu du format choisi (questionnaire à choix multiple). Pour les deux MOOC précédents, j’avais dû parfois répondre à des questions trop faciles voire relativement stupides et qui, de toute façon, à mes yeux, ne validaient absolument rien. Cette fois, je dois dire qu’il me fallait de temps en temps revoir la vidéo ou relire la transcription pour pouvoir répondre, cela m’obligeait donc à réviser un point qui m’avait échappé. Il reste que ce ne sont que des QCM, mais peut-on proposer autre chose ?

La tâche proposée, bien en rapport avec le sujet, ne représentait pas trop d’heures de préparation sans être non plus ridiculement simple. L’évaluation finale, faite par les pairs, était aussi une première pour moi (les autres MOOC organisaient un QCM final). J’en attendais beaucoup, peut-être trop, car mes pairs m’ont un peu déçu ! Pour justifier leur note, ceux-ci pouvaient (c’était optionnel) laisser des commentaires dans chaque section de la grille d’évaluation puis un commentaire général. Or seul un de mes pairs a pris le temps d’un petit commentaire général de 2 lignes ! Je ne sais pas quelle en est la raison. Excès de modestie ? Manque de temps ? Manque d’intérêt ? Ou bien croyance en la note, qui dit tout et se suffit ? Dommage parce que cette note ne m’intéressait pas du tout ; en revanche j’aurais aimé lire des observations plus nombreuses et plus détaillées : personnellement, et je ne crois pas être seul, c’est ce qui m’aide à apprendre. Bref, un très bon MOOC mais peut-être faudrait-il rendre les commentaires « obligatoires » lors des éditions !

L’évaluation à coups de « C’est pas si mal ! »

2 juin 2011

On ne demande même pas aux gens de dire « J’ai aimé » on leur demande de dire « J’ai été plutôt satisfait ». Moi, je suis plutôt satisfait du whisky J&B, mais je sais qu’il est très inférieur à tel whisky qui a un goût de tourbe sublime. Mais je serai jugé sur mon « plutôt satisfait », qui ne représente aucun amour spécial. À la longue, évidemment, le manque d’amour, ça a l’air ronflant, comme ça, mais ça se paie. L’échelle disparaît et il n’y a personne qui dit : « C’est moi, je l’aimais, je la faisais ! »

Serge Daney, Itinéraire d’un ciné-fils

 

Signe des temps et du peu d’ambition des professeurs pour leurs apprenants, je ne calcule plus le nombre de fois où j’ai entendu dire l’un d’entre eux, au moment d’évaluer : « C’est pas mal ! » ou mieux encore : « C’est pas si mal ! ».

La pression évaluative a été énorme durant longtemps ; cette évaluation se concentrait alors essentiellement sur les lacunes et les erreurs. Cela entrainait de fait un blocage chez l’apprenant, qui évitait toute démarche active afin de ne pas commettre d’erreurs immédiatement sanctionnées. Une véritable pédagogie de l’erreur a donc vu le jour, selon laquelle l’erreur non seulement ne peut être évitée mais est nécessaire à l’apprentissage. De là un changement d’attitude qui consiste à se concentrer plutôt sur les productions correctes. Dans les évaluations sommatives, on est donc logiquement passés d’un système où on enlevait des points à une note parfaite (le 20 sur 20) à un système où on donne des points (voir par exemple les grilles d’évaluation du Delf/Dalf actuel). Bien. Jusqu’ici rien à dire.

Là où ça commence à ne plus aller, à mes yeux, c’est quand on veut complètement oublier lacunes et erreurs au nom d’un positivisme qui personnellement me désole. Je me souviens d’un prof d’université, en France, qui commentait l’orthographe d’une copie dans laquelle l’étudiant avait écrit « Ils habites » : « Au moins il a mis le pluriel ! ». J’ai dû rester sans voix. Durant un séminaire, une formatrice qui cherchait à tout prix à nous convaincre de jeter en permanence un regard positif sur les productions des apprenants, prit l’exemple d’un élève qui bégayait. Que fallait-il lui dire ? Dans l’assistance, un prof facétieux lança : « Tu bégaies bien ! ».

Lors des réunions d’harmonisation de correction, s’affrontent généralement deux groupes de professeurs : ceux qui ne « pardonnent » rien et en sont donc encore à tout sanctionner, et ceux qui passent leur temps à dire : « Mais c’est pas si mal ! ». Or entre ces deux positions extrêmes, il y a, comme toujours, une position médiane qui consiste à ne rien laisser passer quant aux éléments qui doivent être, selon la programmation, connus et/ou maîtrisés, à être clément sur les points en cours d’apprentissage et à ignorer les lacunes correspondant à des objectifs d’apprentissage encore non abordés.

« C’est pas mal ! » est de toute manière toujours global : « C’est pas si mal ! », d’accord, mais qu’est-ce qui est correct ? Qu’est-ce qui ne l’est pas ? De plus, « C’est pas mal ! » donne à entendre que l’objectif d’apprentissage est l’approximation ou du moins qu’on s’en contente. « A voir ce dont l’esprit se contente, on mesure l’étendue de sa perte » disait Hegel. Comme professeur, je ne vise jamais pour moi ou pour les étudiants au : « C’est pas si mal ! » mais plutôt au : « C’est bien ! ». C’est se tromper que de penser qu’à force de répéter « C’est pas mal ! » on atteindra le « C’est bien ! ». L’opposé de « C’est bien ! » n’est pas, comme on le croit trop souvent, « C’est mal ! » ou « C’est mauvais ! » ; ce sont les deux côtés d’une même pièce, justement parce qu’on sait depuis des décennies que l’erreur conduit à l’apprentissage, et que donc le « C’est mal ! » conduit au « C’est bien ! ». Non, le contraire de « C’est bien ! », c’est précisément l’insupportable et inutile : « C’est pas si mal ! »

Le leurre de l’harmonisation des niveaux de certification grâce au CECRL

2 février 2011

Je me rappelle avoir assisté, voici quelques années déjà, à une présentation du CECRL : une nouvelle ère s’annonçait. Terminé les disparités dans les certifications ! Fini les diplômes de langues délivrés selon des critères nationaux ! À la trappe les delf/dalf, les first certificate et autres DELE ! nous abordions le rivage de l’harmonisation européenne ! Désormais, on nous l’assurait, nous saurions de quoi serait capable le titulaire d’un diplôme B2 en tchèque ou en portugais car tous les pays allaient appliquer la même échelle pour l’évaluation de la maîtrise d’une langue.

En 2008, alors étudiant en italien à l’Istituto Italiano di Cultura de Barcelone, je décide de partir pour un séjour linguistique à Perugia –siège d’une des plus célèbres universités spécialisées en italiano per stranieri. Mon troisième niveau en poche (c’est à dire, pour l’Istituto, l’équivalent du niveau B1), je me présente donc à l’Université de Perugia un matin de juillet. On me fait passer un test, me voilà immédiatement inscrit au cours de C2. C2 ? Ah mais ! il doit y avoir une erreur ! J’explique à l’examinatrice, dans mon italien approximatif, que ce n’est pas possible : je viens de terminer un cours de B1 à Barcelone ! Je parle couramment 2 langues latines (le français et l’espagnol), en comprends une troisième (le catalan), ai quelques réminiscences d’un lointain apprentissage de portugais ; je ne doute pas un seul instant de mes immenses talents pour apprendre les langues étrangères, suis même flatté de cette généreuse évaluation, mais, chère madame, ce n’est tout simplement pas possible ! je suis loin, bien loin, j’en suis désolé, de « m’exprimer spontanément et couramment » (C1)  en italien !

Après avoir bataillé durant quelques minutes et fait valoir que je suis, par ma profession, un spécialiste moi aussi de la question, et donc que je ne parle pas en l’air, mon évaluatrice italienne consent à modérer ses prétentions et m’inscrit dans le cours de… C1 !! Ma fiche d’inscription en main, je ressors de l’université un peu soupçonneux. Et pourtant, dès le lendemain, premier jour de classe, je constaterai que ce cours correspond grosso modo à mon niveau général d’italien, pour la bonne et simple raison que ses objectifs d’apprentissage tiennent plus du niveau B2. On me proposera cependant, en fin de séjour, de passer l’examen officiel d’italien de C1…

Que penser de tout cela ? Que l’harmonisation européenne pour l’évaluation de la maîtrise d’une langue demeure un objectif encore loin d’être atteint. Même si les Allemands, les Espagnols, les Anglais, tous les autres pays européens ont eux aussi harmonisé leurs évaluations à leur manière. Est-ce si grave ? Evidemment non. Le principal apport du CECR ne tient certainement pas à cette question. Le problème, de taille, à mon avis, est que tout le monde feint de croire que cette harmonisation proposée et définie par le CECRL en 2001 est un fait acquis. Jusqu’à aujourd’hui, jamais aucune référence, dans mes lectures, à la disparité qui perdure en la matière.

Je déteste donner des notes !

10 novembre 2010

S’il y a bien quelque chose que je déteste dans mon métier, c’est de donner des notes. Non pas que je veuille me la jouer « prof sympathique et pris dans les nuages du sacerdoce ». Non, non. C’est simplement que j’ai horreur de me retrouver face à deux feuilles terribles : à droite la copie de l’étudiant et à gauche la grille d’évaluation. Ces fameuses grilles d’évaluation qui sont toujours plus longues, au fil des ans, au motif qu’elles sont toujours plus précises. Bien sûr, c’est exactement le contraire : vagues dans leur excès d’exactitude, il est absolument impossible de les remplir.

Un avantage cependant : elles permettent de justifier des notes au dixième de point près, ce qui fait très professionnel : un 6,70/10, ça en met plein la vue comparé à un 6,50/10 ou même à un 7/10 qui semble carrément suspect (mais a-t-il seulement pris le temps de noter, ce professeur, ou prend-t-il sa tâche par dessus la jambe ?).

Attaquant mes corrections, je me retrouve aussitôt à faire des comptes d’apothicaire, ce dont j’ai parfaitement horreur. Car mes calculs terminés, les sous-sections additionnées entre elles, je découvre invariablement sur ma calculatrice une note qui ne correspond pas du tout à celle que j’attendais. Me voilà donc parti pour corriger le résultat auquel je suis parvenu, rognant un demi-point là, ajoutant trois quarts de point ici, afin d’atteindre la note que je m’étais proposée d’attribuer avant ces fichus calculs.

En regardant mon paquet de copies corrigées, au lieu d’afficher un sourire satisfait devant la tâche accomplie, je commence à douter : les premières copies ont-elles été notées de la même façon que les suivantes ? Allons, vite ! Examinons tout ça minutieusement, quelques ajustements seront sans doute nécessaires ! Et après ? me direz-vous, le travail est enfin terminé !? Que nenni ! Je pense maintenant aux copies immédiatement corrigées après celles qui sont excellentes : elles souffrent toujours d’une comparaison qui les handicape. Et voici donc le dernier round de relecture !

Entendons-nous : je déteste noter mais pas du tout évaluer. Je prends d’ailleurs beaucoup de plaisir et de temps à écrire sur chaque copie, à destination de leur auteur, les qualités et les défauts du travail fourni. Voilà mon travail, me dis-je, voilà où je peux continuer à les aider, s’ils lisent soigneusement et comprennent ce que je leur dis. Pour le reste, au lieu de passer des heures à noter et calculer comme un misérable, au lieu de la fameuse note, je me contenterais volontiers d’une liste d’expressions, pour moi amplement suffisante, qui irait du « Très bien ! » pour aller à l’ « Insuffisant » voire au péremptoire « Aucun travail ! », en passant par le « Bien », l’ « Assez bien » et le « Juste ! ».

Mais, bon soldat consciencieux, je fournis invariablement mes notes –en maudissant dans ma barbe les inventeurs des grilles d’évaluation !

Le Diplôme de Compétence en Langue

29 juin 2010

Mais quelle est donc cette certification qui consiste à réaliser une tâche ? C’est sur cet énorme mystère que je vous avais quitté voici deux semaines.

Eh bien ce diplôme s’appelle le Diplôme de Compétence en Langue (DCL). Diplôme de l’Education nationale réservé aux adultes, le DCL est né en 1996 « d’un besoin exprimé auprès des GRETA et des Centres de Formation des Universités par des entreprises à la recherche d’un outil fiable garantissant une compétence opérationnelle à un niveau donné ».

L’épreuve dure trois heures durant lesquelles le candidat doit réaliser successivement différentes tâches –suivant le fil d’un scénario défini par les concepteurs- et résoudre une étude de cas. La grande originalité du DCL : l’épreuve est la même pour tout le monde, quel que soit son niveau. En fonction de ses performances, le candidat se verra attribuer un degré entre 1 et 5 (ces degrés correspondent aux niveaux du CECR allant du A2 et au C2).

Chaque scénario prévoit cinq phases. Les deux premières consistent à recueillir des informations à partir de documents écrits (Phase I) et de documents enregistrés (Phase II). Le candidat recueille ensuite des informations manquantes à partir d’un entretien téléphonique avec un interlocuteur durant la Phase III (durée : 10 mn). En Phase IV, il rédige une fiche de prise de notes pour une présentation-argumentation (rédaction de la fiche : 20 mn ; entretien : 20 mn). Enfin, durant la Phase V, il rédige un rapport (durée : 40 mn).

Toutes les compétences (expressions orale/écrite, compréhensions orale/écrite ET l’interaction, compétence complètement oubliée par les Delf/Dalf) sont directement ou indirectement évaluées mais seules les tâches des trois dernières phases sont notées. En effet, pour que le candidat soit capable de les réaliser, il est indispensable qu’il ait compris les documents en Phases I et II. De plus, proposer des questions de compréhension orale et écrite serait pour le moins absurde puisqu’elles seraient identiques à tous les niveaux.

Durant la Phase III, il n’y a qu’un seul examinateur mais l’entretien téléphonique est enregistré. En Phases IV et V, il y a deux examinateurs : un pour la dimension pragmatique, un autre pour la dimension linguistique.

Tout le monde repart donc avec une performance validée et chacun a accès à l’évaluation pour connaître exactement ses points forts et ses failles (différence avec le Delf/Dalf qui permet uniquement aux candidats ayant échoué de consulter leurs grilles d’évaluation).

Cette certification existe en anglais, espagnol, italien et allemand. Elle n’existe pas en français langue étrangère puisqu’elle est destinée a priori à des étudiants français. Enfin, elle coûte 69 euros (à rapprocher de la tarification carrément prohibitive du Delf/Dalf : de 79 € pour le A2 à 182 € pour le C2 en Espagne, par exemple).

Pourquoi le CIEP ne s’est-il pas inspiré de cette certification qui avait fait ses preuves depuis 9 ans déjà à la date de la refonte du Delf/Dalf ? Mystère et boule de gomme. Toujours est-il qu’on n’a pas fait mieux jusqu’à aujourd’hui pour mesurer les capacités d’un candidat à réaliser une tâche en langue étrangère.

Sur ce je vous retrouve en septembre prochain et vous souhaite à tous un très bel été !

Diplôme de Compétence en Langue

La farce du DELF/DALF

14 juin 2010

Époque oblige, voici le temps des certifications !

Depuis septembre 2005, les diplômes de langue française (DELF et DALF), proposés par les Ministères de l’Éducation nationale et de l’Enseignement supérieur et préparés par le Centre International d’Etudes pédagogiques (CIEP), sont harmonisés sur l’échelle à 6 niveaux du Cadre européen commun de référence pour les langues. De quoi s’agit-il ? Le candidat se prépare et s’inscrit au niveau de son choix (A1, A2, B1, B2, C1, et C2) ; il passe alors une épreuve dans chaque compétence : expressions orale et écrite, compréhensions orale et écrite. Chaque épreuve est notée sur 25 et le candidat doit obtenir au minimum 50 sur 100.

Maintenant : que penser de cette certification ? Je connais assez bien le sujet pour avoir corrigé ces examens depuis leur refonte.

Au delà de la pertinence ou de l’intérêt des sujets, qui passionnent toujours les professeurs (« Ah ! Ils ne se sont pas foulés ! Encore l’écologie ! », « La question est mal fichue ! », etc.), mais qui finalement sont secondaires, il peut être utile de discuter de la valeur du diplôme.

Pour commencer, je peux témoigner de l’obsession du CIEP pour faciliter l’obtention de ces certifications. A chaque session, les « éléments de langage », pour reprendre une expression à la mode, sont : « Ne notez pas trop sévèrement ! » De plus, plusieurs outils permettent de diminuer la pression évaluative. D’abord, le correcteur est invité à voir ce que le candidat peut faire en français et non pas ce qu’il ne peut pas faire, ce qui me semble honnête et légitime, mais n’en entraine pas moins une certaine clémence (il est plus facile d’enlever des points plutôt que de n’en pas donner). Suit une grille d’évaluation dont certaines sections sont si vagues qu’il est impossible de donner un minimum de points, à moins d’avoir devant soi un chimpanzé, et encore. Puis vient le nombre excessif de sections à évaluer (une dizaine pour les épreuves d’expression) : un candidat qui se présente aura difficilement moins de 0,5 dans chaque section, c’est à dire qu’il a déjà environ 5 points sans avoir encore rien fait. La notation se fait ensuite sur 25, ce qui est à mon avis la grande trouvaille du CIEP : nous sommes tous habitués à évaluer sur 20 et perdons nos repères quand nous passons sur 25. Enfin les notes des différentes compétences se compensent, à la condition d’obtenir au minimum 5 dans chacune (condition facile à remplir, nous venons de le voir). Un candidat peut donc par exemple obtenir son diplôme en ayant deux 5 et deux 20, ce qui n’est pas du tout un cas d’école. Que signifie, dans ces conditions, être titulaire d’un tel diplôme ?

Mais pourquoi faciliter autant l’obtention des diplômes ? On s’imagine mal le marché que représente celui des certifications en langue. A l’Institut français de Barcelone, où j’ai travaillé pendant 7 ans, 3 trois sessions d’examen sont organisées chaque année et celle de juin, la plus importante, réunit environ 2000 candidats. Quand on multiplie ce nombre par les frais d’inscription, on s’aperçoit qu’il s’agit d’un petit pactole que les différentes entités se disputent d’ailleurs comme des chiffonniers (à Barcelone, par exemple, une partie des recettes est reversée au CIEP et à l’Institut de Madrid). Tout le monde en croque (professeurs compris), et tout le monde a intérêt à ce que les affaires marchent : comment mieux y parvenir qu’en facilitant l’obtention de ces diplômes ? Tous les candidats, ou presque, peuvent repartir avec une belle certification utile pour leur CV.

Mais cette certification soulève une autre question, d’ordre théorique celle-là, et de taille :

Comment, à l’heure où le C.E.C.R. fonde l’apprentissage des langues sur l’approche actionnelle dont on nous rebat les oreilles, comment peut-on justifier l’absence totale de tâche durant ces examens ?? D’autant plus que ce type de certification existe déjà !! Laquelle ? C’est ce que je vous propose de voir la prochaine fois !

Site du CIEP

Related Posts Plugin for WordPress, Blogger...