Évaluer la profondeur, pas la performance.

Le coaching socratique : question, pas réponse

À chaque étape de la progression, l'étudiant peut demander un retour. La forme de ce retour est cruciale. Le format qui marche : observation → question de réflexion → suggestion légère. Jamais une note. Jamais une réponse directe. Toujours une question qui oblige l'étudiant à formuler ce qu'il vient de faire.

Exemple, sur le défi de la cohérence : « Les deux illustrations montrent-elles bien le même personnage ? Pourquoi, ou pourquoi pas ? Comment pourrais-tu améliorer la cohérence visuelle ? »  pas : « Tu as eu 3/5. »

Le coaching est formatif, pas sommatif. Il fait progresser ; il ne classe pas. La note (quand il y en a une) est réservée aux quiz, à la fin de chaque leçon. Cette séparation entre accompagnement et évaluation est ce qui permet à l'étudiant d'oser rater pendant les 23 premières étapes — et de prendre l'évaluation au sérieux quand elle arrive.

Le radar à quatre dimensions

Plutôt qu'une note unique, mesurer en parallèle plusieurs dimensions qui pèsent toutes :

Quatre axes, mesurés en parallèle. Aucune moyenne n'efface les forces et les faiblesses.

Le radar à quatre axes évite l'écueil de la note moyenne qui efface tout. Un étudiant peut être faible sur un axe et excellent sur un autre — c'est utile à voir, pour lui comme pour son enseignant.

Le quiz ouvert, évalué par LLM

À la fin d'une leçon, ne dites pas à l'étudiant ce qu'il a appris : demandez-lui. Avec des questions ouvertes du type : « Décris l'architecture de l'app que tu viens de construire. Quels blocs, quelles sections, quels flux ? Pourquoi cette structure ? » ou « Une collègue te dit que l'IA, c'est juste un chatbot. Comment lui expliques-tu que c'est incomplet, en t'appuyant sur ton capstone ? »

Un LLM évaluateur peut maintenant grader ces réponses avec sérieux : profondeur de compréhension, concepts attendus présents ou absents, capacité de transfert. Le LLM renvoie un score 0–100, un niveau de compréhension (surface / bonne / profonde), la liste des concepts mentionnés, la liste des concepts manquants, et un feedback personnalisé d'environ 80 mots.

Cela rend possible quelque chose qui ne l'était pas il y a deux ans : évaluer en quasi-temps réel des centaines d'étudiants sur des questions ouvertes. Et pas sur des QCM faciles à corriger mais inutiles pédagogiquement.

Croyabilité contre exactitude — la compétence à enseigner

Au-delà du score, ce qu'il faut développer chez l'étudiant, c'est la capacité à ne pas confondre crédibilité et exactitude. C'est la compétence-clé du professionnel IA-augmenté.

Exemple récent. Un modèle généraliste à qui je demande un fichier de sous-titres perd silencieusement l'audio joint et produit un fichier crédible mais entièrement inventé. Si la personne en bout de chaîne ne doute pas du livrable, elle le publie. Même le stagiaire le plus junior n'aurait pas inventé des sous-titres. L'IA peut être, sur des tâches précises, pire que l'humain qu'on suppose qu'elle remplace.

C'est cette compétence — douter, recouper, vérifier — que la pédagogie doit ancrer en priorité. Et c'est exactement ce que le coaching socratique, le radar à quatre axes et le quiz ouvert permettent de mesurer.