Bien évaluer un modèle

La page « Généraliser » a posé la règle d’or : on juge un modèle sur des exemples qu’il n’a jamais vus. Cette règle est nécessaire, mais elle ne suffit pas. Un score sur le jeu de test n’a de valeur que s’il est honnête (le modèle n’a-t-il vraiment rien vu du test ?), fiable (le score dépend-il du hasard du partage entre entraînement et test ?), pertinent (mesure-t-il ce qui coûte vraiment en cas d’erreur ?) et valable (s’applique-t-il aux données qu’on rencontrera réellement ?). Les quatre sections de cette page traitent ces quatre questions. Aucune ne demande de nouveau modèle. Toutes demandent de la méthode, et c’est surtout la méthode, bien plus que le choix d’un algorithme, qui distingue un modèle qui fonctionne d’un modèle qui semble fonctionner.

Le score trop beau pour être vrai : la fuite de données

Le premier piège est le plus courant et le plus difficile à repérer. Un modèle obtient 99 % de bonnes réponses sur le jeu de test, on le met en service, et ses résultats deviennent très mauvais. La cause est le plus souvent une fuite de données (data leakage) : une information qui n’aurait pas dû être disponible a été utilisée pendant l’entraînement, et le test n’était plus vraiment nouveau.

La fuite prend deux formes. La première est la contamination : le jeu de test contient, sous une autre forme, des exemples que le modèle a déjà vus. Par exemple, la même maison vendue deux fois en trois ans, une fois dans chaque ensemble, la même photo en deux résolutions ou le même courriel transféré à trois personnes. Le modèle ne généralise pas, il reconnaît les exemples, et le score récompense sa mémoire. À grande échelle, c’est le problème des grands modèles de langage présenté dans l’encart de la page précédente : quand les données d’entraînement couvrent tout le Web, on ne sait plus ce qui a fui.

La seconde forme est moins évidente. Il s’agit d’une caractéristique qui contient la réponse, ou dont on ne disposera pas au moment de prédire. L’exemple le plus connu vient du naufrage du Titanic, dont la liste des passagers est un classique des cours d’apprentissage automatique. On y prédit qui a survécu à partir de la classe, du sexe, de l’âge et du tarif payé. La version complète de cette liste, compilée à partir de l’Encyclopedia Titanica et hébergée par l’Université Vanderbilt, comporte deux colonnes de plus, le numéro du canot de sauvetage et le numéro d’identification du corps repêché. Si on les donne au modèle, il devient parfait, parce qu’avoir un numéro de canot signifie avoir survécu et qu’avoir un numéro de corps signifie être mort. Le modèle n’a rien deviné, il a lu la réponse, à peine cachée, dans les données. Nos maisons présentent le même piège. Pour prédire le prix, la « taxe foncière » donnerait d’excellents résultats, parce qu’elle est calculée à partir de la valeur de la maison.

Il n’existe pas de détecteur automatique de fuites, mais il existe une méthode. D’abord, il faut se méfier : un score exceptionnel est un signal d’alerte avant d’être une bonne nouvelle, et la première question à poser est « qu’est-ce qui pourrait avoir fui ? ». Ensuite, il faut appliquer une règle systématique : tout ce qu’on calcule à partir des données se calcule sur l’ensemble d’entraînement seulement, qu’il s’agisse de moyennes, d’écarts, du choix des caractéristiques ou des réglages. Le jeu de test ne sert qu’une fois, à la fin, comme un examen qu’on ne corrige pas en cours de route.

Le jeu de test sous clé : Kaggle. Cette méthode existe aussi sous une forme institutionnelle. Sur Kaggle, la plateforme de compétitions d’apprentissage automatique, les participants reçoivent les données d’entraînement avec leurs réponses et les données de test sans leurs réponses. Les vraies réponses du test restent privées, et ce sont les organisateurs qui calculent le score de chaque soumission. Personne ne peut donc, même par erreur, entraîner son modèle sur l’examen. La plateforme va plus loin. Pendant la compétition, le classement public n’est calculé que sur une partie du jeu de test, et le classement final est calculé sur l’autre partie, gardée secrète jusqu’à la fin. Cette mesure empêche une fuite encore moins évidente, qui consiste à ajuster son modèle, soumission après soumission, au score affiché, jusqu’à s’ajuster au jeu de test sans l’avoir jamais vu. Les participants connaissent bien les changements importants de classement qui se produisent à la fin quand les deux parties donnent des résultats différents.

Une unité n’est pas l’autre : mettre à l’échelle. Cette règle a une application très concrète, que nous avons évitée sans la mentionner. Dans le plan des maisons, kNN mesure une distance qui combine une différence de kilomètres et une différence d’années. Or rien n’indique qu’un kilomètre « vaut » une année. Si on avait placé la superficie en mètres carrés à côté du nombre de chambres, un écart de 50 m² aurait été beaucoup plus important qu’un écart d’une chambre, et la distance n’aurait plus eu beaucoup de sens. On corrige ce problème en mettant à l’échelle (feature scaling) chaque caractéristique, par exemple en la ramenant entre 0 et 1, ou en soustrayant sa moyenne et en divisant par son écart-type. La descente de gradient en profite aussi, car elle fonctionne mal dans une cuvette très étirée dans une direction. La règle s’applique ici aussi : les moyennes et les écarts utilisés pour la mise à l’échelle se calculent sur l’entraînement, puis s’appliquent tels quels au test.

Quand les données sont rares : la validation croisée

La deuxième question porte sur la fiabilité du score. Reprenons nos vingt maisons. Suivre la règle d’or revient à en mettre quatre de côté et à n’apprendre que sur seize. Cela pose deux problèmes. D’abord, seize maisons, c’est peu pour apprendre, et on voudrait utiliser les vingt. Ensuite, et surtout, le score dépend beaucoup du choix des quatre maisons mises de côté. Si ce sont les deux exceptions du nuage coloré, le modèle paraîtra mauvais. Si ce sont quatre maisons typiques, il paraîtra excellent. Le hasard d’un seul partage a donc trop d’influence.

La solution consiste à faire une rotation plutôt qu’un seul partage. On divise les vingt maisons en cinq groupes de quatre. Au premier tour, le premier groupe sert de test et les seize autres maisons servent à l’apprentissage. Au deuxième tour, c’est le deuxième groupe qui sert de test, et ainsi de suite. On obtient cinq tours et cinq scores, dont on calcule la moyenne. Chaque maison a servi de test exactement une fois, et chacune a servi à l’entraînement quatre fois sur cinq. C’est la validation croisée (cross-validation), et le nombre de groupes se choisit librement. On en utilise le plus souvent cinq ou dix, et jusqu’à n groupes d’un seul exemple quand les données sont très rares.

La validation croisée demande cinq entraînements au lieu d’un. C’est peu pour une droite, mais beaucoup pour un très grand réseau de neurones. C’est pourquoi on l’utilise souvent sur de petits jeux de données et presque jamais sur les très grands, pour lesquels un seul jeu de test suffit, parce qu’il est lui-même très grand.

La validation croisée est aussi le cadre habituel d’une opération que nous avons faite plusieurs fois sans vraiment la nommer, le réglage de ce qui ne s’apprend pas. Le nombre de voisins k, la sévérité λ de la pénalité et le taux d’apprentissage de la descente ne sont pas des paramètres du modèle, et aucun n’est ajusté par la descente de gradient avec les autres. Ce sont des hyperparamètres, c’est-à-dire des réglages de la procédure, fixés avant l’entraînement. On les choisit en essayant plusieurs valeurs et en gardant celle qui donne le meilleur score de validation croisée. Ensuite seulement, on utilise le jeu de test pour l’évaluation finale. C’est le rôle de l’ensemble de validation de la page précédente, appliqué en rotation.

Compter juste : les métriques

La troisième question est de savoir si le score mesure ce qui coûte vraiment. Jusqu’ici, pour une catégorie, nous avons compté le taux de bonnes réponses (accuracy). Nous connaissons déjà son défaut. Dans Le modèle le plus bête, un filtre qui ne signalait jamais de pourriel obtenait 99 % de bonnes réponses, parce que les pourriels étaient rares. Un seul nombre ne peut pas indiquer à la fois combien de pourriels on intercepte et combien de vrais courriels on élimine. Il faut compter ces deux quantités séparément.

Prenons 1000 courriels, dont 50 pourriels, et un filtre qui en élimine une partie. Quatre cas sont possibles pour chaque courriel, et on les range dans un tableau appelé la matrice de confusion (confusion matrix) : un pourriel éliminé (vrai positif), un pourriel qui passe (faux négatif), un vrai courriel éliminé (faux positif) et un vrai courriel conservé (vrai négatif). Ici, « positif » signifie « signalé par le filtre » et n’indique pas un résultat favorable.

Ces deux types d’erreur ne sont pas propres à l’intelligence artificielle. La statistique les a nommés bien avant, en 1933, dans les travaux de Jerzy Neyman et Egon Pearson. L’erreur de première espèce consiste à voir un effet là où il n’y en a pas (notre faux positif), et l’erreur de seconde espèce consiste à manquer un effet réel (notre faux négatif). En anglais, on parle de type I and type II errors. Ces notions s’appliquent à tout test, de l’essai clinique au contrôle de qualité en usine. Un tribunal qui condamne un innocent ou acquitte un coupable commet ces deux types d’erreur. L’apprentissage automatique a repris ces notions avec son propre vocabulaire.

Ce filtre obtient 97 % de bonnes réponses, alors qu’un filtre qui ne signale jamais de pourriel en obtiendrait 95 %. Le taux global cache donc presque tout. Le tableau permet de répondre à deux questions plus précises, qui ont chacune un nom. La précision est la part de vrais pourriels parmi les courriels que le filtre a éliminés. Ici, elle est de 40 sur 60, soit 67 %, et le reste correspond à des courriels légitimes perdus. Le rappel (recall) est la part des vrais pourriels que le filtre a interceptés. Ici, il est de 40 sur 50, soit 80 %, et le reste est passé. On obtient ainsi deux nombres au lieu d’un, et ils varient en sens contraire.

Ces deux termes ne viennent pas non plus de l’IA, mais de la recherche d’information (information retrieval), la discipline des catalogues de bibliothèque puis des moteurs de recherche. Pour une requête, un bon système retourne des documents pertinents sans y mêler de documents inutiles (la précision), et n’en oublie pas (le rappel). Dès les années 1960, on a fait de ces deux mesures la référence pour comparer les systèmes de recherche documentaire, et elles le sont restées. Précision et rappel forment aujourd’hui le vocabulaire commun de tous les systèmes qui trient. Un filtre anti-pourriel est d’ailleurs une forme de recherche, puisqu’il retrouve les pourriels parmi les courriels.

Ces deux mesures varient en sens contraire. La régression logistique de Classer donne une probabilité, et nous avons placé le seuil de décision à 0,5. Rien n’oblige à choisir cette valeur. Avec un seuil de 0,9, le filtre n’élimine que les courriels pour lesquels il est presque sûr, donc la précision augmente et le rappel diminue fortement. Avec un seuil de 0,1, il élimine un courriel au moindre doute, donc le rappel augmente et la précision diminue fortement. Le même modèle, sans nouvel entraînement, peut être strict ou tolérant, et ce choix dépend du problème et non des mathématiques. Pour un filtre anti-pourriel, un vrai courriel éliminé coûte plus cher qu’un pourriel qui passe, et on favorise donc la précision. Pour un test de dépistage, un malade non détecté coûte plus cher qu’une fausse alerte qu’un second examen permettra d’écarter, et on favorise donc le rappel.

Le cas d’un système d’alerte illustre bien ce choix. Un détecteur de fumée peut commettre deux erreurs, sonner pour un toast brûlé ou rester silencieux pendant un incendie. La première erreur cause un désagrément. La seconde peut coûter la maison, et parfois des vies. En raison de cette asymétrie, on règle l’appareil pour qu’il ne commette jamais la seconde erreur, même s’il commet souvent la première. Un détecteur de fumée se déclenche sans raison plusieurs fois par année, et c’est voulu. Sa tolérance aux faux positifs n’est pas un défaut de conception. C’est le prix, accepté d’avance, d’un rappel proche de 100 %. Le filtre anti-pourriel suit le raisonnement inverse, parce que dans son cas c’est le faux positif qui coûte cher. Avec le même modèle et le même seuil réglable, on choisit des réglages opposés selon l’erreur qu’on ne peut pas se permettre. Ce réglage reste toutefois délicat, parce qu’il a deux extrêmes absurdes. Une alarme qui sonnerait en permanence ne manquerait aucun incendie, et un filtre qui n’éliminerait aucun courriel ne perdrait aucun message. L’une aurait un rappel parfait et l’autre une précision parfaite, mais les deux seraient inutiles, puisqu’ils ne trieraient plus rien. Tolérer l’erreur la moins grave ne veut donc pas dire l’accepter sans limite. On déplace le seuil du côté le plus sûr, mais seulement jusqu’au point où l’alerte garde un sens.

Le travail noté vous posera cette question, quelle erreur coûte le plus ?, à propos d’un vrai filtre.

Pour une prédiction numérique, la même question se pose, de façon plus simple. L’erreur quadratique moyenne d’Un modèle qui s’entraîne est conçue pour être minimisée. Ses carrés sont pratiques pour la descente de gradient, mais difficiles à interpréter (ils sont exprimés en dollars au carré). Pour présenter les résultats, on préfère l’erreur absolue moyenne (mean absolute error). Sur nos vingt maisons, la droite se trompe de 41 000 \$ en moyenne, et de 59 000 \$ au maximum. Ces valeurs sont faciles à comprendre et permettent de juger si le modèle convient à l’usage prévu. Il est excellent pour obtenir un ordre de grandeur, mais insuffisant pour fixer un prix de vente.

Une métrique est donc un choix, qui définit ce qu’on considère comme une réussite. Avant de lire un score, il faut toujours savoir de quelle métrique il s’agit.

Jamais vu, mais du même monde : la question de la distribution

La dernière question est la plus facile à oublier. Il s’agit de savoir si le score s’applique aux données qu’on rencontrera réellement. Les sondages permettent de bien la comprendre. Interroger mille personnes pour connaître l’opinion de millions d’autres suppose que l’échantillon ressemble à la population, c’est-à-dire qu’il en est une version réduite. Quand ce n’est pas le cas, le sondage se trompe, même s’il paraît très sûr. L’exemple le plus connu date de 1936. Un grand magazine américain, le Literary Digest, avait recueilli plus de deux millions de réponses et prédisait une nette défaite de Roosevelt. Roosevelt fut réélu avec une large majorité. Les réponses provenaient de listes d’abonnés au téléphone et de propriétaires d’automobiles, en pleine crise économique. L’échantillon était très grand, mais il ne représentait pas l’ensemble des électeurs. Ce n’est pas la quantité qui garantit la qualité d’un sondage, c’est la représentativité.

Un jeu de données fonctionne comme un sondage. Nos vingt maisons ne sont pas l’ensemble des maisons. Ce sont vingt tirages dans un ensemble beaucoup plus vaste, celui de toutes les maisons qu’un tel modèle pourrait rencontrer, et les statisticiens appellent cet ensemble une distribution. Le jeu d’entraînement en est un échantillon, et le jeu de test en est un autre. Toute la méthode de ce chapitre repose sur une hypothèse implicite : les deux proviennent de la même distribution, et les données futures aussi. On dit alors que le test est en distribution. Un modèle généralise toujours à cette distribution, jamais au monde entier.

Quand cette hypothèse n’est plus vraie, c’est-à-dire quand une donnée est hors distribution (out of distribution), le problème peut prendre trois formes.

• L’extrapolation. Nos maisons vont de 112 à 280 m². Si on demande à la droite le prix d’un manoir de 600 m², elle répond 1 696 000 \$, avec la même assurance que pour une maison de 180 m². Cependant, aucune donnée ne justifie cette réponse. La droite est prolongée hors de la zone couverte par les données, et rien n’indique que les manoirs suivent la même règle que les bungalows.
• Le changement de lieu ou de population. Un modèle entraîné sur les ventes de Montréal est appliqué à Vancouver, ou un test de dépistage mis au point sur des adultes est appliqué à des enfants. Les caractéristiques sont les mêmes, mais la distribution est différente, et le score obtenu dans un contexte ne dit rien de l’autre.
• La dérive dans le temps. Un filtre anti-pourriel entraîné sur les pourriels de 2010 est confronté à ceux de 2025. Les mots et les procédés ont changé. La distribution s’est modifiée sans que le modèle le détecte, et son score passé ne dit plus rien de sa performance actuelle.

Ces trois cas reproduisent la situation du Literary Digest : un échantillon, parfois très grand, mais qui ne provient pas de la population sur laquelle on fait les prédictions. On en tire deux règles pratiques. D’abord, le jeu de test doit ressembler aux données du déploiement, et pas seulement à celles de l’entraînement. Si le modèle doit servir à Vancouver, il faut des maisons de Vancouver dans le test, et on constatera rapidement qu’il en faut aussi dans l’entraînement. Ensuite, un modèle mis en service doit être surveillé, parce que le monde change et que rien, dans le modèle, n’indiquera que la distribution a changé.

Au début du module, la question de la 1001ᵉ image était de savoir si elle faisait partie des 1000. Une autre question s’y ajoutait : l’image provient-elle de la même distribution que les 1000 autres ? Une photo prise de nuit, alors que toutes les autres ont été prises de jour, est nouvelle d’une façon que le modèle ne sait pas traiter. Pour les grands modèles de langage présentés dans l’encart de Généraliser, la question devient très difficile : quand l’entraînement porte sur tout le Web, où se trouve la limite de ce qui est « en distribution » ?

Une dernière conséquence dépasse le plan technique. Un modèle apprend ce qui se trouve dans ses données, et non ce qui devrait s’y trouver. Si les vingt maisons du registre viennent toutes des mêmes quartiers, le modèle reproduira leurs particularités. De même, si des décisions humaines passées ont laissé des traces dans les exemples (des prêts refusés plus souvent à certains groupes, des dossiers triés selon des habitudes que personne n’a jamais écrites), le modèle apprendra ces habitudes avec le reste, sans que cela soit visible, et les appliquera de façon systématique. C’est le biais des données (data bias). Il ne se mesure sur aucun jeu de test, puisque le test provient des mêmes données. Un score honnête, fiable, pertinent et valable peut donc correspondre à un modèle injuste. C’est une raison de plus d’examiner la provenance des données, et pas seulement leur quantité. Le Module 5 reviendra sur cette question.

Corrélation n’est pas causalité

Les modèles de ce module apprennent des associations : quand telle caractéristique est présente, telle réponse est plus probable. Ils ne disent pas pourquoi. Cette différence semble théorique. Elle a pourtant des conséquences très concrètes.

L’exemple classique est celui de la crème glacée. Dans une ville, les jours où l’on vend beaucoup de crème glacée sont aussi des jours où il y a plus de noyades. Un modèle entraîné sur ces données prédirait très bien les noyades à partir des ventes de crème glacée. Pourtant, interdire la crème glacée ne sauverait personne. Les deux augmentent ensemble parce qu’elles ont une cause commune, la chaleur, qui pousse à la fois à acheter de la crème glacée et à se baigner. Une telle variable, qui influence à la fois ce qu’on observe et ce qu’on veut prédire, s’appelle un facteur de confusion (confounder).

On reconnaît le dessin des réseaux bayésiens de Classer : une flèche pour chaque influence directe. Judea Pearl s’est servi de ces graphes pour distinguer une corrélation d’une cause.

Prédire n’est pas décider. Dans les années 1990, des chercheurs entraînent un modèle à prédire le risque de décès des patients atteints de pneumonie, pour décider lesquels hospitaliser. Le modèle découvre une règle surprenante : les patients asthmatiques auraient moins de risque de mourir. La corrélation est réelle. Mais elle vient de ce que les médecins envoyaient systématiquement les asthmatiques aux soins intensifs, où ils étaient mieux soignés. Le modèle prédisait bien. Utilisé pour décider qui hospitaliser, il aurait renvoyé chez eux les patients les plus fragiles. Ce cas a été rendu public en 2015 par Rich Caruana et ses collègues, qui plaidaient pour des modèles dont on peut lire les règles.

Une corrélation peut disparaître. Une relation causale reste vraie quand le contexte change. Une simple corrélation peut disparaître. C’est l’une des raisons pour lesquelles les modèles échouent hors distribution. Le Module 3 en donne un exemple : un classifieur qui distinguait les loups des huskies en regardant la neige à l’arrière-plan. La neige était associée aux loups dans les photos d’entraînement, mais elle n’en est pas la cause. Ailleurs, la règle ne tient plus.

Établir une cause. La méthode de référence est l’essai contrôlé à répartition aléatoire (randomized controlled trial). On tire au sort les personnes qui reçoivent un traitement et celles qui n’en reçoivent pas. Le tirage au sort répartit les facteurs de confusion de la même façon dans les deux groupes, si bien qu’une différence entre eux ne peut venir que du traitement. La médecine l’emploie depuis un essai sur la streptomycine contre la tuberculose, publié en 1948. Les tests A/B (A/B testing) des sites Web, qui montrent deux versions d’une page à deux groupes d’internautes tirés au sort, reposent sur la même idée. Quand une expérience est impossible ou contraire à l’éthique, on peut parfois établir une cause à partir de simples observations, avec des précautions. Les économistes David Card, Joshua Angrist et Guido Imbens ont reçu le prix Nobel d’économie en 2021 pour leurs méthodes en ce sens.

L’échelle de la causalité. Dans The Book of Why (2018), écrit avec Dana Mackenzie, Pearl distingue trois niveaux de raisonnement, qu’il appelle l’échelle de la causalité (ladder of causation).

Les modèles de ce module restent en général au premier niveau : ils apprennent des associations dans des données observées. Pour Pearl, une intelligence comparable à la nôtre doit monter les deux autres barreaux.

Cette question a pris de l’importance ces dernières années. Le prix Turing de Pearl en 2011, son livre de 2018 et le Nobel de 2021 l’ont fait connaître bien au-delà de la statistique. Des chercheurs en apprentissage profond, comme Yoshua Bengio et Bernhard Schölkopf, y voient une piste pour obtenir des modèles plus robustes. Et l’on se demande aujourd’hui si les grands modèles de langage raisonnent sur des causes, ou s’ils reproduisent des associations présentes dans leurs textes d’entraînement. Le Module 5 reviendra sur ces questions.

Tout cela portait un nom : l’apprentissage supervisé

Depuis la première page de ce module, un élément n’a jamais changé, et nous l’avons à peine remarqué : la bonne réponse était toujours fournie. Chaque maison avait son prix, chaque courriel son étiquette (pourriel ou non) et chaque point sa couleur. Le modèle devait seulement apprendre à passer de la question à une réponse fournie d’avance.

Cette situation porte un nom, que nous pouvons maintenant introduire après l’avoir étudiée en détail : l’apprentissage supervisé (supervised learning). Le terme « supervisé » renvoie à un élève corrigé par un professeur qui connaît la réponse attendue. Régression ou classification, droite ou Bayes, paramétrique ou non, tout ce que nous avons construit appartient à cette grande famille, celle de l’apprentissage à partir d’exemples étiquetés.

Il reste à savoir d’où vient cette réponse fournie d’avance. Quelqu’un a dû étiqueter ces milliers d’exemples un à un, un travail souvent long et coûteux, et parfois impossible. Ce travail est si important qu’il est devenu une industrie à part entière, celle de l’étiquetage de données (data labeling). Des entreprises comme Scale AI (dans laquelle Meta a investi une quinzaine de milliards de dollars en 2025), Appen, Sama ou Labelbox, ou des plateformes comme le Mechanical Turk d’Amazon, emploient ou mobilisent des centaines de milliers de personnes pour tracer des contours sur des images, transcrire des enregistrements, classer des textes et, depuis l’arrivée des grands modèles de langage, comparer et noter des réponses générées. Ce travail, souvent invisible et mal payé, est réalisé en bonne partie au Kenya, aux Philippines ou au Venezuela. Il constitue la face cachée de l’apprentissage supervisé, puisque chaque « bonne réponse » fournie au modèle a été produite par un humain. Par ailleurs, la plupart des données disponibles n’ont pas d’étiquette : des millions de photos que personne n’a triées, des historiques d’achats sans catégories, des textes non classés. On peut se demander si un modèle peut apprendre quelque chose de données brutes, sans aucune bonne réponse. À l’inverse, quand un robot apprend à marcher, personne ne lui indique le « bon » mouvement à chaque instant. Il reçoit seulement un encouragement ou constate une chute, souvent bien plus tard. On peut se demander s’il s’agit encore d’apprentissage.

C’est bien de l’apprentissage, mais d’un autre type. Ces situations se distinguent par la nature du signal à partir duquel le modèle apprend : une réponse fournie, une structure à découvrir sans guide ou une récompense différée. Le chapitre suivant, « Trois façons d’apprendre », présente cette typologie et les nouvelles possibilités qu’elle ouvre.