Du modèle à l’assistant

Le chapitre « Prédire le mot suivant » s’achevait sur une limite. Un modèle entraîné seulement à prédire le jeton suivant continue des textes, mais il ne répond pas. ChatGPT, Claude ou Gemini sont pourtant des assistants : ils suivent des consignes, refusent certaines demandes et tiennent une conversation. Ce chapitre présente les étapes qui transforment un modèle de base en assistant, le travail humain qu’elles demandent, et les modèles plus récents qui « raisonnent » avant de répondre.

Avant ChatGPT, Clippy

L’idée d’un assistant logiciel n’est pas neuve. À la fin de 1996, Microsoft livre Office 97 avec un « assistant Office », dont le personnage le plus connu est un trombone animé aux grands yeux, Clippit, que tout le monde appelle Clippy. Quand l’utilisateur tape une adresse puis « Dear », Clippy surgit : « On dirait que vous écrivez une lettre. Voulez-vous de l’aide ? »

Clippy, l'assistant de Microsoft Office, dans sa version des années 2000. Image © Microsoft, reproduite à des fins d'enseignement.

Clippy est issu d’un projet de recherche sérieux. À partir de 1993, le projet Lumière de Microsoft Research, dirigé par Eric Horvitz, utilise des réseaux bayésiens, présentés au Module 2, pour déduire des actions de l’utilisateur ce qu’il cherche à faire, et pour décider s’il vaut la peine de l’interrompre. Le produit n’en garde qu’une partie, l’analyse bayésienne des questions que l’utilisateur tape lui-même. Le calcul qui décidait quand intervenir, jugé trop prudent, est remplacé par des règles simples, et Clippy se met à surgir à tout propos. Il devient le symbole de l’assistant agaçant. En 2001, Microsoft le désactive par défaut dans Office XP, avec une campagne publicitaire qui annonce qu’Office est devenu si simple que Clippy n’a plus d’emploi, puis le retire en 2007. Le personnage garde pourtant ses nostalgiques : en 2021, Microsoft en fait une émoji, et en octobre 2025, Mico, le nouvel avatar de son assistant Copilot, se change en Clippy quand on le touche avec insistance.

Clippy montre ce qui manquait aux assistants d’avant : comprendre ce que l’on demande, en langue ordinaire, et savoir quand se taire. Les étapes décrites dans ce chapitre ont fini par rendre la première possible ; la seconde reste un défi.

Un modèle de base ne répond pas

Après le préentraînement (pre-training), le modèle est un modèle de base (base model). Il a appris à continuer n’importe quel texte de façon plausible, et c’est tout.

Continuer ou répondre

On donne à un modèle de base le texte suivant :

Quelle est la capitale du Canada ?

Une suite plausible, sur le Web, est une autre question, comme dans une liste de questions d’examen :

Quelle est la capitale du Canada ?
Quelle est la capitale de l'Australie ?
Quelle est la capitale du Brésil ?

Un assistant, lui, répond « Ottawa ». Le modèle de base n’est pas en défaut : il fait exactement ce pour quoi il a été entraîné. Rien, dans sa tâche, ne lui demande de répondre.

L’exemple paraît anodin, mais l’écart est profond. Répondre suppose de maîtriser tout un ensemble de conventions que les humains apprennent sans y penser, et que personne n’énonce :

• répondre à une question plutôt que la prolonger, et suivre une consigne (« résume ce texte en trois points ») plutôt que l’imiter ;
• s’arrêter à la fin de sa réplique, au lieu d’écrire aussi celle de son interlocuteur ;
• demander une précision quand la demande est ambiguë, et dire qu’on ne sait pas plutôt qu’inventer ;
• adapter la longueur et le ton à la demande, et garder le même rôle d’une réplique à l’autre ;
• refuser certaines demandes.

Ces conventions n’ont pas de définition simple. Le philosophe Ludwig Wittgenstein parlait de jeux de langage (language games). « Répondre à une question » ne désigne pas une essence unique, mais une famille de comportements apparentés, appris par la pratique, sans qu’on nous les définisse jamais. L’ajustement par instructions procède de la même façon : il ne définit pas ce qu’est une réponse, il en montre des milliers d’exemples.

Le Web contient bien des conversations, mais aussi des forums où l’on se dispute, des romans où les personnages mentent, et des pages qui posent des questions sans y répondre. Un modèle de base les imite tous indifféremment. Si on lui donne le début d’un dialogue entre un utilisateur et un assistant, il écrit la réplique de l’assistant, puis celle de l’utilisateur, puis la suivante. Il ne sait pas qu’il joue un rôle, et rien ne lui indique où s’arrêter.

Un dialogue écrit des deux côtés

On donne à un modèle de base le début d’un dialogue :

Utilisateur : Peux-tu me suggérer un livre pour l'été ?
Assistant :

Une suite plausible (exemple illustratif) :

Utilisateur : Peux-tu me suggérer un livre pour l'été ?
Assistant : Bien sûr ! Je vous recommande Le Survenant, de Germaine Guèvremont.
Utilisateur : Je l'ai déjà lu. Autre chose ?
Assistant : Alors essayez Kamouraska, d'Anne Hébert.
Utilisateur : Merci, je vais le commander dès demain !

Le modèle a écrit la réponse de l’assistant, puis inventé la réaction de l’utilisateur, et ainsi de suite. Pour lui, il n’y a qu’un texte à continuer, comme le montre la section « Une conversation qui n’en est pas une ». Un assistant, lui, a appris à produire une marque spéciale de fin de réplique, qui rend la main à l’utilisateur.

En 2020, GPT-3 pouvait déjà accomplir beaucoup de tâches, à condition de les lui présenter comme un texte à continuer, avec des exemples bien choisis (l’apprentissage dans le contexte). Pour obtenir une réponse, il fallait ruser : écrire le début d’un document où cette réponse viendrait naturellement. Même ainsi, ses suites s’écartaient souvent de la demande, ou inventaient. Le problème n’est pas un manque de connaissances. C’est un écart entre deux objectifs : celui pour lequel le modèle est entraîné, prédire le jeton suivant d’un texte du Web, et celui qu’on attend de lui, suivre les consignes de l’utilisateur de façon utile et sûre. Réduire cet écart est le problème de l’alignement, qui revient plus bas.

En mars 2022, Long Ouyang et ses collègues, chez OpenAI, publient la recette qui comble en bonne partie cet écart. Ils l’appliquent à GPT-3 pour obtenir InstructGPT, un modèle entraîné à suivre des consignes. Une quarantaine de personnes, recrutées pour l’occasion, rédigent environ 13 000 réponses modèles et comparent des dizaines de milliers de réponses produites par le modèle. Ces données servent aux deux étapes présentées ci-dessous. ChatGPT, ouvert au public huit mois plus tard, en est une variante entraînée sur des dialogues.

Le modèle de base contient pourtant l’essentiel des connaissances et des capacités de l’assistant. Il reste à lui apprendre à s’en servir pour répondre. C’est l’objet de deux étapes supplémentaires, regroupées sous le nom de post-entraînement (post-training), beaucoup moins coûteuses que le préentraînement, du moins jusqu’aux modèles de raisonnement, dont le renforcement mobilise une part croissante du calcul.

Imiter de bonnes réponses

La deuxième étape est un ajustement par instructions (instruction tuning). Des personnes rédigent des dizaines de milliers d’exemples de requêtes, accompagnées de la réponse qu’un bon assistant devrait donner. Le modèle de base est ensuite entraîné sur ces exemples, toujours en prédisant le jeton suivant, mais seulement sur des conversations de ce type. Il apprend la forme d’un échange : une requête, puis une réponse complète, utile, dans le ton attendu.

C’est l’idée de l’apprentissage par transfert présentée au Module 3, appliquée au texte. Le préentraînement fournit un modèle général, et un ajustement sur peu de données le spécialise. C’est aussi ce qu’indique le P de GPT, pour pre-trained.

Le renforcement à partir de préférences humaines (RLHF)

Rédiger de bonnes réponses est long, et il est souvent plus facile de juger une réponse que de l’écrire. La troisième étape s’appuie donc sur des comparaisons. On présente à des évaluateurs humains deux réponses du modèle à la même requête, et ils indiquent celle qu’ils préfèrent. Ces préférences servent à entraîner un second réseau, le modèle de récompense (reward model), qui apprend à prédire quelle réponse les évaluateurs préféreraient. C’est un problème de classification comme ceux du Module 2.

Le modèle de langage est ensuite ajusté par apprentissage par renforcement : il produit des réponses, le modèle de récompense leur attribue une note, et ses poids sont ajustés pour obtenir de meilleures notes. C’est le même principe que celui des programmes qui apprennent à jouer, présentés au chapitre « Apprendre à jouer » du Module 3, mais la récompense ne vient plus d’une partie gagnée : elle vient des préférences humaines. On parle de RLHF (reinforcement learning from human feedback).

Cette étape n’apprend pas de la même façon que les précédentes. Pendant le préentraînement et l’ajustement par instructions, le modèle lit un texte écrit par d’autres, et la bonne réponse est connue à chaque position : c’est le jeton qui suit vraiment. Son erreur est mesurée jeton par jeton, et ses poids sont corrigés pour rendre ce jeton plus probable. Il apprend en imitant.

Dans l’apprentissage par renforcement, il n’y a plus de texte à imiter. Le modèle écrit lui-même une réponse complète, en tirant ses jetons un à un, puis reçoit une seule note pour l’ensemble. Rien ne lui dit quels jetons ont fait la différence. Ses poids sont donc ajustés pour rendre plus probables tous les jetons des réponses bien notées, et moins probables ceux des réponses mal notées. Sur un grand nombre d’essais, les choix qui reviennent dans les bonnes réponses finissent par se dégager. C’est l’attribution de la responsabilité du Module 3, à l’échelle d’une réponse entière : le joueur ne sait qu’à la fin de la partie s’il a gagné, sans savoir quels coups l’ont fait gagner.

Cette différence a deux conséquences. D’abord, le modèle peut trouver des réponses meilleures que celles qu’on aurait su lui montrer, puisqu’il n’est plus limité à imiter. Ensuite, il peut aussi trouver des façons d’obtenir une bonne note sans donner une bonne réponse, en exploitant les défauts du modèle de récompense. C’est le détournement de la récompense (reward hacking), comme le bateau du Module 3, qui tournait en rond pour accumuler des points. Pour l’en empêcher, on le pénalise quand ses réponses s’éloignent trop de celles du modèle de départ.

La méthode a d’abord servi à tout autre chose. En 2017, Paul Christiano et ses collègues, chez OpenAI et DeepMind, l’utilisent pour apprendre à un robot simulé à faire un salto arrière, une tâche difficile à décrire par une règle mais facile à juger en regardant deux essais. OpenAI l’applique ensuite aux modèles de langage : c’est la troisième étape d’InstructGPT. Les évaluateurs préfèrent les réponses d’InstructGPT, qui compte 1,3 milliard de paramètres, à celles de GPT-3, cent fois plus grand. ChatGPT est construit selon la même méthode.

L’applet ci-dessous vous place dans le rôle d’un évaluateur. Pour chacune des six requêtes, choisissez la réponse que vous préférez. Le bilan montre ce que vos choix enseigneraient à un modèle de récompense.

Le modèle de récompense apprend tout ce qui explique les choix des évaluateurs, y compris ce qui n’a rien à voir avec la qualité. Les études sur de vrais évaluateurs montrent une préférence pour les réponses longues, assurées et qui donnent raison à l’utilisateur. Les assistants entraînés de cette façon ont donc tendance à allonger leurs réponses et à approuver leur interlocuteur. Cette complaisance (sycophancy) est un problème connu. En avril 2025, OpenAI a dû retirer une mise à jour de son modèle GPT-4o, jugée trop flatteuse : il approuvait les projets et les opinions de ses utilisateurs, même les plus douteux.

Le travail humain derrière l’assistant

L’ajustement et le renforcement reposent sur le travail de milliers de personnes, qui rédigent des réponses, comparent des réponses et signalent les contenus inacceptables. C’est l’industrie de l’étiquetage présentée au Module 2. Une partie de ce travail est très qualifiée : des médecins, des juristes ou des mathématiciens sont recrutés pour évaluer les réponses dans leur domaine. Une autre partie est pénible et mal payée. En janvier 2023, le magazine Time révèle que, pour apprendre à ChatGPT à reconnaître les contenus violents ou haineux, OpenAI avait fait appel à des travailleurs kényans, payés moins de 2 dollars de l’heure pour lire et étiqueter des milliers de textes choquants. Le Module 5 revient sur ces conditions de travail.

Utile, honnête, inoffensif

Que doit faire un assistant quand on lui demande comment fabriquer une arme, ou quand une réponse utile risquerait de nuire à quelqu’un ? En 2021, des chercheurs d’Anthropic proposent de résumer les qualités attendues en trois mots : un assistant doit être utile (helpful), honnête (honest) et inoffensif (harmless). Ces trois exigences entrent souvent en tension. Un assistant qui refuse tout est inoffensif mais inutile, et un assistant qui accepte tout est utile mais dangereux.

Ces tensions rappellent les trois lois de la robotique de l’écrivain Isaac Asimov (1942) : un robot ne doit pas nuire à un humain, doit lui obéir, et doit se protéger, dans cet ordre de priorité. On y reconnaît l’inoffensif et l’utile. Les nouvelles d’Asimov montrent surtout que ces lois mènent à des impasses dès que la situation devient ambiguë. Dans Menteur ! (1941), un robot qui lit les pensées ment à chacun pour ne pas le blesser, et lui dit ce qu’il veut entendre : c’est la complaisance, quatre-vingts ans avant les assistants. La différence tient à la méthode. Les lois d’Asimov sont des règles inscrites dans le robot, dans l’esprit de l’IA symbolique du Module 1 ; les qualités d’un assistant ne sont écrites nulle part, mais apprises à partir d’exemples, avec les mêmes zones grises.

Le travail qui consiste à faire en sorte que le comportement d’un modèle corresponde aux intentions et aux valeurs de ceux qui l’utilisent s’appelle l’alignement (alignment). En décembre 2022, Anthropic présente une variante du RLHF, l’IA constitutionnelle (constitutional AI) : au lieu de recueillir des milliers de jugements humains sur chaque cas, on rédige une liste de principes, la « constitution », et un modèle évalue lui-même les réponses selon ces principes. Les humains décident des principes plutôt que de juger chaque réponse.

Ces protections restent imparfaites. Des utilisateurs trouvent régulièrement des formulations qui amènent un assistant à ignorer ses consignes, comme les attaques présentées au chapitre « Tromper un réseau » du Module 3. Le chapitre « Ce que les LLM comprennent, et ce qu’ils ratent » y revient.

Faire des choses avec des mots

La philosophie du langage s’est penchée sur ce que fait un assistant bien avant qu’il existe. En 1955, le philosophe britannique John Austin donne à Harvard une série de conférences, publiées en 1962 sous le titre How to Do Things with Words (traduit en français par Quand dire, c’est faire). Il y part des énoncés performatifs, qui accomplissent ce qu’ils disent : « Je vous déclare mari et femme », « Je promets de venir ». Il distingue ensuite trois niveaux dans tout acte de parole.

• L’acte locutoire : dire quelque chose, c’est-à-dire produire une phrase qui a un sens.
• L’acte illocutoire : ce qu’on fait en le disant, comme questionner, promettre, ordonner ou avertir.
• L’acte perlocutoire : l’effet produit sur l’interlocuteur, comme le convaincre, le rassurer, l’inquiéter ou le faire agir.

Un modèle de base maîtrise le premier niveau, mais pas le deuxième. Il produit des phrases bien formées, sans reconnaître l’acte qu’accomplit le texte qu’on lui donne. L’ajustement par instructions lui apprend justement à reconnaître la force illocutoire d’une requête. La tâche est plus subtile qu’il n’y paraît, car beaucoup d’actes sont indirects, comme le montre John Searle, l’élève d’Austin, en 1975. « Sais-tu quelle heure il est ? » est, à la lettre, une question sur ce que sait l’autre. La réponse « Oui » est exacte, mais personne ne l’attend.

Le niveau perlocutoire éclaire le RLHF. Le modèle de récompense n’évalue pas directement si une réponse est vraie. Il prédit l’effet qu’elle produira sur un évaluateur : sera-t-elle préférée ? Optimiser cet effet, c’est optimiser un acte perlocutoire, et la complaisance en découle naturellement. Une réponse qui flatte plaît, même quand elle est fausse. On retrouve la vieille opposition entre persuader et dire vrai.

En 1975 aussi, le philosophe Paul Grice décrit le principe de coopération qui règle une conversation, sous la forme de quatre maximes :

• la quantité : dire ni trop ni trop peu ;
• la qualité : ne pas dire ce qu’on croit faux ou ce qu’on ne peut appuyer ;
• la relation : être pertinent ;
• la manière : être clair et ordonné.

Ces maximes ressemblent beaucoup aux qualités attendues d’un assistant. Les hallucinations violent la maxime de qualité, et les réponses trop longues celle de quantité. Grice montre aussi qu’on communique beaucoup par sous-entendus, ses implicatures. À « Je n’ai plus d’essence », la réponse « Il y a une station au coin de la rue » laisse entendre qu’elle est ouverte. Les grands modèles actuels saisissent souvent ces sous-entendus, que les systèmes à règles ne pouvaient pas traiter.

Enfin, quand un modèle peut envoyer un courriel ou passer une commande, comme les agents, ses mots deviennent des actes au sens propre, et dire, pour lui aussi, devient faire.

Des modèles qui « raisonnent » (RLVR)

En janvier 2022, Jason Wei et ses collègues, chez Google, constatent qu’un modèle résout mieux un problème de mathématiques quand on lui montre des exemples où la solution est détaillée étape par étape, plutôt que donnée directement. Quelques mois plus tard, une équipe japonaise montre qu’il suffit d’ajouter à la requête « Réfléchissons étape par étape » (Let’s think step by step). Le modèle écrit alors son raisonnement avant de conclure, et il se trompe moins. On parle de chaîne de pensée (chain of thought). L’explication est simple : chaque jeton écrit devient un contexte pour les suivants, et un calcul écrit en plusieurs lignes est plus facile à poursuivre qu’un résultat à deviner d’un coup.

L’étape suivante consiste à entraîner les modèles à raisonner de cette façon. Pour les mathématiques ou la programmation, on n’a pas besoin d’un évaluateur humain : on peut vérifier automatiquement si la réponse finale est juste, ou si le programme passe ses tests. Le modèle produit de longs raisonnements, et ceux qui mènent à une réponse correcte sont renforcés. On parle de renforcement à partir de récompenses vérifiables (reinforcement learning with verifiable rewards, RLVR), comme l’annonçait le chapitre « Trois façons d’apprendre » du Module 2.

Ce renforcement ne demande pas de corpus de raisonnements rédigés par des humains. Il faut seulement des problèmes dont on peut vérifier la réponse : des problèmes de mathématiques avec leur solution, des exercices de programmation avec leurs tests. Rassembler ces problèmes demande un travail considérable : il en faut un très grand nombre, variés, de difficulté croissante, avec des vérifications fiables. Mais le raisonnement, le modèle l’écrit lui-même, et seule sa conclusion est notée. C’est la différence avec l’ajustement par instructions, où le modèle imite des réponses rédigées.

En pratique, on combine souvent les deux. On amorce l’entraînement avec quelques milliers de raisonnements choisis ou rédigés, pour que le modèle adopte une forme lisible, puis le renforcement prend le relais. Une fois entraîné, un modèle de raisonnement produit à son tour des chaînes de pensée en grande quantité. Elles servent de corpus pour ajuster des modèles plus petits, qui apprennent ainsi à raisonner par imitation. C’est la distillation, que présente le chapitre « Passer à l’échelle ».

En septembre 2024, OpenAI présente o1, le premier d’une série de modèles de raisonnement (reasoning models), qui « réfléchissent » parfois plusieurs minutes avant de répondre. En janvier 2025, DeepSeek publie R1 et décrit sa méthode : un apprentissage par renforcement où la récompense dépend seulement de la justesse de la réponse finale. Les auteurs observent que le modèle apprend de lui-même à vérifier ses calculs, à revenir en arrière et à essayer une autre approche. En juillet 2025, des modèles de raisonnement d’OpenAI et de Google DeepMind obtiennent un score de médaille d’or aux Olympiades internationales de mathématiques. Le chapitre « Démontrer » en raconte la suite. Ces machines qui raisonnent sans aucune règle de logique écrite à la main avaient été annoncées au chapitre « Deux paris rivaux » du Module 1.

Ces modèles ouvrent un troisième levier, que la section « Jusqu’où ? » du chapitre précédent situe parmi les autres. Jusque-là, pour obtenir un meilleur modèle, on agrandissait le modèle et ses données, comme le décrivent les lois d’échelle. Avec o1, OpenAI montre que la justesse des réponses augmente aussi, de façon régulière, avec le temps de réflexion accordé au modèle au moment de répondre. On parle de calcul au moment de la réponse (test-time compute). Le modèle ne change pas : il écrit seulement un raisonnement plus long. Ce levier a un prix, puisque chaque réponse coûte d’autant plus cher qu’elle est longue. Le chapitre « Le défi ARC » en donne un exemple.

Ces raisonnements écrits ne sont cependant pas toujours le reflet fidèle du calcul réellement effectué par le réseau. Un modèle peut écrire un raisonnement plausible et arriver à sa réponse par un autre chemin. Savoir ce qui se passe réellement à l’intérieur d’un modèle est l’objet de l’interprétabilité, présentée au chapitre « Regarder à l’intérieur », qui montre comment on peut parfois le vérifier.

Raisonner sans mots ?

Une chaîne de pensée a une particularité : chaque étape du raisonnement doit passer par un mot. À l’intérieur du modèle, l’état qui résume ce qu’il a compris à un moment donné est un vecteur de plusieurs milliers de nombres. Pour écrire l’étape suivante, ce vecteur est réduit à un seul jeton, choisi parmi quelques dizaines de milliers, puis ce jeton est relu comme une nouvelle entrée. Tout ce que le vecteur contenait d’autre, les hypothèses écartées, les nuances, les pistes envisagées en même temps, est perdu à chaque étape. Un humain qui ne pourrait penser qu’en écrivant, un mot à la fois, serait dans la même situation.

D’où l’idée de laisser le modèle raisonner directement dans l’espace de ses vecteurs, sans passer par des mots. On parle de raisonnement latent (latent reasoning).

• La pensée continue. En décembre 2024, des chercheurs de Meta présentent Coconut. Au lieu de choisir un jeton, le modèle réinjecte tel quel son dernier état interne comme entrée suivante, une « pensée continue ». Une seule de ces pensées peut représenter plusieurs pistes à la fois, ce qui permet au modèle d’en explorer plusieurs en parallèle plutôt que de s’engager dans une seule. Sur des problèmes de logique qui demandent de planifier, Coconut fait mieux qu’une chaîne de pensée, en beaucoup moins d’étapes. En arithmétique, il reste moins précis, mais plus économe.
• La profondeur récurrente. En février 2025, le modèle Huginn, de 3,5 milliards de paramètres, répète un même bloc de calcul autant de fois que nécessaire avant de répondre. Il « réfléchit » plus longtemps sans écrire un seul mot, et ses résultats en mathématiques s’améliorent avec le nombre de tours.
• Petit, mais récursif. En octobre 2025, à Montréal, Alexia Jolicoeur-Martineau, de Samsung, montre qu’un minuscule modèle récursif, de 7 millions de paramètres, qui affine sa réponse en boucle, atteint 45 % au premier défi ARC, mieux que de très grands modèles de langage.

Ces vecteurs forment une sorte de langue intérieure, que des chercheurs appellent, par plaisanterie, le neuralese, la « langue des neurones ». Elle peut transporter beaucoup plus d’information qu’un mot, mais personne ne sait la lire. C’est son principal inconvénient. Les chaînes de pensée écrites, même imparfaites, permettent de surveiller ce qu’un modèle s’apprête à faire : en 2025, OpenAI repère ainsi, en lisant leurs raisonnements, des modèles qui trichent aux tests de programmation. Un raisonnement latent fermerait cette fenêtre. En juillet 2025, 41 chercheurs de laboratoires d’ordinaire rivaux publient ensemble un appel à préserver cette « occasion fragile ». Le Module 5 revient sur cet enjeu au chapitre « Peut-on perdre le contrôle ? ». Le chapitre suivant montre comment on donne à ces assistants des outils pour agir.