Module 4 - IA générative et grands modèles de langage on INF1901 - Initiation à l'IA : concepts et réflexions

Générer : imiter une distribution

Mon, 01 Jan 0001 00:00:00 +0000

Générer : imiter une distribution

Les quatre visages ci-dessus ont l’air de photos. Pourtant, aucune de ces personnes n’existe. Chaque image a été produite par un réseau de neurones, StyleGAN, présenté en 2019 par des chercheurs de l’entreprise Nvidia. Le site This Person Does Not Exist (« cette personne n’existe pas ») en affiche un nouveau à chaque visite.

Quatre façons de générer

Mon, 01 Jan 0001 00:00:00 +0000

Quatre façons de générer

Le chapitre « Générer : imiter une distribution » a posé le problème. Un modèle génératif doit apprendre la distribution de données très complexes, comme des photos de visages, puis y tirer de nouveaux exemples. Pour des images, cette distribution occupe une portion infime d’un espace immense, et on ne peut pas la décrire en additionnant des cloches.

Depuis le début des années 2010, quatre familles de méthodes ont été proposées pour résoudre ce problème. Chacune repose sur une idée différente, et chacune a produit des systèmes marquants. Ce chapitre les présente l’une après l’autre, avec leurs forces et leurs limites. Les quatre utilisent des réseaux de neurones, et toutes s’entraînent par rétropropagation, comme les réseaux du Module 3.

Des images, des voix, des vidéos

Mon, 01 Jan 0001 00:00:00 +0000

Des images, des voix, des vidéos

Le chapitre « Quatre façons de générer » a présenté les méthodes. Celui-ci présente ce qu’elles ont produit en une dizaine d’années, type de contenu par type de contenu : les images, les voix et la musique, la vidéo, puis des domaines plus inattendus, comme la conception de protéines ou la prévision météorologique. Il se termine par les problèmes que ces contenus posent, en particulier les hypertrucages (deepfakes).

Des règles aux probabilités

Mon, 01 Jan 0001 00:00:00 +0000

Des règles aux probabilités

Faire maîtriser la langue à une machine est l’un des plus vieux rêves de l’informatique. En 1950, Alan Turing propose déjà de juger l’intelligence d’une machine à sa capacité de converser : c’est le jeu de l’imitation du Module 1. La science-fiction en a fait l’un de ses thèmes favoris :

l’ordinateur HAL 9000 de 2001 : l’odyssée de l’espace (Stanley Kubrick, 1968), qui converse calmement avec les astronautes, avant de leur désobéir ;
l’ordinateur de bord de Star Trek (1966), à qui l’équipage pose ses questions à voix haute ;
le robot C-3PO de La Guerre des étoiles (1977), qui parle des millions de langues ;
Samantha, l’assistante vocale dont s’éprend le héros de Her (Spike Jonze, 2013).

Le rêve de comprendre toutes les langues est plus ancien encore. Il remonte au récit de la tour de Babel, et la science-fiction l’a repris avec le « poisson de Babel » du Guide du voyageur galactique (Douglas Adams, 1979) : glissé dans l’oreille, il traduit instantanément tout ce qu’on entend.

Les outils statistiques

Mon, 01 Jan 0001 00:00:00 +0000

Les outils statistiques

Chapitre d’approfondissement. Ce chapitre est facultatif. Il complète l’histoire du traitement de la langue commencée au chapitre précédent, mais la suite du module et le travail noté ne supposent pas de l’avoir lu.

Le chapitre « Des règles aux probabilités » a présenté le tournant statistique du traitement de la langue, et son premier outil, le modèle de langage à n-grammes. Des années 1970 au début des années 2010, d’autres outils statistiques s’y ajoutent. Ils servent à étiqueter les mots, à transcrire la parole, à traduire, à chercher des documents. Ce chapitre en présente quatre : les modèles de Markov cachés, la traduction statistique, la représentation des documents, et les modèles qui étiquettent les mots à partir de caractéristiques choisies à la main.

Des mots aux nombres : jetons et plongements

Mon, 01 Jan 0001 00:00:00 +0000

Des mots aux nombres : jetons et plongements

Le chapitre « Les outils statistiques » s’achevait sur une limite : pour un modèle à n-grammes, « chat » et « chien » sont deux symboles sans rapport. Ce chapitre ouvre l’ère des réseaux de neurones par cette question. Le chapitre « Lire une séquence : les réseaux récurrents » du Module 3 en laissait d’ailleurs une autre de côté. Un réseau de neurones ne manipule que des nombres, alors que le texte est fait de mots. Avant qu’un modèle de langage puisse lire ou écrire une phrase, il faut donc convertir les mots en nombres.

Prédire le mot suivant

Mon, 01 Jan 0001 00:00:00 +0000

Prédire le mot suivant

Le chapitre « Quatre façons de générer » a présenté la famille des modèles autorégressifs, qui génèrent une donnée un élément après l’autre. Les grands modèles de langage en font partie. Tout ce qu’ils font, répondre à une question, traduire, résumer, écrire un programme, repose sur une seule opération, répétée des milliers de fois : prédire le jeton suivant d’un texte.

Les chapitres « Des règles aux probabilités » et « Les outils statistiques » ont présenté le modèle de langage et ses premières versions, fondées sur le comptage. Ce chapitre présente la troisième ère, celle des réseaux de neurones, jusqu’aux modèles actuels. Il s’appuie sur les jetons et les plongements présentés au chapitre « Des mots aux nombres ».

Passer à l'échelle

Mon, 01 Jan 0001 00:00:00 +0000

Passer à l’échelle

Le chapitre « Prédire le mot suivant » a présenté le principe des grands modèles de langage : un Transformer entraîné à prédire le jeton suivant d’un texte. Ce principe n’a presque pas changé depuis le premier GPT, en 2018. Ce qui a changé, c’est la taille : la taille des modèles, la quantité de textes sur lesquels ils sont entraînés, et la quantité de calcul consacrée à leur entraînement. Ce chapitre présente cette course à la taille, ce qu’elle a produit, et ce qu’elle coûte.

Du modèle à l'assistant

Mon, 01 Jan 0001 00:00:00 +0000

Du modèle à l’assistant

Le chapitre « Prédire le mot suivant » s’achevait sur une limite. Un modèle entraîné seulement à prédire le jeton suivant continue des textes, mais il ne répond pas. ChatGPT, Claude ou Gemini sont pourtant des assistants : ils suivent des consignes, refusent certaines demandes et tiennent une conversation. Ce chapitre présente les étapes qui transforment un modèle de base en assistant, le travail humain qu’elles demandent, et les modèles plus récents qui « raisonnent » avant de répondre.

Des outils, un harnais et des agents

Mon, 01 Jan 0001 00:00:00 +0000

Des outils, un harnais et des agents

Un assistant comme ceux présentés au chapitre « Du modèle à l’assistant » ne fait que produire du texte à partir du texte qu’on lui donne. Ce fonctionnement a trois limites.

Ses connaissances sont figées. Le modèle ne connaît que ce qui figurait dans ses données d’entraînement, jusqu’à une date de coupure (knowledge cutoff). Il ignore les événements plus récents, et les documents privés d’une entreprise ou d’une personne. Le laisser apprendre en continu est plus difficile qu’il n’y paraît, comme l’explique la section « Pourquoi ne pas le laisser apprendre ? ».
Il calcule mal. Un modèle de langage prédit des jetons. Il peut écrire le résultat d’une multiplication sans l’avoir vraiment effectuée.
Il n’agit pas. Il ne peut ni consulter une page Web, ni envoyer un courriel, ni modifier un fichier.

Ce chapitre commence par expliquer ce qu’est vraiment une conversation avec un assistant, et pourquoi il n’apprend rien de ses échanges. Il présente ensuite les moyens qui ont été développés pour dépasser ces limites : bien formuler les requêtes, donner au modèle des documents à consulter, lui confier des outils. Il présente ensuite les systèmes qui enchaînent eux-mêmes les actions, en boucle, jusqu’à ce qu’une tâche soit accomplie : les agents.

Programmer avec des agents

Mon, 01 Jan 0001 00:00:00 +0000

Programmer avec des agents

Le chapitre « Des outils, un harnais et des agents » a présenté les agents en général : un modèle de langage, un harnais qui le fait tourner en boucle, et des outils. C’est en programmation que cette idée a donné, à ce jour, ses résultats les plus aboutis. En quelques années, on est passé d’un modèle qui complète une ligne de code à des agents qui lisent un projet entier, le modifient, lancent ses tests et corrigent leurs propres erreurs. Ce chapitre explique comment ils fonctionnent, pourquoi le code s’y prête si bien, ce qu’ils doivent à une très vieille tradition de l’informatique, celle des outils Unix, et ce qu’ils changent au métier de programmeur.

Démontrer

Mon, 01 Jan 0001 00:00:00 +0000

Démontrer

Chapitre d’approfondissement. Ce chapitre est facultatif. Il montre ce que les modèles de langage apportent aux mathématiques, mais la suite du module et le travail noté ne supposent pas de l’avoir lu.

Les chapitres précédents ont montré le rôle de la vérification : les modèles qui raisonnent sont entraînés par renforcement à partir de récompenses vérifiables, et les agents de programmation se guident sur le verdict des tests. Les mathématiques sont le terrain où cette idée va le plus loin, parce qu’une démonstration peut être vérifiée sans aucun doute possible, par un programme. Ce chapitre montre comment, en quelques années, des machines sont passées des problèmes d’olympiades aux premiers résultats de recherche, et ce que ces résultats disent, ou ne disent pas.

Le défi ARC

Mon, 01 Jan 0001 00:00:00 +0000

Le défi ARC

Chapitre d’approfondissement. Ce chapitre est facultatif. Il présente un test conçu pour mesurer l’intelligence par des tâches nouvelles, mais la suite du module et le travail noté ne supposent pas de l’avoir lu.

Les chapitres précédents ont présenté des modèles qui réussissent des examens de droit, des concours de mathématiques et des exercices de programmation. Le chapitre « Passer à l’échelle » a toutefois montré la limite de ces scores : un modèle entraîné sur une grande partie du Web a peut-être déjà vu les questions. Ce chapitre présente un test conçu pour mesurer autre chose, la capacité à faire face à du nouveau. Il s’appelle ARC, pour Abstraction and Reasoning Corpus (« corpus d’abstraction et de raisonnement »), et son histoire, de 2019 à aujourd’hui, résume bien les progrès des grands modèles de langage et ce qui leur manque encore.

Relier les mots et les images

Mon, 01 Jan 0001 00:00:00 +0000

Relier les mots et les images

Le chapitre « Des images, des voix, des vidéos » a montré des générateurs qui produisent une image à partir d’une phrase, comme « un panneau d’arrêt vole dans un ciel bleu ». Pour y parvenir, un modèle doit relier deux mondes : celui des mots et celui des pixels. Ce chapitre présente la méthode qui l’a rendu possible, l’apprentissage contrastif, et le modèle qui l’a popularisée, CLIP. Il montre ensuite comment ce lien sert à chercher des images, à les classer sans exemples, et à les générer à partir d’un texte.

Des modèles qui voient, entendent et parlent

Mon, 01 Jan 0001 00:00:00 +0000

Des modèles qui voient, entendent et parlent

Le chapitre « Relier les mots et les images » a présenté CLIP, qui place images et textes dans un même espace. CLIP sait dire si une légende convient à une image, mais il ne décrit pas une image avec ses propres mots, et il ne répond pas à une question à son sujet. Depuis 2023, les grands assistants le font : on peut leur montrer une photo, un graphique ou une page manuscrite, leur parler à voix haute, et les entendre répondre. Ce chapitre présente comment un modèle de langage a appris à voir et à entendre, ce que cela permet, et ce qui lui échappe encore.

Regarder à l'intérieur

Mon, 01 Jan 0001 00:00:00 +0000

Regarder à l’intérieur : l’interprétabilité mécaniste

Les chapitres précédents ont décrit les grands modèles de langage de l’extérieur : ce qu’on leur donne, ce qu’ils produisent, et comment on les entraîne. Ce chapitre présente les efforts pour comprendre ce qui se passe à l’intérieur, pendant qu’un modèle calcule sa réponse. Le domaine s’appelle l’interprétabilité mécaniste (mechanistic interpretability). Son but est de retrouver, dans les poids d’un réseau entraîné, les mécanismes qui produisent son comportement, un peu comme on reconstituerait le code source d’un programme dont on ne possède que la version compilée.

Ce que les LLM comprennent, et ce qu'ils ratent

Mon, 01 Jan 0001 00:00:00 +0000

Ce que les LLM comprennent, et ce qu’ils ratent

Les chapitres précédents ont présenté ce que font les grands modèles de langage : prédire le jeton suivant, à une échelle immense, puis être ajustés pour répondre, raisonner, démontrer, utiliser des outils, voir et parler. Le chapitre « Le défi ARC » a montré ce qui leur résiste encore devant des problèmes nouveaux, et le chapitre « Regarder à l’intérieur » ce que les chercheurs ont découvert à l’intérieur des modèles. Ce dernier chapitre du module pose la question que ces résultats rendent inévitable : ces modèles comprennent-ils ce qu’ils disent ? Il commence par leurs erreurs les plus connues, qui renseignent sur leur fonctionnement, puis il présente les deux grandes lectures qui s’opposent. Il fait enfin le lien avec des questions posées tout au long du cours.

Travail noté 4

Mon, 01 Jan 0001 00:00:00 +0000

Un modèle de langage dans un tableur (travail noté 4)

Ce travail construit, dans Google Sheets, un modèle de langage miniature : un modèle à bigrammes, qui donne la probabilité de chaque mot d’après le mot qui le précède. C’est le principe des n-grammes présenté au chapitre « Des règles aux probabilités », avec n = 2. Le modèle est ensuite utilisé pour générer du texte, en tirant chaque mot au hasard selon ces probabilités, comme le font, à une tout autre échelle, les grands modèles de langage.