Module 4 - IA générative et grands modèles de langage#

Depuis l’introduction spectaculaire de ChatGPT en novembre 2022, les mots “intelligence artificielle”, qui étaient déjà omniprésents, sont passés en vitesse supérieure, surtout dans la culture populaire. Pour la première fois, avec ChatGPT et son interface conversationnelle (de “chat”, car ChatGPT est un “chatbot”), on a l’impression d’être en présence d’une vraie intelligence artificielle, presque générale, et non un système d’IA étroit, qui peut seulement accomplir une fonction particulière et limitée. Comme nous l’avons soulevé à quelques reprises dans le cours, une réaction normale, quand on apprend le fonctionnement d’une régression linéaire ou logistique, peut être de se poser la question : en quoi est-ce que ceci constitue de l’IA au juste? Pourtant avec ChatGPT, ceci devenait clair : il est désormais non seulement possible de converser avec un ordinateur, mais il est également possible de lui faire produire (générer) des poèmes, des textes, des images, etc. Bien que cela soit discutable, on peut penser que ChatGPT constitue la première application d’IA capable de passer le fameux test de Turing.

En parallèle de cette introduction fracassante, on a commencé entendre parler de plus en plus d’un autre concept, étroitement associé : l’IA générative. Et on comprend que ChatGPT est un exemple d’IA générative en fait, mais que cette dernière ne se limite pas à ce type d’application (les grands modèles de langage comme ChatGPT). Il s’agit d’un domaine plus vaste et complexe, qui regroupe de nombreuses idées, que nous allons explorer dans ce module.

But et objectifs#

Le but de ce module est de vous amener à avoir une vue d’ensemble et une compréhension de haut niveau raisonnable de ce qu’on entend par “IA générative”, et plus spécifiquement :

• Explorer et comprendre les grandes lignes de certains modèles d’IAG comme les réseaux de neurones adversériaux (GANs), les modèles de diffusion (qui permettent de passer du texte aux images, avec DALL-E par exemple), les modèles de génération vidéo, comme les très récents Sora et Veo;
• Explorer et comprendre tout d’abord la notion fondamentale et classique de modèle de langage, pour ensuite plonger dans sa version moderne et extrêmement puissante, les grands modèles de langage (GML, ou LLM en anglais), avec ChatGPT, qui est l’application la plus fameuse et spectaculaire de l’IAG.

Durée#

Trois semaines ou 27 heures.

Évaluation#

Le travail noté pour ce module sera la construction interactive (dans Google Spreadsheet encore une fois, comme pour le deuxième travail noté) d’un modèle de langage miniature, une sorte de mini ChatGPT, extrêmement limité donc, mais qui donnera une idée de ce que veut dire, concrètement, un algorithme pour “générer des mots”.