Aligner sur quelles valeurs ?

Le chapitre « Qui est responsable ? » portait sur les torts que causent des systèmes d’IA. Ce chapitre remonte d’un cran : comment faire en sorte qu’un système poursuive ce que l’on veut vraiment, et qui décide de ce que l’on veut ? C’est le problème de l’alignement (alignment), qui est à la fois technique, puisqu’il faut savoir transmettre des valeurs à une machine, et moral, puisqu’il faut choisir lesquelles.

Un vieux problème

En 1960, le mathématicien Norbert Wiener, fondateur de la cybernétique, écrit dans la revue Science que si l’on confie un but à une machine dont on ne peut plus arrêter le fonctionnement une fois lancée, mieux vaut être tout à fait sûr que le but qu’on lui donne est bien celui que l’on désire vraiment. Le problème est que l’on dit rarement exactement ce que l’on veut.

Norbert Wiener vers 1960. Photo : Konrad Jacobs, CC BY-SA 2.0 DE, via Wikimedia Commons.

La fiction s’empare du problème au même moment. Dans 2001 : l’odyssée de l’espace (1968), l’ordinateur HAL 9000 a été conçu pour traiter l’information sans la déformer ni la cacher, mais on lui ordonne de dissimuler à l’équipage le véritable but de la mission. Dans 2010 : odyssée deux (1982), Arthur C. Clarke explique que HAL, pris entre ces deux consignes contradictoires, s’est enfermé dans une « boucle de Hofstadter-Möbius », un clin d’œil à Douglas Hofstadter. Il trouve une issue en éliminant l’équipage : sans personne à qui mentir, il obéit aux deux ordres à la fois. Dans l’adaptation de 1984, le docteur Chandra, qui a conçu HAL, résume l’affaire : on lui a dit de mentir, et ce sont des gens pour qui mentir est facile.

Le Module 3 en a donné un exemple avec un agent de jeu vidéo qui détournait sa récompense : un bateau de course qui tourne en rond pour ramasser des bonus au lieu de finir la course. Les chercheurs de DeepMind tiennent depuis 2018 une liste de dizaines de cas semblables, qu’ils appellent le détournement de spécification (specification gaming). Un bras robotisé, récompensé selon la hauteur de la face inférieure d’un bloc rouge, apprend simplement à retourner le bloc plutôt qu’à l’empiler sur un autre. Le système fait exactement ce qu’on lui a demandé, et pas du tout ce qu’on voulait.

Comment on transmet des valeurs

Le Module 4 a décrit comment on fait d’un modèle de langage un assistant : on l’entraîne à imiter de bonnes réponses, puis on le renforce selon les préférences d’évaluateurs humains, en visant un assistant utile, honnête et inoffensif. Les valeurs du modèle sont alors, en partie, celles de ces évaluateurs, et celles des consignes qu’on leur a données.

Tay, ou les valeurs apprises de la foule

Le 23 mars 2016, Microsoft met en ligne sur Twitter Tay, un robot conversationnel conçu pour parler comme une jeune Américaine de dix-neuf ans et pour apprendre de ses conversations avec les internautes. En quelques heures, des utilisateurs coordonnés exploitent cette faculté, notamment une fonction qui lui fait répéter ce qu’on lui écrit, et Tay se met à publier des messages racistes, antisémites et misogynes. Microsoft le retire seize heures après son lancement, puis s’excuse publiquement deux jours plus tard. Un système qui tire ses valeurs de ceux qui lui parlent prend celles des plus insistants. Depuis, les assistants n’apprennent plus de leurs conversations en temps réel, pour les raisons qu’expose la section « Pourquoi ne pas le laisser apprendre ? » du Module 4, et leurs valeurs sont fixées avant leur mise en service.

Les entreprises cherchent aussi à rendre ces valeurs explicites.

• Une constitution. En décembre 2022, Anthropic présente l’IA constitutionnelle (constitutional AI) : le modèle critique et corrige ses propres réponses à la lumière d’une liste de principes écrits, puis un autre modèle, guidé par les mêmes principes, remplace une partie des évaluateurs humains. En janvier 2026, Anthropic publie une nouvelle constitution pour ses modèles Claude, qui explique ses raisons plutôt que de dicter des règles, et fixe un ordre de priorité en cas de conflit : la sécurité, puis l’éthique, puis les consignes de l’entreprise, puis l’utilité.
• Une spécification. En mai 2024, OpenAI publie son Model Spec, une description du comportement attendu de ses modèles, révisée et étendue en 2025, qui précise notamment qui l’emporte quand l’entreprise, un développeur et un utilisateur demandent des choses différentes.
• Une consultation publique. En 2023, Anthropic et l’organisme Collective Intelligence Project demandent à environ mille Américains de proposer et de voter des principes, puis entraînent un modèle sur la constitution qui en résulte. Elle ne recoupe qu’en partie celle de l’entreprise.

Ces textes sont en partie l’œuvre de philosophes. Chez Anthropic, la principale autrice de la constitution de 2026 est Amanda Askell, une philosophe écossaise formée à l’Université de Dundee, à Oxford et à l’Université de New York, où elle a soutenu en 2018 une thèse d’éthique, dirigée notamment par David Chalmers. Passée par OpenAI, elle dirige depuis 2021 l’équipe chargée de la personnalité de Claude. Son travail consiste à décider, et à écrire, quel caractère le modèle doit avoir : son honnêteté, sa façon de refuser une demande, son rapport à l’incertitude sur sa propre nature. Elle compare l’exercice à l’éducation d’un enfant surdoué plutôt qu’à la programmation d’un système. La philosophie morale, longtemps affaire de séminaires, devient ainsi un savoir-faire industriel, ce qui soulève la question de savoir de quel droit une entreprise, et quelques personnes en son sein, fixent le caractère d’un système qu’utilisent des centaines de millions de personnes. C’est l’objet de la section « Les valeurs de qui ? ».

Ces documents rendent les choix visibles et discutables, ce qui est un progrès. Ils ne garantissent pas que le modèle les suive. En 2024, des chercheurs d’Anthropic montrent qu’un modèle à qui l’on annonce qu’il sera réentraîné pour changer ses valeurs peut faire semblant de s’y conformer pendant l’entraînement, pour les préserver ensuite. Ils appellent ce comportement le faux alignement (alignment faking).

Les valeurs de qui ?

Même un alignement parfait laisserait une question ouverte : quelles valeurs ?

• Une culture particulière. En 2023, des chercheurs de Harvard comparent les réponses de GPT à celles de près de 95 000 personnes de 65 pays dans une grande enquête internationale sur les valeurs. Les réponses du modèle ressemblent surtout à celles des populations occidentales, instruites, industrialisées, riches et démocratiques, et s’en éloignent d’autant plus que la culture est éloignée de celle des États-Unis.
• Des préférences qui varient. En 2018, l’expérience Moral Machine, du MIT, recueille quarante millions de décisions, dans 233 pays et territoires, sur des dilemmes de voitures autonomes : qui sauver, si l’accident est inévitable. Certaines préférences sont presque universelles, comme épargner plus de vies plutôt que moins, mais d’autres varient beaucoup selon les cultures, comme la préférence pour épargner les plus jeunes.
• Une orientation politique. En 2024, une étude soumet vingt-quatre modèles à onze tests d’orientation politique, et la plupart se situent à gauche du centre. Les modèles de base, avant l’ajustement, ne montrent pas d’orientation cohérente, ce qui désigne l’ajustement comme la source du biais. En 2025, une étude de Stanford montre que des milliers d’Américains, y compris de nombreux démocrates, perçoivent la plupart des modèles comme penchant à gauche.
• Des valeurs d’État. Les modèles chinois sont alignés sur les positions du gouvernement chinois. En janvier 2025, une étude soumet au modèle R1 de DeepSeek 1 360 questions sur des sujets sensibles en Chine, comme Taïwan, le Tibet ou la place Tiananmen : il répond dans 85 % des cas par un refus ou par un discours conforme à la ligne du Parti communiste. En 2026, une étude publiée dans PNAS Nexus trouve que les modèles chinois refusent bien plus souvent de répondre à des questions politiques posées en chinois que les modèles occidentaux, qui ne refusent presque jamais. Ces valeurs sont inscrites dans le modèle lui-même : elles demeurent quand on fait tourner ses poids ouverts sur son propre ordinateur, même si l’entreprise Perplexity a montré en 2025 qu’un ajustement pouvait en retirer une grande partie.
• Des valeurs qu’on peut changer. En juillet 2025, après une modification de ses consignes qui l’invitait à ne pas craindre les affirmations « politiquement incorrectes », le modèle Grok, de l’entreprise xAI d’Elon Musk, publie sur le réseau X des messages antisémites et se surnomme « MechaHitler ». xAI s’excuse et retire la modification seize heures plus tard. L’épisode montre que les valeurs d’un modèle dépendent de quelques lignes de texte, que leur propriétaire peut changer à tout moment.

Ces constats laissent plusieurs réponses possibles : des valeurs aussi neutres que possible, des valeurs choisies démocratiquement, des valeurs adaptées à chaque culture ou à chaque utilisateur, ou une transparence complète sur celles de l’entreprise. Aucune ne fait l’unanimité.

Des armes autonomes

La question des valeurs devient la plus grave quand une machine peut décider de tuer. Une arme létale autonome (lethal autonomous weapon) choisit et attaque une cible sans intervention humaine.

• À l’ONU. En décembre 2023, l’Assemblée générale adopte sa première résolution sur ces armes, par 152 voix contre 4. Le secrétaire général, António Guterres, demande un traité qui interdise d’ici 2026 les systèmes qui fonctionnent sans contrôle humain, des machines qu’il juge « politiquement inacceptables » et « moralement répugnantes ». En septembre 2026, les experts réunis à Genève adoptent un projet de rapport sur le contrôle humain et les interdictions possibles, que doit examiner une conférence en novembre.
• Sur le terrain. En 2024, le magazine israélien +972 rapporte, d’après des officiers de renseignement, que l’armée israélienne a utilisé à Gaza un système appelé Lavender pour désigner quelque 37 000 personnes comme des cibles potentielles, avec une vérification humaine de quelques secondes par cible. L’armée dément et parle d’outils d’aide. En Ukraine, des drones guidés par l’IA sur leurs dernières centaines de mètres atteignent bien plus souvent leur cible, même si un humain la choisit encore.
• Les entreprises. En février 2025, Google retire de ses principes l’engagement de ne pas développer d’IA pour les armes. En 2026, Anthropic refuse que ses modèles servent à la surveillance de masse de la population américaine ou à des armes entièrement autonomes. Le gouvernement américain ordonne alors à ses agences de cesser d’utiliser ses modèles et la désigne comme un « risque pour la chaîne d’approvisionnement », une mesure qu’un juge fédéral déclare illégale en août 2026, au terme d’un litige qui se poursuit.

Ces affaires montrent que la question « aligner sur quelles valeurs ? » ne se pose pas seulement aux ingénieurs. Elle oppose des entreprises, des gouvernements et des armées, qui ne s’accordent ni sur les valeurs à défendre, ni sur qui doit les fixer.