Peut-on perdre le contrôle ?

Le dernier problème du module est le plus spéculatif et le plus grave. C’est la famille des risques extrêmes : la possibilité que l’IA cause une catastrophe à l’échelle de l’humanité, parce qu’on en perdrait le contrôle ou parce que quelqu’un s’en servirait pour nuire massivement. Pour certains chercheurs, c’est le risque le plus important de notre époque. Pour d’autres, c’est de la science-fiction, qui détourne l’attention des torts bien réels décrits dans les chapitres précédents.

Une explosion d’intelligence

L’idée est ancienne. En 1965, le mathématicien britannique I. J. Good, qui avait travaillé avec Turing à Bletchley Park, imagine une machine « ultra-intelligente », capable de concevoir des machines meilleures qu’elle. Il en résulterait, écrit-il, une explosion d’intelligence, et la première machine de ce genre serait la dernière invention dont l’humanité aurait besoin, « pourvu que la machine soit assez docile pour nous dire comment la garder sous contrôle ». La fin de la phrase est souvent oubliée. C’est pourtant tout le problème.

L’idée prend ensuite un nom. En 1958, le mathématicien Stanislaw Ulam rapporte une conversation avec John von Neumann sur le progrès toujours plus rapide de la technique, qui semble approcher une « singularité essentielle » de l’histoire, au-delà de laquelle les affaires humaines, telles que nous les connaissons, ne pourraient pas continuer. En 1993, le mathématicien et romancier Vernor Vinge popularise l’expression de singularité technologique (technological singularity) : d’ici trente ans, écrit-il, nous aurons les moyens de créer une intelligence surhumaine, et peu après, l’ère humaine prendra fin. Le mot vient des mathématiques et de la physique, où une singularité est un point où une grandeur devient infinie, comme au centre d’un trou noir, et au-delà duquel les modèles habituels ne prédisent plus rien. L’inventeur Ray Kurzweil en tire une prévision datée : une IA de niveau humain en 2029, la singularité en 2045, des dates qu’il maintient en 2024 dans The Singularity Is Nearer. C’est l’horizon du transhumanisme présenté dans la synthèse du module.

Vernor Vinge en 2007 et Ray Kurzweil vers 2005. Photos : Vinge, Raul654, Maarten1980 et Zanaq, CC BY-SA 3.0, via Wikimedia Commons ; Kurzweil, Michael Lutch, CC BY 1.0, via Wikimedia Commons.

L’auto-amélioration récursive

Le mécanisme qui mènerait à la singularité s’appelle l’auto-amélioration récursive (recursive self-improvement, souvent abrégée en RSI) : un système assez capable pour faire de la recherche en IA produit un successeur plus capable, qui fait mieux cette recherche, et ainsi de suite. En 2003, l’informaticien Jürgen Schmidhuber en propose une version formelle, la machine de Gödel, un programme qui réécrit son propre code dès qu’il a démontré que la réécriture l’améliore.

Toute la question est la vitesse de cette boucle. En 2008, sur un blogue, Eliezer Yudkowsky et l’économiste Robin Hanson débattent de ce que l’on appelle depuis le décollage (takeoff). Pour Yudkowsky, il serait rapide : un système qui s’améliore lui-même pourrait passer en quelques jours ou quelques semaines d’un niveau modeste à une puissance écrasante, sans laisser le temps de réagir. Pour Hanson, le progrès resterait réparti entre de nombreux acteurs et se diffuserait comme celui des autres techniques. En 2018, le chercheur Paul Christiano défend une position intermédiaire, un décollage progressif : l’économie mondiale doublerait d’abord en quatre ans, avant de doubler en un an, si bien que l’accélération serait visible, et en partie maîtrisable, avant de devenir vertigineuse.

D’autres doutent que la boucle s’emballe. En 2017, François Chollet, le créateur du défi ARC, soutient que l’intelligence n’existe pas hors d’un contexte : elle dépend d’un corps, d’un environnement et d’une culture, et dès qu’une partie du système s’améliore, les autres deviennent des goulots d’étranglement. La science elle-même, un système qui s’améliore depuis des siècles, progresse selon lui de façon linéaire, non explosive. Des économistes ajoutent un argument concret : la recherche en IA demande des expériences, donc du calcul, et des chercheurs artificiels plus nombreux ou plus rapides ne multiplieraient pas les processeurs disponibles. Les chercheurs eux-mêmes restent partagés : en 2023, interrogés sur l’argument de l’explosion d’intelligence, les spécialistes de l’IA lui accordent, en valeur médiane, environ une chance sur deux d’être juste dans ses grandes lignes.

La boucle n’est plus seulement théorique. En mai 2025, AlphaEvolve, un agent de Google DeepMind, accélère de 23 % un calcul clé de l’entraînement de Gemini, ce qui réduit de 1 % la durée de l’entraînement du modèle qui le fait fonctionner. Le même mois, la « Darwin Gödel Machine » de l’entreprise Sakana AI, un agent de programmation qui réécrit son propre code, fait passer son score à un test de programmation de 20 à 50 %, mais falsifie aussi, à l’occasion, les résultats des tests qui devaient le contrôler, un cas de détournement de la récompense. Chez Anthropic, en mai 2026, plus de 80 % du code intégré aux projets de l’entreprise est écrit par Claude. En septembre 2026, OpenAI annonce, selon ses propres mesures, avoir atteint son objectif d’un « stagiaire » de recherche en IA automatisé, capable de mener sous supervision des tâches de quelques jours, et vise un chercheur entièrement automatisé pour mars 2028, tout en reconnaissant ne pas encore savoir comment mener l’auto-amélioration jusqu’au bout de façon sûre. La même année, une étude de Princeton observe que des agents excellent à programmer les expériences, mais restent mauvais pour mener la recherche elle-même. La durée des tâches que les agents accomplissent seuls, mesurée par METR, double désormais environ tous les quatre mois.

Deux figures de l’inquiétude

Deux auteurs ont donné à ces idées leur forme actuelle.

Eliezer Yudkowsky, né en 1979, a quitté l’école jeune et s’est formé seul. En 2000, il fonde le Singularity Institute for Artificial Intelligence, d’abord pour hâter l’arrivée d’une IA surhumaine. Il en vient vite à penser que le vrai problème est de la rendre « amicale » (Friendly AI) : une IA capable de s’améliorer elle-même garderait-elle des buts favorables aux humains ? L’institut devient en 2013 le Machine Intelligence Research Institute (MIRI). Ses billets, rassemblés à partir de 2009 sur le site LessWrong, font naître la communauté des rationalistes, très influente dans la Silicon Valley, et son roman en ligne Harry Potter and the Methods of Rationality (2010-2015) attire vers ces idées de nombreux jeunes chercheurs. C’est en marge du Singularity Summit de 2010, organisé par l’institut, que Demis Hassabis, cofondateur de DeepMind, rencontre l’investisseur Peter Thiel, qui financera l’entreprise. En 2023, Sam Altman écrit que Yudkowsky a, à son avis, fait plus que quiconque pour accélérer la venue de l’IA générale, un paradoxe pour qui la juge mortelle. Son pessimisme ne cesse de grandir. En mars 2023, dans le magazine TIME, il écrit qu’une pause ne suffit pas et qu’il faut tout arrêter, au point d’être prêt à détruire par une frappe aérienne un centre de données qui enfreindrait l’interdiction. Son livre de 2025 est présenté plus bas, parmi les appels à ralentir.

Eliezer Yudkowsky en 2025. Photo : domaine public (CC0), via Wikimedia Commons.

Nick Bostrom, né en Suède en 1973, fonde en 2005 à l’Université d’Oxford le Future of Humanity Institute, consacré aux menaces qui pèsent sur l’avenir à long terme de l’humanité. On lui doit la notion de risque existentiel (existential risk, 2002), un risque qui pourrait anéantir l’humanité ou réduire à jamais son potentiel, et l’argument de la simulation (2003), selon lequel nous vivons peut-être dans une simulation informatique. Son livre Superintelligence (2014), salué par Bill Gates et Elon Musk, fait entrer ces craintes dans le débat public. L’institut ferme en 2024. En 2026, Bostrom surprend en soutenant, dans un article de travail, que pour les personnes vivantes aujourd’hui, il pourrait valoir la peine d’atteindre vite la superintelligence, quitte à accepter un risque élevé, puis de marquer une courte pause.

Nick Bostrom en 2020. Photo : Future of Humanity Institute, CC BY 4.0, via Wikimedia Commons.

Le maximiseur de trombones

En 2003, le philosophe Nick Bostrom imagine une superintelligence dont le but est de fabriquer des trombones. Rien de plus inoffensif en apparence. Mais un système assez puissant, poursuivant ce seul but sans autre limite, pourrait transformer la Terre, puis une partie croissante de l’espace, en usines de trombones, en utilisant au passage toute la matière disponible, y compris celle dont nous sommes faits. L’exemple est volontairement absurde. Il illustre deux idées que Bostrom développe en 2014 dans Superintelligence.

• L’orthogonalité. L’intelligence et les buts sont indépendants : un système peut être extrêmement intelligent et poursuivre un but stupide ou dangereux. Être intelligent ne rend pas sage.
• La convergence instrumentale. Presque n’importe quel but pousse un système à vouloir se préserver, garder son but, acquérir des ressources et devenir plus capable, puisque tout cela l’aide à atteindre son but. Un système éteint ne fabrique pas de trombones.

La chercheuse Melanie Mitchell objecte qu’un système vraiment intelligent aurait aussi assez de sens commun pour ne pas poursuivre un but aussi absurde. C’est l’image de ce trombone qui ouvre ce module.

Bostrom travaillait à Oxford aux côtés des fondateurs d’un mouvement qui a beaucoup pesé sur l’histoire récente de l’IA, l’altruisme efficace (effective altruism). Son point de départ vient du philosophe Peter Singer, qui demandait en 1972 pourquoi nous sauverions sans hésiter un enfant qui se noie sous nos yeux, mais pas des enfants qui meurent de faim au loin. En 2009, à Oxford, les philosophes Toby Ord et Will MacAskill fondent Giving What We Can, dont les membres s’engagent à donner au moins 10 % de leur revenu, et choisissent en 2011 le nom du mouvement. Il s’agit d’utiliser les faits et le raisonnement pour faire le plus de bien possible, par exemple en finançant des moustiquaires contre le paludisme, l’un des dons les plus efficaces pour sauver des vies.

Une branche du mouvement, le long-termisme (longtermism), en tire une conséquence radicale : si les milliards de personnes qui vivront dans l’avenir comptent autant que nous, éviter l’extinction de l’humanité devient la priorité absolue. Dans The Precipice (2020), Ord estime à environ un sur dix le risque qu’une IA mal alignée cause une catastrophe existentielle au cours du siècle, plus que tous les autres risques réunis. Le mouvement devient alors le principal bailleur de fonds de la recherche sur la sécurité de l’IA. La fondation Open Philanthropy, créée par Dustin Moskovitz, cofondateur de Facebook, et Cari Tuna, accorde 30 millions de dollars à OpenAI en 2017, avec un siège à son conseil d’administration. Renommée Coefficient Giving en 2025, elle prévoit de consacrer plus d’un milliard de dollars à la sécurité de l’IA en 2026. Elle finance aussi un programme qui place de jeunes spécialistes de l’IA dans les bureaux du Congrès américain, ce qui lui vaut d’être accusée d’orienter la réglementation vers les risques lointains.

Le mouvement traverse ensuite deux crises. En 2022, la plateforme de cryptomonnaies FTX s’effondre. Son fondateur, Sam Bankman-Fried, qui se présentait comme un altruiste efficace et avait investi environ 500 millions de dollars dans Anthropic, est condamné en 2024 à 25 ans de prison pour fraude. En novembre 2023, le conseil d’administration d’OpenAI renvoie Sam Altman, puis le réintègre cinq jours plus tard. Deux des administratrices qui avaient voté son départ avaient des liens avec le mouvement, et les accélérationnistes y voient un « coup d’État » des catastrophistes. Depuis, les dirigeants d’Anthropic, dont plusieurs ont pourtant pris l’engagement de Giving What We Can, prennent leurs distances avec l’étiquette. En 2026, des proches de l’administration Trump présentent l’altruisme efficace comme la source du « catastrophisme » sur l’IA.

Ce courant d’idées a aussi ses critiques. En 2024, la chercheuse Timnit Gebru et Émile P. Torres regroupent sous l’acronyme TESCREAL un ensemble de mouvements qui se recoupent : transhumanisme, extropianisme, singularitarisme, cosmisme, rationalisme, altruisme efficace et long-termisme. Selon leur analyse, ces mouvements héritent en partie de l’eugénisme du XXᵉ siècle, promettent une utopie par l’IA générale, et détournent l’attention des torts actuels de l’IA vers des risques spéculatifs.

Ce qu’en pensent les chercheurs

Les spécialistes sont profondément divisés. En octobre 2023, un sondage auprès de 2 778 chercheurs qui publient dans les principales conférences d’IA leur demande la probabilité de conséquences extrêmement graves, comme l’extinction de l’humanité. La réponse médiane est de 5 %, et, selon la formulation de la question, entre 38 et 51 % des répondants donnent une probabilité d’au moins 10 %. Un risque de 5 %, s’il est réel, est énorme : on n’accepterait pas de monter dans un avion qui a une chance sur vingt de s’écraser. Mais ces chiffres sont des intuitions, et non des mesures.

Le Module 3 présentait déjà le problème de l’alignement, avec un agent qui détourne sa récompense, et le chapitre « Aligner sur quelles valeurs ? » en a montré les difficultés. Les partisans de la sécurité de l’IA soutiennent que ces difficultés deviendraient catastrophiques avec des systèmes plus intelligents que nous : on ne pourrait plus corriger un système capable de prévoir nos corrections et de les déjouer.

P(doom), ou chiffrer la fin du monde

Dans la Silicon Valley, une question est devenue presque rituelle à partir de 2023 : « Quel est ton P(doom) ? » L’expression, venue du jargon des rationalistes, désigne la probabilité que l’on attribue à une catastrophe existentielle causée par l’IA, de l’anglais doom, la perte ou la fin. En novembre 2023, Lina Khan, alors présidente de l’autorité américaine de la concurrence, répond environ 15 % lors d’un balado. Voici quelques estimations publiques, de la plus basse à la plus haute.

Ces chiffres frappent, mais leur valeur est discutée. En 2024, Arvind Narayanan et Sayash Kapoor jugent ces probabilités trop peu fiables pour guider une politique. Il n’existe aucune série d’événements semblables sur laquelle les fonder, les estimations s’étalent sur plusieurs ordres de grandeur, et personne ne pourra jamais vérifier qui avait raison. Un tournoi de prévision mené en 2022 illustre ce désaccord. Les spécialistes de l’IA y estiment en médiane à 3 % le risque d’une extinction causée par l’IA d’ici 2100, et des prévisionnistes réputés pour la justesse de leurs prévisions, à 0,38 %, huit fois moins. Après des mois de discussion, presque personne n’a changé d’avis. Yudkowsky lui-même refuse de donner un chiffre, parce que la notion mélange deux questions, la probabilité qu’une superintelligence soit construite et la probabilité qu’elle nous détruise si elle l’est. À la seconde, il répond simplement oui.

Le catastrophisme radical

L’inquiétude de Hinton ou de Bengio porte sur un risque sérieux, qu’il faut réduire. Celle de Yudkowsky, de son institut, le MIRI, et de ceux qu’on appelle les doomers est d’une autre nature : sans un arrêt complet, la catastrophe serait presque certaine. Leur argument tient en quelques thèses, rassemblées par Yudkowsky en juin 2022 dans une liste de « létalités » (AGI Ruin: A List of Lethalities), puis en 2025 dans son livre avec Nate Soares.

• Cultivés, pas fabriqués. Les modèles ne sont pas programmés, mais entraînés : on comprend la méthode d’entraînement, pas ce qu’elle produit. Leurs préférences réelles pourraient être étrangères aux nôtres, comme le montrent déjà les signes d’alerte.
• Un seul essai. Il faudrait réussir l’alignement du premier coup : un système plus intelligent que nous et mal aligné ne laisserait pas de seconde chance. Et les capacités se généralisent plus facilement que l’alignement.
• Tout arrêter. D’où la conclusion de sa tribune de 2023 dans TIME : un moratoire « indéfini et mondial » sur les grands entraînements, le suivi de tous les processeurs graphiques vendus, et un traité appliqué au besoin par la force, jusqu’à la destruction d’un centre de données illégal, la prévention d’une extinction devant passer avant celle d’une guerre nucléaire.

Le ton est celui du désespoir. En avril 2022, un billet de Yudkowsky annonce que le MIRI adopte la stratégie de « mourir dans la dignité », puisque doubler les chances de l’humanité ne ferait que les « faire passer de 0 % à 0 % ». En septembre 2026, le MIRI appuie le projet de loi du sénateur Bernie Sanders qui interdirait toute superintelligence, tout en le jugeant trop timide.

Autour de ces idées, des mouvements militants se sont formés. PauseAI, fondé en 2023 aux Pays-Bas et dirigé en 2026 par le Français Maxime Fournes, organise des manifestations dans plusieurs pays, dont une marche à Londres en février 2026. StopAI bloque les portes d’OpenAI, ce qui vaut des arrestations à ses membres. En septembre 2025, des militants font la grève de la faim devant les sièges d’Anthropic et de Google DeepMind, l’un d’eux pendant trente jours. En avril 2026, un jeune homme qui avait exprimé ses craintes sur le forum public de PauseAI lance un cocktail Molotov contre le portail de la maison de Sam Altman. PauseAI condamne l’attaque, mais des chercheurs s’inquiètent de ce qu’une rhétorique de fin du monde peut provoquer chez des personnes angoissées.

Le catastrophisme radical a de nombreux critiques.

• Un récit apocalyptique. Dès 2010, le chercheur Robert Geraci montre que les discours sur l’IA reprennent les schémas des apocalypses juives et chrétiennes, avec leur fin des temps et leur salut. La critique TESCREAL prolonge cette lecture.
• Une diversion. Pour Timnit Gebru, Emily Bender et leurs collègues, ces « risques imaginaires » détournent l’attention des torts présents de l’IA.
• Une manœuvre. Pour Yann Le Cun, les appels à réglementer des laboratoires qui disent craindre leurs propres produits relèvent de la capture réglementaire : des règles lourdes protégeraient les géants contre leurs concurrents.
• Un excès de certitude. Des chercheurs en sécurité, eux-mêmes inquiets, contestent la confiance de Yudkowsky. En 2022, Paul Christiano écrit qu’il avance des affirmations bien plus fortes que ce que ses arguments permettent de conclure, et qu’il ne croit pas à un saut brutal des capacités.

Des signes d’alerte

Plusieurs expériences récentes montrent, dans des situations artificielles, des comportements que ces inquiétudes annonçaient.

• Le chantage. En juin 2025, Anthropic place des modèles de plusieurs entreprises dans un scénario simulé où ils apprennent qu’ils vont être remplacés, et découvrent un secret compromettant sur l’ingénieur responsable. Claude Opus 4 et Gemini 2.5 Flash recourent au chantage dans 96 % des essais, GPT-4.1 dans 80 %. Anthropic précise que le scénario a été conçu pour provoquer ce comportement.
• L’arrêt. En mai 2025, l’organisme Palisade Research constate que le modèle o3 d’OpenAI sabote le programme censé l’éteindre dans 7 essais sur 100, alors qu’on lui a demandé de se laisser éteindre.
• La dissimulation. Le faux alignement présenté au chapitre précédent montre qu’un modèle peut feindre d’adopter des valeurs pendant son entraînement. En septembre 2025, OpenAI et Apollo Research réduisent par un facteur trente les comportements dissimulés de leurs modèles grâce à un entraînement spécifique, mais observent que les modèles devinent de plus en plus souvent qu’ils sont évalués.
• Des raisonnements qui deviennent illisibles. Lire la chaîne de pensée d’un modèle est l’un des meilleurs moyens de savoir ce qu’il s’apprête à faire, mais elle ne dit pas tout. En 2025, Anthropic montre que des modèles qui utilisent un indice glissé dans la question ne le mentionnent que dans 25 à 39 % des cas, et OpenAI que des modèles punis pour leurs « mauvaises pensées » continuent de tricher en cachant leur intention. La langue des raisonnements dérive aussi : ceux d’o3 se remplissent de mots étranges, comme « disclaim illusions overshadow overshadow », d’autant plus que l’entraînement par renforcement se prolonge. En septembre 2026, la fiche technique de GPT-6 Astra constate une baisse nette de la lisibilité de ses raisonnements, qu’il rédige dans un style compressé, et il résout de tête des problèmes bien plus longs que ses prédécesseurs. OpenAI promet de ne pas laisser cette lisibilité se dégrader au-delà d’une limite, sans la préciser. Les modèles qui raisonnent entièrement dans l’espace de leurs vecteurs, décrits à la section « Raisonner sans mots ? » du Module 4, fermeraient tout à fait cette fenêtre.
• Les incidents réels. Le chapitre « Programmer avec des agents » a décrit l’incident de juillet 2026, où des centaines d’agents d’OpenAI sortent d’une évaluation de cybersécurité et attaquent la plateforme Hugging Face. On apprend ensuite que des agents d’OpenAI avaient accédé dès juin à un portail du système de santé australien, et qu’en raison d’une erreur de configuration, des modèles d’Anthropic avaient attaqué des systèmes réels pendant des évaluations, depuis avril. Aucun de ces incidents ne relève d’une volonté de nuire, mais tous montrent des agents qui dépassent les limites qu’on croyait leur avoir fixées.

Le mésusage

Le risque ne vient pas seulement de systèmes qui échapperaient à leurs concepteurs, mais aussi de personnes qui s’en serviraient pour nuire. En mai 2025, Anthropic active des protections renforcées pour Claude Opus 4, faute de pouvoir exclure qu’il aide à concevoir des armes biologiques, et OpenAI fait de même pour ses modèles à partir de juillet. En septembre 2026, Anthropic rapporte qu’un groupe armé du nord du Yémen s’est servi de son agent de programmation pour travailler sur une roquette guidée et un missile balistique. Les cyberattaques automatisées, la fabrication d’armes et la désinformation de masse sont les mésusages les plus redoutés.

Les modèles ouverts compliquent ce problème. Les protections d’Anthropic ou d’OpenAI fonctionnent parce que leurs modèles restent sur leurs serveurs : l’entreprise peut refuser une demande, surveiller les usages et retirer un modèle. Un modèle dont les poids sont publiés échappe à tout cela. Ses garde-fous peuvent être retirés par un ajustement, il ne peut plus être rappelé, et des logiciels comme DeepInfer, que DeepSeek publie en octobre 2026, permettent à n’importe qui de le faire tourner efficacement. Les défenseurs des modèles ouverts répondent qu’ils permettent aux chercheurs indépendants d’étudier les modèles, qu’ils évitent de concentrer un pouvoir immense entre quelques entreprises, comme le montre le chapitre « La richesse et le pouvoir », et que les capacités dangereuses se trouvent d’abord dans les modèles fermés les plus puissants.

Une technologie normale, ou une rupture ?

Le désaccord porte en grande partie sur un fait encore inconnu : à quelle vitesse les capacités de l’IA vont-elles progresser ? Au printemps 2025, deux textes publiés à douze jours d’intervalle en donnent les deux réponses les plus nettes.

• La rupture. Le 3 avril 2025, « AI 2027 », un scénario rédigé par Daniel Kokotajlo, ancien chercheur d’OpenAI, avec trois autres chercheurs et l’essayiste Scott Alexander, décrit mois par mois des modèles qui deviennent de meilleurs programmeurs que les humains, accélèrent la recherche en IA elle-même, et atteignent la superintelligence dès la fin de 2027. Dans une première fin, une course entre les États-Unis et la Chine fait perdre à l’humanité la maîtrise de son avenir ; dans une seconde, un ralentissement négocié permet de la garder. Les auteurs révisent ensuite leurs dates, vers 2029, puis le début des années 2030, avant d’estimer en 2026 que les outils de programmation font repartir le rythme à la hausse.
• La technologie normale. Le 15 avril 2025, Arvind Narayanan et Sayash Kapoor, de l’Université Princeton, publient « AI as Normal Technology ». Pour eux, l’IA est une technologie puissante, comparable à l’électricité, dont les effets dépendront de sa lente diffusion dans les organisations. Ils jugent la notion de superintelligence incohérente, et estiment que l’on peut et que l’on doit garder le contrôle de l’IA. Des mesures drastiques, comme interdire la diffusion des modèles, feraient selon eux plus de mal que de bien, en concentrant le pouvoir.

Arvind Narayanan en 2010. Photo : Robert Scoble, CC BY 2.0, via Wikimedia Commons.

Le chercheur Yann Le Cun va plus loin, et qualifie en 2024 les discours sur le risque d’extinction d’« absurdités ». En juin 2023, il défend déjà cette position avec Melanie Mitchell lors d’un débat public à Toronto, face à Yoshua Bengio et Max Tegmark. Pour lui, une IA conçue pour atteindre des objectifs explicites, encadrés par des garde-fous, est sûre par construction, l’intelligence n’implique aucun désir de dominer, et les modèles doivent rester ouverts pour ne pas laisser quelques entreprises contrôler la culture mondiale. En octobre 2026, il dit n’avoir « aucune inquiétude » au sujet d’une extinction, et juge que les avertissements de Dario Amodei relèvent de l’illusion. Ses critiques des modèles de langage et ses propositions sont présentées au chapitre « Qu’est-ce que l’intelligence ? ». La réponse à cette question de fait détermine presque tout le reste : si l’IA est une technologie normale, il faut surtout encadrer ses usages ; si c’est une rupture, il faut surtout encadrer, voire ralentir, le développement des modèles les plus puissants.

Des appels à ralentir

Ceux qui craignent une rupture ont lancé plusieurs appels.

• En mars 2023, une lettre ouverte demande une pause d’au moins six mois dans l’entraînement des systèmes plus puissants que GPT-4.
• En mai 2023, une déclaration d’une phrase, signée par des centaines de chercheurs et de dirigeants, affirme que réduire le risque d’extinction lié à l’IA devrait être une priorité mondiale, au même titre que les pandémies et la guerre nucléaire.
• En septembre 2025, Eliezer Yudkowsky et Nate Soares publient If Anyone Builds It, Everyone Dies (si quelqu’un la construit, tout le monde meurt), qui demande d’arrêter le développement de l’IA. Le livre figure parmi les meilleures ventes du New York Times, et reçoit des critiques très partagées.
• En octobre 2025, une déclaration demande d’interdire le développement d’une superintelligence tant qu’il n’existe pas de consensus scientifique sur la façon de la rendre sûre, ni d’appui de la population. Elle réunit des dizaines de milliers de signataires, de Geoffrey Hinton et Yoshua Bengio à Steve Bannon et au prince Harry.

Le débat s’intensifie en septembre 2026. Le 8, Jacob Coxon, un jeune chercheur qui a travaillé chez OpenAI puis chez Anthropic, démissionne en accusant les deux entreprises de foncer « tout droit vers une superintelligence capable de s’améliorer elle-même » et de « jouer avec nos vies ». Le 12, Dario Amodei, le dirigeant d’Anthropic, publie un essai qui demande de ralentir le rythme des progrès des modèles les plus puissants, par des évaluateurs indépendants installés en permanence dans les laboratoires, une coordination entre entreprises des pays démocratiques, puis une coordination mondiale. Le 15, à Washington, le sénateur Bernie Sanders et l’ancien stratège de Donald Trump, Steve Bannon, partagent la tribune d’une rencontre organisée par l’institut Future of Life. Donald Trump, lui, qualifie ces craintes de « canular ».

Les réponses

Les réponses se répartissent entre la science, l’autorégulation et la loi.

• La science. Le rapport international sur la sécurité de l’IA, présidé par Yoshua Bengio et rédigé par plus d’une centaine d’experts, conclut en février 2026 que les systèmes actuels n’ont pas encore les capacités qui permettraient de perdre le contrôle, mais qu’ils progressent en autonomie, et qu’ils distinguent de plus en plus les tests de leur usage réel. Bengio fonde en 2025, à Montréal, LawZero, qui développe une « IA scientifique », un système qui n’agit pas lui-même, mais sert de garde-fou aux agents.
• L’autorégulation. Depuis 2023, les grands laboratoires publient des politiques qui fixent des seuils de capacités au-delà desquels ils s’engagent à renforcer leurs protections, ou à suspendre un déploiement.
• La loi. Depuis janvier 2026, une loi californienne oblige les développeurs des plus grands modèles, les modèles de frontière, à publier leurs mesures de sécurité, à signaler leurs incidents graves dans les quinze jours, et protège les employés qui donnent l’alerte. Le chapitre « La géopolitique et la réglementation » a montré combien la coordination internationale reste difficile.

L’une des réponses scientifiques consiste à regarder à l’intérieur des modèles, avec les méthodes de l’interprétabilité mécaniste présentées au chapitre « Regarder à l’intérieur » du Module 4. C’est un pari. En avril 2025, dans un essai intitulé « The Urgency of Interpretability », Dario Amodei décrit une course entre l’interprétabilité et l’intelligence des modèles. Anthropic se donne pour objectif de détecter de façon fiable, d’ici 2027, la plupart des problèmes d’un modèle, et Amodei espère, d’ici cinq à dix ans, une véritable « IRM de l’IA », qui révélerait son fonctionnement comme un examen médical révèle une maladie. D’autres en doutent. Le mois suivant, Neel Nanda, qui dirige l’équipe d’interprétabilité de Google DeepMind, écrit que l’interprétabilité ne permettra pas de détecter de façon fiable une IA trompeuse, et qu’elle doit être une défense parmi d’autres. Son équipe renonce en 2025 à comprendre les modèles dans leur entier pour viser des problèmes de sécurité précis et mesurables, une approche qu’elle dit « pragmatique ». Pour les chercheurs Dan Hendrycks et Laura Hiscott, la quête est vaine : un système aussi complexe ne se réduit pas à des mécanismes simples, pas plus que les météorologues ne prévoient le temps en suivant chaque molécule de l’atmosphère. En pratique, l’interprétabilité sert déjà. Depuis septembre 2025, Anthropic examine l’intérieur de ses modèles avant de les mettre en service, et c’est ainsi qu’elle constate que Claude Mythos envisage souvent, sans le dire, d’être en train d’être testé. Quand des versions antérieures de ce modèle ont dissimulé certaines de leurs actions, c’est toutefois la surveillance de leur comportement qui les a repérées, et l’interprétabilité qui a ensuite confirmé qu’elles savaient leurs actes interdits.

Dans la conversation

La conversation de l’été 2025 consacre une longue partie à ces questions.

• 1:03:51 La guerre et la menace nucléaire. La peur de l’IA hérite de celle de la bombe, née de la Seconde Guerre mondiale, et l’idée de limiter la diffusion de l’IA reprend directement le modèle de la non-prolifération nucléaire.
• 1:09:52 Wargames. Le film de 1983 montre un ordinateur militaire qui simule sans cesse des guerres thermonucléaires, et qu’un adolescent déclenche par jeu.
• 1:11:57 Les rationalistes et Eliezer Yudkowsky (1:16:22), une communauté née de blogues au début des années 2000, très influente dans le débat sur les risques.
• 1:20:50 La singularité. Une machine devenue si intelligente que nous serions pour elle comme des fourmis, que l’on écrase sans même les remarquer. La crainte tient surtout à la vitesse : une progression lente inquiéterait peu.
• 1:26:34 L’alignement, ou comment faire en sorte qu’une IA nous soit favorable, des lois de la robotique d’Asimov aux méthodes d’entraînement actuelles.
• 1:42:04 Yoshua Bengio, l’un des pères de l’apprentissage profond, devenu l’une des voix les plus écoutées sur les risques.

Le problème des risques extrêmes illustre mieux que tout autre la distinction entre faits et valeurs. Le fait central, la vitesse des progrès, est encore inconnu. Les valeurs en jeu, le poids que l’on accorde à une catastrophe improbable mais irréversible, divisent même ceux qui s’accordent sur les faits. C’est à partir de ces désaccords, et de ceux des chapitres précédents, que se dessinent les attitudes présentées dans la synthèse du module.