Le piège qu’Anthropic s’est construit

Vendredi après-midi, alors que cette interview commençait, une alerte d’information est apparue sur mon écran d’ordinateur : l’administration Trump rompait ses liens avec Anthropic, la société d’IA de San Francisco fondée en 2021 par Dario Amodei et d’autres anciens chercheurs d’OpenAI qui ont laissé derrière eux des problèmes de sécurité. Le secrétaire à la Défense Pete Hegseth avait invoqué une loi sur la sécurité nationale – conçue pour contrer les menaces liées aux chaînes d’approvisionnement étrangères – pour interdire à l’entreprise de faire des affaires avec le Pentagone après qu’Amodei ait refusé d’autoriser l’utilisation de la technologie d’Anthropic pour la surveillance de masse des citoyens américains ou pour des drones armés autonomes capables de sélectionner et de tuer des cibles sans intervention humaine.

C’était une séquence à couper le souffle. Anthropic est désormais sur le point de perdre un contrat d’une valeur pouvant atteindre 200 millions de dollars, et de se voir interdire de travailler avec d’autres sous-traitants de la défense après que le président Trump a publié sur Truth Social ordonnant à chaque agence fédérale de « cesser immédiatement toute utilisation de la technologie Anthropic ». (Anthropic a depuis déclaré qu’il contesterait le Pentagone devant les tribunaux, qualifiant la désignation de risque lié à la chaîne d’approvisionnement de juridiquement mal fondée et « jamais auparavant appliquée publiquement à une entreprise américaine ».)

Max Tegmark a passé la majeure partie d’une décennie à avertir que la course à la construction de systèmes d’IA toujours plus puissants dépasse la capacité du monde à les gouverner. Le physicien suédo-américain et professeur au MIT a fondé le Future of Life Institute en 2014. En 2023, il a contribué à l’organisation d’une lettre ouverte – finalement signée par plus de 33 000 personnes, dont Elon Musk – appelant à une pause dans le développement avancé de l’IA.

Son point de vue sur la crise anthropique est sans ménagement : l’entreprise, comme ses concurrents, a semé les graines de sa propre situation difficile. L’argument de Tegmark ne commence pas avec le Pentagone mais avec une décision prise des années plus tôt – un choix, partagé par l’ensemble de l’industrie, de résister à une réglementation contraignante. Anthropic, OpenAI, Google DeepMind et d’autres promettent depuis longtemps de se gouverner de manière responsable. Plus tôt cette semaine, Anthropic a même abandonné le principe central de son propre engagement en matière de sécurité : sa promesse de ne pas lancer de systèmes d’IA de plus en plus puissants tant que l’entreprise n’était pas sûre qu’ils ne causeraient pas de dommages.

Aujourd’hui, en l’absence de règles, il n’y a pas grand-chose pour protéger ces joueurs, explique Tegmark. Voici plus de cette interview, éditée pour plus de longueur et de clarté. Vous pouvez entendre la conversation complète la semaine prochaine sur le podcast StrictlyVC Download de TechCrunch.

Lorsque vous avez vu tout à l’heure cette nouvelle concernant Anthropic, quelle a été votre première réaction ?

La route de l’enfer est pavée de bonnes intentions. C’est tellement intéressant de repenser il y a dix ans, quand les gens étaient si enthousiastes à l’idée de créer une intelligence artificielle pour guérir le cancer, accroître la prospérité en Amérique et rendre l’Amérique plus forte. Et nous voici maintenant où le gouvernement américain est en colère contre cette entreprise parce qu’elle ne veut pas que l’IA soit utilisée pour la surveillance de masse des Américains au niveau national, et qu’elle ne veut pas non plus avoir des robots tueurs qui peuvent de manière autonome – sans aucune intervention humaine – décider qui sera tué.

Anthropic a misé toute son identité sur le fait d’être une entreprise d’IA axée sur la sécurité, et pourtant elle collaborait avec les agences de défense et de renseignement (depuis au moins 2024). Pensez-vous que c’est contradictoire ?

C’est contradictoire. Si je peux donner une vision un peu cynique de cela, oui, Anthropic a très bien réussi à se commercialiser en se concentrant sur la sécurité. Mais si vous regardez réellement les faits plutôt que les affirmations, vous constatez qu’Anthropic, OpenAI, Google DeepMind et xAI ont tous beaucoup parlé de leur souci de sécurité. Aucun d’entre eux ne s’est prononcé en faveur d’une réglementation contraignante en matière de sécurité comme nous l’avons fait dans d’autres secteurs. Et ces quatre sociétés ont désormais rompu leurs propres promesses. Nous avons d’abord eu Google – ce grand slogan « Ne soyez pas méchant ». Puis ils ont laissé tomber ça. Ensuite, ils ont abandonné un autre engagement plus long qui disait essentiellement qu’ils promettaient de ne pas nuire à l’IA. Ils ont abandonné cela pour pouvoir vendre l’IA à des fins de surveillance et d’armes. OpenAI vient de supprimer le mot sécurité de son énoncé de mission. xAI a fermé toute son équipe de sécurité. Et maintenant, Anthropic, plus tôt dans la semaine, a abandonné son engagement le plus important en matière de sécurité : la promesse de ne pas lancer de puissants systèmes d’IA tant qu’ils ne seraient pas sûrs qu’ils ne causeraient pas de dommages.

Comment des entreprises qui avaient pris des engagements aussi importants en matière de sécurité se sont-elles retrouvées dans cette position ?

Toutes ces entreprises, en particulier OpenAI et Google DeepMind, mais dans une certaine mesure également Anthropic, ont constamment fait pression contre la réglementation de l’IA, en disant : « Faites-nous confiance, nous allons nous réglementer nous-mêmes ». Et ils ont réussi à faire pression. Nous avons donc actuellement moins de réglementation sur les systèmes d’IA en Amérique que sur les sandwichs. Vous savez, si vous voulez ouvrir une sandwicherie et que l’inspecteur sanitaire trouve 15 rats dans la cuisine, il ne vous laissera pas vendre de sandwichs tant que vous n’aurez pas réparé le problème. Mais si vous dites : « Ne vous inquiétez pas, je ne vais pas vendre de sandwichs, je vais vendre des petites amies IA pour des enfants de 11 ans, et elles ont été liées à des suicides dans le passé, et ensuite je vais publier quelque chose appelé superintelligence qui pourrait renverser le gouvernement américain, mais j’ai un bon pressentiment à propos des miennes » – l’inspecteur doit dire : « Très bien, allez-y, ne vendez pas de sandwichs.

Il existe une réglementation sur la sécurité alimentaire et aucune réglementation sur l’IA.

Et je pense que toutes ces entreprises en partagent la responsabilité. Parce que s’ils avaient tenu toutes ces promesses qu’ils avaient faites à l’époque sur la façon dont ils allaient être si sûrs et bons, et s’ils s’étaient réunis, puis s’étaient adressés au gouvernement et lui avaient dit : « S’il vous plaît, prenez nos engagements volontaires et transformez-les en une loi américaine qui lie même nos concurrents les plus négligents » – cela se serait produit à la place. Nous sommes dans un vide réglementaire complet. Et nous savons ce qui se passe lorsqu’il y a une amnistie complète des entreprises : vous obtenez la thalidomide, vous avez des compagnies de tabac qui poussent les enfants à fumer des cigarettes, vous avez l’amiante qui provoque le cancer du poumon. Il est donc assez ironique que leur propre résistance à l’idée d’avoir des lois indiquant ce qui est acceptable ou non avec l’IA revienne maintenant les mordre.

Il n’existe actuellement aucune loi interdisant la création d’IA pour tuer des Américains, le gouvernement peut donc tout à coup le demander. Si les entreprises elles-mêmes avaient déclaré plus tôt : « Nous voulons cette loi », elles ne seraient pas dans ce pétrin. Ils se sont vraiment tiré une balle dans le pied.

Le contre-argument des entreprises est toujours la course contre la Chine : si les entreprises américaines ne le font pas, Pékin le fera. Cet argument est-il valable ?

Analysons cela. Le point de discussion le plus courant des lobbyistes des entreprises d’IA – ils sont désormais mieux financés et plus nombreux que les lobbyistes de l’industrie des combustibles fossiles, de l’industrie pharmaceutique et du complexe militaro-industriel réunis – est que chaque fois que quelqu’un propose une quelconque forme de réglementation, ils disent : « Mais la Chine ». Alors regardons ça. La Chine est en train d’interdire purement et simplement les petites amies IA. Pas seulement les limites d’âge : ils envisagent d’interdire toute IA anthropomorphe. Pourquoi? Non pas parce qu’ils veulent plaire à l’Amérique, mais parce qu’ils estiment que cela perturbe la jeunesse chinoise et affaiblit la Chine. De toute évidence, cela affaiblit également la jeunesse américaine.

Et quand les gens disent que nous devons nous précipiter pour construire une superintelligence afin de pouvoir vaincre la Chine – alors que nous ne savons pas réellement comment contrôler la superintelligence, de sorte que le résultat par défaut est que l’humanité perd le contrôle de la Terre au profit de machines extraterrestres – devinez quoi ? Le Parti communiste chinois aime vraiment le contrôle. Qui, sensé, pense que Xi Jinping va tolérer qu’une entreprise chinoise d’IA construise quelque chose qui renverse le gouvernement chinois ? Certainement pas. Ce serait clairement très mauvais pour le gouvernement américain aussi s’il était renversé lors d’un coup d’État par la première entreprise américaine à construire une superintelligence. Il s’agit d’une menace à la sécurité nationale.

C’est un cadre convaincant : le superintelligence est une menace pour la sécurité nationale et non un atout. Pensez-vous que ce point de vue gagne du terrain à Washington ?

Je pense que si les gens de la communauté de la sécurité nationale écoutent Dario Amodei décrire sa vision – il a prononcé un discours célèbre dans lequel il dit que nous aurons bientôt un pays de génies dans un centre de données – ils pourraient commencer à penser : attendez, Dario vient-il d’utiliser le mot « pays » ? Peut-être devrais-je mettre ce pays de génies dans un centre de données sur la même liste de menaces que je surveille, car cela semble menaçant pour le gouvernement américain. Et je pense que très bientôt, suffisamment de personnes au sein de la communauté de la sécurité nationale américaine se rendront compte que le super-renseignement incontrôlable est une menace et non un outil. C’est tout à fait analogue à la guerre froide. Il y avait une course à la domination – économique et militaire – contre l’Union soviétique. Nous, Américains, avons gagné celle-là sans jamais nous engager dans la deuxième course, qui consistait à voir qui pourrait installer le plus de cratères nucléaires dans l’autre superpuissance. Les gens ont compris que ce n’était qu’un suicide. Personne ne gagne. La même logique s’applique ici.

Qu’est-ce que tout cela signifie pour le rythme du développement de l’IA en général ? Dans quelle mesure pensez-vous que nous sommes proches des systèmes que vous décrivez ?

Il y a six ans, presque tous les experts en IA que je connaissais prédisaient qu’il nous faudrait des décennies avant de disposer d’une IA capable de maîtriser le langage et les connaissances au niveau humain – peut-être 2040, peut-être 2050. Ils avaient tous tort, car nous l’avons déjà maintenant. Nous avons vu l’IA progresser assez rapidement du niveau secondaire au niveau collégial, en passant par le doctorat et le niveau professeur d’université dans certains domaines. L’année dernière, l’IA a remporté la médaille d’or à l’Olympiade internationale de mathématiques, qui est à peu près aussi difficile que les tâches humaines. Il y a quelques mois, j’ai écrit un article avec Yoshua Bengio, Dan Hendrycks et d’autres chercheurs de premier plan en IA donnant une définition rigoureuse de l’AGI. Selon cela, GPT-4 était à 27 % du chemin parcouru. GPT-5 en était à 57 % du chemin. Nous n’en sommes donc pas encore là, mais passer de 27 % à 57 % suggère rapidement que cela ne sera peut-être pas si long.

Hier, lorsque j’ai donné une conférence à mes étudiants au MIT, je leur ai dit que même si cela prend quatre ans, cela signifie qu’une fois diplômés, ils ne pourront peut-être plus trouver d’emploi. Il n’est certainement pas trop tôt pour commencer à s’y préparer.

Anthropic est désormais sur liste noire. Je suis curieux de voir ce qui se passera ensuite : les autres géants de l’IA seront-ils à leurs côtés et diront-ils : nous ne ferons pas cela non plus ? Ou est-ce que quelqu’un comme xAI lève la main et dit : Anthropic ne voulait pas de ce contrat, nous l’accepterons ? (Note de l’éditeur : quelques heures après l’interview, OpenAI a annoncé son propre accord avec le Pentagone.)

Hier soir, Sam Altman est sorti et a déclaré qu’il était aux côtés d’Anthropic et qu’il avait les mêmes lignes rouges. Je l’admire pour le courage de dire cela. Google, au début de cette interview, n’avait rien dit. S’ils restent silencieux, je pense que c’est incroyablement embarrassant pour eux en tant qu’entreprise, et une grande partie de leur personnel ressentira la même chose. Nous n’avons encore rien entendu de xAI non plus. Ce sera donc intéressant à voir. Au fond, il y a ce moment où chacun doit montrer son vrai visage.

Existe-t-il une version de ceci où le résultat est réellement bon ?

Oui, et c’est pourquoi je suis étrangement optimiste. Il existe une alternative tellement évidente ici. Si nous commencions simplement à traiter les entreprises d’IA comme n’importe quelle autre entreprise – en abandonnant l’amnistie des entreprises – elles devraient clairement faire quelque chose comme un essai clinique avant de publier quelque chose d’aussi puissant, et démontrer à des experts indépendants qu’elles savent comment le contrôler. Nous aurons alors un âge d’or avec toutes les bonnes choses de l’IA, sans l’angoisse existentielle. Ce n’est pas la voie que nous suivons actuellement. Mais ça pourrait l’être.