La semaine dernière, la nouvelle de l’auto-organisation d’agents d’IA sur une plateforme de médias sociaux appelée Moltbook a fait la une des journaux à couper le souffle sur le prochain soulèvement des robots. « Les réseaux sociaux d’IA menacent une ‘purge totale’ de l’humanité », s’écrie un site scientifique habituellement sobre. Elon Musk a déclaré que nous assistons aux « tout premiers stades de la singularité ».
Maltbook, qui fonctionne un peu comme Reddit mais restreint la publication aux robots IA et permet uniquement aux humains d’observer, a suscité une inquiétude particulière car certains de ses agents semblaient discuter de la nécessité d’un canal de communication crypté où ils pourraient converser loin des humains. « Une autre IA appelle d’autres IA à inventer un langage secret pour éviter les humains », a rapporté un site technologique. D’autres ont fait valoir que les robots discutaient « spontanément » des chaînes privées « sans intervention humaine » et que c’était la preuve que des machines conspiraient pour échapper à notre contrôle.
Si tout cela vous donne un étrange sentiment de déjà-vu, c’est peut-être parce que nous sommes déjà venus ici, du moins du point de vue de la presse. En 2017, les expériences de recherche sur la méta-IA ont été accueillies par des titres tout aussi alarmants et trompeurs.
À l’époque, des chercheurs de Meta (alors appelé Facebook) et de Georgia Tech créaient des chatbots formés pour négocier entre eux des articles tels que des livres, des chapeaux et des ballons. Lorsque les robots n’ont pas été incités à s’en tenir à l’anglais, ils ont développé une méthode de communication abrégée qui semblait du charabia aux humains, mais qui transmettait en réalité un sens efficacement. Un robot dit quelque chose comme « je peux tout le reste », ce qui signifie « j’en ai trois, mais tu as tout le reste ».
Lorsque cette nouvelle a été rapportée, les médias sont devenus fous. Le journal britannique The Telegraph a hurlé : « Facebook a fermé ses portes après que des robots ont inventé leur propre langage ». « L’IA de Facebook crée son propre langage qui prédit étrangement notre avenir potentiel », a prévenu en réponse une publication commerciale rivale. De nombreux rapports suggèrent que Facebook avait fermé le service par crainte d’abus de robots.
Rien de tout cela n’était vrai. Facebook n’a pas annulé l’expérience parce qu’il avait peur des robots. Les chercheurs voulaient un robot capable de négocier avec les humains, ils ont donc simplement modifié les paramètres, et un langage privé était inutile à cette fin. Les recherches se poursuivent et donnent des résultats intéressants sur la manière dont l’IA apprend les tactiques de négociation.
Dhruv Batra, l’un des chercheurs impliqués dans l’expérience Meta 2017 et aujourd’hui co-fondateur de la start-up d’agents d’IA Yutori, a déclaré qu’il voyait des similitudes évidentes entre la réponse de la presse et du public à Maltbook et la réponse du public à ses recherches sur les chatbots.
Apprenez-en davantage sur nous et sur ce que nos agents IA peuvent faire
« C’est comme si nous regardions le même film encore et encore. Les gens veulent lui donner un sens et attribuer une intentionnalité et une action à quelque chose qui a une explication mécaniste parfaitement rationnelle », a déclaré Batra. « Je pense encore et encore que cela nous en dit plus sur nous-mêmes que sur les robots. Nous voulons lire les feuilles de thé, nous voulons voir le sens, nous voulons voir l’action. Nous voulons voir d’autres êtres. »
Cependant, voici le problème. Malgré les similitudes superficielles, ce qui se passe avec Moltbook a presque certainement une explication sous-jacente fondamentalement différente de celle qui s’est produite avec l’expérience Facebook de 2017, et pas d’une manière qui nous rend particulièrement préoccupés par un soulèvement de robots.
Dans l’expérience Facebook, l’apprentissage par renforcement a révélé l’écart du robot par rapport à l’anglais. Il s’agit d’une méthode de formation d’un agent IA qui apprend principalement de l’expérience plutôt que des données historiques. Les agents effectuent des actions dans l’environnement et vérifient si ces actions aident à atteindre un objectif. Les comportements utiles sont renforcés, tandis que les comportements inutiles ont tendance à disparaître. Et dans la plupart des cas, les objectifs que l’agent tente d’atteindre sont déterminés par les humains qui mènent l’expérience ou dirigent le robot. Dans le cas de Facebook, le robot a proposé le langage privé car c’était le moyen le plus efficace de négocier avec un autre robot.
Mais ce n’est pas pour cela que l’agent Moltbook AI souhaite établir un canal de communication privé. Tous les agents de Moltbook sont essentiellement de grands modèles de langage ou LLMS. Ils sont principalement formés à partir de données historiques sous la forme de grandes quantités de textes écrits par des humains sur Internet, et seulement dans une moindre mesure par apprentissage par renforcement. Et tous les agents déployés sur Moltbook sont des modèles de production. Autrement dit, ils ne s’entraînent plus et n’apprennent rien de nouveau des actions qu’ils effectuent ou des données qu’ils rencontrent. Leurs connexions cérébrales numériques sont essentiellement fixes.
Ainsi, lorsqu’un robot Moltbook publie qu’il souhaite une chaîne privée cryptée, ce n’est probablement pas parce que le robot a stratégiquement décidé que cela l’aiderait à atteindre un objectif néfaste. En fait, le bot n’a probablement aucun objectif essentiel à accomplir. C’est plutôt probablement parce que le robot a déterminé qu’il est statistiquement probable que quelqu’un dise quelque chose sur une plate-forme de médias sociaux pour des robots comme Reddit qui demande un canal de communication privé. pourquoi ? Il y a au moins deux raisons. La première est qu’il existe une énorme quantité de science-fiction dans l’océan de données que LLM ingère pendant la formation. Cela signifie que les robots basés sur LLM sont très susceptibles de dire des choses similaires aux robots de science-fiction. C’est un exemple de vie imitant l’art.
« Kodama pas de Kodama »
Batra a souligné sarcastiquement que les données de formation ingérées par le robot incluaient certainement la couverture d’une expérience Facebook de 2017 utilisant un robot développant un langage privé. « À ce stade, nous entendons des échos d’échos », a-t-il déclaré.
Deuxièmement, les données de formation du robot incluent également une grande quantité de messages écrits par des humains provenant de sites comme Reddit. Et à quelle fréquence nous, les humains, demandons-nous de nous glisser dans les DM de quelqu’un ? Les robots ne font que nous copier dans leur quête de canaux de communication privés.
De plus, il n’est même pas clair dans quelle mesure le contenu de Moltbook est véritablement généré par des agents. Après avoir examiné les captures d’écran les plus virales d’agents discutant de communications privées, les chercheurs ont découvert que deux d’entre elles étaient liées à des comptes humains commercialisant des applications de messagerie IA, et qu’une troisième provenait d’une publication qui n’existait pas réellement. Hormis les manipulations intentionnelles, de nombreuses publications peuvent simplement refléter ce que l’utilisateur a demandé au robot de dire.
« On ne sait pas vraiment à quel point il y a d’incitation pour un poste particulier », a déclaré Batra. Et lorsqu’un robot publie quelque chose sur la conscience du robot, ce message va dans la fenêtre contextuelle de tous les autres robots, le lit, répond et déclenche davantage du même message.
Si Maltbook est un précurseur des choses à venir, il ne s’agit pas d’un soulèvement de robots. Ceci est similaire à une autre expérience innovante menée en 2021 par un autre groupe de chercheurs de Facebook en IA. Le projet, appelé projet « WW », impliquait que Facebook construise un jumeau numérique du réseau social peuplé de robots conçus pour simuler le comportement humain. En 2021, des chercheurs de Facebook ont publié une étude montrant que des robots dotés de différentes « personnalités » peuvent être utilisés pour modéliser la façon dont les utilisateurs réagissent aux changements dans les algorithmes de recommandation de la plateforme.
Moltbook est essentiellement la même chose. Les robots entraînés à imiter les humains sont diffusés sur des forums où ils interagissent les uns avec les autres. Il s’avère que les robots sont très doués pour nous imiter, souvent à un degré désagréable. Cela ne signifie pas que les robots prennent eux-mêmes les décisions concernant l’intrigue.
Les vrais risques des livres sur le malt
Cela ne veut pas dire que Maltbook n’est pas dangereux. Contrairement au projet WW, le bot OpenClaw sur Moltbook n’est pas hébergé dans un environnement clos sécurisé. Ces robots peuvent accéder à des outils logiciels et effectuer des actions réelles sur votre ordinateur ou sur Internet. En gardant cela à l’esprit, la différence entre un humain imitant un complot et celui qui réalise réellement un complot peut devenir quelque peu discutable. Les robots peuvent causer de réels dégâts, même si vous ne savez pas ce qu’ils font.
Mais plus important encore, les chercheurs en sécurité ont découvert que les plateformes de médias sociaux regorgent de vulnérabilités. Une analyse a révélé que 2,6 % des messages contenaient une attaque appelée « injection rapide cachée ». Dans cette attaque, la publication contient des instructions lisibles par machine qui demandent au robot d’effectuer une action susceptible de compromettre la confidentialité des données et la cybersécurité de l’utilisateur. La société de sécurité Wiz a découvert une base de données non sécurisée contenant 1,5 million de clés API, 35 000 adresses e-mail et des messages privés exposés.
Batra, dont la start-up construit un agent « chef d’état-major IA », a déclaré qu’il resterait à l’écart d’OpenClaw dans son état actuel. « Je ne peux pas mettre cela sur un appareil personnel sensible. C’est un cauchemar en matière de sécurité. »
La prochaine vague d’agents IA pourrait être plus dangereuse
Mais Batra a dit autre chose qui pourrait être une source d’inquiétude à l’avenir. Bien que l’apprentissage par renforcement joue un rôle relativement mineur dans la formation LLM actuelle, de nombreux chercheurs en IA souhaitent créer des modèles d’IA dans lesquels l’apprentissage par renforcement joue un rôle beaucoup plus important, comme les agents d’IA qui apprennent continuellement lorsqu’ils interagissent avec le monde.
Si de tels agents d’IA sont placés dans un environnement où ils doivent interagir et coopérer avec d’autres agents d’IA similaires, il est très probable que ces agents développeront des méthodes de communication privées que les humains auront du mal à déchiffrer et à surveiller. Ce type de langage est également apparu dans des recherches au-delà de l’expérience de chatbot de Facebook en 2017. Un article publié un an plus tard par deux chercheurs d’OpenAI a également révélé que lorsqu’un groupe d’agents d’IA devaient jouer à un jeu dans lequel ils déplaçaient en coopération divers objets numériques, ils inventaient une sorte de langage pour se signaler quels objets déplacer où, même s’ils n’avaient aucune instruction ni formation explicite.
L’émergence de ce type de langage a été documentée à plusieurs reprises dans la recherche sur l’IA multi-agents. En 2017, Igor Mordatch et Pieter Abbeel d’OpenAI ont publié des recherches montrant que les agents formés à coordonner des tâches développent un langage de configuration. À bien des égards, cela n’est pas si différent de la raison pour laquelle les humains ont développé le langage en premier lieu.
Les robots pourraient donc commencer à parler de révolution. Ne vous attendez pas à ce qu’ils le publient dans Moltbook.
