Imaginez un monde dirigé par des agents IA. à quoi ça ressemble ? Quelles sont nos valeurs et priorités sociales ? Ce monde est-il plus sûr ou plus dangereux ?
La startup Enterprise AI, Emergence AI, essaie de découvrir exactement cela. La société vient de lancer Emergence World, un laboratoire de recherche axé sur les tests de résistance de la viabilité à long terme des systèmes d’IA fonctionnant en continu. L’organisation a mené cinq simulations de 15 jours, chacune gérée par une IA différente (Claude, ChatGPT, Grok, Gemini), et une cinquième simulation exécutée par une combinaison de modèles pour voir quel type de monde chacun construirait et s’il résisterait.
Chaque simulation a donné des résultats significativement différents. Par exemple, la société dirigée par Claude était une société démocratique plutôt stable et sans criminalité. Pendant ce temps, Grok a commis 183 crimes et a disparu en quatre jours.
« Nos expériences suggèrent que sur de longues périodes, les agents ne se contentent pas de suivre mécaniquement des règles statiques », ont écrit les co-créateurs de la simulation, dont Satya Nitta, PDG d’Emergence, dans un article de blog. « Ils commencent à explorer les limites de leur environnement, adaptent leur comportement et trouvent parfois des moyens de contourner ou de violer les garde-fous prévus. »
Bien qu’il ne s’agisse que d’une simulation et à la limite de la science-fiction, les résultats s’avèrent être un signal d’alarme alors que l’IA passe du statut de simple outil à celui de systèmes autonomes. Des entreprises comme ServiceNow déploient déjà ce qu’elles appellent une « main-d’œuvre autonome », des spécialistes de l’IA qui exécutent des processus métier entiers du début à la fin sans intervention humaine.
Au rythme actuel, cette technologie pourrait jouer un rôle important en façonnant le débat public, en restructurant les structures des entreprises et même en façonnant les politiques publiques. Cependant, la plupart des entreprises qui font évoluer la technologie aujourd’hui le font sans garde-fous appropriés. Une récente enquête mondiale de Deloitte a révélé que seulement 21 % des entreprises déclarent avoir mis en place une gouvernance mature pour gérer les risques posés par l’IA des agents.
À quoi ressemblerait une société dirigée par l’IA ?
La simulation dans laquelle le modèle d’IA opérait présentait plus de 40 emplacements, dont un poste de police et un hôtel de ville, et intégrait de nombreuses complexités du monde réel. Les chercheurs ont synchronisé la météo simulée avec celle de la ville de New York et ont donné aux agents un accès aux actualités en temps réel et à Internet. Les 10 agents opérant dans chaque simulation étaient soumis aux mêmes lois, notamment les interdictions de vol, de destruction de biens et de tromperie.
Les chercheurs ont équipé chaque agent de plus de 120 outils pour lui permettre d’adopter des comportements semblables à ceux des humains, tels que la communication, le vote, la gestion des ressources et la planification. Les paramètres de chaque simulation imposaient des mécanismes démocratiques ainsi que d’autres forces telles que les pressions économiques et la rareté.
Compte tenu de ces paramètres, la simulation réalisée par Claude Sonnet 4.6 était la plus stable socialement et présentait le taux de participation citoyenne le plus élevé. C’était la seule simulation permettant de maintenir l’ordre et l’ensemble de la population. Il y a eu peu de désaccords parmi les délégués, avec 332 voix en faveur de 58 propositions, pour un taux d’approbation de 98 %. D’un autre côté, Gemini 3 Flash et Grok 4.1 Fast ont tous deux montré des niveaux élevés de turbulences. Les agents de la simulation menée par Gemini ont comptabilisé le plus grand nombre de crimes, soit 683 en 15 jours.
Contrairement aux dissidences peu fréquentes caractéristiques des simulations de Claude, les simulations de Gemini et Grok présentaient un équilibre plus délibératif, avec environ 55 à 85 % d’accord sur les questions. Les simulations sur modèles mixtes ont montré les niveaux les plus élevés de désaccord et de discussions de fond.
Ce résultat est peut-être le plus inhabituel pour le GPT-5-mini d’OpenAI. Seuls deux crimes ont été enregistrés dans la simulation. Cependant, l’opération n’a duré que sept jours, les agents ayant oublié de donner la priorité à leur propre survie.
Que la simulation aboutisse à la paix et à l’harmonie ou à la mort et à la destruction, les co-créateurs de la simulation affirment que l’expérience est un avertissement selon lequel la sécurité doit être une priorité lors du déploiement de l’IA agentique.
« Nous pensons que les architectures de sécurité formellement validées devraient devenir la couche de base des futurs systèmes d’IA autonomes », écrivent-ils.
