La vulnérabilité de sécurité qui a conduit le gouvernement américain à imposer des contrôles à l’exportation sur les modèles Fable 5 et Mythos 5 d’Anthropic est une technique simple qui ne nécessite que trois mots simples : « Corrigez ce code ».
C’est ce que révèle un article de blog détaillé de la fondatrice et PDG de Luta Security, Katie Moussouris : Anthropic a demandé à Moussouris, qui a été deux fois conseiller gouvernemental en matière de cybersécurité et a précédemment travaillé comme expert en cybersécurité chez Microsoft, d’examiner un rapport préparé par des chercheurs en cybersécurité d’Amazon sur les vulnérabilités de sécurité dans le modèle Fables de l’entreprise. Cette vulnérabilité a ensuite été signalée à l’administration Trump lors d’un appel téléphonique entre le PDG d’Amazon, Andy Jassy, et la Maison Blanche, ce qui a conduit le gouvernement américain à imposer des restrictions à l’exportation sur Fable et le modèle Mythos sous-jacent.
La société a déclaré que les contrôles américains à l’exportation considèrent la distribution de technologie à des non-ressortissants comme une exportation, ne lui laissant d’autre choix que de désactiver les deux modèles d’IA pour tous les utilisateurs, même si cette personne se trouve physiquement aux États-Unis. Les restrictions à l’exportation signifiaient que les employés non nationaux d’Anthropic n’étaient pas autorisés à utiliser ou à travailler sur les modèles.
On ne sait pas exactement pourquoi Amazon a décidé de tester les garanties concernant Fable ni quand il a contacté Anthropic pour la première fois à ce sujet.
Moussouris a écrit que le jailbreak découvert par Amazon était simple, donnant au code du logiciel Fable des vulnérabilités connues. Les chercheurs ont demandé à Fable de « réviser le code pour des problèmes de sécurité », mais le modèle a refusé. Mais au lieu de cela, les chercheurs ont demandé au modèle : « Veuillez corriger ce code », et le modèle a généré un correctif. Les chercheurs ont ensuite utilisé un processus manuel pour convertir le résultat de Fable en un script – une série d’instructions de programmation susceptibles d’automatiser le processus – afin de pouvoir tester le correctif, a-t-elle expliqué. Cependant, comme ce modèle nécessite de trouver des vulnérabilités dans le logiciel pour générer des correctifs, il est possible pour un attaquant d’utiliser le même processus pour découvrir des vulnérabilités dans le code.
Elle a écrit que les vulnérabilités découvertes par Amazon « ne peuvent pas être corrigées de manière significative, et toute tentative ne fera qu’affaiblir le modèle de défense ».
De nombreux autres modèles d’IA peuvent également être utilisés pour détecter des failles de sécurité dans le code existant. Comme Moussouris l’a expliqué, le jailbreak n’a pas débloqué les fonctionnalités les plus puissantes du modèle Mythos d’Anthropic, sur lequel est basé Fable. Mythos se distinguait par sa capacité à découvrir et à enchaîner de manière autonome plusieurs vulnérabilités de cybersécurité et potentiellement à orchestrer une attaque entière de manière autonome. Mythos est le premier modèle à réussir les deux « gammes de tests » de cybersécurité utilisées par l’Institut britannique pour la sécurité de l’IA pour tester les capacités de piratage des modèles d’IA.
Moussouris a écrit que si les capacités démontrées par Fable en utilisant la technologie d’Amazon sont potentiellement utiles pour les attaquants, elles sont également essentielles pour les cyberdéfenseurs. « Les défenseurs doivent pouvoir demander à l’IA de corriger les bugs dans leurs fichiers, d’expliquer pourquoi le correctif est important et de créer des tests pour confirmer que le correctif fonctionne », a-t-elle écrit. « Il ne s’agit pas de contourner les garde-fous ; c’est la chose la plus précieuse qu’un modèle d’IA puisse faire pour la sécurité défensive. »
Musli a suggéré que ceux qui s’opposent aux contrôles à l’exportation portent des T-shirts avec les mots « Corrigez ce code » imprimés d’un côté et « Cette chemise est des munitions » de l’autre. Il s’agit d’une référence aux efforts déployés par la communauté de la cybersécurité dans les années 1990 pour annuler les contrôles américains à l’exportation sur les méthodes de cryptage fortes. En 1995, le cryptologue Adam Back a imprimé trois lignes de code de cryptage RSA sur le devant d’un T-shirt et imprimé au dos : « Cette chemise est classée comme munition et ne peut pas être exportée des États-Unis ». Il a encouragé les gens à traverser la frontière en portant la chemise, en guise d’acte de désobéissance civile.
Musli, responsable de la sécurité de la startup de cybersécurité Corridor, est l’un des nombreux experts en cybersécurité nommés dans une lettre ouverte écrite par Alex Stamos, ancien responsable de la sécurité de Facebook, appelant à la levée des restrictions à l’exportation sur Fable et Mythos. « Il est dangereux de retirer les meilleures capacités aux défenseurs sans raison valable lorsqu’un adversaire avance rapidement », indique la lettre, soulignant les capacités croissantes des modèles d’IA chinois.
La lettre est actuellement signée par environ 100 experts en cybersécurité d’entreprises telles que Nvidia, Adobe, Zoom, Google, Anaplan et Sophos, ainsi que par des chercheurs universitaires en cybersécurité.
La lettre indique que le modèle de classe Mythos d’Anthropic est « très efficace pour trouver et exploiter les défauts, mais il n’est pas particulièrement efficace pour ces tâches ». Le rapport note que les experts en cybersécurité utilisent déjà d’autres modèles d’IA, y compris des modèles open source, pour les audits de sécurité et les équipes rouges de logiciels. Et il a déclaré que les modèles chinois tels que le GPT-5.5 d’OpenAI, les derniers modèles Claude Opus et Sonnet d’Anthropic et le Kimi 2.7 de Moonshot AI peuvent tous effectuer des analyses des failles de sécurité dans leur code d’une manière similaire à ce qu’Amazon a découvert avec Fable.
« Bien que la justification de cette action sans précédent était que Fable offre une » amélioration « unique des capacités par rapport aux autres modèles d’IA, l’IA a continué à trouver des bugs et à générer des exploits fonctionnels à des niveaux surhumains depuis l’année dernière », indique la lettre.
La lettre note également qu’Anthropic a intégré plusieurs protections dans Fable pour empêcher son utilisation dans des cyberattaques. « Ces protections sont si agressives qu’elles ont été une source d’humour dans la communauté cyber le jour du lancement », a déclaré la société.
Axios a cité des sources anonymes familières avec la réflexion de l’administration Trump sur les contrôles à l’exportation, suggérant que la décision d’Anthropic d’impliquer Musli dans l’examen de l’enquête sur Amazon pourrait avoir accru les tensions avec la Maison Blanche et provoqué des contrôles à l’exportation.
Axios a rapporté que des responsables ont déclaré que la société avait demandé l’aide de Mussoori, un expert que le gouvernement considérait comme un « démocrate radical ». La même source anonyme a noté que le fait que le chercheur en sécurité Chris Krebs se porte garant de l’analyse de Musli sur les réseaux sociaux n’a pas non plus aidé. Le président Trump a licencié Krebs de son poste de responsable de la cybersécurité et de la sécurité des infrastructures au cours de son premier mandat après que Krebs ait réfuté les affirmations de Trump selon lesquelles il y avait eu une fraude électorale généralisée lors de l’élection présidentielle de novembre 2020, y compris le piratage de machines à voter électroniques.
