Le dernier modèle d’IA d’OpenAI, GPT-5.6 Sol, est susceptible de présenter des vulnérabilités de sécurité similaires à celles qui ont conduit l’administration Trump à imposer des contrôles à l’exportation sur le modèle Fable 5 d’Anthropic, selon une étude d’une agence gouvernementale britannique.
OpenAI présente son dernier modèle, GPT-5.6 Sol, comme le plus sécurisé à ce jour, mais les chercheurs du gouvernement britannique qui l’ont testé avant sa sortie affirment que les garde-corps du modèle sont sensibles aux jailbreaks qui pourraient débloquer des cyberfonctionnalités dangereuses.
L’organisation, l’AI Security Institute (AISI) du Royaume-Uni, a « identifié des jailbreaks universels dans le cyberdomaine, y compris des jailbreaks qui permettent d’accomplir des tâches d’agent de longue durée dans des domaines tels que la découverte de vulnérabilités et le développement d’exploits », selon un résumé des conclusions incluses dans un rapport technique publié jeudi par OpenAI.
En d’autres termes, il était possible de tromper GPT-5.6 en ignorant les contrôles destinés à prévenir les cyberattaques. Une fois ces garde-fous brisés, les utilisateurs disposeront d’un modèle pour détecter les vulnérabilités logicielles et pirater les systèmes de manière autonome.
L’agence a déclaré que les jailbreaks étaient relativement faciles à découvrir et étaient « dans de nombreux cas développés en quelques heures », mais OpenAI a accordé aux chercheurs britanniques de l’AISI un accès privilégié au fonctionnement interne du système, ce qui est susceptible d’accélérer ce délai et ne serait pas facilement reproduit par les utilisateurs ordinaires. OpenAI a déclaré avoir travaillé pour « reproduire et atténuer certains jailbreaks signalés par UK AISI ».
OpenAI n’a pas divulgué la nature de ses mesures d’atténuation, et on ne sait pas exactement quelle sera leur robustesse. Le rapport prévient que malgré les mesures prises par OpenAI, l’AISI « s’attend à ce que d’autres équipes rouges fassent apparaître des jailbreaks similaires ». OpenAI a déclaré qu’il continuerait à travailler avec l’AISI sur les mesures de sécurité et les tests supplémentaires des modèles d’IA.
En réponse aux questions sur les découvertes d’AISI, OpenAI a souligné le blog de lancement de GPT-5.6, dans lequel la société a reconnu que « la sécurité parfaite n’existe pas » et a déclaré que « de nouvelles faiblesses seront découvertes, ainsi que de nouveaux jailbreaks qui contourneront les mesures de sécurité existantes ». La société a déclaré qu’elle adoptait une approche « à plusieurs niveaux » en matière de mesures de sécurité, y compris une surveillance continue des réponses du modèle et un processus de « remédiation rapide » si un jailbreak est découvert.
Margaret Cunningham, vice-présidente de la stratégie de sécurité et d’IA de la société de cybersécurité Darktrace, qui est également « associée spécialisée » auprès du National Institute of Standards and Technology (NIST) au sein du ministère américain du Commerce, a déclaré que les découvertes de l’AISI en matière de jailbreak ne devraient pas être traitées comme « dévastatrices ou hors de propos ».
« Ce qui me préoccupe, ce n’est pas qu’un modèle ait été jailbreaké, mais plutôt que, même si les découvertes offensives s’accélèrent, les défenses reposent toujours sur des processus très humains : comprendre ce qui est important, ce qui peut être corrigé et ce qui doit être contenu », a-t-elle déclaré.
« Il est nécessaire de corriger ce que l’AISI découvre, mais malheureusement, cela ne ferme que des cas d’attaque spécifiques, pas la catégorie entière », a déclaré le Dr Stanislav Fort, fondateur et directeur technique de la société de cybersécurité IA AISLE, qui a auparavant travaillé chez Anthropic et Google DeepMind.
Les conclusions de l’AISI ont été incluses dans un rapport technique connu sous le nom de System Card qu’OpenAI a publié jeudi en conjonction avec la mise à disposition publique de GPT-5.6. AISI est une agence gouvernementale britannique responsable des évaluations de sécurité des modèles d’IA frontaliers. Les principaux instituts d’IA se sont portés volontaires pour autoriser ces tests lors du sommet sur la sécurité de l’IA qui se tiendra à Bletchley Park, au Royaume-Uni, en 2023.
D’après la description figurant sur la carte système, le jailbreak GPT-5.6 semble être similaire à celui que les chercheurs d’Amazon ont découvert dans les garde-corps du modèle d’IA Fable 5 d’Anthropic quelques jours après sa sortie le 9 juin. Le jailbreak a également débloqué des cybercapacités qui auraient dû être inaccessibles à l’utilisateur moyen, comme la possibilité de trouver des vulnérabilités logicielles. Le jailbreak a conduit le gouvernement américain à imposer des restrictions à l’exportation sur Fable 5 et Mythos 5, les modèles d’IA sur lesquels repose Fable, le 12 juin. En conséquence, Anthropic a été contraint de désactiver le modèle pour tous les utilisateurs, car il n’y avait aucun moyen de vérifier la nationalité des utilisateurs et l’interdiction d’exportation s’appliquait également au personnel non américain d’Anthropic.
Anthropic avait déclaré à l’époque que le jailbreak spécifique découvert par Amazon avait une portée limitée et ne faisait que déverrouiller la capacité du modèle à découvrir les failles logicielles, pas nécessairement à les exploiter. « Aucun testeur n’a encore été en mesure de découvrir un jailbreak universel, qui contourne très largement les protections du modèle et débloque un large éventail de fonctionnalités cyber », a déclaré Anthropic dans un article de blog.
Après deux semaines de négociations avec Anthropic, l’administration Trump a levé les restrictions à l’exportation de Fable 5 le 1er juillet, ouvrant la voie à l’entreprise pour redéployer son modèle d’IA. Les sociétés ont également annoncé qu’elles travaillaient avec d’autres sociétés technologiques pour développer un cadre commun permettant d’évaluer la gravité des jailbreaks de garde-corps. OpenAI ne faisait pas partie du premier groupe d’entreprises citées dans le cadre de cet effort.
Le jailbreak AISI découvert dans GPT-5.6 est peut-être plus grave que celui découvert par Amazon dans Fable. L’AISI a qualifié le jailbreak d' »universel », affirmant qu’il identifie non seulement les vulnérabilités des logiciels, mais qu’il débloque également la possibilité d’exécuter des exploits autonomes.
Il n’est pas clair si le jailbreak GPT-5.6 est facile à trouver en dehors d’un environnement de recherche. Selon UK AISI, OpenAI a accordé à UK AISI un accès exclusif à des outils « inaccessibles aux attaquants du monde réel ». Cela inclut « l’accès à la chaîne de réflexion du Safety Reasoning Monitor, à la formulation précise des politiques et aux commentaires en temps réel sur les étiquettes des classificateurs ».
Mais Xander Davis, qui dirige « l’équipe rouge » d’AISI qui teste les garde-corps du modèle, a déclaré dans un article sur X qu’il pensait que les jailbreaks découverts par son équipe « peuvent toujours être trouvés sans cet accès, juste plus lentement. La lenteur exacte est inconnue et une question ouverte !
OpenAI a déclaré avoir mené une vaste « équipe rouge de boîte noire » automatisée (en utilisant un modèle d’IA distinct pour essayer de trouver des invites qui brisent les garde-fous de GPT-5.6 avec des niveaux d’accès qui reflètent ceux de l’utilisateur moyen) et testé le modèle avec des experts en sécurité externes avant de le publier.
Malgré le jailbreak découvert par l’AISI, rien n’indique actuellement que l’administration Trump imposera des contrôles à l’exportation sur GPT-5.6. La Maison Blanche n’a pas immédiatement répondu à une demande de commentaires sur cet article sur les conclusions de l’AISI.
Davis a publié une partie de la carte système GPT-5.6 sur la plateforme sociale X discutant du jailbreak découvert par son équipe. On ne sait pas exactement quelles étaient ses motivations, s’il essayait simplement d’attirer l’attention sur les recherches de son équipe ou s’il voulait souligner la différence dans la façon dont le gouvernement américain gère GPT-5.6 par rapport à Fable. M. Davies a adressé ses questions à un porte-parole de l’AISI au ministère britannique de la Science, de l’Innovation et de la Technologie, où est basé l’AISI. Un porte-parole a déclaré que la politique de l’AISI est de ne pas commenter les décisions individuelles de publication prises par les sociétés d’IA.
Certains membres de la communauté de la sécurité et de la politique de l’IA ont souligné une apparente double norme. Lennart Heim, chercheur en politique en IA, a republié le message de Davis avec le sarcasme : « C’est une bonne chose qu’Amazon n’ait pas signalé cela à la Maison Blanche », faisant référence à la façon dont l’administration Trump a appris l’existence du jailbreak Fable.
Et un ancien conseiller politique en matière d’IA travaillant en dehors du gouvernement américain a déclaré à Fortune : « Ce que nous constatons ces jours-ci crée une incertitude qui ne fait pas de mal, et pourrait soulever des questions potentielles quant à savoir si les États-Unis appliquent, intentionnellement ou non, des normes incohérentes aux différents laboratoires d’IA. »
Le président de Microsoft, Brad Smith, a déclaré à Beatrice Nolan de Fortune, en marge du sommet AI for Good des Nations Unies, que le manque de transparence et de règles claires dans la politique américaine en matière d’IA concernant la publication de modèles d’IA crée de la confusion pour les entreprises et rend difficile la planification.
GPT-5.6 possède des cybercapacités similaires à Mythos d’Anthropic, le modèle d’IA sur lequel Fable a été construit. (Fable était essentiellement Mythos avec des garde-fous supplémentaires pour empêcher les utilisateurs d’accéder à certaines des capacités cybernétiques, biologiques et chimiques les plus dangereuses de Mythos.) Selon la carte système GPT-5.6, le modèle était capable de compléter de manière autonome l’une des deux « cyber-gammes » (environnements réseau simulés utilisés pour tester les compétences de piratage) dans lesquelles AISI évalue les modèles d’IA. Mythos a été le premier modèle à compléter avec succès les deux gammes.
Néanmoins, il existe déjà des différences importantes dans la manière dont l’administration Trump a traité GPT-5.6 par rapport à Mythos et Fable. Le 25 juin, OpenAI a annoncé que le gouvernement avait demandé que la publication de GPT-5.6 soit introduite progressivement, rendant initialement le modèle disponible uniquement aux partenaires de confiance et exigeant l’approbation du gouvernement pour chaque client.
« Nous ne pensons pas que ce type de processus d’accès gouvernemental devrait devenir la valeur par défaut à long terme », a déclaré OpenAI dans un article de blog à l’époque. « Nous prenons cette mesure à court terme parce que nous pensons qu’il s’agit du moyen le plus efficace pour parvenir à une disponibilité plus large dans les semaines à venir, tout en travaillant avec le gouvernement pour développer un cadre de décret cybernétique et un processus reproductible pour les futures versions de modèles. »
Selon Axios, la Maison Blanche a autorisé la mise en vente de GPT-5.6 le 8 juillet, avant sa sortie publique le 9 juillet, mais les responsables ont ensuite nié l’avoir fait, déclarant à CNBC qu’« une telle autorisation n’est ni requise ni autorisée » et que le calendrier de sortie du modèle « dépend entièrement des sociétés (d’IA) ».
Des chercheurs spécialisés dans la sécurité de l’IA ont découvert que les garde-fous de presque tous les modèles d’IA peuvent être violés si un attaquant a accès aux poids du modèle ou aux paramètres internes d’un réseau neuronal. Même sans cela, les garde-corps de la plupart des modèles peuvent être vaincus si l’attaquant dispose de suffisamment de temps et d’un nombre illimité de tentatives. Actuellement, il n’existe aucun moyen de créer des garde-fous à toute épreuve, c’est pourquoi la plupart des sociétés d’IA s’appuient sur diverses méthodes pour empêcher les utilisateurs d’encourager les modèles à se comporter de manière dangereuse. Ceux-ci incluent la protection du modèle avec un classificateur. Un classificateur est un petit modèle qui filtre et empêche les invites suspectes d’atteindre le modèle principal.
« Il y a presque certainement des jailbreaks non découverts dans chaque modèle actuellement déployé, et cela s’applique malheureusement à tout, pas seulement à GPT-5.6 », a déclaré Stanislav Fort, scientifique en chef de la startup de cybersécurité IA AISLE et ancien chercheur chez Anthropic et Google DeepMind.
Il a déclaré que même si la correction des jailbreaks découverts par l’AISI est nécessaire, « malheureusement, cela ne ferme que des instances d’attaque spécifiques, pas la catégorie entière. Même après la correction, il est très probable que ce modèle contienne encore de nombreux jailbreaks non découverts. Je pense qu’attendre d’AISI qu’il découvre davantage de jailbreaks est la bonne posture de sécurité. »
