OpenAI affirme que certains vecteurs d’attaque contre les navigateurs IA comme ChatGPT Atlas sont susceptibles de rester, soulevant la question de savoir si les agents IA peuvent fonctionner en toute sécurité sur le Web ouvert.
Le principal problème est un type d’attaque appelé « injection rapide », dans laquelle les pirates peuvent cacher des instructions malveillantes sur un site Web, un document ou un courrier électronique pour inciter un agent IA à faire quelque chose de nuisible. Par exemple, un attaquant pourrait intégrer des commandes cachées dans une page Web qui remplacent les instructions d’un utilisateur et demandent à un agent de partager l’e-mail d’un utilisateur ou de vider le compte bancaire de quelqu’un. Il peut s’agir d’un texte invisible à l’œil humain mais qui semble légitime à l’IA.
Après la sortie du navigateur ChatGPT Atlas d’OpenAI en octobre, plusieurs chercheurs en sécurité ont démontré comment quelques mots cachés dans un document Google Doc ou un lien du presse-papiers pouvaient manipuler le comportement d’un agent IA. Brave, la société de navigateurs open source qui a déjà exposé des failles dans le navigateur Comet de Perplexity, a également publié une étude avertissant que tous les navigateurs basés sur l’IA sont vulnérables aux attaques telles que l’injection indirecte d’invites.
« Comme la fraude et l’ingénierie sociale sur le Web, il est peu probable que l’injection rapide soit complètement » résolue « », a déclaré OpenAI dans un article de blog publié lundi, ajoutant que le « mode agent » de ChatGPT Atlas « étend la surface des menaces de sécurité ».
OpenAI a déclaré que l’objectif est que les utilisateurs « puissent faire confiance aux agents ChatGPT », et le responsable de la sécurité de l’information, Dane Stuckey, a ajouté que la société espère y parvenir en « investissant massivement dans l’équipe rouge automatisée, l’apprentissage par renforcement et les boucles de réponse rapides pour garder une longueur d’avance sur les adversaires ».
« Nous sommes optimistes que nos boucles de réponse proactives, réactives et rapides pourront continuer à réduire considérablement les risques réels sur le long terme », a déclaré la société.
Combattez l’IA avec l’IA
L’approche d’OpenAI face à ce problème consiste à utiliser nos propres attaquants basés sur l’IA. Il s’agit essentiellement d’un robot entraîné par apprentissage par renforcement pour agir comme un pirate informatique cherchant un moyen de donner secrètement des instructions malveillantes à un agent IA. Les robots peuvent tester les attaques dans des simulations, observer la réaction de l’IA cible, affiner leur approche et réessayer encore et encore.
« Grâce à notre formation (d’apprentissage par renforcement), un attaquant peut inciter un agent à exécuter un flux de travail long, sophistiqué et nuisible qui se déroule sur des dizaines (voire des centaines) d’étapes », a écrit OpenAI. « Nous avons également observé de nouvelles stratégies d’attaque qui n’apparaissaient pas dans les opérations de l’équipe rouge humaine ni dans les rapports externes. »
Mais certains experts en cybersécurité doutent que l’approche d’OpenAI puisse résoudre le problème sous-jacent.
« Ce qui me préoccupe, c’est que nous essayons d’adapter l’une des parties les plus sensibles à la sécurité des logiciels grand public avec une technologie encore probabiliste, opaque et facile à manipuler de manière subtile », a déclaré Charlie Eriksen, chercheur en sécurité chez Aikido Security, à Fortune.
« Les équipes rouges et la recherche de vulnérabilités basée sur l’IA peuvent détecter des échecs évidents, mais la dynamique sous-jacente reste la même. Jusqu’à ce qu’il y ait des limites plus claires autour de ce que ces systèmes sont autorisés à faire et des instructions qu’ils doivent écouter, il est raisonnable d’être sceptique quant au fait que ce compromis ait du sens pour les utilisateurs quotidiens à ce stade », a-t-il déclaré. « Je pense que les injections instantanées resteront un problème à long terme… On pourrait également affirmer qu’il s’agit d’une fonctionnalité plutôt que d’un bug. »
chat et souris
Des chercheurs en sécurité ont également déjà déclaré à Fortune que même si de nombreux risques de cybersécurité sont essentiellement un jeu continu du chat et de la souris, l’accès approfondi dont les agents d’IA ont besoin, comme le mot de passe d’un utilisateur ou l’autorisation d’effectuer des actions au nom d’un utilisateur, présente des opportunités de menace si vulnérables qu’il n’est pas clair si les avantages valent les risques.
Le professeur adjoint George Chalhoub du UCL Interaction Center a déclaré que les risques sont importants car les injections instantanées « effondreraient les frontières entre les données et les commandes » et transformeraient les agents d’IA, qui pourraient extraire des e-mails, voler des données personnelles ou accéder à des mots de passe, « d’un outil utile en un vecteur d’attaque potentiel contre les utilisateurs ».
« C’est ce qui rend les navigateurs IA fondamentalement risqués », a déclaré Eriksen. « Nous déléguons le pouvoir à des systèmes qui ne sont pas conçus avec une séparation forte ou des modèles d’autorisations clairs. Les navigateurs traditionnels traitent le Web comme non fiable par défaut. Les navigateurs d’agents brouillent cette frontière en permettant au contenu non seulement d’être affiché, mais aussi d’être façonné. »
OpenAI encourage les utilisateurs à fournir des instructions spécifiques à l’agent, plutôt que de fournir un large accès avec des instructions vagues telles que « Effectuer toute action requise ». Le navigateur dispose également de fonctionnalités de sécurité supplémentaires telles que le « Mode de déconnexion », qui permet aux utilisateurs d’utiliser le navigateur sans partager leurs mots de passe, et le « Mode Surveillance », une fonctionnalité de sécurité qui oblige les utilisateurs à confirmer explicitement des actions sensibles telles que l’envoi de messages ou l’exécution de paiements.
« La large tolérance facilite l’impact des contenus cachés ou malveillants sur les agents, même lorsque des mesures de sécurité sont en place », a déclaré OpenAI dans un article de blog.
Cet article a été initialement publié sur Fortune.com
