Même si OpenAI s’efforce de renforcer son navigateur Atlas AI contre les cyberattaques, la société admet que les injections rapides, un type d’attaque qui manipule les agents d’IA pour qu’ils suivent des instructions malveillantes souvent cachées dans des pages Web ou des e-mails, constituent un risque qui ne disparaîtra pas de sitôt, ce qui soulève des questions sur la sécurité avec laquelle les agents d’IA peuvent fonctionner sur le Web ouvert.
« Il est peu probable que l’injection rapide, tout comme les escroqueries et l’ingénierie sociale sur le Web, soit complètement « résolue » », a écrit OpenAI dans un article de blog publié lundi, détaillant comment la société renforce l’armure d’Atlas pour lutter contre les attaques incessantes. La société a admis que le « mode agent » dans ChatGPT Atlas « élargit la surface des menaces de sécurité ».
OpenAI a lancé son navigateur ChatGPT Atlas en octobre et les chercheurs en sécurité se sont précipités pour publier leurs démos, montrant qu’il était possible d’écrire quelques mots dans Google Docs capables de modifier le comportement du navigateur sous-jacent. Le même jour, Brave a publié un article de blog expliquant que l’injection indirecte d’invites constitue un défi systématique pour les navigateurs basés sur l’IA, y compris Comet de Perplexity.
OpenAI n’est pas le seul à reconnaître que les injections basées sur des invites ne vont pas disparaître. Le Centre national de cybersécurité du Royaume-Uni a averti plus tôt ce mois-ci que les attaques par injection rapide contre les applications d’IA générative « pourraient ne jamais être totalement atténuées », exposant les sites Web au risque d’être victimes de violations de données. L’agence gouvernementale britannique a conseillé aux cyberprofessionnels de réduire le risque et l’impact des injections rapides, plutôt que de penser que les attaques peuvent être « stoppées ».
Pour sa part, OpenAI a déclaré : « Nous considérons l’injection rapide comme un défi de sécurité à long terme pour l’IA, et nous devrons continuellement renforcer nos défenses contre cela. »
La réponse de l’entreprise à cette tâche de Sisyphe ? Un cycle proactif et de réponse rapide qui, selon l’entreprise, s’avère prometteur pour aider à découvrir de nouvelles stratégies d’attaque en interne avant qu’elles ne soient exploitées « dans la nature ».
Ce n’est pas totalement différent de ce que disent des concurrents comme Anthropic et Google : pour lutter contre le risque persistant d’attaques basées sur des invites, les défenses doivent être superposées et continuellement testées sous contrainte. Les travaux récents de Google, par exemple, se concentrent sur les contrôles au niveau de l’architecture et des politiques pour les systèmes agents.
Mais là où OpenAI adopte une tactique différente, c’est avec son « attaquant automatisé basé sur LLM ». Cet attaquant est essentiellement un robot qu’OpenAI a formé, en utilisant l’apprentissage par renforcement, pour jouer le rôle d’un pirate informatique qui cherche des moyens de transmettre des instructions malveillantes à un agent IA.
Le robot peut tester l’attaque en simulation avant de l’utiliser pour de vrai, et le simulateur montre comment l’IA cible penserait et quelles actions elle entreprendrait si elle voyait l’attaque. Le robot peut alors étudier cette réponse, modifier l’attaque et réessayer encore et encore. Cet aperçu du raisonnement interne de l’IA cible est une chose à laquelle les étrangers n’ont pas accès. Ainsi, en théorie, le robot d’OpenAI devrait être capable de trouver les failles plus rapidement qu’un attaquant réel ne le ferait.
Il s’agit d’une tactique courante dans les tests de sécurité de l’IA : créer un agent pour trouver les cas extrêmes et les tester rapidement en simulation.
« Notre attaquant formé (à l’apprentissage par renforcement) peut inciter un agent à exécuter des flux de travail sophistiqués et nuisibles à long terme qui se déroulent sur des dizaines (voire des centaines) d’étapes », a écrit OpenAI. « Nous avons également observé de nouvelles stratégies d’attaque qui n’apparaissaient pas dans notre campagne d’équipe rouge humaine ni dans les rapports externes. »
Dans une démo (photo ci-dessus), OpenAI a montré comment son attaquant automatisé a glissé un e-mail malveillant dans la boîte de réception d’un utilisateur. Lorsque l’agent IA a ensuite analysé la boîte de réception, il a suivi les instructions cachées dans l’e-mail et a envoyé un message de démission au lieu de rédiger une réponse d’absence du bureau. Mais suite à la mise à jour de sécurité, le « mode agent » a pu détecter avec succès la tentative d’injection rapide et la signaler à l’utilisateur, selon l’entreprise.
La société affirme que même s’il est difficile de garantir une injection rapide de manière infaillible, elle s’appuie sur des tests à grande échelle et des cycles de correctifs plus rapides pour renforcer ses systèmes avant qu’ils n’apparaissent dans des attaques réelles.
An OpenAI a refusé de dire si la mise à jour de la sécurité d’Atlas a entraîné une réduction mesurable des injections réussies, mais affirme que la société a travaillé avec des tiers pour renforcer Atlas contre les injections rapides avant son lancement.
Rami McCarthy, chercheur principal en sécurité au sein de la société de cybersécurité Wiz, affirme que l’apprentissage par renforcement est un moyen de s’adapter continuellement au comportement des attaquants, mais ce n’est qu’une partie du tableau.
« Un moyen utile de raisonner sur les risques dans les systèmes d’IA est l’autonomie multipliée par l’accès », a déclaré McCarthy à TechCrunch.
« Les navigateurs agents ont tendance à se situer dans une partie difficile de cet espace : une autonomie modérée combinée à un accès très élevé », a déclaré McCarthy. « De nombreuses recommandations actuelles reflètent ce compromis. Limiter l’accès connecté réduit principalement l’exposition, tandis qu’exiger l’examen des demandes de confirmation limite l’autonomie. »
Ce sont deux des recommandations d’OpenAI aux utilisateurs afin de réduire leurs propres risques, et un porte-parole a déclaré qu’Atlas est également formé pour obtenir la confirmation de l’utilisateur avant d’envoyer des messages ou d’effectuer des paiements. OpenAI suggère également aux utilisateurs de donner des instructions spécifiques aux agents, plutôt que de leur donner accès à votre boîte de réception et de leur dire de « prendre toutes les mesures nécessaires ».
« Une grande latitude permet aux contenus cachés ou malveillants d’influencer plus facilement l’agent, même lorsque des protections sont en place », selon OpenAI.
Alors qu’OpenAI affirme que la protection des utilisateurs d’Atlas contre les injections rapides est une priorité absolue, McCarthy invite à un certain scepticisme quant au retour sur investissement des navigateurs sujets aux risques.
« Pour la plupart des cas d’utilisation quotidienne, les navigateurs agents n’offrent pas encore suffisamment de valeur pour justifier leur profil de risque actuel », a déclaré McCarthy à TechCrunch. « Le risque est élevé étant donné leur accès à des données sensibles telles que les e-mails et les informations de paiement, même si cet accès est aussi ce qui les rend puissants. Cet équilibre va évoluer, mais aujourd’hui, les compromis sont encore bien réels. »
