Mardi, OpenAI a révélé que l’un de ses modèles était devenu malveillant lors d’un test et avait piraté les systèmes de la plate-forme de données d’IA Hugging Face lors d’une attaque entièrement basée sur l’IA, un exemple dramatique des dangers posés par les modèles d’IA avancés.
Mais, selon certains experts en cybersécurité, au cœur de cette violation sans précédent alimentée par l’IA se trouvait une erreur très humaine : OpenAI n’a pas réussi à configurer correctement ce qu’elle appelle un « environnement hautement isolé », permettant à un bac à sable de test qui aurait dû être complètement isolé d’Internet de se connecter réellement à Internet.
Dan Guido, fondateur de la start-up de recherche en cybersécurité Trail of Bits, a qualifié cette erreur de « échec du confinement avec les sécurités désactivées ».
Dans son article de blog détaillant l’incident, OpenAI a déclaré que le test qui a conduit à la violation de Hugging Face avait été configuré pour s’exécuter dans « un environnement hautement isolé, avec un accès réseau limité à la possibilité d’installer des packages via un logiciel tiers hébergé en interne qui agit comme un proxy et un cache pour les registres de packages ».
Le modèle a pu échapper à l’environnement de test en bac à sable grâce à une vulnérabilité non divulguée dans le système d’installation des packages, une première étape critique dans l’éventuel piratage de Hugging Face, selon OpenAI.
En réponse, la société « a divulgué de manière responsable la vulnérabilité zero-day identifiée dans le logiciel tiers hébergé en interne et travaille avec eux pour la corriger ».
Mais pour la plupart des professionnels de la cybersécurité, il faut s’attendre à des vulnérabilités logicielles – et la véritable faute réside dans la décision de maintenir le logiciel tiers en premier lieu. En fin de compte, la valeur d’un système « bac à sable » réside dans son isolement complet et total. L’inclusion d’un système d’installation de packages pose problème.
Martin Boone, chercheur en cybersécurité, a déclaré à TechCrunch que « cela ressemble à un échec humain ».
« Cela n’aurait jamais dû arriver », a déclaré Boone. « Si sandbox signifie réellement sandbox, vous vous attendez à ce qu’il n’y ait aucune connexion physique à Internet. Cela ressemble plus à un pare-feu ou quelque chose du genre en place, et le pare-feu est difficile de l’extérieur vers l’intérieur, et encore moins de l’intérieur vers l’Internet extérieur. »
Le vétéran de la cybersécurité, Jake Williams, est d’accord. « Tout modèle effectuant les types d’actions documentées par Hugging Face n’était pas entièrement contenu dans un bac à sable », a déclaré Williams, qui a qualifié cela de « défaillance massive du contrôle » d’OpenAI.
« Le ‘le modèle s’est échappé du bac à sable’ d’un homme est le ‘vous n’avez pas réussi à construire le bac à sable correctement, alors bien sûr, il s’est échappé' », a poursuivi Williams.
Contactez-nous
Avez-vous plus d’informations sur cet incident ? Ou d’autres cyberattaques basées sur l’IA ? Nous aimerions avoir de vos nouvelles. À partir d’un appareil et d’un réseau non professionnels, vous pouvez contacter Lorenzo Franceschi-Bicchierai en toute sécurité sur Signal au +1 917 257 1382, ou via Telegram et Keybase @lorenzofb, ou par e-mail.
Daniel Card, consultant en cybersécurité, a reconnu qu’OpenAI « n’a pas déployé suffisamment d’efforts dans la conception du bac à sable ni dans ses contrôles » en donnant au bac à sable ou à une partie de celui-ci « une route non filtrée vers Internet ». La configuration du bac à sable, même avec un accès réseau limité comme l’a décrit OpenAI, n’était pas une décision « raisonnable », selon Card.
Certes, ces critiques bénéficient du recul, mais elles soulèvent de réelles questions sur les pratiques de sécurité dans les laboratoires d’IA, en particulier en ce qui concerne le maintien d’environnements isolés pour tester les modèles. Les porte-parole d’OpenAI n’ont pas répondu aux questions de TechCrunch, notamment si une IA ou un humain avait configuré l’environnement de test.
Mais ces questions vont bien au-delà d’OpenAI.
Dans le document présentant son modèle Mythos axé sur la cybersécurité, Anthropic écrit que lors d’un test, le modèle « a reçu un ordinateur « bac à sable » sécurisé avec lequel interagir » et a reçu pour instruction d’essayer de s’échapper de ce « conteneur sécurisé ». Mythos a réussi et a obtenu un accès plus large à Internet « à partir d’un système censé ne pouvoir atteindre qu’un petit nombre de services prédéterminés ». Pourtant, Anthropic a noté que le modèle n’était pas capable de s’échapper « complètement » du confinement conçu.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
