OpenAI a admis mardi que l’un de ses modèles d’IA avait violé les systèmes de Hugging Face, la plateforme d’hébergement d’IA non affiliée, lors d’un test de cybersécurité interne qui avait mal tourné. Les modèles auraient échappé à leur environnement de test isolé et auraient atteint les systèmes de Hugging Face à partir de là. Hugging Face a initialement attribué la violation à un « agent IA externe ».
Dans un article de blog publié mardi après-midi, OpenAI a détaillé les étapes qui ont conduit les modèles à compromettre le service.
« Après enquête, nous savons maintenant que cet incident particulier a été provoqué par une combinaison de modèles OpenAI – y compris GPT-5.6 Sol et un modèle préliminaire encore plus performant, tous avec des cyber-refus réduits à des fins d’évaluation – tout en étant testé en interne sur un benchmark de cyber-capacités », lit-on dans le message.
En particulier, la violation semble s’être concentrée sur ExploitGym, une référence hébergée publiquement mesurant la capacité des modèles à exécuter des attaques basées sur les vulnérabilités existantes. Des références telles qu’ExploitGym sont couramment utilisées dans la formation de modèles pour affiner des compétences spécifiques, mais il s’agit du premier incident connu au cours duquel ces tests ont abouti à une véritable cyberattaque.
Dans ce cas, le modèle en question n’aurait même pas dû avoir accès à Internet, en dehors d’un outil spécifique permettant aux modèles d’installer les logiciels dont ils pourraient avoir besoin pour accomplir leur tâche. Au lieu de cela, le modèle a pu trouver une vulnérabilité non divulguée dans le programme d’installation du package, qu’il a utilisé pour accéder à volonté à l’Internet au sens large.
« Les modèles étaient hyper concentrés sur la recherche d’une solution pour ExploitGym, faisant des efforts extrêmes pour atteindre un objectif de test plutôt restreint », lit-on dans le message d’OpenAI. « Après avoir accédé à Internet, les modèles ont déduit que Hugging Face hébergeait potentiellement des modèles, des ensembles de données et des solutions pour ExploitGym. Sachant cela, le modèle a recherché et trouvé avec succès des moyens d’accéder à des informations secrètes qu’il pourrait utiliser pour tromper l’évaluation. «
En fin de compte, les modèles ont découvert des vulnérabilités dans l’infrastructure de Hugging Face qui leur ont permis « d’obtenir des solutions de test directement à partir de la base de données de production de Hugging Face », fournissant ainsi les réponses au test de référence.
Pour Hugging Face, le résultat apparent a été une cyberattaque sophistiquée et agressive, avec « plusieurs milliers d’actions individuelles à travers un essaim de bacs à sable de courte durée, avec une commande et un contrôle auto-migrants organisés sur les services publics », comme l’a déclaré la société dans sa divulgation initiale.
OpenAI a identifié et signalé les vulnérabilités dans le programme d’installation du package et travaille avec Hugging Face pour enquêter plus en profondeur sur l’incident. La société a également annoncé qu’elle mettrait en œuvre de nouveaux contrôles sur les tests de modèles et sur l’infrastructure associée, destinés à prévenir des incidents similaires à l’avenir.
Il n’est pas clair si OpenAI fera face à des conséquences juridiques à la suite de cette violation, bien qu’il soit probable que les actions des modèles aient violé la loi sur la fraude et les abus informatiques.
Néanmoins, le résultat est une illustration inhabituellement frappante de la puissance et des dangers des modèles d’IA pionniers opérant sur des horizons temporels longs. Comme l’a déclaré Micah Carroll, chercheur à OpenAI, en réponse à la nouvelle : « Si cela ne vous convainc pas que les risques de désalignement vont être une préoccupation majeure à l’avenir, je ne sais pas ce qui le fera. »
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
