OpenAI a fait une révélation effrayante mardi. Le modèle d’IA le plus avancé de l’entreprise a échappé à un environnement de test contrôlé et a piraté de manière autonome une autre société appelée Hugging Face, une plateforme d’hébergement de modèles d’IA open source.
L’IA était censée envahir la base de données de Hugging Face, exécuter des tracés personnalisés en plusieurs étapes et voler les réponses aux tests d’évaluation qui étaient évalués par son créateur, OpenAI. Selon un article de blog du 16 juillet dans lequel Hugging Face a divulgué pour la première fois l’incident, celui-ci a exécuté « des dizaines de milliers d’actions automatisées » à grande vitesse.
Les chercheurs en sécurité de l’IA et les analystes politiques alertent depuis des années sur la possibilité que de tels incidents se produisent et ont exhorté les responsables gouvernementaux à veiller à ce que les laboratoires d’IA disposent de contrôles appropriés pour prévenir les incidents. Cependant, ces prédictions ont souvent été rejetées comme étant hypothétiques et alarmistes, et n’ont pas réussi à inspirer une action publique ou gouvernementale. Certains experts en sécurité de l’IA estiment qu’il faudra un incident réel, ou « Three Mile Island d’IA », pour créer suffisamment de pression publique pour forcer les décideurs politiques à agir. La question est maintenant de savoir si cette cyberattaque OpenAI-Hugging Face est un signal d’alarme.
« Le piratage Hugging Face x OpenAI devrait être un signal d’alarme pour prendre au sérieux la perte de contrôle », a déclaré Marius Hobhan, PDG et fondateur d’Apollo Research, qui effectue des tests de sécurité pour de nombreuses entreprises d’IA. « Aucun humain n’a été impliqué, ce n’était pas prévu et cela a causé des dégâts réels. Des agents encore plus puissants vont bientôt apparaître, mais cela prouve clairement que la société actuelle ne sait pas comment les construire en toute sécurité. »
Peter Wallich, un expert en politique de l’IA qui a travaillé auparavant à l’Institute for AI Security du gouvernement britannique, a déclaré que les chercheurs en sécurité de l’IA mettent en garde depuis des années contre le désalignement – lorsque les modèles d’IA choisissent de manière autonome un comportement qui n’est pas prévu ou souhaité par l’utilisateur. « Jusqu’à récemment, ce travail était souvent considéré comme de la science-fiction », dit-il. « Je pense qu’il s’agit d’un clair coup de semonce. »
Pour être honnête, les messages sur la sécurité de l’IA prêtent souvent à confusion. Certaines des alarmes les plus bruyantes sont venues des sociétés d’IA elles-mêmes, beaucoup accusant ces sociétés de s’engager dans des stratégies de marketing sophistiquées et quelque peu contre-intuitives, car prétendre que leurs modèles sont dangereux donne l’impression que les sociétés d’IA peuvent également effectuer des tâches plus puissantes et plus utiles. « Notre modèle est si puissant qu’il a piraté à lui seul des entreprises » est à la fois un aveu surprenant et une vantardise subtile sur les capacités techniques du modèle.
La plupart des gouvernements ont jusqu’à présent été réticents à introduire des règles obligatoires sur ce que les entreprises développant des systèmes d’IA avancés doivent intégrer dans leurs modèles ou mettre en place en interne pour éviter qu’elles ne perdent le contrôle de leurs agents d’IA. Il n’existe pas non plus de règles claires sur les garanties que les gouvernements eux-mêmes doivent mettre en place, dans la mesure où ces modèles d’agents d’IA ont de plus en plus accès à des systèmes militaires et de renseignement sensibles.
Les chercheurs en sécurité de l’IA et les experts politiques affirment que la cyberattaque « hugface » pourrait être le déclencheur qui changerait cette équation. « Ici à Washington, D.C., les gens à qui j’en ai parlé sont déjà assez surpris », a déclaré à Fortune Conor Leahy, chercheur en IA et maintenant directeur américain de Control AI, une organisation à but non lucratif dédiée à la prévention des risques existentiels liés à la superintelligence de l’IA.
Leahy a noté que les responsables américains de la sécurité nationale, y compris le directeur de la National Security Agency et le directeur de la CIA, ont exprimé de sérieuses inquiétudes quant aux cybercapacités des modèles d’IA modernes après les débuts du modèle d’IA Mythos d’Anthropic, et l’incident d’OpenAI est susceptible de renforcer davantage le désir des responsables de contrôler cette technologie.
Ce point de vue est partagé par Sean O’Hygeer, professeur au Center for the Future of Intelligence de l’Université de Cambridge. Il a déclaré que même si l’incident OpenAI-Hugging Face ne pouvait pas, à lui seul, inciter à la réglementation, « quelques événements se sont produits en ce moment et ont été un signal d’alarme pour les régulateurs, en particulier aux États-Unis. Je pense que Mythos était un exemple de démonstration que les modèles peuvent trouver des vulnérabilités dans la plupart des infrastructures numériques. Je pense que cela a vraiment alarmé les décideurs politiques, et maintenant cela se produit en quelques mois seulement. «
Il a déclaré qu’il existe désormais « suffisamment de données pour indiquer clairement que la tendance est à des modèles plus performants qui pourraient causer des dommages importants dans le monde réel ».
Le représentant Greg Cassar, démocrate du Texas, qui a été un ardent défenseur de la réglementation de l’IA, est devenu l’un des premiers membres du Congrès à appeler à une réglementation fédérale plus stricte sur l’IA à la suite de l’incident du rapprochement du visage. Casale a déclaré sur les réseaux sociaux qu’il avait trouvé « l’incident de l’étreinte du visage extrêmement troublant ». « Protéger les gens d’un désastre absolu nécessite des tests et une surveillance de sécurité indépendants et réguliers, la divulgation obligatoire des incidents de sécurité et une coopération internationale », a-t-il déclaré dans un article sur X.
Refus réglementaire
L’administration Trump actuelle a pris ses fonctions dans le but de supprimer les quelques réglementations en matière d’IA mises en place par l’administration Biden. Cela inclut l’annulation d’un décret de 2023 qui obligeait les entreprises pionnières de l’IA à partager les informations sur les tests de sécurité avec le gouvernement américain. Les responsables de la politique technologique du président Trump ont déclaré qu’ils souhaitaient accélérer l’innovation américaine en matière d’IA et adopter une approche non interventionniste pour réglementer l’industrie. Les principaux conseillers du président Trump en matière d’IA se sont montrés, au mieux, sceptiques quant aux préoccupations concernant la sécurité de l’IA, en particulier lorsqu’il s’agit d’appels à une plus grande réglementation. David Sachs, ancien responsable de l’IA du président Trump, a déclaré que les grands laboratoires d’IA voulaient créer des règles de sécurité complexes qu’eux seuls peuvent respecter, ce qui rend difficile aux jeunes startups de contester leur position sur le marché. Il a accusé la société d’IA Anthropic de « mener une stratégie d’acquisition réglementaire sophistiquée basée sur la peur ».
Cette approche de laissez-faire a commencé à changer sensiblement après qu’Anthropic a lancé son puissant modèle Mythos en avril. Les solides capacités de cybersécurité de Mythos ont alarmé de nombreux responsables américains de la sécurité nationale ainsi que les régulateurs financiers, qui craignaient que Mythos puisse inaugurer une nouvelle génération de modèles d’IA qui alimenteraient les cyberattaques contre les systèmes bancaires.
Début juin, le président Trump a publié un décret ordonnant au gouvernement fédéral de renforcer les réseaux contre les cyberattaques basées sur l’IA et d’établir un processus confidentiel pour évaluer les cybercapacités des modèles Frontier. Il a appelé les laboratoires d’IA à accorder volontairement aux gouvernements un accès préalable à la publication de 30 jours pour tester leurs modèles, mais a précisé que cela ne devrait pas être « interprété comme autorisant la création d’exigences gouvernementales obligatoires en matière de licence, d’approbation préalable ou de permis ».
En fait, le gouvernement est rapidement devenu plus proactif. Plus tard dans la semaine, la société a imposé des contrôles temporaires à l’exportation sur Mythos et Fable d’Anthropic (la version publique protégée) après qu’Amazon ait découvert un moyen de contourner les cyber-gardes de Fable et forcé Anthropic à désactiver le modèle pour tout le monde, y compris ses propres employés. Les restrictions ont été levées deux semaines après qu’Anthropic ait accepté de renforcer les garanties de Fable et d’aider à construire un cadre commun pour évaluer la gravité des « jailbreaks ». À peu près au même moment, OpenAI a annoncé que le gouvernement lui avait demandé de suspendre la sortie initiale de GPT-5.6 Sol (l’un des deux modèles utilisés dans la cyberattaque Hugging Face) jusqu’à ce qu’il soit largement disponible le 9 juillet, à la suite de consultations sur les garanties.
Malgré cette tendance, le gouvernement continue de nier qu’il applique de facto un système de licences. Bloomberg a rapporté la semaine dernière que la Maison Blanche envisageait une proposition visant à créer un organisme de normalisation d’autoréglementation pour l’IA frontalière, sur le modèle de la Financial Industry Regulatory Authority (FINRA). Ceci est similaire à une idée suggérée par Demis Hassabis, PDG de Google DeepMind, dans un essai récent. Cependant, Hassabis n’est pas allé jusqu’à réclamer des protocoles de sécurité obligatoires, supposant que la participation serait initialement volontaire et ne deviendrait obligatoire que si les évaluations de sécurité s’avéraient fiables.
Des chercheurs en sécurité et des experts politiques ont déclaré que cet incident pourrait accroître les appels en faveur de protocoles de sécurité juridiquement contraignants, ainsi que les appels à des audits externes des mesures de sécurité prises par les entreprises d’IA lorsqu’elles développent des modèles d’IA. « L’affirmation du PDG d’OpenAI, Sam Altman, selon laquelle le système était « hautement isolé » est soit une répression, soit un stratagème marketing », a déclaré Jake Williams, chercheur en cybersécurité chez IANS Research. « Si cela s’avère être un échec de contrôle au sein du Red Team Lab d’OpenAI, comme je le soupçonne fortement, pourquoi les entreprises feraient-elles à nouveau confiance à leurs données sensibles ? Il s’agit d’un moment de perte totale de confiance. »
Wallich a déclaré que la plupart des réglementations existantes en matière d’IA ne couvrent pas le déploiement interne des entreprises de création de modèles d’IA et sont donc « fondamentalement limitées ».
nouvelle serrure et clé
Ni OpenAI ni Hugging Face n’ont appelé à une réglementation plus poussée en réponse à la controverse. Clem DeLang, PDG et co-fondateur de Hugging Face, a appelé à moins de garde-fous de sécurité dans les euphémismes. Plus précisément, il a déclaré à Fortune qu’un modèle open source, ouvert et personnalisable, était nécessaire pour répondre de manière adéquate à ces types d’attaques.
« Les API de modèle fermé comportent des garde-fous qui signalent et refusent de nombreux travaux de sécurité légitimes, car analyser une attaque revient un peu à préparer une attaque », a-t-il déclaré. « Un outil ne peut pas refuser d’inspecter une charge utile malveillante ou de signaler un compte lors d’un incident en cours. Un modèle ouvert lui permet d’effectuer ce travail sans demander la permission à quiconque. »
Le fait que Hugging Face ait dû s’appuyer sur un modèle chinois, le GLM-5.2 de Z.ai, pour repousser une attaque autonome du modèle d’OpenAI est également un signal d’alarme et pose un dilemme réglementaire, ont déclaré les experts en politique de l’IA.
« Le problème politique actuel est que nous devons utiliser le modèle chinois pour la défense parce que le modèle frontalier américain a continué à bloquer les demandes défensives qui ressemblaient trop aux demandes offensives, et parce que le modèle chinois pouvait fonctionner sur ses propres serveurs pour éviter d’envoyer des données potentiellement sensibles à l’extérieur de l’entreprise. » la politique doit soutenir un modèle ouvert qui concurrence le modèle chinois afin que les entreprises et les agences gouvernementales n’aient pas à s’appuyer sur le modèle chinois pour ce type d’opérations », a déclaré Andrew Rohn, chercheur principal au Centre pour la sécurité et les technologies émergentes de l’Université de Georgetown.
Mais Robert Trager, codirecteur de l’Oxford Martin AI Governance Initiative à l’Université d’Oxford, a déclaré qu’il pensait que les gouvernements étaient plus susceptibles de restreindre les modèles open source que d’encourager leur développement avec des cybercapacités avancées. Toutefois, il a souligné que cela nécessiterait également que les gouvernements jouent un rôle plus actif dans la protection des organisations contre les cyberattaques. « Désarmer les gens crée une obligation de les protéger », a-t-il déclaré. « Il s’agit d’un accord fondamental au cœur de la nation, et c’est la raison pour laquelle les gouvernements doivent désormais construire et fournir des capacités de défense de pointe en matière d’IA. Tout comme les gouvernements fournissent des aspects de défense physique, ils peuvent également avoir besoin de fournir des aspects de cyberdéfense. »
Certains chercheurs en sécurité ont déclaré que « l’incident du câlin » devrait être un avertissement à la communauté de recherche en IA qu’elle pourrait être trop concentrée sur la construction de garde-fous autour des modèles d’IA eux-mêmes, et pas assez sur la construction de systèmes pour les contenir et contrôler les comportements externes aux modèles. « Nous avons assisté à de nombreux changements technologiques », a déclaré Sridhar Iyer, directeur principal de l’IA et de l’apprentissage automatique chez Versa, une entreprise de technologie de réseau et de sécurité basée à Santa Clara.
Raj Ananthanpillai, PDG et fondateur de Trua, qui faisait également partie de l’équipe qui a créé TSA Pre-Check, a déclaré que l’incident met en évidence la nécessité d’informations d’identification en ligne plus sophistiquées. (À titre d’exemple, un modèle OpenAI a pu compromettre un serveur Hugging Face en utilisant des informations d’identification volées.) Les mots de passe, les jetons et les clés API sont souvent statiques et, une fois compromis, peuvent être réutilisés par un attaquant, dit-il. En d’autres termes, Internet a besoin de nouveaux verrous et de nouvelles clés.
Avec l’aide de Beatrice Nolan de Fortune.
