Un article de blog de Hugging Face, une société qui héberge des modèles et des classements d’IA open source, a ému le monde de l’IA pour deux raisons.
Tout d’abord, l’entreprise a annoncé avoir subi une cyberattaque de la part d’un agent IA entièrement autonome qui envoyait « des dizaines de milliers d’actions automatisées » dans ses systèmes. Les experts ont averti que les agents d’IA deviennent rapidement capables de mener des attaques autonomes de ce type, mais le piratage Hug Face semble être l’un des premiers exemples concrets.
Dans des circonstances normales, cette divulgation elle-même serait digne d’intérêt. Mais ce que Hugging Face a fait ensuite a attiré encore plus d’attention. L’entreprise s’est battue avec l’IA et a utilisé un modèle open source fabriqué en Chine pour détecter l’attaque et comprendre sa portée.
Hugging Face a déclaré que son équipe de sécurité avait d’abord essayé d’utiliser un modèle Frontier AI sans nom de l’une des principales sociétés américaines d’IA, mais l’avait trouvé inutilisable en raison des garde-corps du modèle, et s’est donc tournée vers un modèle chinois (GLM 5.2 de Z.ai). La société a déclaré dans un article de blog que ces modèles « ne peuvent pas faire la distinction entre les intervenants en cas d’incident et les attaquants ».
À une époque où de nombreuses personnes dans la Silicon Valley et à Washington D.C. sont profondément préoccupées par la vitesse à laquelle l’IA chinoise progresse, cette affirmation ne pouvait que faire sensation. Ces inquiétudes ont été renforcées par le lancement la semaine dernière de Kim K3, un modèle d’IA open source avancé de la startup chinoise d’IA Moonshot. Certains investisseurs en capital-risque et analystes politiques en matière d’IA qui souhaitent que les États-Unis fassent tout ce qui est en leur pouvoir pour accélérer les progrès de l’IA et garder une longueur d’avance sur la Chine craignent que l’importance excessive accordée à la sécurité de l’IA au sein des principales institutions de recherche et cercles politiques américains ne freine les progrès des États-Unis.
En juin, l’administration Trump a utilisé des contrôles à l’exportation pour bloquer la distribution des modèles Fable 5 et Mythos 5 d’Anthropic après des informations selon lesquelles les garde-fous de Fable autour de CyberTask avaient été jailbreakés. La société a également initialement demandé à OpenAI de restreindre la publication du modèle GPT-5.6 Sol jusqu’à ce qu’OpenAI puisse fournir l’assurance que les garde-fous autour des cybercapacités étaient également robustes.
David Sachs, ancien responsable de l’intelligence artificielle et des crypto-monnaies de l’administration Trump, a publié un exemple de Hug Face sur la plateforme de médias sociaux. « Les garde-corps ont en fait rendu la défense moins sécurisée », a-t-il déclaré, faisant spécifiquement référence à l’incident de Hugging Face.
Le PDG de Hug Face, Clem DeLang, qui a bâti son entreprise autour de l’IA open source et s’est déjà prononcé contre les politiques américaines restreignant de tels modèles pour des raisons de sécurité et de sûreté, a déclaré à Fortune qu’utiliser les modèles propriétaires des grandes sociétés américaines d’IA pour se protéger contre les cyberattaques est en réalité dangereux. « Un outil ne peut pas refuser d’inspecter ou de signaler un compte pour des charges utiles malveillantes lors d’un incident en cours », a-t-il déclaré. « Avec un modèle ouvert, vous pouvez effectuer ce travail sans obtenir la permission de quiconque. »
Même si l’absence de garde-fous pour certains systèmes d’IA peut sembler dangereuse, DeLang affirme qu’ils doivent être traités sur le même pied que les attaquants.
« Les assaillants utilisent déjà des agents et ils ne respectent visiblement aucune barrière de sécurité », a-t-il déclaré. « Les défenseurs ont besoin des mêmes capacités, et l’open source est le moyen le plus rapide de mettre ces capacités entre les mains de tous, et pas seulement des grands acteurs. »
Hug Face a déclaré que son analyse montre que les agents d’IA attaquant le système semblaient agir complètement seuls, sans qu’aucun humain n’initie ou ne dirige l’attaque.
« Nous pensons que nous avons pu détecter l’attaque avant que la personne qui l’avait initiée ne soit impliquée, ce qui a facilité la victoire dans la bataille de la cybersécurité », a déclaré DeLang. « (Cela) montre que la vitesse est la clé de la défense de la cybersécurité à l’ère des agents. »
Les responsables de la cybersécurité ont averti l’année dernière que des agents d’IA de plus en plus puissants seront bientôt capables de mener des cyberattaques autonomes à une vitesse et à une échelle qui dépassent les méthodes de cybersécurité traditionnelles. Cependant, l’incident « Hugging Face » semble être la première d’un petit nombre de cyberattaques d’IA autonomes enregistrées dans le monde réel.
Plus tôt ce mois-ci, la société de cybersécurité Sysdig a annoncé avoir documenté la première attaque de ransomware entièrement autonome dans le monde réel. L’agent d’IA qui a mené l’attaque et sa méthode ont été nommés « Jadepuffer ». Cette semaine, Sysdig a annoncé la découverte d’une nouvelle version du ransomware Jadepuffer qui cible spécifiquement les modèles d’IA entraînés résidant sur les réseaux d’entreprise. Ces modèles sont considérés comme des cibles précieuses de ransomware car ils sont coûteux à former et peuvent ne pas disposer de copies de sauvegarde.
Pour lutter contre les attaques, Hugging Face a déclaré avoir utilisé GLM 5.2 exécuté sur son infrastructure pour analyser plus de 17 000 journaux, ou empreintes, laissés par les attaquants.
La société a déclaré que les agents d’IA attaquants étaient entrés dans ses systèmes via le pipeline de traitement de données Hugging Face, une partie « exposée de manière indépendante » de sa plate-forme d’IA. Nous avons ensuite mis en place une série de bacs à sable temporaires, ou environnements de codage jetables, dans le cloud, où nous avons exécuté nos plans.
Depuis, l’entreprise a corrigé les vulnérabilités, expulsé les attaquants et amélioré les garde-fous de détection et de sécurité.
« La cybersécurité est toujours une course entre la recherche d’exploits et l’application de correctifs », explique DeLang. « Les systèmes d’IA vont changer la façon dont cette race opère sur différentes surfaces d’attaque, et nous espérons que cela servira d’exemple à d’autres organisations à suivre pour renforcer leurs propres défenses. »
Hugging Face a déclaré qu’il enquêtait toujours sur l’impact de l’attaque et qu’il n’était pas clair quel modèle de langage à grande échelle avait provoqué l’attaque. Bien que les attaquants aient compromis un ensemble limité de données et d’informations d’identification internes, Hugging Face continue de travailler pour évaluer toute la portée de l’attaque. La société a déclaré qu’elle contacterait directement les parties concernées. Jusqu’à présent, la société n’a trouvé aucune preuve que les modèles d’utilisateurs accessibles au public aient été falsifiés.
GLM 5.2 a été lancé par Z.ai, basé à Pékin, à la mi-juin et constitue le nouveau modèle phare de la société. Selon Business Insider, cela a été considéré dans la Silicon Valley comme étant comparable à Claude Opus 4.8 d’Anthropic et à GPT-5.5 d’OpenAI. Les sociétés chinoises d’IA ont tenu l’industrie américaine sur leurs gardes, à commencer par DeepSeek R1 en 2025 et plus récemment avec Kimi K3 sorti ce mois-ci. Les deux sont open source.
