J’ai récemment eu l’occasion de m’asseoir avec Francis de Souza, COO de Google Cloud, dans les coulisses d’un événement à Los Angeles. Au milieu du vacarme autour de nous, de Souza, qui parle avec le calme et la mesure d’un professeur d’université, a offert des conseils utiles aux entreprises qui traversent le moment de sécurité de l’IA que nous vivons tous, notant qu’« il y aura une période de transition, et ensuite je pense que nous arriverons à ce meilleur endroit ».
Il ne parlait pas de Google à ce moment-là, mais il est clair que même Google est encore en train de comprendre les choses.
Le message principal de De Souza était celui que les professionnels de la sécurité essayaient depuis des années d’inciter les dirigeants à internaliser, ce que l’IA rend désormais urgent : la sécurité ne peut pas être une réflexion après coup. « Alors que les entreprises se lancent dans l’aventure de l’IA, elles doivent adopter une approche plateforme », a-t-il déclaré. « La sécurité n’est pas quelque chose que l’on peut mettre en place plus tard, et ce n’est pas quelque chose que l’on peut laisser aux employés le soin de le faire eux-mêmes. » Il a mis en garde spécifiquement contre « l’IA fantôme » – les employés recherchant des outils grand public sans surveillance organisationnelle – et a fait valoir que les entreprises doivent exiger dès le départ la sécurité, la gouvernance et l’auditabilité de leurs plateformes. « Il n’y a pas de stratégie d’IA sans stratégie de données et stratégie de sécurité. Elles doivent aller de pair. »
À noter : il ne présentait pas Google Cloud seul. Lorsque j’ai remarqué que ses conseils ressemblaient à une publicité Google, il a reculé. Google, a-t-il déclaré, s’engage dans une approche multicloud, et il a fait valoir que les entreprises qui pensent fonctionner sur un seul cloud ne le sont certainement pas. « Même s’ils choisissent un seul cloud, ils s’appuient sur des applications SaaS, mais certains partenaires commerciaux peuvent utiliser différents cloud », a-t-il déclaré. « Il est important pour les entreprises d’avoir une posture de sécurité cohérente entre les cloud et les modèles. »
Il a également fait valoir que le paysage des menaces a tellement changé que les anciens modèles défensifs sont trop lents. Il a noté que le délai moyen entre une violation initiale et le passage à l’étape suivante d’une attaque est passé de huit heures à 22 secondes, et que la surface d’attaque s’est étendue bien au-delà du périmètre traditionnel du réseau. « En plus de votre parc habituel, vous disposez désormais de modèles. Vous disposez de pipelines de données utilisés pour entraîner les modèles. Vous avez des agents, vous avez des invites. Tout cela doit être protégé. »
Une menace signalée par De Souza et qui ne reçoit pas suffisamment d’attention : les agents circulant dans les systèmes internes d’une entreprise peuvent faire apparaître des référentiels de données oubliés auxquels personne n’avait pensé depuis des années. » De nombreuses organisations disposent d’anciens serveurs SharePoint (et de contrôles d’accès) qu’elles n’ont pas vraiment mis à jour, mais cela n’a pas d’importance car personne ne savait vraiment où ils se trouvaient. Mais les agents itinérants dans votre entreprise trouveront ces actifs de données et exposeront les données qu’ils contiennent. «
Selon lui, la réponse consiste à associer la vitesse de la machine à la vitesse de la machine. « Nous assistons désormais à l’émergence d’une défense entièrement agentique native de l’IA, dans laquelle les organisations peuvent diriger des agents pour piloter leur défense », a-t-il déclaré. « Au lieu d’avoir une défense dirigée par des humains ou même un humain dans la boucle, vous pouvez désormais avoir des humains supervisant une défense entièrement agentique. » Il a ajouté qu’il s’agissait désormais d’une question de leadership, et non seulement d’une question technologique. « Il s’agit d’un problème au niveau du conseil d’administration et d’une équipe de direction. Ce n’est pas seulement un problème d’équipe de sécurité. »
Mais même si l’IA assume une plus grande part de la charge de travail défensive, les personnes qualifiées pour la superviser sont rares – et les vulnérabilités qu’elle introduit elle-même se multiplient plus rapidement que les équipes de sécurité ne peuvent y remédier. « Nous allons avoir besoin de personnes pour faire face à l’apocalypse des bogues », a déclaré cette semaine Lea Kissner, responsable de la sécurité de l’information chez LinkedIn, au New York Times, ajoutant qu’elle ne s’attend pas à ce que l’industrie comprenne la sécurité de l’IA de manière durable à long terme avant au moins plusieurs années.
Ce qui nous ramène aux fournisseurs de plateformes eux-mêmes. The Register a publié une série de rapports au cours des dernières semaines documentant une vague de développeurs de Google Cloud frappés par des factures à cinq chiffres suite à des appels d’API non autorisés vers des modèles Gemini – des services que beaucoup d’entre eux n’avaient jamais utilisés ou intentionnellement activés. Les cas ont suivi un schéma familier : les clés API initialement déployées pour Google Maps, placées publiquement selon les propres instructions de Google, étaient devenues discrètement capables d’accéder à Gemini après que Google ait élargi leur portée sans divulguer clairement le changement.
Rod Danan, PDG de la plateforme de préparation d’entretiens Prentus, a déclaré que sa facture avait atteint 10 138 $ environ 30 minutes après que des attaquants aient exploité sa clé API compromise. Isuru Fonseka, un développeur basé à Sydney dont le compte a été également compromis, s’est réveillé avec des accusations d’environ 17 000 AUD alors qu’il pensait avoir mis en place un plafond de dépenses de 250 $. Ce qu’aucun des deux ne savait, c’est que les systèmes automatisés de Google avaient amélioré leurs niveaux de facturation en fonction de l’historique des comptes, augmentant ainsi leurs plafonds effectifs jusqu’à 100 000 $ sans consentement explicite.
Google a remboursé les deux après que The Register a publié son rapport initial. Néanmoins, Google a déclaré à The Register qu’il n’avait pas l’intention de modifier sa politique de mise à niveau automatique des niveaux, affirmant qu’il donnait la priorité à la prévention des pannes de service plutôt qu’au respect des préférences budgétaires déclarées des utilisateurs.
En attendant, il y a la question distincte de savoir ce qui se passe lorsqu’un développeur tente d’arrêter les choses. Le Register a rapporté cette semaine une étude menée par la société de sécurité Aikido, qui a révélé que même les développeurs qui détectent une clé compromise et la suppriment immédiatement peuvent ne pas être en sécurité. Selon les conclusions d’Aikido, les attaquants peuvent apparemment continuer à utiliser cette clé pendant 23 minutes maximum, car la révocation de Google se propage progressivement à l’ensemble de son infrastructure. Le chercheur en aïkido Joseph Leon a déclaré à The Register que pendant cette fenêtre, les taux de réussite sont imprévisibles – en quelques minutes, plus de 90 % des demandes sont encore authentifiées – et les attaquants peuvent utiliser ce temps pour exfiltrer des fichiers et des données de conversation mises en cache de Gemini.
Leon a également noté que les nouveaux formats d’informations d’identification de Google ne semblent pas avoir le même problème : les informations d’identification de l’API du compte de service sont révoquées en cinq secondes environ, et le nouveau format de clé préfixé AQ de Gemini prend environ une minute. « Les deux fonctionnent à l’échelle de Google », a-t-il écrit dans un article sur l’Aïkido. « Les deux suggèrent que cela est également techniquement résoluble pour les clés API Google. » Bref, selon Léon, la fenêtre de 23 minutes n’est pas une contrainte d’ingénierie mais une question de priorités pour l’entreprise.
Cela vaut la peine d’être pris en compte lors de la lecture des conseils de de Souza, qui sont judicieux et doivent être pris très au sérieux. Il n’a pas tort, mais il existe actuellement un écart entre les prescriptions des plateformes et la rapidité avec laquelle elles s’adaptent elles-mêmes, et il est également bon d’en être conscient.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
