Pendant des mois, les géants de l’IA ont mis en veilleuse des programmes spéciaux approuvés et des garde-fous stricts pour limiter l’utilisation de leurs modèles par des pirates malveillants. Mais ces limites entravent désormais le travail des défenseurs légitimes des réseaux, ainsi que celui des chercheurs offensifs en cybersécurité.
En juin, le gouvernement américain a imposé des restrictions de contrôle des exportations sur les modèles d’IA très médiatisés d’Anthropic, Mythos et Fable. Cette décision a été motivée, au moins en partie, par un rapport affirmant qu’il était possible de contourner les garde-fous des modèles conçus pour empêcher les utilisateurs de les utiliser pour créer et exécuter des cyberattaques malveillantes.
Peu importe si l’incident était réellement motivé par la crainte d’un jailbreak, le fait est qu’Anthropic a commercialisé à plusieurs reprises Mythos comme une sorte de cybermachine apocalyptique qui ne peut être donnée qu’à des utilisateurs soigneusement sélectionnés, et même dans ce cas, avec des garde-fous stricts en place. (Les contrôles à l’exportation sur Fable 5 et Mythos 5 ont depuis été levés. Fable 5 est revenu à l’accès général le 1er juillet ; Mythos 5 a été réintroduit uniquement aux organisations américaines approuvées dans le cadre du processus d’examen du gouvernement.)
Ce type de contrôle n’est pas propre à Mythos. Anthropic, avec ses autres modèles, et OpenAI proposent aux chercheurs en cybersécurité des programmes qu’ils peuvent appliquer pour obtenir des modèles approuvés et, s’ils sont approuvés, avec moins de restrictions de cybersécurité : Trusted Access for Cyber d’OpenAI et le programme de cyber-vérification d’Anthropic.
Ces garde-fous ont été largement critiqués, en particulier par les chercheurs dont le travail consiste à découvrir les vulnérabilités inconnues des systèmes et les moyens de les exploiter avant les criminels.
Lors d’une récente apparition sur un podcast sur la cybersécurité, Mark Dowd, un chercheur en sécurité bien connu, a déclaré : « Je ne suis pas vraiment à l’aise que ces grandes entreprises au hasard prennent des décisions arbitraires sur ce qui est sûr et ce qui ne l’est pas. »
Dowd a passé des décennies à trouver et à vendre des « jours zéro » – des failles logicielles jusqu’alors inconnues et les exploits qui en profitent – aux gouvernements occidentaux, plutôt que de les signaler aux fabricants de logiciels afin qu’ils soient corrigés. Les gouvernements paient un prix élevé pour les vulnérabilités, précisément parce qu’elles restent ouvertes, ce qui est utile pour les opérations de renseignement.
Dowd a admis que son travail pouvait le rendre partial, mais il n’est pas seul. Plusieurs personnes qui travaillent dans le domaine de la cybersécurité offensive – elles recherchent de manière proactive les faiblesses des systèmes – ont décrit à TechCrunch comment elles utilisent les outils d’IA et gèrent leurs garde-fous.
Chris Anley, scientifique en chef du géant du conseil en sécurité NCC Group, a déclaré que demander à un modèle d’IA d’essayer d’exploiter un bug est une étape clé pour confirmer qu’il s’agit d’une véritable vulnérabilité qui mérite d’être corrigée. Mais si une barrière de sécurité incite le modèle à refuser catégoriquement de répondre à la question, elle nuit aux défenseurs, a-t-il déclaré.
« C’est là qu’intervient toute la partie offensive contre défensive et garde-fous, car « corriger ce code » comme invite est à la fois un mécanisme essentiel de défense mais aussi une feuille de route pour trouver des vulnérabilités critiques dans la base de code », a déclaré Anley. « Donc, en même temps, le même outil est à la fois un outil offensif et un outil défensif, et les deux ne peuvent pas vraiment être dissociés. »
C’est « comme un marteau », a-t-il poursuivi. « On ne peut pas construire une maison sans marteau. C’est certes un outil mais c’est aussi irréductiblement une arme. »
Lorsque lui et ses collègues se heurtent à un tel obstacle, ils se tournent parfois vers des modèles d’IA open source dépourvus de tout garde-fou.
Paolo Stagno, directeur de la technologie chez CrowdFense, une société bien connue qui développe, acquiert et vend des vulnérabilités inconnues aux agences gouvernementales, est d’accord avec Dowd, affirmant que les sociétés d’IA « traitent essentiellement les clients comme des enfants qui ont besoin de garde d’enfants » avec leurs programmes et garde-fous approuvés.
Stagno a déclaré que lui et ses collègues utilisaient des modèles frontières, mais uniquement pour l’ingénierie inverse. Ils évitent d’utiliser l’IA pour aider à trouver des vulnérabilités ou à créer des exploits, a-t-il déclaré, car l’intégration de ce travail dans un modèle basé sur le cloud risque de divulguer des données de vulnérabilité sensibles ou de les absorber dans de futures sessions de formation. Pour cette étape, a-t-il déclaré, ils utilisent des modèles open source exécutés localement, car ils ne dépendent pas du partage de données en dehors du modèle.
Giuseppe Cali, un chercheur en sécurité qui découvre les failles Zero Day et développe des exploits, a déclaré que les garde-fous n’entravent pas son travail. C’est parce qu’il n’utilise pas l’IA à des fins offensives ; au lieu de cela, il l’utilise pour l’ingénierie inverse initiale, pour comprendre le code qu’il analyse et pour créer des outils de support. Pour cela, a-t-il déclaré, les outils d’IA peuvent accélérer le processus et lui permettre de se concentrer sur la découverte des vulnérabilités.
« Je veux toujours être moi-même responsable de la découverte des bugs et de leur militarisation et cela ne changerait pas si tous les garde-fous étaient levés demain », a déclaré Cali. « Je suis jaloux de mes insectes et j’aime trop ce jeu pour laisser les modèles y jouer à ma place. »
Un chercheur d’un fabricant de composants pour smartphones, qui s’est exprimé sous couvert d’anonymat car il n’est pas autorisé à parler à la presse, a déclaré que son employeur ne fait pas partie du programme CVP d’Anthropic et que, par conséquent, ses outils sont à peine utiles pour trouver des vulnérabilités car les garde-fous sont trop stricts.
« S’il y a du vent, nous faisons quelque chose de lié à la sécurité, il s’arrête et n’est plus utilisable », a déclaré la personne.
Chris Thompson, directeur général de la société de cybersécurité RemoteThreat et fondateur d’Offensive AI Con, un événement offensif axé sur la sécurité et l’IA, a déclaré que, d’après son expérience de l’utilisation des modèles d’IA frontaliers, les garde-fous peuvent être incohérents et fonctionner différemment chaque jour. Cela est vrai même dans les limites plus souples des programmes approuvés par Anthropic et OpenAI.
« Je pense que l’impact pratique est que vous passez beaucoup de temps à négocier avec le modèle au lieu de travailler sur le programme de sécurité de base », a déclaré Thompson. « Au lieu d’analyser une vulnérabilité et de raisonner sur son exploitabilité, vous essayez de découvrir pourquoi vous obtenez des résultats incohérents ou pourquoi les modèles nettoient à l’excès les résultats. »
En conséquence, les chercheurs s’appuient ou sont poussés vers des modèles open source chinois comme GLM – des modèles téléchargeables gratuitement qui peuvent être exécutés localement sans vérification ni restrictions d’utilisation – a déclaré Thompson.
« Il y a ces chercheurs responsables qui sont poussés des systèmes gouvernés par les États-Unis vers des systèmes appartenant à des étrangers », a-t-il déclaré. « Je pense qu’il est plus nocif que bénéfique d’avoir ces garde-fous en place. »
Plutôt que de resserrer davantage les restrictions, Thompson a appelé les laboratoires frontaliers de l’IA à ouvrir leurs programmes, à fournir un accès responsable et à tenir également pour responsables ceux qui abusent de leurs outils. Sinon, a-t-il soutenu, les défenseurs perdront la course à l’IA.
« Une grosse tempête approche. Il y a une grande vague d’attaques qui vont se produire à une vitesse et à une échelle sans précédent », a déclaré Thompson. « Mais les mêmes sociétés de conseil en sécurité et les chercheurs légitimes qui tentent de faire la différence sont actuellement étouffés. »
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
