Les recherches qui ont conduit le ministère du Commerce à imposer de sévères restrictions sur l’utilisation du nouveau modèle d’IA d’Anthropic n’étaient pas destinées à des fins offensives, selon un PDG de la cybersécurité qui a vu les résultats.
Vendredi soir, le département a utilisé les contrôles d’exportation de sécurité nationale pour interdire à l’entreprise de distribuer Fable 5 et Mythos 5.
Cette directive s’applique aux personnes en dehors des États-Unis et aux ressortissants étrangers aux États-Unis, y compris les employés non nationaux d’Anthropic. Anthropic a déclaré qu’en raison de la portée de la directive, elle n’avait d’autre choix que de désactiver le modèle pour tous les utilisateurs.
La société a déclaré qu’on lui avait dit que les recherches d’Anthropic sur le « jailbreak » de l’IA, visant à enquêter sur le contournement des mesures de sauvegarde, avaient déclenché les restrictions à l’exportation.
« Nous ne sommes pas d’accord sur le fait que la découverte d’une possibilité étroite de jailbreak devrait être une raison pour rappeler un modèle commercial qui a été déployé auprès de centaines de millions de personnes », a écrit Antropic dans un article de blog. « Si cette norme était appliquée à l’échelle de l’industrie, nous pensons qu’elle arrêterait effectivement le déploiement de tous les nouveaux modèles auprès de tous les fournisseurs de modèles Frontier. »
Tout en réaffirmant la capacité du gouvernement à bloquer les IA dangereuses, l’entreprise a soutenu qu’elle devrait faire partie d’un processus juridique transparent et équitable basé sur des faits techniques. « Cette action n’est pas conforme à ces principes. »
Katie Moussouris, PDG de la société de cybersécurité Luta Security, a déclaré au Wall Street Journal qu’Anthropic lui avait montré une copie des résultats. Les résultats ont été créés par des chercheurs d’Amazon à l’aide d’invites pour obtenir des informations sur les vulnérabilités de sécurité.
« J’ai vu le journal. Ce n’est pas un jailbreak. Il s’agit du Defence Oriented Prompting (DOP), une fonctionnalité dont les défenseurs ont besoin », a-t-elle expliqué dans un message à X samedi.
« Si la défense de Nat est un but, alors ce n’était qu’un but contre nous », a ajouté Mussouli.
Amazon et le ministère du Commerce n’ont pas répondu aux demandes de commentaires.
Parallèlement, la directive de l’administration interdisant l’utilisation des nouveaux modèles d’Anthropic aux ressortissants étrangers vivant aux États-Unis a suscité l’inquiétude.
Ben Murphy, universitaire du groupe de réflexion Institute for Progress, a qualifié cela de « nouvelle étape dans la fragmentation de la technologie ».
« Exiger une preuve de citoyenneté pour accéder à un service était peut-être impensable auparavant. Cela devient de plus en plus courant dans les nouvelles technologies, et pour être honnête, cette tentative n’est pas surprenante de ce point de vue », a-t-il ajouté dans un message sur X.
Murphy a également souligné l’imprévisibilité des actions gouvernementales et leur impact sur les développeurs d’IA, avertissant que les instituts de recherche pourraient conserver davantage de modèles en interne ou ne pas être disponibles.
De plus, l’accent mis par Anthropic sur la transparence semble avoir l’effet inverse, et les instituts de recherche pourraient être réticents à dialoguer avec les gouvernements sur les vulnérabilités potentielles, a-t-il déclaré.
Anthropic est déjà en désaccord avec le gouvernement, qui le considère comme un risque pour la chaîne d’approvisionnement des sous-traitants du Pentagone. Néanmoins, la société a fourni un accès anticipé au modèle Mythos car elle avait mis en garde contre les implications potentielles en matière de cybersécurité.
« Je ne sais pas si le gouvernement lui-même n’est pas arrivé à cette conclusion, mais d’un point de vue commercial, ces déclarations ne créent pas une relation de travail saine avec le gouvernement », a écrit Murphy.
