Anthropic change de cap après avoir été critiqué pour avoir discrètement rétrogradé certaines demandes vers ses modèles d’IA les plus performants.
Mardi, la société de 965 milliards de dollars a publié une version de son modèle le plus performant, Mythos. Anthropic a annoncé Mythos en avril, mais a refusé la diffusion publique de la classe de modèles Mythos en partie parce que la société a déclaré qu’elle était très habile à échapper aux défenses de cybersécurité et qu’elle était trop dangereuse pour être publiée.
Mais cette semaine, la société a choisi de lancer Fable 5, un modèle de classe Mythos dont les caractéristiques « dépassaient tous les modèles généralement disponibles auparavant », selon Anthropic. Diane Na Peng, directrice de la gestion des produits, de la recherche et des laboratoires d’Anthropic, avait précédemment déclaré à Fortune que la société était à l’aise avec la sortie de Fable 5 car elle était « plus confiante dans les garde-fous de sécurité en place ».
Mais c’est l’un des garde-fous enfouis dans le document de sécurité de 319 pages, qui a déclenché une vague de réactions négatives de la part des chercheurs en IA et d’autres utilisateurs en ligne plus tôt cette semaine, et qui incite désormais l’entreprise à améliorer sa transparence.
Les informations trouvées sur la carte système de Fable 5, un long document de sécurité, révèlent que le modèle rétrograde silencieusement certaines demandes liées au développement avancé de l’IA. Par exemple, si un chercheur en IA utilise Fable 5 pour créer sa propre IA, le programme utilisera par défaut un modèle moins performant.
Certains chercheurs en IA, dont Jeremy Howard, co-fondateur du groupe de recherche à but non lucratif Fast.ai, se sont plaints du fait que les actions d’Anthropic ralentiraient le développement de l’IA.
« Une solution simple pour ralentir l’auto-amélioration récursive de l’IA : les laboratoires utilisant des modèles haut de gamme doivent convenir qu’ils ne devraient pas utiliser ce modèle pour des travaux d’IA de pointe, mais devraient le rendre accessible à tous. Par définition, cela signifie que la frontière n’avancera pas », a-t-il écrit dans un message à X.
Mercredi, les critiques d’Anthropic ont obtenu au moins une partie de ce qu’ils voulaient : de la visibilité.
« Nous prévoyons de modifier les garanties de Fable 5 pour le développement de Frontier LLM afin de le rendre visible », a déclaré un porte-parole d’Anthropic dans une déclaration à Fortune. « À partir de cette semaine, les requêtes signalées reviendront clairement à l’Opus 4.8. Dans l’API, chaque requête signalée renverra un motif de rejet, que vous connaîtrez à chaque fois qu’elle se produira. »
La société continuera de déclasser certaines demandes. Cela s’explique en partie par le fait que ses conditions de service interdisent l’utilisation de ses modèles pour créer des systèmes d’IA concurrents, une restriction qui, selon la société, est la norme dans l’ensemble du secteur.
Mais la société a également cité la sécurité nationale comme une des raisons pour lesquelles son modèle linguistique étendu déclasse ou refuse certaines demandes. La société a déclaré qu’elle ne souhaitait pas que des adversaires étrangers améliorent leurs capacités en matière d’IA au détriment des États-Unis.
« Les États-Unis et leurs alliés conservent un avantage grâce aux puces frontières et aux logiciels hautement optimisés qui les exploitent à leur plein potentiel. Ces garanties garantissent que Claude ne peut pas être utilisé pour éroder cet avantage, par exemple en optimisant les puces développées par des adversaires », a déclaré le porte-parole.
L’entreprise a également souligné que ses limitations « n’affectent pas la majorité des tâches de codage et d’apprentissage automatique ».
Le changement de politique d’Anthropic met en évidence la façon dont les garanties en matière d’IA deviennent rapidement partie intégrante du débat sur la sécurité nationale. Plus tôt cette année, Anthropic a été confrontée à une impasse avec le ministère de l’Armée après que l’agence a refusé de lui accorder un accès complet au modèle Claude. La société a contesté le langage selon lequel le Pentagone pourrait utiliser son modèle pour la surveillance de masse ou les armes autonomes.
En fin de compte, le ministère de l’Armée a qualifié Anthropic de « risque de chaîne d’approvisionnement » pour la sécurité nationale et a restreint l’utilisation de ses produits par les sous-traitants de la défense et les agences militaires. Plus tôt ce mois-ci, le secrétaire de l’Armée, Pete Hegseth, a rejeté la requête d’Anthropic visant à modifier la désignation, ouvrant la voie à une bataille non résolue devant un tribunal fédéral.
Le passage d’Anthropic à Fable 5 intervient également après que la société a secrètement déposé une demande d’introduction en bourse plus tôt ce mois-ci. L’entreprise mise en grande partie sur son identité publique en tant que laboratoire d’IA qui donne la priorité à la sécurité, mais sa décision initiale de ne pas préciser quand les mesures de sécurité seraient appliquées a touché une corde sensible dans la communauté de recherche en IA. Dans un communiqué, l’entreprise a reconnu qu’elle avait tort.
« Nous avons fait le mauvais compromis et nous nous excusons de ne pas avoir trouvé le bon équilibre », a déclaré un porte-parole d’Anthropic.
