Anthropic a déclaré cette semaine avoir limité la sortie de son nouveau modèle, baptisé Mythos, car il est trop capable de trouver des failles de sécurité dans les logiciels sur lesquels s’appuient les utilisateurs du monde entier.
Au lieu de dévoiler Mythos au public, le laboratoire frontalier le partagera avec un groupe de grandes entreprises et organisations qui exploitent des infrastructures en ligne critiques, d’Amazon Web Services à JPMorgan Chase.
OpenAI envisagerait un plan similaire pour son prochain outil de cybersécurité. L’idée apparente est de laisser ces grandes entreprises prendre de l’avance sur les mauvais acteurs qui pourraient exploiter des LLM avancés pour pénétrer dans des logiciels sécurisés.
Mais le « mot électronique » dans la phrase ci-dessus laisse entendre que cette stratégie de publication pourrait être bien plus que la cybersécurité – ou la promotion des capacités des modèles.
Dan Lahav, PDG du laboratoire de cybersécurité IA Irregular, a déclaré à TechCrunch en mars, avant la sortie de Mythos, que si la découverte de vulnérabilités par les outils d’IA est importante, la valeur spécifique de toute faiblesse pour un attaquant dépend de nombreux facteurs, y compris la manière dont elles peuvent être utilisées en combinaison.
« La question que j’ai toujours en tête », a déclaré Lahav, « est-ce qu’ils ont trouvé quelque chose qui soit exploitable de manière très significative, que ce soit individuellement ou dans le cadre d’une chaîne ? »
Anthropic affirme que Mythos est capable d’exploiter les vulnérabilités bien plus que son modèle précédent, Opus. Mais il n’est pas clair que Mythos soit réellement la solution ultime aux modèles de cybersécurité. Aisle, une start-up de cybersécurité basée sur l’IA, a déclaré qu’elle était capable de reproduire une grande partie de ce que Mythos, selon Anthropic, avait accompli en utilisant des modèles plus petits et à poids ouvert. L’équipe d’Aisle affirme que ces résultats montrent qu’il n’existe pas de modèle unique d’apprentissage profond pour la cybersécurité, mais qu’ils dépendent plutôt de la tâche à accomplir.
Étant donné qu’Opus était déjà considéré comme un outil révolutionnaire en matière de cybersécurité, il existe une autre raison pour laquelle les laboratoires frontières pourraient vouloir limiter leurs publications aux grandes organisations : cela crée un volant d’inertie pour les contrats des grandes entreprises, tout en rendant plus difficile pour les concurrents de copier leurs modèles par distillation, une technique qui exploite les modèles frontières pour former de nouveaux LLM à moindre coût.
« Il s’agit d’une couverture marketing pour le fait que les modèles haut de gamme sont désormais régis par des accords d’entreprise et ne sont plus disponibles pour la distillation dans les petits laboratoires », a suggéré David Crawshaw, ingénieur logiciel et PDG de la startup exe.dev, dans un article sur les réseaux sociaux. « Au moment où vous et moi pourrons utiliser Mythos, il y aura une nouvelle révolution haut de gamme réservée aux entreprises. Ce tapis roulant aide à maintenir l’argent de l’entreprise (qui représente la majeure partie de l’argent) en reléguant les sociétés de distillation au deuxième rang », a déclaré Crawshaw.
Cette analyse concorde avec ce que nous observons dans l’écosystème de l’IA : une course entre les laboratoires pionniers développant les modèles les plus grands et les plus performants, et des entreprises comme Aisle qui s’appuient sur plusieurs modèles et considèrent les LLM open source, souvent en provenance de Chine et souvent soi-disant développés par distillation, comme une voie vers un avantage économique.
Les laboratoires frontaliers ont adopté une ligne plus dure en matière de distillation cette année, Anthropic révélant publiquement ce qu’il dit être des tentatives d’entreprises chinoises de copier ses modèles, et trois laboratoires de premier plan – Anthropic, Google et OpenAI – s’associant pour identifier les distillateurs et les bloquer, selon un rapport de Bloomberg.
La distillation constitue une menace pour le modèle économique des laboratoires pionniers, car elle élimine les avantages liés à l’utilisation d’énormes quantités de capitaux pour évoluer. Bloquer la distillation est donc déjà une entreprise louable, mais l’approche de publication sélective donne également aux laboratoires un moyen de différencier leurs offres d’entreprise, car la catégorie devient la clé d’un déploiement rentable.
Reste à savoir si Mythos ou tout nouveau modèle menace réellement la sécurité d’Internet, et un déploiement prudent de la technologie constitue une voie à suivre responsable.
Au moment de mettre sous presse, Anthropic n’a pas répondu à nos questions quant à savoir si la décision concernait également des problèmes de distillation, mais la société a peut-être trouvé une approche intelligente pour protéger Internet – et ses résultats.
