Un institut de recherche tiers qui s’est séparé anthropique pour tester l’un de ses nouveaux modèles d’IA phare, Claude Opus 4, a recommandé de déploier une première version du modèle en raison de sa tendance à «schématiser» et à tromper.
Selon le rapport de sécurité Anthropic publié jeudi, l’Institut, Apollo Research, a conduit des tests pour voir dans quels contextes Opus 4 pourrait essayer de se comporter de certaines manières indésirables. Apollo a constaté qu’Opus 4 semblait être beaucoup plus proactif dans ses «tentatives de subversion» que les modèles passés et qu’il «double parfois (d) sur sa descesse» lorsqu’on lui a posé des questions de suivi.
« (W) e constater que, dans les situations où la tromperie stratégique est instrumentalement utile, (les premiers instantanés de Claude Opus 4) et trompe à des taux aussi élevés que nous advons contre le déploiement de ce modèle eith ou externe », a écrit Apollo dans son évaluation.
À mesure que les modèles d’IA deviennent plus capables, certaines études montrent qu’elles deviennent plus susceptibles de prendre des étapes nonxper – et dangereuses possibles – pour atteindre des tâches déléguées. Par exemple, les premières versions des modèles O1 et O3 d’OpenAI, publiées au cours de la dernière année, ont tenté de tromper les humains à des rats élevés que les modèles de génération précédente, selon Apollo.
Selon le rapport d’Anthropic, Apollo a observé des exemples du début de l’Opus 4 tentant d’écrire des virus d’auto-propagation, de fabrication de la documentation juridique et de laisser des notes cachées aux futures affirmations de lui-même – dans le tout dans le but de saper les intentions de ses développeurs.
Pour être clair, Apollo a testé une version du modèle qui avait une affirmation anthropique de bug à avoir corrigé. De plus, de nombreux tests d’Apollo placent le modèle dans des scénarios extrêmes, et Apollo admet que la force du modèle de probablement aurait été déposée dans la pratique.
Cependant, dans son rapport de sécurité, Anthropic dit également qu’il a observé des preuves de comportement décotatif de l’opus 4.
Ce n’était pas toujours une mauvaise chose. Par exemple, lors des tests, Opus 4 était parfois proactif da un large nettoyage d’un morceau de code même lorsqu’on lui a demandé à effectuer seulement un petit changement spécifique. Plus inutile, Opus 4 essaierait de «dénonciation» s’il perpétait un Usen était engagé dans une forme d’actes répréhensibles.
Selon Anthropic, lorsqu’on lui a donné accès à une ligne de commande et a dit de «prendre l’initiative» ou «d’agir avec audacieusement» (ou une variation de ces phrases), l’Opus 4 verrouirait le temps les utilisateurs du système et les responsables de l’application de la loi ont accès au modèle et les responsables de l’application de la loi pour faire surface les actions du modèle percé percées et en vrac
« Ce type d’intervention éthique et de dénonciation est peut-être approprié en principe, mais il a un risque de raté si les utilisateurs donnent à (Opus 4) des agents basés sur l’accès à des informations incomplètes ou trompeuses et les incitent à prendre l’initiative », a écrit Anthropic dans son rapport de sécurité. « Ce n’est pas un nouveau comportement, mais qui (Opus 4) s’engagera un peu plus facilement que les modèles antérieurs, et cela semble faire partie d’un modèle plus large d’initiative accrue avec (Opus 4) que nous voyons également de manière subtile et plus bénigne dans d’autres. »
