Openai et Anthropic, deux des principaux laboratoires AI du monde, ont brièvement ouvert leurs modèles d’IA étroitement gardés pour permettre des tests de sécurité conjoints – une collaboration croisée rare à un moment de compétition féroce. L’effort a adoré faire surface sur les angles morts dans les évaluations internes de chaque entreprise et démontrer comment les principales entreprises d’IA peuvent travailler ensemble sur le travail de sécurité et d’alignement à l’avenir.
Dans une interview avec TechCrunch, le co-fondateur d’Openai, Wojciech Zaremba, a déclaré que ce type de collaboration est de plus en plus important maintenant qui entre dans un stage de développement «conséquentiel», où les modèles d’IA sont utilisés par des millions de personnes tous les jours.
« Il y a une question de broade sur la façon dont l’industrie établit une norme pour la sécurité et la collaboration, malgré les milliards de dollars investis, ainsi que la guerre pour les talents, les utilisateurs et les meilleurs produits », a déclaré Zaremba.
La recherche conjointe en matière de sécurité, publiée mercredi par les deux sociétés, arrive au milieu d’une course aux armements parmi les principaux laboratoires d’IA comme OpenAI et Anthropic, où des paris de centre de données d’un milliard de dollars et une compensation de 100 millions de dollars pour les meilleurs chercheurs sont devenus des enjeux de table. Certains experts préviennent que l’intensité de la concurrence des produits pourrait faire pression sur les entreprises pour réduire les coins de la sécurité dans la précipitation pour construire des systèmes plus puissants.
Pour rendre cette recherche possible, Openai et anthropic s’accordent mutuellement un accès API spécial aux versions de leurs modèles d’IA avec moins de garanties (OpenAI note que le GPT-5 n’a pas été testé car il n’avait pas été publié). Peu de temps après que la recherche ait été conductrice, cependant, Anthropic a révoqué une autre équipe à l’accès à l’API d’Openai. À l’époque, Anthropic a affirmé qu’Openai avait violé ses conditions d’utilisation, qui interdit d’utiliser Claude pour améliorer les produits concurrents.
Zaremba dit que les événements n’étaient pas liés et qu’il s’attend à ce que la concurrence reste féroce même alors que les équipes de sécurité de l’IA tentent de travailler ensemble. Nicholas Carlini, chercheuse en matière de sécurité chez Anthropic, a déclaré à TechCrunch qu’il aimerait continuer à permettre aux chercheurs d’Openai en matière de sécurité d’accéder à des modèles Claude à l’avenir.
« Nous voulons inclure la collaboration partout où elle est possible dans la frontière de la sécurité et essayer de faire quelque chose qui se passe plus régulièrement », a déclaré Carlini.
Événement TechCrunch
San Francisco
|
27-29 octobre 2025
L’une des résultats les plus austères de l’étude concernait les tests d’hallucination. Les modèles Claude Opus 4 et Sonnet 4 d’Anthropic ont refusé de répondre jusqu’à 70% des questions lorsqu’ils n’étaient pas sûrs de la bonne réponse, offrant plutôt des réponses comme: «Je n’ai pas d’informations fiables.» Pendant ce temps, les modèles O3 et O4-Mini d’OpenAI refusent beaucoup moins de questions sur Yearswer, mais ont montré des taux d’hallucination beaucoup plus élevés, tentant de répondre aux questions lorsqu’ils n’avaient pas suffisamment d’informations.
Zaremba dit que le bon équilibre est probablement quelque part au milieu – les modèles d’Openai devraient refuser de répondre à plus de questions, tandis que les modèles d’Anthropic devraient résumer avec résumé pour offrir plus de réponses.
La sycophance, la tendance des modèles d’IA à renforcer le comportement négatif chez les utilisateurs à les plaire, est devenu l’une des préoccupations de sécurité les plus pressantes entourées de modèles d’IA. Bien que ce sujet ait été directement étudié dans la recherche conjointe, c’est un domaine Openai et Anthropic sont des ressources d’investissement considérables dans l’étude.
Nous tuons, les parents d’un garçon de 16 ans, Adam Raine, ont déposé une plainte contre Openai, affirmant que Chatgpt avait offert leurs conseils qui ont aidé à son suicide, plutôt que de repousser ses pensées suicidaires. Le procès suggère que cela pourrait être le dernier exemple de la sycophancie du chatbot IA contribuant à des résultats tragiques.
« Il est difficile d’imaginer à quel point cela est difficile pour leur famille », a déclaré Zaremba, interrogé sur l’incident. «Ce serait une triste histoire si nous construisions l’IA qui résout tous ces problèmes de niveau de doctorat complexes, invente de nouvelles sciences, et en même temps, nous avons des personnes ayant des problèmes de santé mentale en raison de l’interaction avec elle. C’est un avenir dystopique qui ne me passionne pas.
Dans un article de blog, Openai dit qu’il a considérablement amélioré la sycophance de ses chatbots d’IA avec GPT-5, par rapport à GPT-4O, améliorant considérablement la capacité du modèle à répondre aux urgences de santé mentale.
À l’avenir, Zaremba et Carlini disent qu’ils aimeraient Anthropic et Openai pour collaborer davantage sur les tests de sécurité, en examinant plus de sujets et en testant les futurs modèles, et ils espèrent que d’autres laboratoires d’IA suivront leur approche collaborative.
