OpenAI dit qu’il a déployé un nouveau système pour surveiller les modèles de raisonnement ITST IA, O3 et O4-MinI, pour des invites liées aux menaces biologiques et chimiques. Le système vise à empêcher les modèles d’offrir des conseils qui pourraient demander à quelqu’un de réaliser des attaques potentiellement nocives, selon le rapport de sécurité d’Openai.
O3 et O4-Minini prennent une augmentation significative des capacités par rapport aux modèles précédents d’Openai, selon la société, et pose ainsi de nouveaux risques entre les mains de mauvais acteurs. Selon les repères internes d’Openai, O3 est plus qualifié pour répondre aux questions concernant la création de certains types de menaces biologiques en particulier. Pour cette raison et pour atténuer d’autres risques, OpenAI a créé le nouveau système de surveillance, que la société décrit comme un «moniteur de raisonnement axé sur la sécurité».
Le moniteur, formé sur mesure pour raisonner sur les politiques de contenu d’Openai, se déroule sur O3 et O4-MinI. Il est conçu pour identifier les invites liées aux risques biologiques et à marquer et à instruire les modèles de refuser d’offrir des conseils sur ces sujets.
Pour établir dans la ligne de base, Openai a fait passer environ 1 000 heures d’environ 1 000 heures à signaler les conversations «dangereuses» liées au biorisque de O3 et O4-MinI. Au cours d’un test dans lequel OpenAI a simulé la «logique de blocage» de son moniteur de sécurité, les modèles ont refusé de risquer de prendre 98,7% du temps, selon OpenAI.
Openai reconnaît que son test n’était pas central pour les personnes qui pourraient essayer de nouvelles promesses après avoir été bloquées par le moniteur, à savoir que la société affirmant continue de s’appuyer en partie sur la surveillance humaine.
Selon la société, O3 et O4-Mini vous franchissent le seuil «à haut risque» d’Openai pour les biorisks. Cependant, par rapport à O1 et GPT-4, Openai dit que les premières versions d’O3 et O4-MinI ont prouvé des questions plus utiles de l’atwering concernant le développement d’armes biologiques.
La société suit activement la façon dont ses modèles pourraient faciliter les utilisateurs malveillants de développer des menaces chimiques et biologiques, selon le cadre de préparation récemment mis à jour d’Openai.
OpenAI s’appuie de plus en plus sur le système automatisé pour atténuer les risques de ses modèles. Par exemple, pour empêcher le générateur d’images natif de GPT-4O de créer du matériel d’abus sexuel pour enfants (CSAM), OpenAI dit qu’il utilise un moniteur de raisonnement similaire à l’entreprise déployée pour O3 et O4-MinI.
Pourtant, plusieurs chercheurs ont soulevé les préoccupations Openai ne privilégie pas autant la sécurité. L’un des partenaires en équipe rouge de l’entreprise, METR, a déclaré qu’il avait relativement peu de temps pour tester l’O3 sur une référence pour le comportement de décembre. Pendant ce temps, Openai a décidé de ne pas publier un rapport de sécurité pour son modèle GPT-4.1, qui a été lancé plus tôt cette semaine.
