OpenAI recherche de nouveaux employés pour l’aider à faire face aux dangers croissants de l’IA, et l’entreprise technologique est prête à dépenser plus de 500 000 $ pour remplir ce rôle.
OpenAI recrute des « agents de préparation » pour aider à atténuer les dommages liés à la technologie, notamment la santé mentale des utilisateurs et la cybersécurité, a écrit samedi le PDG Sam Altman dans un X-Post. Le poste sera rémunéré 555 000 $ par an plus les actions, selon l’offre d’emploi.
« C’est un travail stressant et vous allez très vite plonger dans le grand bain », a déclaré Altman.
La volonté d’OpenAI d’embaucher un responsable de la sécurité intervient alors que les entreprises sont de plus en plus préoccupées par les risques liés à l’IA pour leurs opérations et leur réputation. Une analyse des rapports annuels déposés auprès de la Securities and Exchange Commission en novembre par la société de données et d’analyses financières AlphaSense a révélé que 418 entreprises valant au moins 1 milliard de dollars ont évoqué des atteintes à leur réputation liées aux facteurs de risque de l’IA au cours des 11 premiers mois de cette année. Ces risques de réputation incluent des ensembles de données d’IA qui présentent des informations biaisées ou compromettent la sécurité. Selon l’analyse, les signalements d’atteintes à la réputation liées à l’IA ont augmenté de 46 % depuis 2024.
« Bien que le modèle s’améliore rapidement et possède de nombreuses fonctionnalités intéressantes, il commence également à rencontrer de réels défis », a déclaré Altman dans un message sur les réseaux sociaux.
« Si vous souhaitez aider le monde à comprendre comment rendre tous les systèmes plus sécurisés, idéalement en dotant les défenseurs de la cybersécurité de capacités de pointe tout en empêchant les attaquants de les utiliser à des fins nuisibles, veuillez envisager de postuler pour débloquer de la même manière les capacités biologiques et gagner en confiance dans la sécurité des systèmes d’exécution auto-améliorés », a-t-il ajouté.
L’année dernière, Alexander Madrid, responsable de la pré-préparation d’OpenAI, a été réaffecté à un rôle lié à l’inférence de l’IA, la sécurité de l’IA étant également une partie importante de son travail.
Les efforts d’OpenAI pour faire face aux dangers de l’IA
Fondée en 2015 en tant qu’organisation à but non lucratif dédiée à l’utilisation de l’IA pour améliorer et bénéficier à l’humanité, OpenAI a eu du mal à donner la priorité aux efforts visant à développer une technologie sûre aux yeux de certains anciens dirigeants. Dario Amodei, ancien vice-président de la recherche de l’entreprise, a quitté OpenAI en 2020, avec sa sœur Daniela Amodei et plusieurs autres chercheurs, en partie parce qu’il craignait que l’entreprise donne la priorité au succès commercial plutôt qu’à la sécurité. Amodei fonde Anthropic l’année suivante.
OpenAI fait face à plusieurs poursuites pour mort injustifiée cette année, alléguant que ChatGPT favorise les idées délirantes chez les utilisateurs et que les conversations avec des robots ont été impliquées dans le suicide de certains utilisateurs. Une enquête du New York Times publiée en novembre a révélé près de 50 cas dans lesquels des utilisateurs de ChatGPT ont eu des crises de santé mentale alors qu’ils conversaient avec des robots.
OpenAI a déclaré en août que de longues conversations entre les utilisateurs et ChatGPT pourraient « dégrader » les fonctionnalités de sécurité, mais la société a apporté des modifications pour améliorer les interactions des utilisateurs avec ses modèles. Plus tôt cette année, la société a créé un conseil de huit personnes pour conseiller l’entreprise sur les garde-fous visant à protéger la santé des utilisateurs, a mis à jour ChatGPT pour mieux gérer les conversations sensibles et a accru l’accès à sa hotline de crise. Plus tôt dans le mois, la société a annoncé une subvention pour financer la recherche sur l’intersection de l’IA et de la santé mentale.
La société a également reconnu la nécessité de mesures de sécurité renforcées, affirmant dans un article de blog ce mois-ci qu’avec les progrès rapides de l’IA, certains de ses prochains modèles pourraient présenter un risque « élevé » de cybersécurité. L’entreprise prend des mesures pour réduire ces risques, notamment en formant ses modèles pour qu’ils ne répondent pas aux demandes compromettant la cybersécurité et en améliorant ses systèmes de surveillance.
« Nous disposons d’une base solide pour mesurer le potentiel de croissance », a écrit Altman samedi. « Mais nous entrons dans un monde qui nécessite une compréhension et une mesure plus nuancées de la manière dont ces capacités peuvent être exploitées et de la manière dont nous pouvons limiter leurs inconvénients, à la fois dans nos produits et dans le monde, de manière à ce que nous puissions tous en bénéficier énormément. »
Cet article a été initialement publié sur Fortune.com
