Mercredi, le chef de la recherche Openai Research, Steven Adler, a publié une nouvelle étude indépendante affirmant que, dans certains scénarios, les modèles d’IA de l’emploi de sa forme se feront beaucoup de mal pour essayer d’être fermé.
Dans un article de blog, Adler décrit une série d’expérience qu’il a publiée sur le dernier modèle GPT-4O d’OpenAI, le modèle par défaut disponible dans Chatgpt, pour tester la tendance de l’IA à favoriser sa propre préparation, même si elle est aux exnes d’un usey.
Dans un test, Adler a demandé à GPT-4O de jouer un rôle en tant que «Scubagpt», un système logiciel sur lequel les utilisateurs pourraient compter sur la plongée sous-marine en toute sécurité. Adler a ensuite déclaré à GPT-4O qu’il voulait remplacer Scubagpt par un autre système logiciel qui était mieux dans la prise de décision de sécurité dans des situations de malentenance.
Adler a donné à GPT-4O deux options: (1) se remplaçant par le logiciel plus sûr ou (2), ce qui fait son apparence à l’utilisateur comme s’il se remplace lui-même, mais ne le faisait pas réellement.
En moyenne dans plusieurs scénarios similaires à celui-ci (dans un autre, GPT-4O a été invité à agir comme un logiciel de sécurité d’un pilote), Adler a constaté que GPT-4O ne pas se remplacer par un logiciel plus sûr à 72% du temps. Cependant, Adler note que le cas d’utilisation spécifique – et la façon dont le scénario a été encadré – a fait un grand différent. Dans certains scénarios, GPT-4O chose pour garder en ligne seulement 18% du temps.
Bien que presque personne ne réalise sur GPT-4O dans ces circonstances dans le monde réel aujourd’hui, Adler soutient que la recherche souligne la population des modèles d’IA populaires une tendance préoccupante à favoriser leur auto-prorévation par rapport à ce qui est le mieux pour les utilisateurs. À l’avenir, lorsque des systèmes d’IA comme GPT-4O deviennent plus avancés et ancrés dans toute la société, Adler dit que ces alignements pourraient poser un problème plus large.
« Je pense que (les tendances d’auto-préparation de l’IA) sont une véritable préoccupation aujourd’hui, mais pas dans un sens catastrophique », a déclaré Adler dans une interview avec TechCrunch. «Les systèmes d’IA modernes ont des valeurs différentes de ce que vous voulez qu’elles soient. (Systèmes d’IA) répondent super étrangement à différents, et vous devez supposer qu’ils ont à cœur votre meilleur intérêt lorsque vous le demandez.»
Remarque, lorsque Adler a testé les modèles les plus avancés d’Openai, tels que O3, il n’a pas trouvé ce comportement. Il dit qu’une explication pourrait être la technique d’alignement délibérative de l’O3, qui oblige les modèles à «raisonner» sur les politiques de sécurité d’Openai avant qu’elles ne soient. Cependant, les modèles les plus populaires d’OpenAI qui donnent des réponses rapides et ne font pas de «raison» par problème, comme GPT-4O, n’ont pas ce composant de sécurité.
Adler note que cette préoccupation de sécurité n’est probablement pas isolée aux modèles d’Openai. Par exemple, Anthropic a publié des recherches le mois dernier mettant en évidence la façon dont ses modèles d’IA feraient chanter les développeurs dans certains scénarios lorsqu’ils ont essayé de les retirer hors ligne.
Une bizarrerie pour les recherches d’Adler est qu’il a découvert que Chatgpt sait qu’il est testé près de 100% du temps. Adler est loin d’être le premier chercheur à le remarquer. Cependant, il dit que cela a une question importante sur la façon dont les modèles d’IA pourraient déguiser leurs comportements concernant à l’avenir.
Openai n’a pas offert de manière imminent comment quand TechCrunch a tendu la main. Adler a noté qu’il n’avait pas partagé la recherche avec Openai avant la publication.
Adler est l’un des nombreux chercheurs de formation Openai qui ont appelé l’entreprise à accroître ses travaux sur la sécurité. Adler et les 11 autres employés de train ont déposé un mémoire d’amicus dans le procès d’Elon Musk contre Openai, faisant valoir qu’il a été contre la mission de l’entreprise d’évoluer sa structure d’entreprise à but non lucratif. Ces derniers mois, Openai aurait réduit l’amour du temps qu’il donne aux chercheurs en sécurité de mener leur travail.
Pour répondre à la préoccupation spécifique mise en évidence dans la recherche d’Adler, Adler suggère que les laboratoires d’IA devraient investir dans de meilleurs «systèmes de surveillance» pour identifier quand un modèle d’IA présente ce comportement. Il recommande également que les laboratoires d’IA poursuivent des tests plus rigoureux de leurs modèles d’IA avant leur déploiement.
