Le procès d’Elon Musk met le bilan de sécurité d’OpenAI à la loupe

Les efforts juridiques d’Elon Musk pour démanteler OpenAI pourraient dépendre de la manière dont sa filiale à but lucratif améliore ou diminue la mission fondatrice du laboratoire frontalier, qui consiste à garantir que l’humanité bénéficie de l’intelligence artificielle générale.

Jeudi, un tribunal fédéral d’Oakland, en Californie, a entendu un ancien employé et membre du conseil d’administration affirmer que les efforts de l’entreprise pour commercialiser des produits d’IA compromettaient son engagement en faveur de la sécurité de l’IA.

Rosie Campbell a rejoint l’équipe de préparation à l’AGI de l’entreprise en 2021, et elle a quitté OpenAI en 2024 après la dissolution de son équipe. Une autre équipe axée sur la sécurité, l’équipe Super Alignment, a été fermée au cours de la même période.

«Lorsque j’ai rejoint le groupe, il était très axé sur la recherche et il était courant que les gens parlent d’AGI et de problèmes de sécurité», a-t-elle témoigné. « Au fil du temps, notre organisation est devenue davantage axée sur les produits. »

En contre-interrogatoire, Campbell a reconnu qu’un financement important était probablement nécessaire pour atteindre l’objectif du laboratoire de construire l’AGI, mais a déclaré que la création d’un modèle informatique super-intelligent sans les bonnes mesures de sécurité en place ne cadrerait pas avec la mission de l’organisation qu’elle a initialement rejointe.

Campbell a souligné un incident au cours duquel Microsoft a déployé une version du modèle GPT-4 de l’entreprise en Inde via son moteur de recherche Bing avant que le modèle n’ait été évalué par le Deployment Safety Board (DSB) de l’entreprise. Le modèle en lui-même ne présente pas un risque énorme, a-t-elle déclaré, mais l’entreprise devait « créer des précédents solides à mesure que la technologie devient plus puissante. Nous voulons avoir de bons processus de sécurité en place, dont nous savons qu’ils sont suivis de manière fiable ».

Les avocats d’OpenAI ont également fait admettre à Campbell que, dans son «opinion spéculative», l’approche de sécurité d’OpenAI est supérieure à celle de xAI, la société d’IA fondée par Musk et acquise par SpaceX plus tôt cette année.

OpenAI publie des évaluations de ses modèles et partage publiquement un cadre de sécurité, mais la société a refusé de commenter son approche actuelle en matière d’alignement AGI. Dylan Scandinaro, son actuel responsable de la préparation, a été embauché chez Anthropic en février. Altman a déclaré que cette location lui permettrait de « mieux dormir ce soir ».

Le déploiement de GPT-4 en Inde, cependant, a été l’un des signaux d’alarme qui ont conduit le conseil d’administration à but non lucratif d’OpenAI à licencier brièvement le PDG Sam Altman en 2023. Cet incident a eu lieu après que des employés, dont le scientifique en chef de l’époque, Ilya Sutskever, puis la directrice technique de l’époque, Mira Murati, se sont plaints du style de gestion d’Altman, peu enclin aux conflits. Tasha McCauley, membre du conseil d’administration à l’époque, a fait part de ses inquiétudes quant au fait qu’Altman n’était pas assez ouvert avec le conseil d’administration pour que sa structure inhabituelle puisse fonctionner.

McCauley a également évoqué une tendance largement rapportée selon laquelle Altman aurait induit le conseil d’administration en erreur. Notamment, Altman a fait part à un autre membre du conseil d’administration de l’intention de McCauley de destituer Helen Toner, un troisième membre du conseil d’administration qui a publié un livre blanc contenant des critiques implicites de la politique de sécurité d’OpenAI. Altman n’a pas non plus informé le conseil d’administration de la décision de lancer publiquement ChatGPT, et les membres étaient préoccupés par le manque de divulgation de conflits d’intérêts potentiels.

« Nous sommes un conseil d’administration à but non lucratif et notre mandat était de pouvoir superviser les organisations à but lucratif qui nous entourent », a déclaré McCauley au tribunal. « Notre principal moyen d’y parvenir était d’être remis en question. Nous n’avions pas du tout un degré élevé de confiance pour croire que les informations qui nous étaient transmises nous permettaient de prendre des décisions de manière éclairée. »

Cependant, la décision de démarrer Altman est intervenue en même temps qu’une offre publique d’achat aux salariés de l’entreprise. McCauley a déclaré que lorsque le personnel d’OpenAI a commencé à se ranger du côté d’Altman et que Microsoft a travaillé pour restaurer le statu quo, le conseil d’administration a finalement inversé la tendance, les membres opposés à la démission d’Altman.

L’échec apparent du conseil d’administration à but non lucratif à influencer l’organisation à but lucratif est directement lié au cas de Musk selon lequel la transformation d’OpenAI d’organisation de recherche en l’une des plus grandes entreprises privées au monde a rompu l’accord implicite des fondateurs de l’organisation.

David Schizer, ancien doyen de la faculté de droit de Columbia qui est payé par l’équipe de Musk pour agir en tant que témoin expert, a fait écho aux préoccupations de McCauley.

« OpenAI a souligné qu’un élément clé de sa mission est la sécurité et qu’ils vont donner la priorité à la sécurité plutôt qu’aux profits », a déclaré Schizer. « Cela implique en partie de prendre les règles de sécurité au sérieux. Si quelque chose doit être soumis à un examen de sécurité, cela doit se produire. Ce qui compte, c’est la question du processus. »

L’IA étant déjà profondément ancrée dans les entreprises à but lucratif, le problème dépasse largement le cadre d’un seul laboratoire. McCauley a déclaré que les échecs de la gouvernance interne au sein du gouvernement OpenAI devraient être une raison pour adopter une réglementation plus stricte de l’IA avancée – « (si) tout se résume à un seul PDG qui prend ces décisions, et que le bien public est en jeu, ce n’est pas optimal.