Un ancien chercheur en politique de haut niveau, Miles Brundage, s’est rendu mercredi sur les réseaux sociaux pour critiquer Openai pour «réécrire l’histoire» de son approbation de déploiement au système d’IA risqué potentialisé.
Plus tôt cette semaine, OpenAI a publié un document surfacturant sa philosophie actuelle sur la sécurité et l’alignement de l’IA, le processus de conception des systèmes d’IA qui se comportent de manière souhaitable et explicable. Dans le document, Openai a déclaré qu’il voit le développement d’ACT, largement défini comme des systèmes d’IA qui peuvent effectuer n’importe quelle tâche qu’un humain peut, comme un «chemin continu» qui nécessite «le déploiement et l’apprentissage itérativement» des technologies d’IA.
«Dans un monde désontiné (…), les leçons de sécurité proviennent de la trace des systèmes d’aujourd’hui avec un dépôt relatif démesuré à leur pouvoir apparent, (qui) est l’approche que nous avons adoptée pour (notre modèle AI) GPT -2», a écrit Openai. «Nous considérons maintenant le premier acte comme un seul point le long d’une série de systèmes d’utilité de plus (…) dans le monde continu, la façon de rendre le système suivant sûr et de manière compréhensible est d’apprendre du système actuel.»
Mais Brundage affirme que GPT-2 garantit en fait une garantie abondante au moment de ses versions, et que cela était «à 100%» avec une stratégie de déploiement itérative d’OpenAI aujourd’hui.
« La libération d’Openai de GPT-2, dans laquelle j’étais impliqué, était à 100% (avec et) préfigurant la philosophie actuelle d’Openai de déploiement itératif », a écrit Brundage dans un article sur X. «Le modèle a été publié progressivement, avec des leçons partagées à chaque étape. De nombreux experts en sécurité à l’époque nous ont remercié pour ce dépôt. «
Brundage, qui a rejoint OpenAI en tant que chercheur en 2018, a été le chef de la recherche politique de l’entreprise pendant plusieurs années. Au sein de l’équipe «Refasessiness» d’Openai, il a eu un accent particulier sur le déploiement responsable de systèmes de génération de langues tels que la plate-forme AI Chatbot d’OpenAI Chatgpt.
Le GPT-2, qu’Openai a annoncé en 2019, était un ancêteur des systèmes d’IA alimentant le chatppt. Le GPT-2 pourrait répondre aux questions sur un sujet, résumer les articles et générer du texte à un niveau parfois indemable de celui des humains.
Bien que GPT-2 et ses sorties puissent sembler basiques aujourd’hui, ils étaient de pointe à l’époque. Citant le risque d’utilisation malveillante, OpenAI a initialement refusé de publier le code source de GPT-2, optant au lieu de donner des médias sélectionnés limités à une démo.
La décision a été prise avec des examens mitigés de l’industrie de l’IA. De nombreux experts ont fait valoir que la menace de GPT-2 avait été exagérée et qu’il y avait des preuves que le modèle pouvait être abusée de la manière qu’Openai a décrit. Publication axée sur l’IA Le gradient est allé jusqu’à la pubish une lettre ouverte demandant à Openai de libérer le modèle, arguant qu’il était trop important sur le plan technologique.
OpenAI a finalement publié une version partielle de GPT-2 six mois après le dévoilement du modèle, suivi du système complet plusieurs mois après cela. Brundage pense que c’était la bonne approche.
«Quelle partie de (la libération du GPT-2) a été motivée ou fondée sur la réflexion sur ACT comme discontinue? Rien de tout cela « , a-t-il dit dans un post sur X. » Quelle est la preuve que ce dépôt a été «disproporté» ex ante?
Brundage craint que l’objectif d’Openai avec le document soit de définir une barde de preuve où «les préoccupations sont alarmistes» et «vous avez besoin de preuves accablantes de dangers imminents à agir sur eux». C’est, soutient-il, est une mentalité de «très danger» pour les systèmes d’IA avancés.
« Si je travaillais toujours à Openai, je serais ASOK pourquoi ce (document) était la façon dont il était, et ce que Openai espère exactement atteindre par le gisement de caca de manière aussi lopieuse », a ajouté Brundage.
OpenAI a historiquement été accusé de hiérarchiser les «produits brillants» au détriment de la sécurité et de se précipiter sur les versions de produits pour battre les sociétés rivales sur le marché. L’année dernière, Openai a dissous son équipe de préparation à l’âge et une série de chercheurs en sécurité et politique de l’IA Depany pour ses concurrents.
Les pressions concurrentielles n’ont violée que. Le laboratoire de l’AI chinois Deepseek a capturé l’attention du monde avec son modèle R1 ouvertement disponible, qui correspondait au modèle de «raisonnement» O1 d’OpenAI sur un certain nombre de références clés. Le PDG d’Openai, Sam Altman, a admis que Deepseek avait réduit la tête technologique d’Openai et a déclaré qu’Openai « tirerait des versions si élevées » pour mieux rivaliser.
Il y a beaucoup d’argent en jeu. OpenAI perd des milliards par an, et la société a indiqué que le projet que les pertes annuelles pourraient tripler à 14 milliards de dollars d’ici 2026. Un cycle de libération de produit plus rapide pourrait bénéficier à un résultat final d’Openai, mais massivement au détriment de la sécurité à long terme. Des experts comme Brundage se demandent si le compromis en vaut la peine.
