S’il estime que l’intelligence artificielle présente de graves risques pour l’humanité, alors le professeur Carnegie Mellon joue aujourd’hui le rôle le plus important dans l’industrie technologique.
Zico Kolter dirige le comité de quatre personnes d’OpenAI, qui a le pouvoir d’arrêter la sortie d’un nouveau système d’IA si le fabricant de ChatGPT le juge dangereux. Il pourrait s’agir d’une technologie suffisamment puissante pour que des méchants puissent l’utiliser pour créer des armes de destruction massive. Il pourrait également s’agir d’un nouveau chatbot mal conçu au point de nuire à la santé mentale des gens.
« Nous ne parlons pas ici uniquement de préoccupations existentielles », a déclaré Colter dans une interview à l’Associated Press. « Lorsque nous commençons à parler de ces systèmes d’IA très largement utilisés, nous abordons toute une série de problèmes de sûreté et de sécurité et de sujets importants. »
OpenAI a fait appel à l’informaticien pour présider son comité de sûreté et de sécurité il y a plus d’un an, mais ce poste a pris une importance accrue la semaine dernière lorsque les régulateurs de Californie et du Delaware ont fait de la surveillance de Colter un élément clé d’un accord qui permet à OpenAI de lever plus facilement des capitaux et de former une nouvelle structure commerciale pour générer des bénéfices.
La sécurité est au cœur de la mission d’OpenAI depuis sa création il y a dix ans en tant qu’institut de recherche à but non lucratif dont l’objectif est de créer une IA meilleure que l’humain au profit de l’humanité. Cependant, après que la sortie de ChatGPT ait déclenché un boom commercial mondial de l’IA, la société a été accusée d’avoir précipité le produit sur le marché avant qu’il ne soit tout à fait possible de garder une longueur d’avance sur la concurrence. Les divisions internes qui ont conduit au limogeage temporaire du PDG Sam Altman en 2023 ont suscité l’inquiétude du grand public quant au fait que l’entreprise s’était éloignée de sa mission.
L’organisation basée à San Francisco a fait face à des réactions négatives, notamment à un procès intenté par son co-fondateur Elon Musk, lorsqu’elle a commencé à s’efforcer de se transformer en une entreprise à but lucratif plus traditionnelle afin de continuer à faire progresser sa technologie.
L’accord qu’OpenAI a annoncé la semaine dernière avec le procureur général de Californie, Rob Bonta, et la procureure générale du Delaware, Kathy Jennings, visait à apaiser certaines de ces inquiétudes.
Au cœur de l’engagement formel se trouve la promesse que les décisions en matière de sûreté et de sécurité devraient avoir préséance sur les considérations financières, alors qu’OpenAI crée une nouvelle société d’utilité publique sous le contrôle strict de la Fondation à but non lucratif OpenAI.
M. Colter siégera au conseil d’administration des organisations à but non lucratif, mais pas au conseil d’administration des organisations à but lucratif. Cependant, selon le mémorandum de Bonta avec OpenAI, il disposera de « droits d’observation complets » pour assister à toutes les réunions du conseil d’administration commercial et accéder aux informations sur les décisions de sécurité de l’IA. M. Colter est la seule personne autre que M. Bonta nommée dans le long document.
Colter a déclaré que l’accord confirme largement que son comité de sécurité, créé l’année dernière, conservera les pouvoirs dont il disposait déjà. Trois autres membres siègent également au conseil d’administration d’OpenAI. L’un d’eux est Paul Nakasone, un ancien général de l’armée américaine qui était le commandant du US Cyber Command. M. Altman a démissionné du conseil de sécurité l’année dernière, une décision considérée comme augmentant l’indépendance de l’agence.
« La réponse pourrait inclure une demande de retard dans la publication du modèle jusqu’à ce que certaines mesures d’atténuation soient respectées », a déclaré Colter. Il a refusé de dire si le bureau de sécurité avait déjà dû interrompre ou atténuer les rejets, invoquant la confidentialité du processus.
Colter a déclaré qu’une variété de préoccupations devront être prises en compte en ce qui concerne les agents d’IA dans les mois et les années à venir, de la cybersécurité à « un agent pourrait-il accidentellement divulguer des données s’il rencontre un texte malveillant sur Internet ? » – Problèmes de sécurité concernant les pondérations des modèles d’IA, qui sont des chiffres qui affectent les performances des systèmes d’IA.
« Mais il existe également des sujets uniques et émergents dans cette nouvelle classe de modèles d’IA qui n’ont pas de véritable équivalent dans la sécurité traditionnelle », a-t-il déclaré. « Le modèle offrira-t-il aux utilisateurs malveillants des capacités bien plus grandes lorsqu’il s’agira de concevoir des armes biologiques ou de mener des cyberattaques malveillantes ?
« Et enfin, il y a l’impact que les modèles d’IA ont sur les gens », a-t-il déclaré. « L’impact sur la santé mentale des gens, l’impact des interactions des personnes avec ces modèles et ce que cela peut causer. Je pense que toutes ces choses doivent être abordées du point de vue de la sécurité. »
OpenAI a déjà fait l’objet de critiques cette année pour le comportement de son chatbot phare, notamment un procès pour mort injustifiée intenté par des parents californiens dont le fils adolescent s’est suicidé en avril après une longue interaction avec ChatGPT.
Colter, directeur du département d’apprentissage automatique de l’Université Carnegie Mellon, a commencé ses recherches sur l’IA alors qu’il était étudiant en première année à l’Université de Georgetown au début des années 2000, bien avant qu’elle ne devienne populaire.
« Quand j’ai commencé à travailler dans l’apprentissage automatique, c’était un domaine ésotérique et de niche », a-t-il déclaré. « Nous l’avons appelé apprentissage automatique parce que personne ne voulait utiliser le mot IA. C’était un domaine ancien qui faisait trop de promesses et sous-estimait ses résultats. »
Colter, 42 ans, suit OpenAI depuis des années et est si proche du fondateur qu’il a assisté à la soirée de lancement de la conférence sur l’IA en 2015. Pourtant, personne ne s’attendait à ce que l’IA progresse aussi rapidement.
« Je pense que très peu de gens, même ceux qui sont profondément engagés dans l’apprentissage automatique, ont vraiment anticipé l’état dans lequel nous nous trouvons actuellement, l’explosion des capacités et l’explosion des risques qui émergent actuellement », a-t-il déclaré.
Les défenseurs de la sécurité de l’IA suivront de près la restructuration d’OpenAI et les efforts de Kolter. L’un des critiques les plus virulents de l’entreprise s’est dit « prudemment optimiste », notamment quant à savoir si le groupe de Colter « peut réellement embaucher du personnel et jouer un rôle important ».
« Je pense qu’il a la bonne expérience pour ce rôle, et je pense qu’il est la bonne personne pour diriger cela », a déclaré Nathan Calvin, avocat général d’Encode, une petite organisation à but non lucratif chargée de la politique en matière d’IA. Calvin, qui a émis une assignation à comparaître à son domicile dans le cadre des efforts d’enquête d’OpenAI pour se défendre contre le procès de Musk, a déclaré qu’il espérait qu’OpenAI resterait fidèle à sa mission initiale.
« Certaines de ces promesses, si elles sont prises au sérieux par les membres du conseil d’administration, pourraient s’avérer très problématiques », a déclaré Calvin. « Il est également possible que ce ne soient que des mots sur papier et très éloignés de ce qui se passe réellement. Je ne pense pas que nous sachions encore dans lequel nous nous trouvons. »
