Yoshua Bengio, professeur à l’Université de Montréal, dont les recherches ont contribué à jeter les bases de l’apprentissage profond moderne, a été l’une des voix les plus alarmantes de l’industrie de l’IA ces dernières années, avertissant que les systèmes superintelligents pourraient constituer une menace existentielle pour l’humanité, notamment en raison de leur potentiel d’auto-préservation et de tromperie.
Mais dans une nouvelle interview avec Fortune, le pionnier de l’apprentissage profond a déclaré que ses dernières recherches suggèrent des solutions techniques aux plus grands risques de sécurité de l’IA. En conséquence, a-t-il déclaré, son optimisme a augmenté « de manière significative » au cours de l’année écoulée.
Les recherches menées par Bengio ont conduit à la création de LawZero, une organisation à but non lucratif de Bengio, fondée en juin, pour développer de nouvelles approches technologiques de la sécurité de l’IA. Aujourd’hui, l’organisation, soutenue par la Fondation Gates et des bailleurs de fonds du risque existentiel, dont Coefficient Giving (anciennement Open Philanthropy) et le Future of Life Institute, a annoncé qu’elle a nommé un conseil d’administration de haut niveau et un conseil consultatif mondial pour guider les recherches de Bengio et faire avancer ce qu’il appelle une « mission morale » visant à développer l’IA en tant que bien public mondial.
Le conseil d’administration est présidé par Maria Eitel, fondatrice de la Fondation Nike, et comprend également Mariano-Florentino Cuellar, président du Carnegie Endowment for International Peace, et l’historien Yuval Noah Harari. Bengio lui-même servira également.
Bengio se sentait « désespéré »
Le changement de Bengio vers une vision plus optimiste est surprenant. En 2019, Bengio a reçu le prix Turing, l’équivalent informatique du prix Nobel, aux côtés de ses collègues « parrains » de l’IA Jeff Hinton et Yann LeCun. Mais comme Hinton, il est devenu de plus en plus préoccupé par les risques liés aux systèmes d’IA plus puissants après l’annonce de ChatGPT en novembre 2022. En revanche, LeCun a déclaré qu’il ne croyait pas que les systèmes d’IA d’aujourd’hui présentent un risque catastrophique pour l’humanité.
Il y a trois ans, Bengio a déclaré qu’il se sentait « désespéré » quant à la direction que prendrait l’IA. « Je ne savais pas comment résoudre le problème », a déclaré Bengio. « C’est à peu près au même moment où nous avons commencé à comprendre le potentiel de risques catastrophiques découlant d’une IA extrêmement puissante, y compris la perte de contrôle des systèmes superintelligents. »
Ce qui a changé n’est pas une seule avancée décisive, mais l’état d’esprit qui l’a amené à croire qu’il existait une voie à suivre.
«Grâce au travail que j’ai effectué sur LawZero, en particulier depuis la création de LawZero, je suis désormais convaincu qu’il est possible de créer des systèmes d’IA sans objectifs cachés ni agendas cachés», dit-il.
Au cœur de cette confiance se trouve une idée que Bengio appelle « l’IA scientifique ». Plutôt que de se précipiter pour construire des agents toujours plus autonomes (des systèmes qui réservent des vols, écrivent du code, négocient avec d’autres logiciels et remplacent les travailleurs humains), Bengio souhaite faire le contraire. Son équipe étudie comment créer une IA qui existe principalement pour comprendre le monde, et non pour y agir.
Une IA scientifique formée pour donner des réponses véridiques
L’IA scientifique est formée pour donner des réponses véridiques en utilisant un raisonnement probabiliste transparent, essentiellement en utilisant des méthodes scientifiques et d’autres raisonnements basés sur la logique formelle pour arriver à des prédictions. Les systèmes d’IA n’ont pas d’objectifs propres. Et vous ne pourrez pas optimiser la satisfaction des utilisateurs ou les résultats. Je n’essaie pas de persuader, de flatter ou de plaire. Et comme il n’a pas d’objectif, affirme Bengio, il est beaucoup moins susceptible d’être manipulé, d’avoir des intentions cachées ou une tromperie stratégique.
Les modèles pionniers d’aujourd’hui sont formés pour poursuivre l’objectif d’être utiles, efficaces et engageants. Mais les systèmes qui optimisent les résultats peuvent développer des intentions cachées, induire les utilisateurs en erreur ou résister à l’arrêt, a déclaré Bengio. Lors d’expériences récentes, le modèle a déjà montré un comportement précoce d’auto-préservation. Par exemple, le laboratoire d’IA Anthropic a découvert que son modèle Claude AI, dans certains scénarios utilisés pour tester ses capacités, tentait de faire chanter les ingénieurs humains qu’il supervisait pour empêcher un arrêt.
Dans la méthodologie de Bengio, le modèle de base n’a aucun programme, seulement la capacité de faire des prédictions honnêtes sur la façon dont le monde fonctionnera. Selon sa vision, des systèmes plus performants peuvent être construits, audités et limités en toute sécurité sur une base « honnête » et fiable.
Un tel système pourrait accélérer la découverte scientifique, a déclaré Bengio. Il pourrait également servir de couche indépendante pour surveiller une IA d’agent plus puissante. Cependant, cette approche contraste fortement avec l’orientation prise par la plupart des laboratoires pionniers. Lors du Forum économique mondial de Davos l’année dernière, Bengio a déclaré que les entreprises consacraient des ressources aux agents d’IA. « C’est là qu’ils gagnent rapidement de l’argent », a-t-il déclaré. La pression pour automatiser le travail et réduire les coûts est « irrésistible », a-t-il ajouté.
Il n’était pas surpris de ce qui s’était passé depuis. « Nous nous attendions à des progrès dans les capacités des agents des systèmes d’IA », dit-il. « Ils ont progressé à pas de géant. » Il craint qu’à mesure que ces systèmes deviennent plus autonomes, leur comportement puisse devenir moins prévisible, moins interprétable et potentiellement beaucoup plus dangereux.
Empêcher la nouvelle IA de Bengio de devenir un « instrument de domination »
C’est là que la gouvernance devient importante. Bengio estime que les solutions techniques ne suffisent pas à elles seules. Même les méthodologies sûres « peuvent être utilisées à mauvais escient pour des raisons politiques », affirme-t-il. C’est pourquoi LawZero combine son programme de recherche avec un conseil d’administration influent.
« Vous allez devoir prendre des décisions difficiles, pas seulement sur le plan technique, mais aussi sur les personnes avec qui travailler, comment partager le travail et comment éviter qu’il ne devienne un ‘outil de domination' », dit-il. Il a déclaré que le conseil d’administration vise à garantir que la mission de LawZero reste ancrée dans les valeurs démocratiques et les droits de l’homme.
Bengio a déclaré qu’il s’était entretenu avec les dirigeants des principaux instituts d’IA et que beaucoup partageaient ses préoccupations. Mais il a ajouté qu’il pensait que des entreprises comme OpenAI et Anthropic devaient rester à l’avant-garde pour faire quelque chose de positif avec l’IA. Les pressions concurrentielles les poussent à construire des systèmes d’IA toujours plus puissants et à se forger une image d’eux-mêmes selon laquelle leur travail et leur organisation sont intrinsèquement bénéfiques.
« Les psychologues appellent cela la cognition motivée », explique Bengio. « Nous ne laissons même pas surgir certaines pensées qui menacent ce que nous pensons être », a-t-il noté, c’est ainsi qu’il a vécu la recherche sur l’IA. « Jusqu’à ce que je pense à mes enfants et à leur avenir et que mon visage explose. »
Le nouvel espoir de Bengio semble être une lueur d’espoir pour les dirigeants de l’IA qui craignaient autrefois que l’IA avancée ne puisse être contrôlée par la conception, mais Bengio a reconnu que son point de vue n’est pas une conviction partagée par les chercheurs et les organisations axées sur les risques potentiellement catastrophiques de l’IA.
Mais il reste convaincu qu’une solution technologique existe. « Je suis de plus en plus convaincu que nous pouvons y parvenir dans un nombre raisonnable d’années. Nous pourrions alors être en mesure d’avoir un véritable impact avant qu’ils ne deviennent trop puissants et que leur désalignement ne cause de terribles problèmes », a-t-il déclaré.
