Si la Silicon Valley et le Saint-Siège sont d’accord, cela vaut la peine de se demander ce qu’ils savent et que le gouvernement ne sait pas.
Lundi, le pape Léon XIV a publié sa première encyclique, Magnifica Humanitas, appelant au désarmement et à la réglementation de l’IA pour le bénéfice de l’humanité. À ses côtés au Vatican se trouvait Christopher Oler, co-fondateur d’Anthropic, qui a reconnu que les sociétés d’IA opèrent « dans le cadre d’un ensemble d’incitations et de contraintes qui sont parfois en contradiction avec la bonne chose ». Par ailleurs, le PDG d’Anthropic, Dario Amodei, a déclaré que « la prochaine couche de risque réside en fait dans les sociétés d’IA elles-mêmes » et que les dirigeants de l’IA, y compris lui-même, ne devraient pas décider de l’avenir de la technologie.
C’est ce que les concepteurs de certains des systèmes d’IA les plus talentueux qui existent disent au monde qu’ils ne peuvent pas se gouverner eux-mêmes. La question n’est plus de savoir si nous avons besoin d’une gouvernance mondiale de l’IA. La question est de savoir si l’on peut le concevoir avant qu’une crise ne survienne et la réponse devient claire pour tout le monde.
L’industrie le sait et le dit
Rares sont les acteurs sérieux du secteur qui contestent les principaux risques : perturbation du marché du travail, armes autonomes, sécurité des enfants, surveillance de masse, érosion de la surveillance humaine et perspective de systèmes capables d’auto-amélioration récursive. Anthropic a construit une politique constitutionnelle en matière d’IA et de mise à l’échelle responsable. OpenAI maintient un cadre structuré de préparation de l’équipe rouge. Ce sont des efforts sérieux. Ils partagent une limite structurelle : ils sont internes. Chaque entreprise fixe ses propres seuils et niveaux de transparence.
La gouvernance interne ne peut pas résoudre les problèmes externes. Les entreprises qui développent une IA de pointe opèrent dans un environnement concurrentiel où la retenue unilatérale est un impératif stratégique. Des entreprises qui ralentissent alors que leurs concurrents n’ont pas rendu le monde plus sûr. Elle a simplement perdu du terrain. La même chose s’applique aux nations. Aucun gouvernement ne peut contrôler de manière fiable ses propres entreprises à moins que la Chine et les autres puissances en matière d’IA ne soient liées par des engagements similaires. Le résultat est un échec classique de l’action collective. Tout le monde comprend les risques. Personne n’est personnellement incité à payer l’intégralité du coût de la résolution d’un problème. Ce n’est pas un problème de marché. C’est une question d’architecture de gouvernance.
L’analogie appropriée est financière et non nucléaire.
La comparaison la plus courante est celle du contrôle des armes nucléaires. C’est une fausse analogie. Les armes nucléaires étaient un projet national doté d’installations identifiables et d’essais vérifiables. L’IA avancée est développée par des acteurs privés sur des infrastructures commerciales déjà installées dans le monde.
Le système financier fournit un modèle plus utile. Les banques sont connectées en temps réel et se livrent à une concurrence féroce entre les juridictions, et les risques systémiques liés au financement du terrorisme et à la criminalité financière ne peuvent être maîtrisés par une seule institution. La réponse s’est construite autour du cadre normatif du GAFI du G20, combinant des normes communes, des normes opérationnelles, des obligations du gouvernement et du secteur privé, des examens d’experts et les conséquences concrètes des violations. Bien que loin d’être parfait, il a modifié les comportements à grande échelle sans nécessiter un processus de ratification du traité de plusieurs décennies. Cela est dû au fait qu’il a réparti les tâches de sécurité entre le gouvernement et le secteur privé, les répartissant au sein d’une coalition suffisamment large pour éviter toute responsabilité.
J’ai passé des années à concevoir et à évaluer ces normes, notamment à diriger une collaboration internationale contre le financement de l’Etat islamique et à façonner le cadre de crypto-monnaie qui est désormais adopté par plus de 120 pays. J’ai directement évalué le programme de conformité de chaque pays. Je pense avoir appris ce qui fait fonctionner les mécanismes de responsabilisation et ce qui conduit à l’échec.
À quoi ressemblera la gouvernance ?
Une architecture de gouvernance de l’IA viable ne commence pas par des spécifications techniques mais par des normes de haut niveau : un engagement partagé envers le risque qui fait déjà l’objet d’un véritable consensus. Ces normes se traduisent en standards qui mesurent les résultats du monde réel, plutôt que de prescrire des processus techniques qui deviennent obsolètes en quelques mois. Un groupe d’experts indépendants, composé de représentants des secteurs public et privé, évaluera si les entreprises et les États respectent ces normes. Et ce mécanisme doit avoir des conséquences. La conformité débloque la confiance, l’accès au marché et la coopération. La non-conformité entraîne une augmentation des coûts. Une compréhension bilatérale entre les États-Unis et la Chine est essentielle, mais elle n’est pas suffisante. Seules des coalitions plus larges comme le G20 peuvent traduire la retenue en pression mondiale durable.
les fenêtres ne sont pas illimitées
Certaines estimations fiables suggèrent que l’intelligence artificielle générale (des systèmes plus performants que les humains dans la plupart des domaines) émergera dès 2030. Lorsque les machines dépasseront les capacités humaines, seule une réponse collective sera appropriée pour l’humanité. Aucune entreprise ni aucun pays ne peut gérer cela seul.
Amodei a appelé les dirigeants d’IA et les gouvernements à être honnêtes sur la rapidité avec laquelle cette situation évolue. Le Pape nous a appelé à désarmer la technologie avant qu’elle ne nous désarme. Ola s’est rendu au Vatican pour constater les problèmes d’incitation auxquels est confrontée son industrie. L’antithèse même de l’autorité humaine, l’amalgame entre moralité et commerce, est une donnée que les décideurs politiques ne peuvent ignorer.
La communauté internationale s’est traditionnellement unie autour de risques existentiels communs, notamment la prolifération nucléaire, le financement du terrorisme et l’effondrement financier à l’échelle du système. Il a établi un mécanisme de régulation imparfait mais finalement durable. L’IA exige la même chose, et de manière plus urgente. Les risques pour l’humanité sont d’un ordre de grandeur. La catastrophe n’est pas hypothétique. Attendre pour gouverner après qu’un problème survienne ne le résoudra pas. C’est la reddition.
Les gouvernements et les organisations internationales doivent désormais organiser ce processus. Nous réunissons les personnes qui construisent ces systèmes et comprennent leurs modes de défaillance de l’intérieur, ainsi que des experts possédant une expérience durement acquise dans la coordination entre des parties qui ne se font pas confiance, telles que les pays et les concurrents commerciaux, et dans la traduction des risques partagés en engagements contraignants. La fenêtre se ferme. Nous devons à nos enfants une gouvernance construite avant, et non en réponse, à la catastrophe.
Les opinions exprimées dans les articles de commentaires de Fortune.com sont uniquement celles de l’auteur et ne reflètent pas nécessairement les opinions ou les croyances de Fortune.
