Miles Brundage, un ancien chercheur politique éminent chez OpenAI, crée un institut dédié à l’idée simple selon laquelle les entreprises d’IA ne devraient pas être autorisées à noter leurs propres devoirs.
Aujourd’hui, Brundage a officiellement annoncé la création de l’AI Verification and Evaluation Institute (AVERI), une nouvelle organisation à but non lucratif dédiée à faire avancer l’idée selon laquelle les modèles d’IA frontaliers devraient être soumis à un audit externe. AVERI travaille également à établir des normes d’audit en matière d’IA.
L’annonce coïncide avec la publication d’un document de recherche co-écrit par Brundage et plus de 30 chercheurs en sécurité de l’IA et experts en gouvernance, qui fournit un cadre détaillé sur la manière dont fonctionneraient les audits indépendants des entreprises construisant les systèmes d’IA les plus puissants au monde.
M. Brundage a passé sept ans chez OpenAI en tant que chercheur politique et conseiller sur la manière dont les entreprises devraient se préparer à l’émergence d’une intelligence artificielle générale de type humain. Il a pris sa retraite de l’entreprise en octobre 2024.
« L’une des choses que j’ai apprises en travaillant chez OpenAI est que les entreprises élaborent elles-mêmes ce type de normes », a déclaré Brundage à Fortune. « Personne ne les oblige à travailler avec des experts tiers pour assurer la sécurité. Ils écrivent en quelque sorte leurs propres règles. »
Cela crée des risques. Bien que les principaux laboratoires d’IA effectuent des tests de sûreté et de sécurité et publient des rapports techniques sur les résultats d’un grand nombre de ces évaluations, certains avec l’aide d’organisations externes de type « équipe rouge », pour l’instant, les consommateurs, les entreprises et les gouvernements n’ont d’autre choix que de faire confiance à ce que les laboratoires d’IA ont à dire à propos de ces tests. Personne ne nous oblige à mener ou à rapporter ces évaluations selon des critères particuliers.
Brundage a déclaré que dans d’autres secteurs, les audits sont utilisés pour garantir au public, y compris aux consommateurs, aux partenaires commerciaux et, dans une certaine mesure, aux régulateurs, que les produits sont sûrs et ont été testés de manière rigoureuse.
« Lorsque vous achetez un aspirateur, il contient des pièces telles que des batteries qui sont testées par des laboratoires indépendants selon des normes de sécurité strictes pour garantir qu’elles ne prendront pas feu », a-t-il déclaré.
Un nouvel institut pilote les politiques et les normes
Brundage a déclaré que l’AVERI souhaite étudier les politiques visant à encourager les instituts d’IA à passer à un système d’audits externes rigoureux et quelles devraient être les normes de ces audits, mais pas à mener les audits eux-mêmes.
« Nous sommes un groupe de réflexion. Nous essayons de comprendre et de façonner cette transition », a-t-il déclaré. « Nous n’essayons pas d’attirer toutes les entreprises du Fortune 500 comme client. »
Il a déclaré que les sociétés d’expertise comptable, d’audit, d’assurance et de test existantes pourraient se lancer dans l’audit de la sécurité de l’IA, ou que des start-ups pourraient être créées pour assumer ce rôle.
AVERI a annoncé avoir levé 7,5 millions de dollars pour atteindre son objectif de 13 millions de dollars, qui couvrira un effectif de 14 et deux ans d’activité. Les bailleurs de fonds précédents incluent Halcyon Futures, Fathom, Coefficient Giving, l’ancien président de Y Combinator Geoff Ralston, Craig Falls, Good Forever Foundation, Sympatico Ventures et AI Underwriting Company.
L’organisation affirme avoir également reçu des dons d’anciens et actuels non-dirigeants d’entreprises pionnières de l’IA. « Ces gens savent où les corps ont été enterrés », a déclaré Brundage, « et ils veulent plus de responsabilités ».
Les compagnies d’assurance et les investisseurs pourraient imposer des audits de sécurité de l’IA
Brundage a déclaré qu’il pourrait y avoir plusieurs mécanismes pour encourager les sociétés d’IA à commencer à embaucher des auditeurs indépendants. La première est que les grandes entreprises qui achètent des modèles d’IA peuvent exiger des audits pour fournir une certaine assurance que les modèles d’IA qu’elles achètent fonctionnent comme promis et ne présentent pas de risques cachés.
Les compagnies d’assurance pourraient également faire pression pour mettre en place des audits IA. Par exemple, une compagnie d’assurance fournissant une assurance de continuité d’activité à une grande entreprise qui utilise des modèles d’IA pour ses processus commerciaux clés peut exiger un audit comme condition de souscription. Dans le secteur de l’assurance, des audits peuvent également être nécessaires pour rédiger des polices d’assurance pour de grandes sociétés d’IA telles que OpenAI, Anthropic et Google.
« Le secteur de l’assurance évolue certainement rapidement », a déclaré Brundage. « Nous avons beaucoup de conversations avec les compagnies d’assurance », a-t-il déclaré, soulignant qu’une compagnie d’assurance axée sur l’IA, AI Underwriting Company, a fait un don à AVERI parce qu’« elles voient la valeur des audits comme un contrôle du respect des normes qu’elles élaborent ».
Les investisseurs peuvent également demander des audits de sécurité de l’IA pour s’assurer qu’elle ne prend pas de risques inconnus, a déclaré Brundage. Étant donné que les sociétés d’investissement écrivent désormais des chèques de millions et de milliards de dollars pour financer les sociétés d’IA, il est logique que ces investisseurs exigent des audits indépendants de la sûreté et de la sécurité des produits que développent les startups à croissance rapide. Si l’un des grands laboratoires devenait public, comme OpenAI et Anthropic se prépareraient à le faire d’ici un an ou deux, sans embaucher d’auditeurs pour évaluer les risques de leurs modèles d’IA, ces sociétés pourraient être exposées à des poursuites judiciaires entre actionnaires et à des poursuites auprès de la SEC si des problèmes surgissaient ultérieurement et entraînant une baisse significative du cours des actions.
Brundage a également déclaré que les réglementations ou les accords internationaux pourraient obliger les instituts d’IA à embaucher des auditeurs indépendants. Il n’existe actuellement aucune réglementation fédérale sur l’IA aux États-Unis, et il n’est pas certain qu’il y en ait une. Le président Donald Trump a signé un décret pour sévir contre les États américains qui ont adopté leurs propres réglementations en matière d’IA. Le gouvernement affirme que cela est dû au fait qu’il estime qu’une norme fédérale unique est plus facile à comprendre pour les entreprises que plusieurs lois étatiques. Mais même si l’administration s’oriente vers une pénalisation des États qui promulguent des réglementations sur l’IA, elle n’a pas encore proposé ses propres normes nationales.
Toutefois, dans d’autres régions, les bases d’un audit sont peut-être déjà en train d’être posées. La loi européenne sur l’IA récemment promulguée n’exige pas explicitement des audits des procédures d’évaluation des entreprises d’IA. Mais son « Code de bonnes pratiques pour l’IA à usage général » ressemble davantage à un modèle sur la manière dont les laboratoires d’IA de pointe peuvent se conformer à la loi, affirmant que les laboratoires qui construisent des modèles susceptibles de présenter un « risque systémique » doivent fournir un accès gratuit à des évaluateurs externes pour tester les modèles. La loi elle-même stipule que si une organisation déploie l’IA pour des cas d’utilisation « à haut risque », tels que la souscription de prêts, la détermination de l’éligibilité à la sécurité sociale ou la prise de décisions en matière de soins de santé, le système d’IA doit subir une « évaluation d’adéquation » externe avant d’être mis sur le marché. Certains interprètent ces dispositions de la loi et du code comme impliquant intrinsèquement la nécessité d’auditeurs indépendants.
Établir un « niveau d’assurance » et trouver un auditeur suffisamment qualifié
Un document de recherche publié parallèlement au lancement d’AVERI présente une vision globale de ce à quoi devrait ressembler un audit d’IA aux frontières. Le rapport propose un cadre de « niveaux d’assurance de l’IA » du niveau 1, qui comprend des tests par des tiers mais avec un accès limité et similaire aux évaluations externes que l’AI Institute commande actuellement aux entreprises, jusqu’au niveau 4, qui fournit une assurance « de niveau traité » suffisante pour les accords internationaux sur la sécurité de l’IA.
Construire un cadre d’auditeurs IA qualifiés présente des défis uniques. L’audit de l’IA nécessite une combinaison d’expertise technique et de connaissances en gouvernance, que peu de gens possèdent. Et ceux qui effectuent des audits d’IA sont souvent tentés par les offres lucratives des entreprises qu’ils auditent.
Brundage a reconnu les défis, mais a déclaré qu’ils pouvaient être surmontés. Il a parlé de mélanger des personnes d’horizons différents pour constituer une « équipe de rêve » dotée des compétences appropriées. « Il peut y avoir des personnes provenant de cabinets d’audit existants, d’autres de sociétés de tests d’intrusion en matière de cybersécurité, d’autres d’organisations à but non lucratif spécialisées dans la sécurité de l’IA et peut-être des universitaires », a-t-il déclaré.
Dans d’autres secteurs, de l’énergie nucléaire à la sécurité alimentaire, les normes et les examens indépendants sont souvent déclenchés par des catastrophes, ou du moins par des situations évitées de justesse. Brundage a déclaré que l’espoir est qu’en tirant parti de l’IA, une infrastructure et des normes d’audit pourront être établies avant qu’une crise ne survienne.
« De mon point de vue, l’objectif est d’atteindre un niveau de contrôle proportionné à l’impact et aux risques réels de la technologie, de la manière la plus fluide et la plus rapide possible, sans aller trop loin », a-t-il déclaré.
