Campbell Brown a passé sa carrière à rechercher des informations précises, d’abord en tant que journaliste de télévision renommée, puis en tant que première et unique responsable de l’information dévouée de Facebook. Aujourd’hui, en regardant l’IA remodeler la façon dont les gens consomment l’information, elle voit l’histoire menacer de se répéter. Cette fois, elle n’attend pas que quelqu’un d’autre répare le problème.
Son entreprise, Forum AI – dont elle a discuté récemment avec Tim Fernholz de TechCrunch lors d’une soirée StrictlyVC à San Francisco – évalue les performances des modèles de fondation sur ce qu’elle appelle des « sujets à enjeux élevés » – géopolitique, santé mentale, finance, recrutement – des sujets pour lesquels « il n’y a pas de réponses claires par oui ou par non, où c’est trouble, nuancé et complexe ».
L’idée est de trouver les plus grands experts mondiaux, de leur demander de concevoir des références, puis de former des juges en IA pour évaluer les modèles à grande échelle. Pour le travail géopolitique de Forum AI, Brown a recruté Niall Ferguson, Fareed Zakaria, l’ancien secrétaire d’État Tony Blinken, l’ancien président de la Chambre Kevin McCarthy et Anne Neuberger, qui a dirigé la cybersécurité dans l’administration Obama. L’objectif est d’amener les juges de l’IA à un consensus d’environ 90 % avec ces experts humains, un seuil que Forum AI a pu atteindre, selon elle.
Brown retrace l’origine de Forum AI, fondé il y a 17 mois à New York, à un moment précis. « J’étais chez Meta lorsque ChatGPT a été rendu public pour la première fois », se souvient-elle, « et je me souviens très peu de temps après avoir réalisé que ce serait l’entonnoir par lequel toutes les informations circuleraient. Et ce n’est pas très bon. » Les implications pour ses propres enfants ont rendu ce moment presque existentiel. «Mes enfants vont être vraiment stupides si nous ne trouvons pas comment résoudre ce problème», se souvient-elle.
Ce qui la frustrait le plus, c’était que la précision ne semblait être la priorité de personne. Les entreprises modèles de base, a-t-elle déclaré, sont « extrêmement concentrées sur le codage et les mathématiques », alors que l’actualité et l’information sont plus difficiles. Mais plus dur, a-t-elle soutenu, ne veut pas dire facultatif.
En effet, lorsque Forum AI a commencé à évaluer les principaux modèles, les résultats n’étaient pas vraiment encourageants. Elle a cité Gemini s’appuyant sur les sites Web du Parti communiste chinois « pour des histoires qui n’ont rien à voir avec la Chine », et a noté un parti pris politique de gauche dans presque tous les modèles. Les échecs plus subtils abondent également, a-t-elle déclaré, notamment le manque de contexte, le manque de perspectives, les arguments de paille sans reconnaissance. « Il y a un long chemin à parcourir », a-t-elle déclaré. « Mais je pense aussi qu’il existe des solutions très simples qui amélioreraient considérablement les résultats. »
Brown a passé des années chez Facebook à observer ce qui se passe lorsqu’une plateforme est optimisée pour la mauvaise chose. « Nous avons échoué dans beaucoup de choses que nous avons essayées », a-t-elle déclaré à Fernholz. Le programme de vérification des faits qu’elle a construit n’existe plus. La leçon, même si les médias sociaux ont fermé les yeux, est que l’optimisation de l’engagement a été néfaste pour la société et a laissé beaucoup de gens moins informés.
Elle espère que l’IA pourra briser ce cycle. « Pour le moment, cela pourrait aller dans un sens ou dans l’autre », a-t-elle déclaré ; les entreprises pourraient donner aux utilisateurs ce qu’ils veulent, ou elles pourraient « donner aux gens ce qui est réel, ce qui est honnête et ce qui est véridique ». Elle a reconnu que la version idéaliste de cela – l’optimisation de l’IA pour la vérité – pouvait sembler naïve. Mais elle pense que l’entreprise pourrait être un allié improbable dans ce cas. Les entreprises qui utilisent l’IA pour les décisions de crédit, les prêts, les assurances et l’embauche se soucient de la responsabilité, et « elles voudront que vous optimisiez pour bien faire les choses ».
C’est également sur cette demande des entreprises que Forum AI parie, même si transformer l’intérêt de la conformité en revenus constants reste un défi, d’autant plus qu’une grande partie du marché actuel se contente encore d’audits de cases à cocher et de références standardisées que Brown considère comme inadéquates.
Le paysage de la conformité, a-t-elle déclaré, est « une plaisanterie ». Lorsque la ville de New York a adopté la première loi sur les préjugés en matière d’embauche exigeant des audits d’IA, le contrôleur de l’État a découvert que plus de la moitié des cas avaient des violations qui n’étaient pas détectées. Une véritable évaluation, a-t-elle déclaré, nécessite une expertise dans le domaine pour travailler non seulement sur des scénarios connus, mais aussi sur des cas extrêmes qui « peuvent vous causer des ennuis auxquels les gens ne pensent pas ». Et ce travail prend du temps. « Les généralistes intelligents ne suffiront pas. »
Brown – dont l’entreprise a levé 3 millions de dollars l’automne dernier sous la direction de Lerer Hippeau – est particulièrement bien placé pour décrire le décalage entre l’image de soi de l’industrie de l’IA et la réalité de la plupart des utilisateurs. « Les dirigeants des grandes entreprises technologiques vous disent : ‘Cette technologie va changer le monde’, ‘elle va vous mettre au chômage’, ‘elle va guérir le cancer' », a-t-elle déclaré. « Mais pour une personne normale qui utilise simplement un chatbot pour poser des questions de base, elle reçoit encore beaucoup de réponses bâclées et erronées. »
La confiance dans l’IA est extrêmement faible et elle pense que le scepticisme est, dans de nombreux cas, justifié. « La conversation se déroule en quelque sorte dans la Silicon Valley autour d’une chose, et une conversation totalement différente a lieu parmi les consommateurs. »
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
