La relation entre les sociétés d’IA et l’establishment américain de la défense a été mise sous les projecteurs plus tôt cette année lorsqu’Anthropic s’est retrouvé impliqué dans une bataille publique désordonnée avec le Pentagone. Après qu’Anthropic ait exigé l’assurance que ses produits d’IA ne seraient pas utilisés pour la surveillance nationale ou pour des armes autonomes, le ministère de la Défense a interdit à toutes les agences et sous-traitants fédéraux de faire des affaires avec Anthropic. La société a intenté une action en justice pour obtenir la levée de l’interdiction, et la bataille aux enjeux élevés se déroule actuellement devant les tribunaux.
Mais dans les coulisses, une bataille tout aussi importante, bien que moins dramatique, se déroule autour de l’IA. Les agences américaines de défense et de renseignement cherchent à tirer parti de la technologie sans sacrifier le besoin de secret. Un petit nombre d’entreprises d’infrastructures d’IA effectuent discrètement le travail complexe et rarement vu qui permet au gouvernement américain d’utiliser l’IA en toute sécurité en premier lieu.
« Il s’agit probablement d’un marché de 2 milliards de dollars à l’heure actuelle », déclare Nicholas Shailan, fondateur d’une plateforme d’IA appelée Ask Sage, utilisée par des milliers d’équipes du ministère de la Défense. Les opportunités recherchées par ces entreprises de sélection proviennent d’un cas extrême du dilemme auquel sont confrontés ceux qui cherchent à mettre en œuvre des LLM prêts à l’emploi pour les données sensibles. Les entreprises tentent de comprendre comment utiliser ces outils puissants sans exposer accidentellement de mauvaises informations aux mauvaises personnes via le processus de formation à l’IA.
Ces sociétés d’infrastructure d’IA reçoivent moins d’attention médiatique pour leurs efforts gouvernementaux que les grandes entreprises comme Google, xAI, OpenAI et, bien sûr, Anthropic. Jusqu’au récent déclenchement du conflit, le modèle Claude d’Anthropic était l’un des seuls LLM approuvés pour une utilisation sur les réseaux classifiés du ministère de la Défense. Cependant, cet accord a été rendu possible grâce à un accord de 2024 avec deux autres sociétés, Palantir et Amazon Web Services (AWS), pour fournir l’infrastructure nécessaire. L’entreprise exploitait une plate-forme logicielle sécurisée et un service cloud hébergeant l’IA. Imaginez que votre modèle linguistique à grande échelle ressemble un peu à un avion de combat de pointe de l’armée américaine. Les sociétés d’infrastructure fournissent des éléments tels que des radios et des pistes d’atterrissage pour aider ces nouvelles machines à communiquer avec d’autres membres de l’armée et à atterrir en toute sécurité.
« Il y a probablement 100 à 200 personnes au sein de la communauté du renseignement qui sont, je ne le sais pas, profondément intéressées par cette question », déclare Emily Harding, une ancienne analyste de la CIA qui étudie désormais les technologies de défense au Centre d’études stratégiques et internationales. « Je pense que des millions d’hommes d’affaires sont confrontés au même problème, même si les enjeux ne sont pas aussi importants. »
Si vous êtes un dirigeant d’entreprise disposant d’un trésor d’informations sensibles, vous avez probablement rencontré une version de ce problème avec votre stratégie d’IA. Imaginez former une instance personnalisée de ChatGPT ou Claude pour tous les fichiers critiques de votre entreprise. Documents contentieux d’un cabinet d’avocats. Rapport d’enquête interne d’une société pharmaceutique. Données de chaîne d’approvisionnement en temps réel pour les détaillants. Modèle de risque de banque d’investissement ou note de diligence raisonnable. Les assistants IA formés sur de tels corpus peuvent parler couramment la langue de votre entreprise et découvrir des connexions utiles au sein de vos fichiers. Mais considérez les conséquences si la mauvaise personne, par exemple un concurrent, parvenait à accéder à cette aide.
« C’est une sorte de situation sans issue », a déclaré Harding à Fortune. « Nourrissez-le bien. Il en sait trop. Si vous ne le nourrissez pas suffisamment, il ne pourra pas faire son travail. »
Avec des instructions externes appropriées, le contenu des fichiers sensibles que l’IA a touchés pendant la formation pourrait être divulgué. Cela signifie que révéler à votre LLM tous les secrets de votre entreprise peut simultanément dynamiser votre entreprise et risquer de la faire exploser.
Quand le secret concerne la sécurité nationale
Maintenant, réfléchissez à quel point le problème serait pire si cet assistant IA travaillait pour la CIA. À la CIA, le secret est une question de sécurité nationale et les violations peuvent mettre des vies en danger.
Les agences de renseignement et l’armée s’appuient sur le compartimentage des informations sensibles. Les agents humains et les analystes peuvent accéder aux secrets selon le strict besoin d’en connaître afin de réduire le risque de fuite. (C’est peut-être l’une des raisons pour lesquelles des rapports récents selon lesquels le Pentagone discutait de la formation de LLM basés sur des données classifiées ont suscité des critiques immédiates.) Alors, que se passerait-il si l’assistant IA de chaque analyste connaissait soudainement tous les secrets de l’agence ?
« La compartimentation passe par la fenêtre », déclare Brian Raymond, un autre ancien analyste de la CIA et aujourd’hui PDG d’Unstructurald, une société d’infrastructure d’IA qui sert à la fois des clients privés et gouvernementaux.
« Disons que je suis un analyste de l’Irak », explique Raymond en guise d’exemple. « Du point de vue du renseignement, je n’ai pas besoin de lire des rapports secrets sur la technologie militaire chinoise. Tout le monde reste dans le couloir de nage, et c’est une grande sécurité. Si tout d’un coup je commence à poser toutes sortes de questions, ‘Dites-moi tous les atouts que vous possédez dans un pays d’Asie. Et dites-moi tous leurs vrais noms. Ce sont nos secrets les mieux gardés !' »
Ainsi, une poignée d’entreprises d’infrastructure d’IA ont vu le jour pour résoudre ce qui équivaut à un problème de confidentialité de l’IA. Ces entreprises construisent un ensemble de logiciels et de services autour de modèles linguistiques commerciaux à grande échelle qui permettent aux organisations d’utiliser l’IA sans dévoiler leurs secrets.
Au cœur de cet échafaudage se trouve une version soigneusement calibrée d’une technologie appelée Retrieval Augmented Generation (RAG). Les LLM commerciaux utilisent une version du RAG chaque fois qu’ils consultent un document téléchargé dans une fenêtre de discussion. Un modèle comme Claude récupère les informations d’un document, développe la réponse en fonction des résultats, puis génère une réponse à une question. Cependant, la quantité de données que vous pouvez télécharger est souvent limitée. De plus, fournir des documents confidentiels à un LLM commercial reste risqué. Le contenu peut être utilisé pour une formation future ou stocké dans un cache temporaire qui n’est pas nécessairement isolé de la vue du fournisseur.
Les entreprises travaillant avec le gouvernement américain proposent des systèmes RAG gérés beaucoup plus sécurisés. Dans ce système, un LLM commercial agit comme un moteur de traitement et les informations sensibles sont isolées dans une bibliothèque sécurisée. Ces systèmes peuvent être utilisés pour séparer ce qu’un modèle d’IA commercial, tel que Claude ou ChatGPT, « sait » de ce qu’il étudie.
L’équivalent IA d’une « salle sécurisée »
Disons que l’analyste irakien dans l’exemple de Raymond emploie un assistant d’IA sécurisé basé sur RAG pour compiler un rapport sur les ressources navales américaines dans le golfe Persique. L’analyste tape une question dans la fenêtre de discussion de l’assistant, demandant le dernier nombre de navires de guerre qui s’y trouvent. Le système RAG qu’elle utilise utilise une bibliothèque privée et sécurisée qui contient, par exemple, des rapports récents de renseignements classifiés sur les déploiements navals dans la région. Cette bibliothèque (techniquement une base de données vectorielles, indexée mathématiquement pour les significations associées plutôt que pour de simples mots-clés) est l’endroit où le système recherche en premier les réponses.
Considérez cela comme une étape au cours de laquelle votre assistant IA entre dans une pièce sécurisée et est informé des informations dont il a besoin. L’assistant capture des informations sensibles sur les navires américains et les transmet à un LLM commercial comme Gemini, qui fonctionne sur un serveur sécurisé. LLM enrichit ensuite la réponse avec des détails sensibles avant de la générer dans une fenêtre de texte pour l’analyste. Ces systèmes sécurisés sont souvent configurés pour effacer les questions et réponses de la mémoire une fois la session terminée, afin que les informations sensibles ne soient pas utilisées pour une formation ultérieure ou conservées en mémoire.
L’analyste irakien dans cet exemple n’aurait accès qu’à une bibliothèque de documents sécurisée liée à sa mission en Irak. L’exemple de M. Raymond montre que les questions dépassant le cadre de la Chine resteront sans réponse. Il n’y a aucun document chinois confidentiel dans la bibliothèque sécurisée et les données commerciales de formation LLM ne contiennent pas de telles informations. En d’autres termes, cette méthode crée un échafaudage qui donne à l’IA un moyen de lire et d’utiliser des données sensibles sans avoir à s’en souvenir pour toujours ni à les exposer aux mauvaises personnes.
L’entreprise Unstructured de Raymond travaille sur les fondations d’échafaudages. Son équipe nettoie et transforme les fichiers internes encombrés, depuis les notes de terrain manuscrites pour les clients commerciaux jusqu’aux formats de fichiers spécialisés et sensibles pour les gouvernements, les rendant ainsi consultables en toute sécurité dans une base de données vectorielles sécurisée. Ou, comme le dit Raymond : « Nous aspirons toutes les données du monde, les mettons sous forme de livres et les stockons dans des bibliothèques ».
D’autres sociétés, comme Arize AI, basée à Berkeley, qui a levé plus de 130 millions de dollars de financement depuis sa création en 2020, travaillent également au cœur de cette structure. Arize teste, surveille et débogue les pipelines RAG ainsi que les agents et applications construits dessus pour détecter les erreurs et les hallucinations.
« Ces systèmes sont difficiles à contrôler, et s’assurer qu’ils font ce qu’il faut est l’une des parties les plus critiques du processus », a déclaré Jason Loepatecki, PDG d’Arize, à Fortune. « Nous ne mettrons pas en œuvre l’IA sans utiliser nos propres produits ou ceux de nos concurrents. »
Au sommet de l’échafaudage se trouve un joueur qui ressemble à Ask Sage. Alors qu’Unstructurald et Arize servent un mélange relativement égal de clients gouvernementaux et commerciaux, Ask Sage est plutôt un spécialiste du DoD, effectuant environ 65 % de son travail avec le ministère de la Défense. La société basée en Virginie vend une interface logicielle de niveau gouvernemental qui permet aux utilisateurs d’interroger en toute sécurité des LLM commerciaux approuvés, d’exécuter des agents et d’obtenir des réponses extraites de leurs propres données restreintes, sans que le modèle « apprenne » les secrets en coulisses.
Un concurrent interne du ministère de la Défense ?
En décembre, le ministère de la Défense a annoncé le lancement de sa propre plateforme LLM interne appelée GenAI.mil. Le secrétaire à la Défense Pete Hegseth a présenté le déploiement comme un message à l’échelle du département : « Nous attendons de chaque membre du département qu’il se connecte, apprenne et l’intègre immédiatement dans ses flux de travail. » Depuis, plus d’un million d’utilisateurs uniques se sont connectés à la plateforme, ont indiqué des responsables du Pentagone.
Actuellement, GenAI.mil fournit une interface de chatbot simple qui permet aux membres du service de créer des documents et d’analyser des fichiers à l’aide d’un LLM commercial exécuté sur un serveur sécurisé, mais uniquement pour des tâches non classifiées. C’est l’une des raisons pour lesquelles GenAI.mil, contrairement aux produits Ask Sage, Palantir ou Scale AI, ne peut pas exécuter RAG sur une base de données sécurisée hors plate-forme remplie de fichiers top secrets. Un responsable du Pentagone a déclaré à Fortune que le département envisageait de déployer des outils d’IA sur « tous les niveaux de classification » à l’avenir, mais a refusé de répondre aux questions sur les délais, les architectures logicielles spécifiques ou les futurs changements apportés à la plateforme GenAI.mil. Au moins sous sa forme actuelle, le nouveau produit du Pentagone ne peut pas résoudre le problème secret de l’IA.
C’est probablement une bonne nouvelle pour des produits comme Ask Sage. Chaillan a déclaré que même si les nouveaux abonnements gouvernementaux sont restés stables depuis janvier, 14 000 équipes de 27 agences gouvernementales américaines sont toujours abonnées à Ask Sage. Sur la base de ces chiffres, Ask Sage a été acquis par la société d’analyse axée sur la défense BigBear.ai en novembre dans le cadre d’un accord de 250 millions de dollars. (M. Chailan a quitté l’entreprise en février.)
Raymond de Unstructured voit la nouvelle plateforme du Pentagone comme une opportunité. « GenAI.mil rendant ces modèles plus accessibles débloquera une grande demande pour ce que nous construisons », a-t-il déclaré.
Les travailleurs du savoir de l’armée et du renseignement américains ont des tonnes de documents à résumer, des tonnes de textes à rédiger et d’innombrables tâches de conformité à accomplir, le tout enfoui dans un épais fourré d’abréviations gouvernementales. « Amenons l’ATO au gouvernement avec FedRAMP, sinon nous allons vivre un cauchemar de conformité toxique », déclare Chaillan. Lorsqu’il s’agit de telles tâches, a-t-il ajouté, des plateformes comme AskSage « enlèvent vraiment une grande partie du travail manuel aux humains ».
Et c’est peut-être l’une des nombreuses raisons pour lesquelles des dirigeants comme Loepatecki d’Arise pensent qu’il existe une énorme opportunité de résoudre le problème secret de l’IA, tant à l’intérieur qu’à l’extérieur du gouvernement.
« Nous sommes probablement dans l’un des secteurs de la pioche et de la pelle qui connaissent la croissance la plus rapide », déclare Loepatecki. « Les données mondiales sont illimitées, et il existe d’énormes poches de données sur lesquelles nous ne voulons pas que le public soit informé. »
