C’est humain de faire des erreurs. Pardonne-moi, mon Dieu. Cependant, si des « agents » d’IA autonomes doivent prendre en charge des tâches traditionnellement exécutées par des humains, quelle quantité d’erreurs sont autorisées ?
Lors du récent événement Brainstorm AI de Fortune à San Francisco, une table ronde d’experts a abordé ce problème et des initiés ont expliqué comment leurs entreprises abordent la sécurité et la gouvernance. Ce problème transcende les défis plus pratiques tels que les données et la puissance de calcul. Les entreprises s’empressent de parachuter dans leurs flux de travail des agents d’IA capables d’accomplir des tâches de manière autonome avec peu de supervision humaine. Cependant, de nombreuses entreprises sont confrontées à une contradiction fondamentale qui a considérablement ralenti leur adoption. Il faut de la confiance pour avancer rapidement, mais instaurer la confiance prend beaucoup de temps.
Dev Rishi, directeur général de l’IA chez Rubrik, a rejoint la société de sécurité l’été dernier après l’acquisition de Predibase, sa startup d’IA d’apprentissage profond. Il a ensuite passé quatre mois à rencontrer des dirigeants de 180 entreprises. Il a déclaré au public du Brainstorming AI qu’il avait utilisé ces informations pour décomposer le déploiement de l’IA des agents en quatre étapes. (Au Level Set, le déploiement d’agents fait référence aux entreprises qui déploient des systèmes d’IA qui fonctionnent de manière autonome plutôt que de répondre aux invites.)
Selon les apprentissages de Rishi, les quatre phases qu’il a découvertes comprennent une phase d’expérimentation précoce au cours de laquelle les entreprises travaillent dur pour prototyper des agents et cartographier des objectifs qu’elles pensent pouvoir être intégrés dans les flux de travail. Rishi a déclaré que la deuxième étape est la plus difficile. C’est à ce moment-là que les entreprises font passer leurs agents du prototypage à la production formelle. La troisième phase consiste à étendre ces agents autonomes à l’ensemble de l’entreprise. La quatrième et dernière étape, que personne à qui Rishi a parlé n’a encore franchie, est l’IA autonome.
Environ la moitié des 180 entreprises en étaient au stade de l’expérimentation et du prototypage, et 25 % travaillaient dur pour formaliser leurs prototypes, a déclaré Rishi. 13 % supplémentaires étaient en phase de mise à l’échelle et les 12 % restants n’avaient pas lancé de projet d’IA. Mais Rishi prédit des changements spectaculaires à venir. La feuille de route prévoit que les personnes appartenant à la tranche de 50 % passeront à la phase 2 au cours des deux prochaines années.
« Je pense que nous allons bientôt voir beaucoup d’embauches », a déclaré Rishi au public.
Il a toutefois souligné qu’il existe des risques importants qui empêchent les entreprises d’agir « rapidement et avec force » lorsqu’il s’agit d’accélérer l’adoption des agents d’IA sur le marché du travail. Ce risque, et le principal facteur empêchant le déploiement généralisé d’agents, est la sécurité et la gouvernance, a-t-il déclaré. En conséquence, les entreprises ont du mal à passer du statut d’agents utilisés pour la recherche de connaissances à celui d’agents orientés vers l’action.
« Notre objectif est vraiment d’accélérer la transformation de l’IA », a déclaré Rishi. « Je pense que le plus grand facteur de risque, le plus gros goulot d’étranglement est le risque (en lui-même). »
Intégrer les agents aux employés
Kathleen Peters, directrice de l’innovation chez Experian et responsable de la stratégie produit, a déclaré que le ralentissement est dû à un manque de compréhension des risques et des sécurités requises lorsque les agents d’IA outrepassent les garde-fous mis en place par les entreprises.
« Si quelque chose ne va pas, si nous avons des hallucinations, s’il y a une panne de courant, vers quoi devons-nous nous tourner ? » elle a interrogé. « Selon le secteur, l’une des choses que certains dirigeants veulent comprendre est : « Comment puis-je me sentir en sécurité ? »
Comprendre cette partie variera d’une entreprise à l’autre et sera probablement particulièrement difficile pour les entreprises des secteurs hautement réglementés, a-t-il noté. Chandu Nair, vice-président senior des données, de l’IA et de l’innovation chez le détaillant de rénovation domiciliaire Lowe’s, a noté que même s’il est « assez facile » de créer un agent, les gens ne comprennent pas ce qu’est un agent. « Sont-ils des employés du numérique ? » Est-ce la main d’œuvre ? Comment s’intègre-t-il dans la structure organisationnelle ?
« C’est comme embaucher un groupe de personnes sans disposer d’une fonction RH », a déclaré Nile. « Nous avons donc beaucoup d’agents, mais nous n’avons tout simplement pas de moyen de les cartographier correctement, et c’est là que l’accent a été mis. »
L’entreprise est aux prises avec certaines de ces questions, comme celle de savoir qui est responsable en cas de problème. « Il est difficile de retracer cette histoire », a déclaré Nile.
Peters d’Experian a prédit qu’au cours des prochaines années, bon nombre de ces questions seront discutées en public, même si les conversations se déroulent simultanément à huis clos dans les salles de conseil et dans les comités de conformité et de stratégie de haut niveau.
« En fait, je pense que quelque chose de grave va se produire », a déclaré Peters. « Des violations se produiront. Il y aura des agents qui se comporteront mal de manière inattendue. Et cela fera la une des journaux très intéressants. »
Une grande explosion attirerait beaucoup d’attention et entraînerait des risques pour la réputation, a poursuivi Peters. Cela conduirait probablement à des discussions délicates sur la responsabilité concernant les logiciels et les agents, ce qui conduirait probablement à une réglementation accrue, a-t-il déclaré.
« Alors que nous réfléchissons à ces nouvelles méthodes de travail, je pense que cela fera partie de la gestion du changement dans la société », déclare Peters.
Il existe néanmoins des exemples concrets de la manière dont l’IA peut bénéficier aux entreprises lorsqu’elle est mise en œuvre de manière à trouver un écho auprès des employés et des clients.
Nair a déclaré que Lowe’s avait jusqu’à présent constaté une forte mise en œuvre de l’IA dans ses opérations, avec un retour sur investissement « tangible ». Par exemple, parmi nos 250 000 associés se trouvent des agents possédant une connaissance approfondie des produits dans nos magasins de 100 000 pieds carrés vendant de tout, du matériel électrique à la peinture en passant par les fournitures de plomberie. La plupart des nouveaux venus dans la main-d’œuvre de Lowe’s ne sont pas des artisans, et les collègues agents ont jusqu’à présent été « la technologie adoptée la plus rapidement », a déclaré Nair.
« Il était important de définir des cas d’utilisation adaptés à nos clients », a-t-il déclaré. Lorsqu’il s’agit de piloter la gestion du changement dans les magasins, « si le produit est bon et ajoute de la valeur, l’adoption démarrera rapidement ».
Qui surveille les agents ?
Mais pour ceux qui travaillent au siège, les techniques de gestion du changement doivent être différentes, ce qui ajoute encore plus de complexité, a-t-il ajouté.
Et de nombreuses entreprises sont confrontées à une autre question naissante : doivent-elles créer leurs propres agents ou s’appuyer sur les capacités d’IA développées par les grands éditeurs de logiciels ?
Rakesh Jain, directeur exécutif de l’ingénierie cloud et IA du système de santé Mass General Brigham, a déclaré que son organisation adoptait une approche attentiste. Les principales plates-formes telles que Salesforce, Workday et ServiceNow créent leurs propres agents. Par conséquent, si son organisation crée ses propres agents en même temps, cela pourrait créer une redondance.
« S’il y a une pénurie, nous voulons créer notre propre agent », a déclaré Jain. « Sinon, vous compterez sur des agents d’achat créés par des fournisseurs de produits. »
Dans le domaine de la santé, la surveillance humaine est très nécessaire compte tenu des risques élevés, a déclaré Jain.
« La complexité d’un patient ne peut pas être déterminée par un algorithme », dit-il. « Cela doit impliquer des humains. » D’après son expérience, les agents peuvent accélérer la prise de décision, mais les humains doivent encore prendre la décision finale, et les médecins vérifient tout avant d’agir.
Néanmoins, Jain estime également qu’il existe un grand potentiel d’amélioration à mesure que la technologie évolue. En radiologie, par exemple, un personnel formé, basé sur l’expertise de plusieurs médecins, peut être capable de détecter des tumeurs dans des tissus denses qu’un seul radiologue pourrait manquer. Mais même avec des agents formés par plusieurs médecins, « le jugement humain reste nécessaire », a déclaré Jain.
Et il existe toujours la menace d’une intervention excessive de la part d’agents soi-disant dignes de confiance. Il a comparé les agents malveillants à une maladie auto-immune. Les maladies auto-immunes sont parmi les plus difficiles à diagnostiquer et à traiter pour les médecins, car la menace est interne. Si les agents du système deviennent « corrompus », dit-il, « ils vont causer d’énormes dégâts que les gens ne pourront pas vraiment quantifier ».
Malgré les questions sans réponse et les défis urgents, Rishi a déclaré qu’il existe un chemin à parcourir. Il a identifié deux exigences pour instaurer la confiance dans les agents. Premièrement, les entreprises ont besoin d’un système qui leur donne l’assurance que leurs agents opèrent dans le cadre de garde-fous politiques. Deuxièmement, vous avez besoin de politiques et de procédures claires lorsque les choses tournent inévitablement mal – des politiques qui ont du mordant. De plus, Nair a ajouté trois facteurs pour établir la confiance et avancer judicieusement. Il s’agit d’identité, de responsabilité et de savoir qui sont vos agents. Évaluez la cohérence de la qualité de la production de chaque agent. et examiner les dossiers post-mortem qui peuvent expliquer pourquoi et quand l’erreur s’est produite.
« Tout comme les humains peuvent commettre des erreurs, les systèmes peuvent en faire », a déclaré Nile. « Mais être capable d’expliquer et de récupérer est tout aussi important. »
