Tous les PDG du Fortune 500 qui investissent dans l’IA sont actuellement confrontés aux mêmes mathématiques brutales. Les outils d’IA dépensent entre 590 $ et 1 400 $ par employé par an, mais 95% des initiatives d’IA des entreprises ne parviennent pas à atteindre la production.
Pendant ce temps, les employés utilisant des outils d’IA personnels réussiront à un taux de 40%.
La coupe n’est pas technique et opérationnelle. Les entreprises sont aux prises avec une crise de mesure de l’IA.
Trois questions invitent toutes les équipes de direction à répondre lorsqu’ils posent des questions sur le retour sur investissement des pilotes de l’IA.
Combien coûte les outils d’IA? Quels problèmes commerciaux résolvent-ils? Si la stratégie de l’IA ne fournit pas de résultats, qui sera licencié?
Cette dernière question crée généralement un silence désagréable.
En tant que PDG de LANAI, une plate-forme de détection d’IA basée sur Edge, j’ai déployé l’agent d’observabilité de l’IA dans les sociétés Fortune 500 pour les CISO et les DSI qui souhaitent observer et comprendre ce que fait l’IA dans les entreprises.
Ce que nous avons constaté, c’est que beaucoup de gens sont étonnés et ignorants de tout, de la productivité des employés aux risques graves. Par exemple, dans une grande compagnie d’assurance, l’équipe de direction était convaincue qu’ils « ont tout verrouillé » avec des listes de fournisseurs et des avis de sécurité approuvés. Au lieu de cela, en seulement quatre jours, nous avons découvert que 27 outils d’IA non autorisés fonctionnaient à travers l’organisation.
Constatations plus claires: Un outil « fraude » était en fait le flux de travail Salesforce Einstein. Ils ont permis aux équipes de vente de dépasser leurs objectifs, mais ils ont également violé les réglementations d’assurance de l’État. L’équipe a créé des modèles qui ressemblaient à un cordon postal client, favorisant simultanément la productivité et le risque.
Il s’agit d’un paradoxe pour les entreprises qui cherchent à tirer le meilleur parti du potentiel de l’IA. Vous ne pouvez pas mesurer ce qui est invisible. Lorsque vous ne savez pas ce que font vos employés, vous ne pouvez pas guider votre stratégie (ou fonctionner sans risque).
« Théâtre de gouvernance »
La façon dont les mesures de l’IA est de restreindre l’entreprise.
Aujourd’hui, la plupart des entreprises mesurent l’adoption de l’IA de la même manière que le déploiement de logiciels. Suivre les licences achetées, la formation terminée et accéder aux demandes.
C’est la mauvaise façon d’y penser. L’IA est un flux de travail amélioré. Les impacts des performances résident non seulement dans la sélection des outils, mais aussi dans les modèles d’interaction entre les humains et l’IA.
Les méthodes actuelles peuvent provoquer des déficiences systématiques. Les entreprises établissent une liste de fournisseurs approuvée qui sera obsolète avant que les employés ne terminent la formation en conformité. La surveillance de réseau traditionnelle manque l’IA intégrée dans des applications approuvées telles que Microsoft Copilot, Adobe Firefly Slack AI et le Salesforce Einstein susmentionné. Les équipes de sécurité mettent en œuvre des politiques qui ne peuvent pas être appliquées, car 78% des entreprises utilisent l’IA, mais seulement 27% le contrôlent.
Cela crée ce que j’appelle la question du « théâtre de gouvernance ». Les initiatives d’IA réussies sur les tableaux de bord exécutifs n’offrent souvent aucune valeur commerciale. Pendant ce temps, l’utilisation de l’IA, qui favorise la productivité réelle, reste complètement invisible au leadership (et crée des risques).
Shadow Ai comme une innovation systématique
Le risque n’est pas égal à la rébellion. Les employés essaient de résoudre le problème.
L’analyse de millions d’interactions d’IA via notre modèle de détection basé sur les bords a prouvé que la plupart des lecteurs opérationnels le savent instinctivement, mais ils n’ont pas pu le prouver. Ce qui semble être une violation des règles, c’est que les employés travaillent souvent simplement d’une manière que les systèmes de mesure traditionnels ne peuvent pas détecter.
Les employés utilisent des outils d’IA frauduleux. Parce qu’ils aspirent au succès et que 5% seulement ont réussi parce que les outils d’entreprise sous licence ont réussi dans la production. L’économie «ombre» est plus efficace que l’économie formelle. Dans certains cas, les employés ne savent peut-être pas qu’ils se trompent.
La société de technologie se préparant pour l’introduction en bourse a montré « ChatGpt – approuvé » sur son tableau de bord de sécurité, mais les analystes manqués utilisant Personal Chatgpt Plus pour analyser les prévisions de revenus confidentielles sous pression de date limite. Notre niveau rapide de visibilité a révélé le risque de violation de la SEC, où la surveillance du réseau a été complètement manquée.
Le système de santé a utilisé un soutien à la décision clinique d’Epic pour reconnaître le médecin, mais a raté le médecin d’urgence qui a implanté les symptômes du patient et est entré dans l’IA pour accélérer le diagnostic. Cela a violé HIPAA en utilisant des modèles d’IA non couverts par des contrats associés d’entreprise, tout en améliorant le débit des patients.
Conversion de mesure
Les entreprises au-delà de la «diviser Genai» identifiées par le MIT sont que le projet Nanda a identifié une lutte importante avec l’adoption de l’IA et n’a pas le plus gros budget d’IA. Ce sont des gens qui peuvent voir ce qui fonctionne réellement, sont sûrs et extensibles. Au lieu de demander: « Les employés suivent-ils les politiques d’IA? », Demandent-ils à « quels workflows d’IA conduisent les résultats et comment se conforment-ils? »
Les mesures traditionnelles se concentrent sur le déploiement: outils achetés, formation des utilisateurs et politiques créées. Les mesures efficaces se concentrent sur les résultats du flux de travail. Quelles interactions stimulent la productivité? Lequel des éléments suivants est le réel risque? Quels modèles normalisez-vous toute votre organisation?
La compagnie d’assurance qui a découvert 27 outils frauduleux a été révélée.
Au lieu d’arrêter le flux de travail du code postal qui stimule les performances des ventes, nous avons construit un chemin de données conforme qui vous maintiendra productif. Les performances des ventes sont restées élevées, les risques réglementaires ont disparu, permettant aux millions de personnes d’incorporer le non-conformité dans un avantage concurrentiel substantiel.
Conclusion
Les entreprises qui passent des centaines de millions de conversions d’IA tout en restant aveugle à 89% de leur utilisation réelle sont confrontées à des inconvénients stratégiques. Ils financent les pilotes ratés, et leurs plus belles innovations sont invisibles, non mesurées et non réglementées.
Les grandes organisations traitent désormais l’IA comme la plus grande décision de travail qu’elles prennent. Vous avez besoin d’une analyse de rentabilisation claire, d’une prévision du retour sur investissement et de mesures de réussite pour tous les investissements en IA. Ils établissent la propriété des noms où les mesures de performance comprennent les résultats de l’IA liés à la rémunération des dirigeants.
Le marché de l’IA d’entreprise de 8,1 milliards de dollars n’offre pas de gains de productivité grâce à des déploiements de logiciels traditionnels. Une visibilité au niveau du workflow est nécessaire pour distinguer l’innovation des violations.
Les entreprises qui établissent des mesures de performance basées sur le workflow gagneront les gains de productivité que les employés génèrent déjà. Ceux qui s’en tiennent à des mesures basées sur les applications continuent d’échouer les pilotes tandis que leurs concurrents profitent de l’angle mort.
La question n’est pas de savoir s’il faut mesurer l’ombre AI. Il s’agit de savoir si le système de mesure est suffisamment raffiné pour transformer la productivité de la main-d’œuvre invisible en un avantage concurrentiel durable. Pour la plupart des entreprises, la réponse révèle un écart stratégique urgent.
Les opinions exprimées dans le commentaire sur Fortune.com sont les vues de leurs auteurs et ne reflètent pas nécessairement les opinions et les croyances de la bonne fortune.
