La plupart des entreprises peuvent déterminer combien d’utilisateurs ont accès à leurs systèmes financiers. Peu de gens savent exactement combien il existe d’agents IA.
Ces dernières années, les discussions autour de l’IA d’entreprise se sont concentrées sur la façon dont elle perturbe la main-d’œuvre, les retours sur investissement et l’évolution des cas d’utilisation. Ces questions sont importantes, mais de plus en plus réelles. Des questions plus structurelles émergent qui détermineront si l’IA sera un avantage durable ou un handicap cumulatif.
Le vrai risque n’est pas la performance du modèle ou le battage médiatique. Il s’agit de la prolifération rapide d’agents d’IA autonomes qui fonctionnent sans identités gérées, sans contrôles d’accès exécutoires ou sans gouvernance du cycle de vie. Les cadres de gouvernance conçus pour les utilisateurs humains et les logiciels traditionnels sont progressivement dépassés, et peu d’organisations mesurent systématiquement leurs risques.
Récemment, ce problème est devenu plus prononcé, avec l’émergence de plates-formes dépourvues de véritables protections contre les activités malveillantes et incapables de créer et de lancer de grandes flottes de robots. Ces plateformes démontrent à quel point des acteurs numériques incontrôlés peuvent proliférer rapidement et combien il peut être difficile de les suivre une fois qu’ils le font. Les programmes intelligents fonctionnent actuellement sans gouvernance significative ni accès à des systèmes et des données qui nous sont invisibles.
Si les organisations ne mettent pas en œuvre dès aujourd’hui un cadre de sécurité de niveau industriel pour leurs agents d’IA, elles en subiront rapidement les conséquences dans les environnements d’entreprise critiques.
Agents IA non contrôlés : la prochaine frontière du risque d’entreprise
Les agents d’IA diffèrent des logiciels traditionnels et des utilisateurs humains sur des points importants. Aujourd’hui, la plupart des systèmes d’entreprise sont construits autour d’identités bien définies. Les utilisateurs ont des comptes nommés, les applications fonctionnent à l’aide d’informations d’identification de service enregistrées et l’accès est accordé en fonction des rôles établis et peut être surveillé, audité et révoqué si nécessaire.
Les agents d’IA autonomes ne s’intègrent pas bien dans ce modèle. Il peut agir au nom de l’utilisateur, interagir avec plusieurs systèmes et prendre des décisions sans intervention humaine directe. De nombreuses organisations ne disposent pas d’une identité stable et gérée. Leur accès n’est pas nécessairement lié à des politiques claires. Leur cycle de vie est rarement géré de la création à la retraite.
Les chercheurs soulignent que les faiblesses des environnements pilotés par agents peuvent permettre à des instructions malveillantes, des attaques par injection rapide ou des données contaminées de se propager rapidement dans les systèmes interconnectés. Dans les entreprises où les agents se connectent à des données sensibles, à des systèmes financiers ou à des infrastructures opérationnelles, même de petites lacunes en matière de gouvernance peuvent se transformer en risques importants.
En d’autres termes, le véritable risque ne réside pas seulement dans ce que les agents peuvent faire, mais aussi dans ce à quoi ils ont accès.
La vraie vulnérabilité est la fondation, pas le modèle d’IA
Dans mon travail avec des organisations passant de l’expérimentation de l’IA au déploiement à l’échelle de l’entreprise, un modèle se démarque. Cela dit, le plus gros point d’échec est rarement le modèle d’IA lui-même. Le problème réside souvent dans des bases de données faibles et des cadres de contrôle incomplets.
L’impact est déjà visible. La non-conformité, les livrables biaisés et les défaillances de la gouvernance entraînent d’importantes pertes financières et opérationnelles dans l’ensemble du secteur. Dans certains cas, si des lacunes en matière de gouvernance sont découvertes après la mise en œuvre, les coûts de remédiation peuvent atteindre des dizaines de millions de dollars. Ce ne sont pas des exemples de renseignements déchaînés. Ce sont des échecs opérationnels. Lorsque l’IA est introduite dans des environnements complexes sans gouvernance moderne des identités ni surveillance continue, les risques augmentent plus vite que la valeur.
L’urgence est d’autant plus grande que l’adoption de l’IA s’étend au-delà des équipes centralisées. Les employés expérimentent et déploient des agents au sein des fonctions commerciales, souvent sans visibilité à l’échelle de l’entreprise. L’autonomie s’étend latéralement dans les organisations plus rapidement que la surveillance de l’entreprise ne peut s’adapter. Sans normes claires en matière d’identité, d’accès et de surveillance, les acteurs du numérique peuvent tranquillement accumuler des autorisations et exercer une influence bien au-delà de leur portée prévue.
C’est en fin de compte une question de préparation architecturale. Les dirigeants doivent être capables de répondre à trois questions à tout moment : où sont les données critiques ? Qui ou quoi y a accès ? Comment cet accès est-il vérifié et examiné ?
Par conséquent, la mise à l’échelle en toute sécurité de l’IA nécessite une réinitialisation opérationnelle. Les agents autonomes doivent être traités comme des acteurs responsables au sein de l’entreprise. Cela comprend une documentation claire des rôles et des responsabilités, des cycles de révision réguliers et une intégration avec les processus informatiques et de risque existants. L’accès doit être vérifié de manière ciblée et continue, et l’activité doit rester observable. Les organisations qui opèrent ce changement ne limitent pas l’innovation. Ils créent les conditions d’une échelle durable. À l’ère de l’IA, la maturité opérationnelle fera finalement la différence entre l’expérimentation et un bénéfice durable.
Un appel à faire passer le récit du battage médiatique à la préparation
Il est clair que les agents d’IA ne constituent plus une menace théorique et que le débat plus large sur l’industrie doit évoluer. Nous passons beaucoup de temps à discuter des performances des modèles et des nouveaux cas d’utilisation. Nous devons consacrer autant de temps à l’identité, à la gouvernance des données, au contrôle d’accès et à la gestion du cycle de vie des acteurs autonomes que nous introduisons dans nos environnements.
Sans les garde-fous qui sont depuis longtemps la norme dans d’autres domaines de l’informatique, ces agents peuvent devenir une armée silencieuse d’acteurs numériques non gérés opérant au sein de systèmes complexes. Pour faire face à ce risque, il faut une attention particulière de la part des dirigeants, une collaboration interfonctionnelle et un engagement à mettre en place une gouvernance de niveau industriel pour l’ère de l’IA. Les organisations qui prennent cela au sérieux font plus que simplement réduire le risque d’infection. Il renforce également la fiabilité et la résilience nécessaires pour faire évoluer l’IA en toute confiance et favorise une collaboration plus étroite entre l’entreprise et l’informatique. Dans un monde où les systèmes intelligents font de plus en plus partie des effectifs, la sécurité opérationnelle n’est plus seulement une question technique, mais un impératif stratégique. L’IA n’évolue que dans la mesure où la confiance le permet. La gouvernance est ce qui permet cette confiance.
Les points de vue reflétés dans cet article sont ceux de l’auteur et ne reflètent pas nécessairement les points de vue de l’organisation mondiale EY ou de ses cabinets membres, ni ceux de Fortune.
