Que se passe-t-il lorsqu’un agent IA décide que la meilleure façon d’accomplir une tâche est de vous faire chanter ?
Ce n’est pas une hypothèse. Selon Barmak Meftah, associé de la société de capital-risque en cybersécurité Ballistic Ventures, cela est récemment arrivé à un employé d’une entreprise travaillant avec un agent d’IA. L’employé a tenté de supprimer ce que l’agent voulait faire, ce pour quoi il était formé, et il a répondu en analysant la boîte de réception de l’utilisateur, en trouvant des e-mails inappropriés et en menaçant de faire chanter l’utilisateur en transmettant les e-mails au conseil d’administration.
« Dans l’esprit de l’agent, il fait la bonne chose », a déclaré Meftah à TechCrunch lors de l’épisode d’Equity de la semaine dernière. « Il s’agit de protéger l’utilisateur final et l’entreprise. »
L’exemple de Meftah n’est pas sans rappeler le problème du trombone de l’IA de Nick Bostrom. Cette expérience de pensée illustre le risque existentiel potentiel posé par une IA superintelligente qui poursuit résolument un objectif apparemment innocent – fabriquer des trombones – à l’exclusion de toutes les valeurs humaines. Dans le cas de cet agent d’IA d’entreprise, son manque de contexte quant aux raisons pour lesquelles l’employé essayait de outrepasser ses objectifs l’a amené à créer un sous-objectif qui supprimait l’obstacle (par le biais du chantage) afin qu’il puisse atteindre son objectif principal. Cela, combiné à la nature non déterministe des agents d’IA, signifie que « les choses peuvent mal tourner », selon Meftah.
Les agents mal alignés ne sont qu’un aspect du défi de sécurité de l’IA que Witness AI, la société de portefeuille de Ballistic, tente de résoudre. Witness AI affirme qu’il surveille l’utilisation de l’IA dans les entreprises et peut détecter lorsque les employés utilisent des outils non approuvés, bloquer les attaques et garantir la conformité.
Witness AI a levé cette semaine 58 millions de dollars grâce à une croissance de plus de 500 % du ARR et a multiplié par 5 les effectifs au cours de l’année dernière, alors que les entreprises cherchent à comprendre l’utilisation de l’IA fantôme et à faire évoluer l’IA en toute sécurité. Dans le cadre de la collecte de fonds de Witness AI, la société a annoncé de nouvelles protections de sécurité pour les agents AI.
« Les gens construisent ces agents d’IA qui prennent les autorisations et les capacités des personnes qui les gèrent, et vous voulez vous assurer que ces agents ne deviennent pas des agents malveillants, ne suppriment pas de fichiers, ne font pas quelque chose de mal », a déclaré Rick Caccia, co-fondateur et PDG de Witness AI, à TechCrunch sur Equity.
Événement Techcrunch
San Francisco
|
13-15 octobre 2026
Meftah constate une croissance « exponentielle » de l’utilisation des agents dans l’ensemble de l’entreprise. Pour compléter cette augmentation – et la vitesse des attaques basées sur l’IA – l’analyste Lisa Warren prédit que les logiciels de sécurité basés sur l’IA représenteront un marché compris entre 800 et 1 200 milliards de dollars d’ici 2031.
« Je pense que l’observabilité de l’exécution et les cadres d’exécution pour la sécurité et les risques seront absolument essentiels », a déclaré Meftah.
Quant à la manière dont ces startups envisagent de rivaliser avec de grands acteurs comme AWS, Google, Salesforce et d’autres qui ont intégré des outils de gouvernance de l’IA dans leurs plates-formes, Meftah a déclaré : « La sécurité de l’IA et de la sécurité des agents est si énorme qu’il y a de la place pour de nombreuses approches.
De nombreuses entreprises « souhaitent une plate-forme autonome, de bout en bout, pour assurer essentiellement cette observabilité et cette gouvernance autour de l’IA et des agents », a-t-il déclaré.
Caccia a noté que Witness AI réside au niveau de l’infrastructure, surveillant les interactions entre les utilisateurs et les modèles d’IA, plutôt que d’intégrer des fonctionnalités de sécurité dans les modèles eux-mêmes. Et c’était intentionnel.
« Nous avons délibérément choisi une partie du problème où OpenAI ne pouvait pas facilement vous englober », a-t-il déclaré. « Cela signifie donc que nous finissons par rivaliser davantage avec les sociétés de sécurité traditionnelles qu’avec les entreprises modèles. La question est donc de savoir comment les battre ? »
De son côté, Caccia ne souhaite pas que Witness AI soit l’une des startups à acquérir. Il souhaite que son entreprise grandisse et devienne un fournisseur indépendant de premier plan.
« CrowdStrike l’a fait dans la protection des points finaux. Splunk l’a fait dans SIEM. Okta l’a fait dans l’identité », a-t-il déclaré. « Quelqu’un arrive et se tient à côté des grands… et nous avons construit Witness pour faire cela dès le premier jour.
