Après une série d’incidents de santé mentale inquiétants impliquant des chatbots d’IA, un groupe de procureurs généraux d’État a envoyé une lettre aux plus grandes entreprises de l’industrie de l’IA, avec un avertissement pour corriger les « sorties délirantes » ou risquer d’enfreindre la loi de l’État.
La lettre, signée par des dizaines d’AG des États et territoires américains avec la National Association of Attorneys General, demande aux entreprises, dont Microsoft, OpenAI, Google et 10 autres grandes sociétés d’IA, de mettre en œuvre une variété de nouvelles mesures de protection internes pour protéger leurs utilisateurs. Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika et xAI ont également été inclus dans la lettre.
La lettre intervient alors qu’une lutte sur la réglementation de l’IA fait rage entre l’État et le gouvernement fédéral.
Ces garanties comprennent des audits tiers transparents de grands modèles de langage qui recherchent des signes d’idées délirantes ou flagorneuses, ainsi que de nouvelles procédures de signalement d’incidents conçues pour informer les utilisateurs lorsque les chatbots produisent des résultats psychologiquement nocifs. Ces tiers, qui pourraient inclure des groupes universitaires et de la société civile, devraient être autorisés à « évaluer les systèmes avant leur publication sans représailles et à publier leurs conclusions sans l’approbation préalable de l’entreprise », indique la lettre.
« GenAI a le potentiel de changer la façon dont le monde fonctionne de manière positive. Mais elle a également causé – et a le potentiel de causer – de graves dommages, en particulier aux populations vulnérables », indique la lettre, soulignant un certain nombre d’incidents très médiatisés au cours de l’année écoulée – notamment des suicides et des meurtres – dans lesquels la violence a été liée à une utilisation excessive de l’IA, indique la lettre. « Dans bon nombre de ces incidents, les produits GenAI ont généré des résultats flagrants et délirants qui encourageaient les utilisateurs à se tromper ou assuraient aux utilisateurs qu’ils n’étaient pas délirants. »
Les AG suggèrent également aux entreprises de traiter les incidents de santé mentale de la même manière que les entreprises technologiques traitent les incidents de cybersécurité : avec des politiques et des procédures claires et transparentes en matière de signalement des incidents.
Les entreprises devraient développer et publier « des délais de détection et de réponse aux sorties flagorneuses et délirantes », indique la lettre. De la même manière que la façon dont les violations de données sont actuellement traitées, les entreprises devraient également « informer rapidement, clairement et directement les utilisateurs s’ils ont été exposés à des résultats flagrants ou délirants potentiellement dangereux », indique la lettre.
Événement Techcrunch
San Francisco
|
13-15 octobre 2026
Une autre demande est que les entreprises développent des « tests de sécurité raisonnables et appropriés » sur les modèles GenAI pour « garantir que les modèles ne produisent pas de résultats flagorneurs et délirants potentiellement dangereux ». Ces tests devraient être effectués avant que les modèles ne soient proposés au public, ajoute-t-il.
TechCrunch n’a pas pu contacter Google, Microsoft ou OpenAI pour commentaires avant la publication. L’article sera mis à jour si les entreprises répondent.
Les entreprises technologiques développant l’IA ont reçu un accueil beaucoup plus chaleureux au niveau fédéral.
L’administration Trump a fait savoir qu’elle était résolument pro-IA et, au cours de l’année écoulée, de multiples tentatives ont été faites pour adopter un moratoire national sur la réglementation de l’IA au niveau des États. Jusqu’à présent, ces tentatives ont échoué – en partie grâce à la pression des représentants de l’État.
Pour ne pas être découvert, Trump a annoncé lundi qu’il prévoyait d’adopter la semaine prochaine un décret qui limitera la capacité des États à réglementer l’IA. Le président a déclaré dans un article sur Truth Social qu’il espérait que son EO empêcherait l’IA d’être « DÉTRUITE À SES BAMBAGES ».
