Le gouverneur de Californie, Gavin Newsom, a signé lundi un projet de loi historique qui réglemente les chatbots compagnons d’IA, ce qui en fait le premier État du pays à exiger que les opérateurs de chatbots d’IA mettent en œuvre des protocoles de sécurité pour les compagnons d’IA.
La loi, SB 243, est conçue pour protéger les enfants et les utilisateurs vulnérables de certains des préjudices associés à l’utilisation d’un chatbot compagnon IA. Il tient les entreprises – des grands laboratoires comme Meta et OpenAI aux startups plus ciblées comme Character AI et Replika – légalement responsables si leurs chatbots ne respectent pas les normes de la loi.
Le SB 243 a été introduit en janvier par les sénateurs d’État Steve Padilla et Josh Becker et a pris de l’ampleur après la mort de l’adolescent Adam Raine, décédé par suicide après une longue série de conversations suicidaires avec ChatGPT d’OpenAI. La législation répond également aux fuites de documents internes qui auraient montré que les chatbots de Meta étaient autorisés à participer à des discussions « romantiques » et « sensuelles » avec des enfants. Plus récemment, une famille du Colorado a intenté une action contre la startup de jeux de rôle Character AI après que leur fille de 13 ans se soit suicidée à la suite d’une série de conversations problématiques et sexualisées avec les chatbots de l’entreprise.
« Les technologies émergentes comme les chatbots et les médias sociaux peuvent inspirer, éduquer et connecter – mais sans véritables garde-fous, la technologie peut également exploiter, induire en erreur et mettre en danger nos enfants », a déclaré Newsom dans un communiqué. « Nous avons vu des exemples vraiment horribles et tragiques de jeunes blessés par une technologie non réglementée, et nous ne resterons pas les bras croisés pendant que les entreprises continuent leurs activités sans les limites et la responsabilité nécessaires. Nous pouvons continuer à être leader en matière d’IA et de technologie, mais nous devons le faire de manière responsable, en protégeant nos enfants à chaque étape du processus. La sécurité de nos enfants n’est pas à vendre. «
Le SB 243 entrera en vigueur le 1er janvier 2026 et oblige les entreprises à mettre en œuvre certaines fonctionnalités telles que la vérification de l’âge et les avertissements concernant les réseaux sociaux et les chatbots compagnons. La loi prévoit également des sanctions plus sévères pour ceux qui profitent de deepfakes illégaux, pouvant aller jusqu’à 250 000 dollars par infraction. Les entreprises doivent également établir des protocoles pour lutter contre le suicide et l’automutilation, qui seront partagés avec le ministère de la Santé publique de l’État, ainsi que des statistiques sur la manière dont le service a fourni aux utilisateurs des notifications de prévention des centres de crise.
Selon le langage du projet de loi, les plateformes doivent également indiquer clairement que toute interaction est générée artificiellement et les chatbots ne doivent pas se présenter comme des professionnels de la santé. Les entreprises sont tenues de proposer des rappels de pause aux mineurs et de les empêcher de visionner des images sexuellement explicites générées par le chatbot.
Certaines entreprises ont déjà commencé à mettre en œuvre certaines garanties destinées aux enfants. Par exemple, OpenAI a récemment commencé à déployer des contrôles parentaux, des protections de contenu et un système de détection d’automutilation pour les enfants utilisant ChatGPT. Character AI a déclaré que son chatbot inclut une clause de non-responsabilité selon laquelle toutes les discussions sont générées et fictives par l’IA.
Événement Techcrunch
San Francisco
|
27-29 octobre 2025
Le sénateur Padilla a déclaré à TechCrunch que le projet de loi était « un pas dans la bonne direction » vers la mise en place de garde-fous sur « une technologie incroyablement puissante ».
« Nous devons agir rapidement pour ne pas rater les opportunités avant qu’elles ne disparaissent », a déclaré Padilla. « J’espère que d’autres États prendront conscience du risque. Je pense que beaucoup le font. Je pense que c’est une conversation qui se déroule dans tout le pays, et j’espère que les gens agiront. Ce n’est certainement pas le cas du gouvernement fédéral, et je pense que nous avons ici l’obligation de protéger les personnes les plus vulnérables d’entre nous. »
Le SB 243 est la deuxième réglementation importante sur l’IA émanant de Californie ces dernières semaines. Le 29 septembre, le gouverneur Newsom a promulgué le SB 53, établissant de nouvelles exigences de transparence pour les grandes entreprises d’IA. Le projet de loi exige que les grands laboratoires d’IA, comme OpenAI, Anthropic, Meta et Google DeepMind, soient transparents sur les protocoles de sécurité. Il garantit également la protection des lanceurs d’alerte pour les employés de ces entreprises.
D’autres États, comme l’Illinois, le Nevada et l’Utah, ont adopté des lois visant à restreindre ou à interdire totalement l’utilisation des chatbots IA comme substitut aux soins de santé mentale agréés.
TechCrunch a contacté Character AI, Meta, OpenAI et Replika pour commentaires.
Cet article a été mis à jour avec le commentaire du sénateur Padilla.
