L’Assemblée de l’État de Californie a fait un grand pas vers la régulation de l’IA mercredi soir, passant le SB 243 – un projet de loi qui réglemente les chatbots compagnons de l’IA afin de protéger les mineurs et les utilisateurs vulnérables. La législation a été adoptée avec un soutien bipartisan et se rend maintenant au Sénat de l’État pour un vote final vendredi.
Si le gouverneur Gavin Newsom signe le projet de loi, il prendrait en vigueur le 1er janvier 2026, faisant de la Californie le premier État pour exiger que les opérateurs de chatbot d’IA fassent des protocoles de sécurité pour les compagnons d’IA et tiennent les entreprises légalement responsables si leurs chatbots ne respectent pas ces normes.
Le projet de loi vise spécifiquement à empêcher les chatbots compagnons, que la législation définit comme des systèmes d’IA qui fournit des réponses adaptatives et humaines et sont capables de répondre aux besoins sociaux d’un utilisateur, de s’engager dans des conversations entourées d’idées suicidaires, d’auto-ham ou de contenu sexuel explicite sexuellement. Le projet de loi nécessiterait des plateformes pour fournir des alertes récurrentes aux utilisateurs – toutes les trois heures pour les mineurs – leur rappelant qu’ils parlent à un chatbot IA IA, pas à une vraie personne, et qu’ils devraient faire une pause. Il établit également des exigences annuelles sur les rapports et la transparence pour les sociétés d’IA qui offraient des chatbots compagnons, comprenaient les principaux acteurs Openai, le personnage.ai et la replika.
Le projet de loi de Californie permettrait également aux personnes qui croient avoir été blessées par des violations pour intenter des poursuites contre les sociétés de l’IA demandant une injonction, des dommages-intérêts (jusqu’à 1 000 $ par violation) et des honoraires d’avocat.
SB 243, présenté en janvier par les sénateurs de l’État Steve Padilla et Josh Becker, se rendront au Sénat de l’État pour le vote final vendredi. S’il est approuvé, il ira au gouverneur Gavin Newsom pour être promulgué, les nouvelles règles prenant effet le 1er janvier 2026 et les exigences de déclaration à partir du 1er juillet 2027.
Le projet de loi a pris de l’ampleur à l’Assemblée législative de Californie après la mort de l’adolescent Adam Raine, qui s’est suicidé après des chats prolongés avec le chatpt d’Openai qui a entouré de discuter et de planifier sa mort et de self-hham. La législation répond également aux documents internes divulgués qui auraient montré des chatbots de Meta que nous avons autorisés à s’engager dans des chats «romantiques» et «sensuels» avec des enfants.
Ces dernières semaines, les législateurs et régulateurs américains ont répondu avec un bulletin de vote intensifié des garanties des plates-formes d’IA pour protéger les mineurs. La Federal Trade Commission se prépare à enquêter sur la façon dont les chatbots de l’IA ont un impact sur la santé mentale des enfants. Le procureur général du Texas, Ken Paxton, a lancé des enquêtes sur Meta et le caractère. Pendant ce temps, le sénateur Josh Hawley (R-MO) et le sénateur Ed Markey (D-MA) ont lancé des sondes distinctes dans Meta.
Événement TechCrunch
San Francisco
|
27-29 octobre 2025
« Je pense que le préjudice est puissant, ce qui signifie que nous devons nous déplacer rapidement », a déclaré Padilla à TechCrunch. « Nous pouvons mettre en place des garanties raisonnables pour nous assurer que les mineurs particuliers savent qu’ils ne parlent pas à un être humain réel, que ces plateformes relie les gens aux ressources appropriées lorsque les gens disent que comme ils sont en train de réfléchir à la façon dont ils sont en désordre. Il n’y a pas une exposition inappropriée à un matériel inapproprié. »
Padilla a également souligné l’importance des entreprises d’IA partageant des données sur le nombre de fois où ils réduisent chaque année les utilisateurs des services de crise, «nous avons donc une meilleure compréhension de la fréquence de ce problème, plutôt que de ne le faire que de la conscience lorsque certains sont blessés ou pires.»
SB 243 avait auparavant des exigences plus fortes, mais beaucoup ont été réduites par des modifications. Par exemple, le projet de loi aurait obligé les opérateurs à empêcher les chatbots d’IA d’utiliser des tactiques de «récompense variable» ou d’autres fonctionnalités qui encouragent un engagement excessif. Ces tactiques, utilisées par des sociétés de compagnie d’IA comme Repliki et le personnage, ont offert aux utilisateurs des messages spéciaux, des souvenirs, des scénarios ou la possibilité de déverrouiller des réponses rares ou de nouvelles personnalités, créant ce que les critiques appellent une boucle de récompense potentielle addictive.
Le projet de loi actuel supprime également les dispositions qui auraient obligé les opérateurs à suivre et à signaler à quelle fréquence les chatbots ont décrit des discussions sur les idées suicidaires ou les actions avec les utilisateurs.
« Je pense que cela établit le bon équilibre entre les dommages sans que quelque chose qui impose que les entreprises se conforment, soit car ce n’est techniquement pas possible ou tout simplement beaucoup de paperasse pour rien », a déclaré Becker à TechCrunch.
Le SB 243 s’apprête à devenir la loi à un moment où les entreprises de la Silicon Valley versent des milles de dollars dans des engagements politiques pro-ai (PAC) pour soutenir les candidats dans les prochaines élections à mi-parcours qui favorisent une approche légère pour avoir une réglementation.
Le projet de loi intervient également sous le nom de California Poids Un autre projet de loi sur la sécurité de l’IA, SB 53, qui obligerait la compréhension des exigences de rapport de transparence. Openai a écrit une lettre ouverte au gouverneur Newsom, lui demandant d’abandonner ce projet de loi en faveur de cadres fédéraux et internationaux moins de linge. Les grandes entreprises technologiques comme Meta, Google et Amazon se sont également opposées au SB 53. En revanche, seul Anthropic a déclaré que les supports SB 53.
« Je rejette la prémisse qu’il s’agit d’une situation à somme nulle, que l’innovation et la réglementation s’excluent mutuellement », a déclaré Padilla. « Ne me dites pas que nous ne pouvons pas marcher et mâcher de la gomme. Nous pouvons soutenir l’innovation et le développement que nous pensons être sains et a été en ajustement – et il y a des avantages pour cette technologie, clairement – et en même temps, nous pouvons fournir des garanties raisonnables aux personnes les plus vulnérables. »
TechCrunch a contacté Openai, Anthropic, Meta, Character Ai et Replika pour commenter.
