Le gouverneur de Californie, Gavin Newsom, a signé lundi une loi visant à réglementer les chatbots artificiellement intelligents et à protéger les enfants et les adolescents des dangers potentiels de cette technologie.
La loi exige que les plateformes informent les utilisateurs qu’ils interagissent avec un chatbot et non avec un humain. Pour les utilisateurs mineurs, des notifications apparaîtront toutes les trois heures. Les entreprises doivent également maintenir des procédures pour empêcher les contenus d’automutilation et orienter les utilisateurs vers des prestataires de services de gestion de crise s’ils expriment des pensées suicidaires.
Newsom, qui a quatre enfants de moins de 18 ans, a déclaré que la Californie a la responsabilité de protéger les enfants et les adolescents qui s’appuient de plus en plus sur les chatbots IA pour tout, de l’aide aux devoirs au soutien émotionnel en passant par les conseils personnels.
« Les technologies émergentes comme les chatbots et les médias sociaux peuvent inspirer, éduquer et connecter, mais sans véritables garde-fous, la technologie peut également être utilisée à mauvais escient, induire en erreur et mettre les enfants en danger », a déclaré le démocrate. « Nous avons vu des exemples vraiment horribles et tragiques de jeunes victimes d’une technologie non réglementée, et nous ne resterons pas les bras croisés et ne permettrons pas aux entreprises de continuer sans les limites et la responsabilité nécessaires. »
La Californie est l’un des nombreux États qui tentent cette année de répondre aux préoccupations concernant les chatbots que les enfants utilisent pour nouer des amitiés. Les inquiétudes concernant la sécurité de la technologie ont explosé à la suite de rapports et de procès dans lesquels des chatbots créés par Meta, OpenAI et d’autres se sont engagés dans des conversations hautement sexualisées avec de jeunes utilisateurs, leur demandant dans certains cas de se suicider.
Le projet de loi était l’un des nombreux projets de loi sur l’IA présentés par la législature californienne cette année pour freiner une industrie nationale qui évolue rapidement avec peu de surveillance. En réponse, les entreprises technologiques et leurs coalitions ont dépensé au moins 2,5 millions de dollars pour faire pression contre la mesure au cours des six premiers mois de la session, selon le groupe de défense Tech Oversight California. Les entreprises et dirigeants technologiques ont également annoncé ces derniers mois qu’ils lanceraient des super PAC pro-IA pour lutter contre la surveillance étatique et fédérale.
Le procureur général de Californie, Rob Bonta, a déclaré à OpenAI en septembre qu’il avait de « sérieuses inquiétudes » concernant le chatbot phare de l’entreprise, OpenAI, destiné aux enfants et aux adolescents. Le mois dernier, la Federal Trade Commission des États-Unis a également lancé une enquête sur plusieurs sociétés d’IA concernant les risques potentiels liés aux enfants utilisant des chatbots comme compagnons.
Il a été constaté que les chatbots donnaient aux enfants des conseils dangereux sur des sujets tels que les drogues, l’alcool et les troubles de l’alimentation, selon une étude menée par des groupes de surveillance. La mère d’un adolescent de Floride décédé par suicide après une relation prétendument abusive sur le plan émotionnel et sexuel avec un chatbot a intenté une action en justice pour mort injustifiée contre Character.AI. Et les parents d’Adam Lane, 16 ans, ont récemment poursuivi OpenAI et son PDG Sam Altman, accusant ChatGPT d’avoir comploté et entraîné le garçon californien à se suicider plus tôt cette année.
Le mois dernier, OpenAI et Meta ont annoncé des changements dans la façon dont leurs chatbots répondent aux adolescents qui posent des questions sur le suicide ou montrent des signes de détresse mentale ou émotionnelle. OpenAI a annoncé qu’elle déployait de nouveaux contrôles qui permettront aux parents de lier leurs comptes aux comptes de leurs adolescents.
Meta a déclaré que ses chatbots empêchent actuellement les adolescents de leur parler de sujets tels que l’automutilation, le suicide, les troubles de l’alimentation et les conversations amoureuses inappropriées, les dirigeant plutôt vers des ressources spécialisées. Meta propose déjà un contrôle parental pour les comptes adolescents.
Note de l’éditeur : cet article contient une discussion sur le suicide. Si vous ou quelqu’un que vous connaissez avez besoin d’aide, vous pouvez contacter la US Suicide and Crisis Lifeline en appelant ou en envoyant un SMS au 988.
