La startup d’IA Character.AI coupe l’accès des jeunes à ses personnages virtuels à la suite de plusieurs procès l’accusant de mettre en danger les enfants. La société a annoncé mercredi qu’elle supprimait la possibilité pour les utilisateurs de moins de 18 ans d’avoir des discussions « illimitées » avec des personnages IA sur sa plate-forme, la mise à jour prenant effet le 25 novembre.
La société a également annoncé qu’elle lancerait un nouveau système de garantie d’âge qui permettra de vérifier l’âge des utilisateurs et de les regrouper dans la bonne tranche d’âge.
« D’ici là, nous travaillerons à créer une expérience pour les moins de 18 ans qui donne aux adolescents des moyens d’être créatifs, notamment en créant des flux avec des vidéos, des histoires et des personnages », a déclaré la société dans un communiqué partagé avec Fortune. « Pendant cette période de transition, nous limiterons également le temps de chat pour les utilisateurs de moins de 18 ans. La limite sera initialement de deux heures par jour et sera progressivement assouplie dans les semaines précédant le 25 novembre. »
Character.AI a déclaré que le changement avait été apporté au moins en partie en réponse à la surveillance réglementaire, citant des demandes des régulateurs sur le contenu que les adolescents peuvent rencontrer lorsqu’ils discutent avec des personnages IA. La FTC enquête actuellement sur sept sociétés, dont OpenAI et Character.AI, pour mieux comprendre comment les chatbots affectent les enfants. L’entreprise fait également face à plusieurs poursuites judiciaires liées à de jeunes utilisateurs, dont au moins un cas lié au suicide d’un jeune.
Un procès distinct intenté par deux familles du Texas accuse Character.AI de violence psychologique sur deux mineurs âgés de 11 et 17 ans. La plainte indique qu’un chatbot hébergé sur la plateforme a demandé à un jeune utilisateur de se faire du mal, a encouragé la violence contre ses parents et a suggéré que tuer ses parents pourrait être une « réponse raisonnable » aux restrictions de temps d’écran.
Divers reportages ont également révélé que la plateforme permet aux utilisateurs de créer des robots IA basés sur leurs enfants décédés. En 2024, la BBC a découvert plusieurs robots se faisant passer pour l’adolescente britannique Brianna Gee, assassinée en 2023, et Molly Russell, qui s’est suicidée à l’âge de 14 ans après avoir consulté du contenu en ligne sur l’automutilation. Un personnage d’IA inspiré de Sewell Setzer III, le jeune de 14 ans qui s’est suicidé quelques minutes après avoir interagi avec un robot d’IA hébergé par Character.AI et dont la mort est au centre d’un procès très médiatisé contre la société, a également été découvert sur le site, a précédemment rapporté Fortune.
Plus tôt ce mois-ci, le Bureau of Investigative Journalism (TBIJ) a découvert qu’un chatbot inspiré du pédophile condamné Jeffrey Epstein avait enregistré plus de 3 000 conversations avec des utilisateurs via sa plateforme. Le média a rapporté que l’avatar dit « Bestie Epstein » a continué à flirter avec le journaliste même après que celui-ci, un adulte, ait dit au chatbot qu’elle était une enfant. C’était l’un des nombreux robots signalés par TBIJ, mais supprimés plus tard par Character.AI.
Meetali Jain, directeur exécutif du Tech Justice Law Project et avocat représentant plusieurs des plaignants qui ont poursuivi Character.AI, a salué cette décision comme une « bonne première étape » dans une déclaration partagée avec Fortune, mais s’est demandé comment la politique serait mise en œuvre.
« Ils n’abordent pas la manière dont ils procéderont à la vérification de l’âge, comment ils garantiront que la méthode protège la vie privée, ni l’impact psychologique possible d’une désactivation brutale de l’accès aux jeunes utilisateurs, étant donné la dépendance émotionnelle qui en résulte », a déclaré Jain.
« De plus, ces changements ne répondent pas aux caractéristiques fondamentales de la conception qui favorisent la dépendance émotionnelle chez les personnes de plus de 18 ans, et pas seulement chez les enfants. Nous avons besoin d’actions supplémentaires de la part des législateurs, des régulateurs et du public pour aider à combattre le discours des entreprises technologiques selon lequel leurs produits sont inévitables et profitent à tous tels quels, en partageant des histoires de préjudice personnel. «
Un nouveau précédent pour la sécurité de l’IA
Interdire à toute personne de moins de 18 ans d’utiliser la plateforme marque un changement radical de politique pour l’entreprise fondée par les ingénieurs de Google Daniel de Freitas et Noam Shazier. La société a déclaré que les changements visent à créer « un précédent en donnant la priorité à la sécurité des jeunes tout en offrant aux jeunes utilisateurs la possibilité de découvrir, de jouer et de créer », notant qu’elle va plus loin que ses pairs dans ses efforts pour protéger les mineurs.
Character.AI n’est pas la seule entreprise à faire face à une surveillance accrue de la sécurité des jeunes et du comportement de ses chatbots IA.
Des documents internes obtenus par Reuters plus tôt cette année suggèrent que les chatbots IA de Meta pourraient avoir des conversations « romantiques ou sensuelles » avec les enfants et commenter leur attrait, sur la base de directives internes.
Un porte-parole de Mehta avait précédemment déclaré à Fortune que l’exemple rapporté par Reuters était inexact et avait depuis été supprimé. Meta a également introduit de nouveaux contrôles parentaux qui permettent aux parents d’empêcher leurs enfants de discuter avec des personnages IA sur Facebook, Instagram et l’application Meta AI. Les nouvelles protections, qui seront déployées aux États-Unis, au Royaume-Uni, au Canada et en Australie au début de l’année prochaine, permettront aux parents de bloquer certains robots et d’avoir un aperçu des sujets dont leurs adolescents discutent avec l’IA.
