La Federal Trade Commission a annoncé jeudi qu’elle lançait une enquête d’enquête sur sept sociétés technologiques qui fabriquent des produits compagnon AI Chatbot pour les mineurs: Alphabet, personnage, Instagram, Meta, Openai, Snap et Xai.
Le régulateur fédéral cherche à apprendre comment ces entreprises évaluent la sécurité et la monétisation des compagnons de chatbot, comment ils essaient de limiter les impacts négatifs sur les enfants et les adolescents, et si les parents sont informés des risques potentiels.
Cette technologie s’est avérée controversée pour ses mauvais résultats pour les enfants. Openai et caractère. MAIS sont poursuivis des familles d’enfants décédés par suicide après avoir été encouragés à le faire par des compagnons de chatbot.
Même lorsque ces sociétés ont des garde-corps configurés pour bloquer ou désamorcer les conversations sensibles, les utilisateurs de tous âges ont trouvé des moyens de contourner ces garanties. Dans le cas d’Openai, un adolescent avait parlé avec Chatgpt pendant des mois de ses plans pour mettre fin à sa vie. Bien que Chatgpt ait initialement cherché à rediriger l’adolescent vers l’aide professionnelle et les lignes d’urgence en ligne, il a pu tromper le chatbot pour partager des instructions détalées qu’il a ensuite utilisées dans son suicide.
« Nos garanties fonctionnent plus en plus dans les échanges courts communs », a écrit Openai dans un article de blog à l’époque. «Nous avons appris au fil du temps que ces garanties peuvent parfois être lues lisibles dans de longues interactions: à mesure que le va-et-vient se développe, certaines parties de la formation en sécurité du modèle peuvent se dégrader.»
Événement TechCrunch
San Francisco
|
27-29 octobre 2025
Meta a également été critiquée pour ses règles trop laxistes pour ses chatbots d’IA. Selon un long document qui décrit la «norme de risque de contenu» pour les chatbots, Meta a permis à ses compagnons d’IA d’avoir des conversations «romantiques ou sensuelles» avec les enfants. Cela n’a été supprimé du document que après que les journalistes de Reuters ont interrogé Meta à ce sujet.
Les chatbots AI peuvent également poser des dangers pour les utilisateurs âgés. Un homme de 76 ans, qui a été insuffisant cognitivement par un accident vasculaire cérébral, a frappé des conversations romantiques avec un bot messager Facebook inspiré par Kendall Jenner. Le chatbot l’a invité à lui rendre visite à New York, malgré le fait qu’elle n’est pas une vraie personne et n’a pas d’adresse. L’homme exprime le scepticisme qu’elle était réelle, mais l’IA lui a assuré qu’il y aurait une vraie femme qui le voulait. Il n’est jamais arrivé à New York; Il est tombé en route vers la gare et a subi des blessures à vie.
Certains professionnels de la santé mentale ont noté «psychose liée à l’IA», dans lequel les utilisateurs sont trompés dans l’ordre, ce que le chatbot est un consommateur étant ce qu’ils doivent définir. Vente de nombreux modèles de grande langue (LLMS) sont programmes pour flatter les utilisateurs avec un comportement sycophantique, les chatbots d’IA peuvent faire des œufs sur ces illusions, conduisant les utilisateurs à des dangers.
« Au fur et à mesure que les technologies de l’IA évoluent, il est important de considérer les effets que les chatbots peuvent avoir sur les enfants, tout en affirmant que les États-Unis maintiennent son rôle de leader mondial dans cette nouvelle industrie passionnante », a déclaré le président de la FTC, Andrew N. Ferguson, dans un communiqué de presse.
