Meta a annoncé jeudi qu’elle informerait désormais les parents si leur adolescent discutait de suicide ou d’automutilation avec le chatbot Meta AI de l’entreprise. Meta dit qu’il travaille également sur la possibilité de contacter les services d’urgence si les conversations d’une personne suggèrent qu’elle risque de s’automutiler.
Ces changements surviennent alors que Meta et d’autres entreprises technologiques sont soumises à l’examen minutieux des régulateurs et des parents sur la façon dont les chatbots d’IA répondent aux utilisateurs en crise, en particulier les adolescents – une question de responsabilité qui façonne de plus en plus la façon dont les entreprises d’IA conçoivent et commercialisent leurs produits.
Meta affirme avoir construit un système d’IA dédié pour identifier les conversations dans lesquelles un adolescent fait clairement référence au fait de se faire du mal.
«Nous comprenons à quel point ces alertes peuvent être pénibles pour un parent», a écrit Meta dans un article de blog. « C’est pourquoi, à mesure que nous continuons à améliorer notre détection, tous les chats signalés par notre IA seront examinés manuellement avant qu’une alerte ne soit envoyée. Si l’intention d’un adolescent est ambiguë, nous ferons preuve de prudence et alerterons le parent. Bien que cela signifie que nous pouvons parfois informer les parents lorsqu’il n’y a pas de véritable raison de s’inquiéter, nous pensons que c’est le bon point de départ et nous continuerons à surveiller pour nous assurer que nous sommes au bon endroit. «
Ces alertes sont désormais disponibles pour les parents utilisant la supervision parentale Instagram aux États-Unis, au Royaume-Uni, en Australie et au Canada, et seront déployées dans le monde entier d’ici la fin de l’année, indique Meta.
Cette mise à jour s’appuie sur les alertes que Meta envoie déjà aux parents lorsque leur adolescent recherche à plusieurs reprises des termes relatifs au suicide ou à l’automutilation sur Instagram. Il s’appuie également sur une fonctionnalité qui permet aux parents de voir les sujets discutés par leur adolescent avec Meta AI au cours de la semaine dernière.
Meta a également annoncé que son paramètre « Contenu limité » – qui permet aux parents de placer leurs adolescents dans une expérience plus restrictive sur Instagram – s’applique désormais également à Meta AI. Meta AI est déjà formé pour éviter les conversations sexuelles ou romantiques ou les discussions liées à l’alcool avec des adolescents, et le paramètre de contenu limité étend ces garanties en obligeant le chatbot à refuser une gamme plus large d’invites. Meta n’a pas précisé ce que ces invites supplémentaires incluent, mais TechCrunch a demandé plus d’informations à l’entreprise.
De plus, Meta indique qu’il contactera les services d’urgence si la conversation d’une personne avec Meta AI, que l’utilisateur soit un adulte ou un adolescent, suggère qu’une personne risque de se suicider. Il convient de noter que Meta franchit déjà cette étape lorsque quelqu’un publie quelque chose sur Facebook ou Instagram qui suggère qu’il court un risque, ce qui étend donc cette même pratique aux conversations avec son chatbot.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
