Plus tôt cette semaine, le bureau du procureur général de Californie a annoncé qu’il enquêtait sur xAI suite à des informations selon lesquelles le chatbot de la startup, Grok, était utilisé pour créer des images sexuelles non consensuelles de femmes et de mineurs. Vendredi, le gouvernement a donné suite en envoyant une lettre de cessation à l’entreprise, exigeant qu’elle prenne des mesures immédiates pour arrêter la production d’images intimes non consensuelles et de CSAM – matériel d’abus sexuel sur des enfants.
« Aujourd’hui, j’ai envoyé à xAI une lettre de cessation, exigeant que l’entreprise arrête immédiatement la création et la distribution d’images intimes, non consensuelles et de matériel d’abus sexuel sur des enfants », a déclaré California AG Rob Bonta dans un communiqué de presse. « La création de ce matériel est illégale. Je m’attends pleinement à ce que xAI s’y conforme immédiatement. La Californie a une tolérance zéro pour (CSAM). »
Le bureau de l’AG a en outre affirmé que xAI semblait « faciliter la production à grande échelle » de nus non consensuels, qui sont « utilisés pour harceler les femmes et les filles sur Internet ». L’agence a déclaré qu’elle s’attend à ce que xAI prouve qu’elle prend des mesures pour résoudre ces problèmes dans les cinq prochains jours.
Au cœur de la réaction se trouve la fonctionnalité de mode « épicé » de Grok, créée par xAI pour générer du contenu explicite. Le problème s’est étendu au-delà de la Californie ; Le Japon, le Canada et la Grande-Bretagne ont ouvert des enquêtes sur Grok, tandis que la Malaisie et l’Indonésie ont temporairement bloqué la plateforme. Bien que xAI ait institué certaines restrictions sur ses fonctionnalités d’édition d’images mercredi soir, le bureau de California AG a donné suite à sa lettre de cessation et d’abstention.
Le compte de sécurité de X a déjà dénoncé ce type d’activité des utilisateurs, déclarant : « Quiconque utilise ou incite Grok à créer du contenu illégal subira les mêmes conséquences que s’il téléchargeait du contenu illégal. » TechCrunch a contacté xAI pour obtenir des commentaires et a reçu un e-mail automatisé indiquant « Legacy Media Lies ». TC a également contacté le bureau de California AG pour plus de contexte.
L’avènement des outils gratuits d’IA générative a conduit à une vague inquiétante de matériel sexuel non consensuel. De nombreuses plateformes sont aux prises avec ce problème, pas seulement X. Cette activité sordide a attiré l’attention non seulement des dirigeants des États mais aussi du Congrès. En effet, jeudi, les législateurs ont envoyé une lettre aux dirigeants de plusieurs entreprises, dont X, Reddit, Snap, TikTok, Alphabet et Meta, pour leur demander comment ils envisageaient d’endiguer la prolifération des deepfakes sexualisés.
