xAI d’Elon Musk a limité les capacités de génération d’images de son chatbot IA Grok aux abonnés payants uniquement. Cela fait suite à des accusations généralisées selon lesquelles Grok serait utilisé pour créer des images sexuelles non consensuelles de vraies femmes et enfants.
« La génération et l’édition d’images sont actuellement limitées aux membres payants », a annoncé Grok via X vendredi. Cette restriction signifie que la majorité des utilisateurs n’auront plus accès à cette fonctionnalité. Les abonnés payants et authentifiés qui ont des détails de carte de crédit dans leurs dossiers pourront toujours le faire, mais en théorie, cette fonctionnalité pourrait être plus facilement identifiée si elle était exploitée.
Mais les experts, les régulateurs et les victimes affirment que les nouvelles réglementations ne constituent pas la solution au problème généralisé actuel.
« L’argument selon lequel la fourniture de détails sur les utilisateurs et les méthodes de paiement aideront à identifier les auteurs n’est pas non plus convaincant étant donné la facilité avec laquelle il est possible de fournir de fausses informations ou d’utiliser des méthodes de paiement temporaires », a déclaré Henry Ajdar, expert britannique en deepfake, à Fortune. « La logique ici est également réactive. Elle devrait aider à identifier les criminels une fois le contenu généré, mais elle ne représente aucun ajustement ni limitation significative du modèle lui-même. »
Dans un communiqué rapporté par la BBC, le gouvernement britannique a critiqué cette décision, la qualifiant d’« insulte » envers les victimes. Le porte-parole du Premier ministre britannique a déclaré vendredi aux journalistes que les changements « transforment simplement la fonctionnalité d’IA qui permet la création d’images illégales en un service premium ».
« Il est temps pour la société X de s’attaquer à ce problème. Si une autre société de médias installe un panneau d’affichage avec des images illégales dans un centre-ville, elle doit le démonter immédiatement sous peine de réaction négative du public », ont-ils déclaré.
Un représentant de la société X a déclaré que les nouvelles restrictions étaient « à l’étude ». xAI a répondu avec un message automatisé : « Legacy Media Lies ».
Au cours de la semaine dernière, de vraies femmes ont été ciblées à grande échelle, les utilisateurs manipulant leurs photos sans leur consentement pour se déshabiller, porter des bikinis ou placer leurs sujets dans des scénarios sexuellement explicites. Certaines victimes ont déclaré se sentir violées et insécurisées par cette tendance, et beaucoup ont déclaré que leurs rapports à X restaient sans réponse et que les images restaient accessibles au public sur la plateforme.
Les chercheurs ont déclaré que l’échelle à laquelle Grok générait et partageait des images était sans précédent car, contrairement à d’autres robots IA, Grok dispose essentiellement d’un système de distribution intégré à la plate-forme X.
Un chercheur, dont l’analyse a été publiée par Bloomberg, a estimé qu’au cours de la semaine dernière, X est devenu le site le plus prolifique en matière de deepfakes. Genevieve Oh, chercheuse dans les médias sociaux et les deepfakes, qui a analysé les images publiées sur X par le compte @Grok sur une période de 24 heures, a découvert que le chatbot générait environ 6 700 images de nu et à caractère sexuel par heure. À titre de comparaison, les cinq autres principaux sites Web de deepfake sexuels ont créé en moyenne 79 nouvelles images d’IA déshabillées par heure au cours de la même période. Les recherches d’Oh ont également révélé que le contenu sexuel constituait la majorité de la production de Grok, représentant 85 % de toutes les images générées par le chatbot.
Ashley St. Clair, commentatrice conservatrice et mère de l’un des enfants de Musk, faisait partie des personnes touchées par l’image. St. Clair a déclaré à Fortune que les utilisateurs convertissaient les images de son profil X en photos explicites d’elle générées par l’IA, dont une affirmant qu’elle était mineure. St. Clair a également déclaré qu’après s’être opposée aux images et avoir fait part de ses inquiétudes concernant les deepfakes contre des mineurs, X l’avait retirée de son statut d’abonné payant vérifié sans l’en informer ni lui rembourser ses frais mensuels de 8 $.
Ashley St. Clair a déclaré à propos des récentes restrictions : « Le fait de les restreindre aux seuls utilisateurs payants montre que nous avons l’intention d’augmenter encore ce phénomène en imposant un fardeau déraisonnable aux victimes, qui doivent se présenter aux forces de l’ordre et utiliser les ressources des forces de l’ordre pour s’en prendre à ces personnes. » « Il s’agit aussi de gagner de l’argent. »
St. Clair a déclaré à Fortune que bon nombre des comptes la ciblant étaient déjà des utilisateurs vérifiés et que « c’est complètement inefficace ». « Cela s’explique par l’augmentation des demandes de renseignements des forces de l’ordre concernant la génération d’images Grok. »
pression réglementaire
La décision de limiter les capacités de Grok intervient dans un contexte de pression croissante de la part des régulateurs du monde entier. Au Royaume-Uni, le Premier ministre Keir Starmer a indiqué qu’il était prêt à interdire complètement la plateforme, qualifiant le contenu de « honteux » et d’« offensant ». Les autorités de régulation en Inde, en Malaisie et en France ont également lancé des enquêtes et des investigations.
La Commission européenne a ordonné jeudi à X de préserver tous les documents et données internes liés à Grok et a intensifié son enquête sur les pratiques de modération du contenu de la plateforme, après avoir qualifié la prolifération de deepfakes sexuellement explicites et non consensuels d’« illégale », « épouvantable » et « dégoûtante ».
Les experts estiment que les nouvelles réglementations pourraient ne pas répondre aux préoccupations des régulateurs. « Cette approche est un instrument brutal, ne résout pas la racine du problème de la collaboration avec Grok et ne constituera probablement pas un compromis avec les régulateurs », a déclaré Ajdel. « Restreindre les fonctionnalités aux utilisateurs payants n’arrête pas la génération de ce contenu. Un abonnement d’un mois n’est pas une solution robuste. »
Aux États-Unis, cette situation pourrait également mettre à l’épreuve les lois existantes, telles que l’article 230 du Communications Decency Act, qui protège les fournisseurs en ligne de toute responsabilité concernant le contenu généré par les utilisateurs. Les sénateurs américains Ron Wyden, Edward J. Markey et Ben Ray Lujan ont publié une déclaration appelant Apple et Google à « supprimer immédiatement les applications X et Grok de leurs magasins d’applications » après que Grok aurait été utilisé pour « produire en masse des images sexuelles non consensuelles de femmes et d’enfants ». Les législateurs ont qualifié les images de « troublantes et probablement illégales » et ont déclaré que l’application devrait rester indisponible jusqu’à ce que Musk réponde à leurs préoccupations.
Le Conseil sur les relations américano-islamiques (CAIR) a également appelé Grok à cesser de produire « des images sexuellement explicites d’enfants et de femmes, y compris de femmes musulmanes de premier plan ».
Liana Pfefferkorn, directrice de l’Institut pour l’intelligence artificielle centrée sur l’humain de l’Université de Stanford, avait précédemment déclaré à Fortune que la responsabilité pour les images générées par l’IA était ambiguë. « Pour la première fois, nous nous trouvons dans une situation où les plateformes elles-mêmes produisent à grande échelle de la pornographie non consensuelle d’adultes et de mineurs », a-t-elle déclaré. « La loi CSAM présente ici le plus grand risque de responsabilité potentielle, à la fois du point de vue de la responsabilité et du point de vue des relations publiques. »
Musk a déclaré précédemment : « Ceux qui utilisent Grok pour créer du contenu illégal subiront les mêmes conséquences que ceux qui téléchargent du contenu illégal. » Cependant, on ne sait pas exactement comment le compte sera tenu responsable.
