Depuis plus de deux ans, une application appelée ClothOff terrorise les jeunes femmes en ligne – et il est extrêmement difficile d’y mettre fin. L’application a été supprimée des deux principaux magasins d’applications et interdite sur la plupart des plateformes sociales, mais elle est toujours disponible sur le Web et via un robot Telegram. En octobre, une clinique de la Yale Law School a intenté une action en justice visant à supprimer complètement l’application, obligeant les propriétaires à supprimer toutes les images et à cesser complètement leurs activités. Mais le simple fait de retrouver les accusés constitue un véritable défi.
« Elle est constituée dans les îles Vierges britanniques », explique le professeur John Langford, co-avocat principal du procès, « mais nous pensons qu’elle est dirigée par un frère et une sœur et par la Biélorussie. Elle pourrait même faire partie d’un réseau plus vaste à travers le monde ».
C’est une amère leçon à la suite du récent flot de pornographie non consensuelle généré par le xAI d’Elon Musk, qui comprenait de nombreuses victimes mineures. Les contenus pédopornographiques constituent le contenu le plus toxique sur Internet : il est illégal de le produire, de le transmettre ou de le stocker, et il est régulièrement recherché sur tous les principaux services cloud. Mais malgré les interdictions légales sévères, il existe encore peu de moyens de gérer les générateurs d’images comme ClothOff, comme le démontre le cas de Langford. Les utilisateurs individuels peuvent être poursuivis en justice, mais les plateformes comme ClothOff et Grok sont beaucoup plus difficiles à contrôler, laissant peu d’options aux victimes qui espèrent obtenir justice devant les tribunaux.
La plainte de la clinique, disponible en ligne, dresse un tableau alarmant. La plaignante est une lycéenne anonyme du New Jersey, dont les camarades de classe ont utilisé ClothOff pour modifier ses photos Instagram. Elle avait 14 ans lorsque les photos Instagram originales ont été prises, ce qui signifie que les versions modifiées par l’IA sont légalement classées comme images d’abus sur enfants. Mais même si les images modifiées sont carrément illégales, les autorités locales ont refusé de poursuivre l’affaire, invoquant la difficulté d’obtenir des preuves à partir des appareils des suspects.
« Ni l’école ni les forces de l’ordre n’ont jamais établi dans quelle mesure les CSAM de Jane Doe et d’autres filles étaient distribuées », indique la plainte.
Pourtant, le procès avance lentement. La plainte a été déposée en octobre et, dans les mois qui ont suivi, Langford et ses collègues ont été en train de notifier les défendeurs – une tâche difficile compte tenu de la nature mondiale de l’entreprise. Une fois qu’elles ont été signifiées, la clinique peut exiger une comparution devant le tribunal et, éventuellement, un jugement, mais entre-temps, le système judiciaire n’a apporté que peu de réconfort aux victimes de ClothOff.
Le cas Grok peut sembler un problème plus simple à résoudre. Le xAI d’Elon Musk ne se cache pas, et il y a beaucoup d’argent à la fin pour les avocats qui peuvent obtenir gain de cause. Mais Grok est un outil à usage général, ce qui rend beaucoup plus difficile sa responsabilisation devant les tribunaux.
Événement Techcrunch
San Francisco
|
13-15 octobre 2026
« ClothOff est conçu et commercialisé spécifiquement comme un générateur d’images et de vidéos pornographiques deepfake », m’a expliqué Langford. « Lorsque vous portez plainte contre un système général que les utilisateurs peuvent interroger pour toutes sortes de choses, cela devient beaucoup plus compliqué. »
Un certain nombre de lois américaines ont déjà interdit la pornographie deepfake, notamment le Take It Down Act. Mais même si certains utilisateurs enfreignent clairement ces lois, il est beaucoup plus difficile de demander des comptes à l’ensemble de la plateforme. Les lois existantes exigent des preuves claires d’une intention de nuire, ce qui signifierait fournir la preuve que xAI savait que son outil serait utilisé pour produire de la pornographie non consensuelle. Sans cette preuve, les droits fondamentaux de xAI en vertu du premier amendement offriraient une protection juridique importante.
« En ce qui concerne le premier amendement, il est très clair que les images d’abus sexuels sur enfants ne constituent pas une expression protégée », déclare Langford. « Ainsi, lorsque vous concevez un système pour créer ce type de contenu, vous opérez clairement en dehors de ce qui est protégé par le premier amendement. Mais lorsque vous êtes un système général que les utilisateurs peuvent interroger pour toutes sortes de choses, ce n’est pas si clair. »
Le moyen le plus simple de surmonter ces problèmes serait de montrer que xAI avait délibérément ignoré le problème. C’est une possibilité réelle, compte tenu des informations récentes selon lesquelles Musk aurait demandé aux employés d’assouplir les mesures de protection de Grok. Mais même dans ce cas, ce serait une affaire bien plus risquée à entreprendre.
« Les gens raisonnables peuvent dire que nous savions que c’était un problème il y a des années », explique Langford. « Comment ne pas avoir mis en place des contrôles plus stricts pour garantir que cela n’arrive pas ? C’est une sorte d’imprudence ou de connaissance, mais c’est juste un cas plus compliqué. »
Ces problèmes liés au premier amendement expliquent pourquoi la plus grande résistance de xAI est venue de systèmes judiciaires dépourvus de protections juridiques solides pour la liberté d’expression. L’Indonésie et la Malaisie ont pris des mesures pour bloquer l’accès au chatbot Grok, tandis que les régulateurs du Royaume-Uni ont ouvert une enquête qui pourrait conduire à une interdiction similaire. D’autres mesures préliminaires ont été prises par la Commission européenne, la France, l’Irlande, l’Inde et le Brésil. En revanche, aucune agence de régulation américaine n’a publié de réponse officielle.
Il est impossible de dire comment les enquêtes aboutiront, mais à tout le moins, le flot d’images soulève de nombreuses questions sur lesquelles les régulateurs doivent enquêter – et les réponses pourraient être accablantes.
« Si vous publiez, distribuez ou diffusez du matériel sur les abus sexuels sur enfants, vous violez les interdictions pénales et pouvez être tenu responsable », a déclaré Langford. « La question difficile est : que savait X ? Qu’a fait ou n’a pas fait X ? Que fait-il maintenant en réponse à cela ? »
