Plus de 200 groupes de défense des enfants et experts appellent YouTube à interdire complètement les « slops » générés par l’IA de sa plateforme pour enfants, affirmant que les vidéos de mauvaise qualité générées par des algorithmes réécrivent le cerveau des jeunes et rapportent des millions de dollars pendant que les parents et les régulateurs ferment les yeux.
La lettre ouverte, parrainée par le groupe de défense des enfants Fairplay et adressée au PDG de YouTube Neil Mohan et au PDG de Google Sundar Pichai, a été signée par plus de 135 organisations. Les signataires comprennent la Fédération américaine des enseignants, l’American Counselling Association et d’éminents chercheurs tels que Jonathan Haidt, auteur de An Anxious Generation. Les auteurs de la lettre affirment que YouTube non seulement ne parvient pas à empêcher l’IA d’affecter les enfants, mais qu’il en profite activement.
« Les vidéos générées par l’IA ne sont en réalité qu’une escalade de la myriade de problèmes que YouTube rencontre déjà lors de l’interaction avec les enfants sur sa plate-forme », a déclaré à Fortune Rachel Franz, directrice du programme Early Childhood Thrive Offline de Fair Play. « Bien qu’il soit important de s’attaquer à ce phénomène de dérive de l’IA, il est tout aussi important de contester YouTube sur la façon dont sa plate-forme est conçue pour inciter les utilisateurs à passer plus de temps d’une manière qui n’implique pas nécessairement l’IA. »
Tout d’abord, qu’est-ce que « AI Slop » ?
Le terme fait référence à la vague de vidéos produites en masse et générées par l’IA qui inondent les plateformes comme YouTube. Le contenu est peu coûteux à produire, souvent bizarre ou absurde, et conçu pour attirer et retenir l’attention du jeune public (ou de tout autre public). Et cher lecteur, cette vidéo est bizarre. Des animaux de dessins animés effectuant des tâches répétitives dans une étrange esthétique de vallée. Fausse vidéo « éducative » avec des informations tronquées. Ou une boucle hypnotique sans but pur. Le New York Times a documenté ce phénomène dans une enquête menée en février, révélant que de telles vidéos étaient intégrées à YouTube Kids, une plateforme que YouTube commercialise comme un espace sécurisé et organisé pour les enfants.
« Une grande partie du contenu généré par l’IA est en fait conçue pour détourner l’attention des enfants, en particulier des jeunes enfants dont le contrôle des impulsions commence tout juste à se développer, et peut en fait déformer la réalité, semer la confusion et avoir un impact sur la façon dont les enfants comprennent le monde qui les entoure », a déclaré Franz, qui a une formation en développement de la petite enfance. « Il ne s’agit pas d’un problème parental en soi ; la plate-forme encourage systématiquement le contenu de l’IA d’une manière qui empêche les jeunes utilisateurs de l’éviter. »
Les incitations financières sont incroyables. Fairplay a découvert que les principales chaînes sordides d’IA ciblant les enfants gagnaient plus de 4,25 millions de dollars par an, certains créateurs vantant ouvertement les bénéfices provenant de « contenus d’IA non scénarisés et captivants ». La lettre affirme qu’aucune mesure politique ne sera suffisante tant que les plateformes n’auront pas supprimé les incitations financières pour les créateurs de ces vidéos.
« Seulement environ 5 % des vidéos sur YouTube destinées aux enfants de moins de 8 ans sont de haute qualité, et il y a un débat quant à savoir si ces 5 % des vidéos sont réellement de haute qualité », a déclaré Franz. Cependant, YouTube a déterminé que ce numéro enfreignait nos règles standards.
« Nous avons des normes élevées en matière de contenu sur YouTube Kids, notamment en limitant le contenu généré par l’IA au sein de l’application à un petit nombre de chaînes de haute qualité », a déclaré le porte-parole de YouTube, Boot Bullwinkle, à Fortune dans un communiqué. « Nous donnons également aux parents la possibilité de bloquer les chaînes. Sur YouTube, nous accordons la priorité à la transparence en ce qui concerne le contenu d’IA, en étiquetant le contenu de nos propres outils d’IA et en demandant aux créateurs de divulguer un contenu d’IA réaliste. Nous faisons évoluer notre approche pour rester à jour à mesure que l’écosystème évolue. »
Solution
La coalition affirme, sur la base de recherches sur le développement de l’enfant, qu’il ne s’agit pas d’une préoccupation de niche. Même les adultes peuvent avoir des difficultés à identifier correctement le contenu généré par l’IA, et ne le font correctement que 50 % du temps environ. Plus troublant encore, avec une exposition répétée, les gens sont plus susceptibles de reconnaître une image d’IA comme réelle, même après s’être fait dire qu’elle est fausse. Pour les jeunes enfants, dont le cerveau est encore en train de construire des schémas de base de la réalité, les dégâts augmentent avec le temps.
Les exigences du fair-play sont structurelles et non superficielles. La coalition appelle YouTube à étiqueter clairement tout le contenu généré par l’IA sur sa plateforme. Interdire définitivement le contenu généré par l’IA sur YouTube Kids. Nous interdirons les contenus générés par l’IA « conçus pour les enfants » sur la principale plateforme YouTube. Fairplay demande à YouTube d’interdire à son algorithme de recommander du contenu IA aux utilisateurs de moins de 18 ans. Introduction d’une bascule parentale pour désactiver le contenu IA qui est désactivé par défaut. Et arrêtez tout investissement dans le contenu généré par l’IA destiné aux enfants.
Cette dernière demande vise directement l’investissement de YouTube dans Animaj, un studio de divertissement pour enfants alimenté par l’IA et soutenu par l’AI Futures Fund de Google. « YouTube investit essentiellement dans le préjudice aux nourrissons grâce à l’acquisition d’Animaj », a déclaré Franz.
Dans une déclaration à Fortune, Bullwinkle a confirmé que YouTube développait des étiquettes d’IA dédiées pour YouTube Kids, mais un porte-parole n’a pas fourni de calendrier. Le PDG de YouTube, Neil Mohan, avait déjà désigné la « gestion des déchets d’IA » comme une priorité absolue dans sa lettre annuelle. « Pour réduire la propagation de contenus d’IA de mauvaise qualité, nous nous appuyons activement sur des systèmes établis qui combattent le spam et les pièges à clics et réussissons grandement à réduire la propagation de contenus répétitifs et de mauvaise qualité », peut-on lire dans la lettre.
Bullwinkle a également déclaré que 15 chaînes Les vidéos mentionnées dans l’article du Times ne sont pas sur YouTube Kids et que la plateforme a supprimé les vidéos qui violaient les politiques de sécurité des enfants. Mais pour Franz, cela ne suffit pas.
« Il n’appartient pas aux chercheurs individuels de citer certaines chaînes comme exemples de pratiques susceptibles de nuire aux enfants et de s’en servir comme base pour la décision de YouTube de lancer la plateforme. Ce que nous avons vu avec Elsagate, c’est qu’à cette époque, YouTube avait supprimé 150 000 vidéos de la plateforme et de centaines de chaînes différentes », a déclaré Franz. Elle faisait référence au scandale de 2017 dans lequel des milliers de vidéos sur YouTube et YouTube Kids utilisaient des personnages enfants familiers comme Elsa de La Reine des Neiges et Peppa Pig pour cacher des contenus très dérangeants tels que la violence graphique, les thèmes sexuels et la consommation de drogues, en ajoutant des balises algorithmiques telles que « éducatif » et « amusant » pour passer à travers les filtres et atteindre les jeunes enfants.
« Même si nous savons que YouTube a la capacité de surveiller, suivre et supprimer ces vidéos à grande échelle, ils adoptent actuellement une approche de fortune et prendront probablement des mesures sur les chaînes qui bénéficieront d’une couverture à l’avenir », a poursuivi Franz. « Mais le problème global n’est toujours pas résolu. »
