Cloudflare, un fournisseur d’infrastructures cloud qui dessert 20% du Web, a attaché mardi le lancement d’un nouveau marché qui réinvente la relation entre les propriétaires de sites Web et les sociétés d’IA – donnant idéalement aux éditeurs un plus grand contrôle sur leur contenu.
Au cours de la dernière année, CloudFlare a lancé des outils pour les éditeurs pour ajouter la montée en rampe de Crawlers d’IA, a inclus une solution en un clic pour bloquer toutes les bottes d’IA, ainsi qu’un tableau de bord pour voir comment les Crawlers de l’IA visitent leur site. Dans une interview en 2024, le PDG de Cloudflare, Matthew Prince, a déclaré à TechCrunch que ces produits jetaient une base pour un nouveau type de marché dans lequel les éditeurs pouvaient distribuer leur conte aux sociétés d’IA et être indemnisée.
Maintenant, CloudFlare donne vie à ce marché.
Cela s’appelle Pay Per Crawl, et CloudFlare lance mardi «l’expérience» en version bêta privée. Les propriétaires de sites Web dans l’expérience peuvent choisir de laisser un Crawlers, sur une base individuelle, de gratter leur site dans un ensemble – un micropaiement pour chaque «Crawl». Alternativement, les propriétaires de sites Web peuvent choisir de laisser un Crawlers gratter leur site gratuitement, ou les bloquer au total. CloudFlare affirme que ses outils permettra aux propriétaires de sites de voir si les robots de robot érafoncent leur site pour les données de formation en IA, pour apparaître dans les stations de recherche d’IA ou à d’autres fins.
À l’échelle, le marché de Cloudflare est une grande idée qui pourrait offrir aux éditeurs un modèle commercial potentiel pour l’ère de l’IA – et il place également Cloudflare au centre de tout cela. Le lancement du marché intervient à un moment où les éditeurs de nouvelles sont confrontés à des questions existentielles sur la façon d’atteindre les lecteurs, alors que le trafic de recherche Google s’estompe et que les chatbots AI augmentent en popularité.
Il n’y a pas de réponse claire sur la façon dont les éditeurs de nouvelles survivront à l’ère de l’IA. Certains, comme le New York Times, ont intenté des poursuites contre des entreprises technologiques pour avoir formé leurs modèles d’IA sur les articles de presse sans autorisation. Pendant ce temps, d’autres éditeurs ont structuré des accords multi-yéar pour concéder à leur contenu pour une formation sur le modèle d’IA et pour que leur contenu apparaisse dans les responsabilités du chatbot AI.
Même ainsi, seuls les grands éditeurs ont conclu des accords de licence sur l’IA, et il n’est pas encore clair où ils fournissent des sources de revenus significatives. CloudFlare vise à créer un système plus durable où les éditeurs peuvent fixer les prix selon leurs propres conditions.
La société a également annoncé mardi que le nouveau site Web mis en place avec CloudFlare bloquera maintenant, par défaut, tous les robots d’IA. Les propriétaires de sites devront accorder à certains Crawlers de l’IA la permission d’accéder à leur site – un changement de cloudflare disant donner un nouveau domaine en soirée «le défaut de contrôle.
Plusieurs grands éditeurs, dont Conde Nast, Time, l’Associated Press, l’Atlantique, Adweek et Fortune, ont signé avec Cloudflare pour bloquer les robots de l’IA par défaut à l’appui de l’objectif plus large de l’entreprise d’une «autorisation basée sur la rampe».
Le modèle commercial sur lequel bon nombre de ces éditeurs se sont soutenus pendant des décennies devient lentement inhabiable. Historiquement, les éditeurs en ligne ont permis à Google de gratter leurs sites en échange de la référence dans Google Search, qui s’est traduit par le trafic vers leurs sites, et ultimataly, l’annonce que
Cependant, les nouvelles données de CloudFlare suggèrent que les éditeurs peuvent obtenir une affaire pire dans l’ère AI que dans l’ère de la recherche Google. Bien que certains sites Web citent Chatgpt comme source de trafic majeure, cela ne semble pas être le cas largement.
En juin, Cloudflare dit qu’il a constaté que le robot de Google avait gratté ses sites Web 14 fois pour toutes les réseaux qu’il leur donnait. Pendant ce temps, le robot d’ouverture d’Openai a gratté les sites Web 17 000 fois pour chaque Red Retrale, tandis que Anthropic a gratté les sites Web 73 000 fois pour chaque redrier.
Pendant ce temps, OpenAI et Google construisent des agents d’IA qui sont conçus pour visiter des sites Web pour le compte d’utilisateurs, collecter des informations et les remettre directement aux utilisateurs. Un avenir dans lequel ces outils sont dominants ont d’énormes implications pour les éditeurs qui comptent sur les lecteurs visitant leurs sites.
Cloudflare note que le «véritable potentiel» de la rémunération par rampe peut émerger dans un avenir «agentique».
« Et si un mur de paiement agentique pouvait opérer à la pointe du réseau, un programme complet? Imaginez de demander votre programme de recherche en profondeur préféré pour vous aider à synthétiser les dernières recherches sur le cancer ou un mémoire juridique, ou simplement vous aider à trouver le meilleur restaurant de Soho – puis à donner à ce budget un budget.
Pour participer au marché expérimental de CloudFlare, les entreprises et les éditeurs de l’IA doivent tous deux être configurés avec des comptes CloudFlare. Dans leur compte, les deux pièces peuvent fixer des tarifs auxquels ils aimeraient acheter et vendre une «rampe» du contenu de l’éditeur. Cloudflare agit comme intermédiaire dans ces transactions, facturant la société d’IA et distribuant les bénéfices à l’éditeur.
Le porte-parole de Cloudflare, Ripley Park, a déclaré à TechCrunch qu’il n’y a pas de crypto-monnaie stable impliquée dans la salaire de salaire à l’heure actuelle, même si beaucoup ont une monnaie numérique suggérée serait parfaite pour quelque chose comme ça.
Le marché de Cloudflare ressemble à une vision audacieuse de l’avenir qui nécessite que beaucoup d’éditeurs et de sociétés d’IA se mettent à bord. Pourtant, il n’y a aucune garantie que les éditeurs obtiendront une bonne affaire, et convaincre les entreprises d’IA de participer pourrait être difficile, étant donné qu’ils grattent actuellement le contenu gratuitement.
Néanmoins, Cloudflare semble être l’une des rares entreprises en mesure de faire en sorte qu’un marché comme celui-ci se produise.
