Cloudflare vient d’imposer à l’industrie de l’IA une nouvelle date limite pour séparer les robots d’exploration Web utilisés à des fins de recherche traditionnelles, comme la recherche Google, de ceux utilisés pour les agents et la formation de l’IA. À partir du 15 septembre 2026, les paramètres par défaut de Cloudflare bloqueront les robots d’exploration « à usage mixte » de toutes les pages hébergeant des publicités, a annoncé mercredi la société.
Cela signifie que les robots d’exploration qui combinent la recherche, l’utilisation d’agents et la formation ne pourront pas explorer ces sites par défaut, à moins que le propriétaire du site n’ajuste les paramètres autrement. Ces modifications des valeurs par défaut s’appliqueront aux nouveaux clients Cloudflare, aux nouveaux sites créés par les clients existants et à tous les clients gratuits existants, indique la société.
Cette décision pourrait avoir un impact sur la manière dont les fournisseurs de modèles d’IA peuvent accéder au contenu Web à des fins de formation et pour les aider à alimenter leurs services agents.
Cloudflare souligne que la plupart des propriétaires de sites Web souhaitent que leur contenu soit visible via la recherche et souvent également via des services d’IA, mais ils souhaitent des protections contre la cession gratuite de leur propriété intellectuelle.
Cloudflare cite spécifiquement le « plus grand moteur de recherche au monde » (clairement une référence de Google !) comme ayant accès à environ « 2 fois plus d’informations » que les autres sociétés d’IA, car le géant de la recherche rend difficile la découverte des clients sans être utilisé pour l’IA.
Google s’est opposé à cette généralisation dans le passé, notant qu’il fournit un robot appelé Google Extended qui permet aux propriétaires de sites de refuser que leur contenu soit utilisé pour la formation et les produits et services d’IA tels que Gemini Apps et Vertex API. Son utilisation n’a pas d’impact sur l’inclusion d’un site dans la recherche Google. Cependant, le produit phare du géant de la technologie, Googlebot, explore la recherche, y compris des fonctionnalités d’IA telles que les aperçus d’IA et le mode AI.
« Maintenant que la majorité du trafic sur Internet est non humaine, nous devons aller plus loin et agir plus rapidement pour qu’un écosystème durable puisse émerger », a déclaré Matthew Prince, co-fondateur et PDG de Cloudflare, en faisant référence au récent jalon où les robots ont dépassé pour la première fois le trafic humain en ligne. Ce changement ne devrait pas se produire avant l’année prochaine.
« Les nouveaux outils et partenariats de Cloudflare offrent aux propriétaires de sites Web une visibilité et des opportunités commerciales accrues et profitent aux entreprises d’IA qui disposent de robots avec une intention claire et transparente. Nous espérons que les modifications par défaut proposées encourageront les robots d’exploration à usage mixte à séparer la recherche de l’utilisation et de la formation des agents », a déclaré Prince.
Alors que Cloudflare propose un certain nombre de produits pour aider les utilisateurs à lancer leurs propres systèmes d’IA, la société a également publié une gamme d’outils pour donner aux éditeurs plus de contrôle sur leur contenu à l’ère de l’IA. Ces dernières années, Cloudflare a lancé des outils pour lutter contre les robots IA, notamment un marché qui permet aux sites Web de facturer le scraping aux robots IA, baptisé Pay Per Crawl.
Ce dernier évolue désormais également vers le « Pay Per Use », a indiqué la société, qui permettra aux éditeurs de facturer aux sociétés d’IA lorsque leur contenu crée de la valeur, et pas seulement lorsqu’il est récupéré.
Ce changement pourrait également contribuer à préserver la bande passante et les ressources de calcul des éditeurs pour les fournisseurs de modèles d’IA, car les données de Cloudflare suggèrent que plus de 50 % du trafic d’exploration des robots d’exploration d’IA est consacré à la récupération de pages inchangées.
Pour mettre cela en pratique, Cloudflare travaille dans un premier temps avec deux partenaires, Ceramic.ai et You.com. Lorsqu’un éditeur s’inscrit, il est payé lorsque son contenu apparaît dans les résultats de recherche AI de Ceramic ou lorsque You.com accède à une partie de son contenu premium.
D’autres sociétés d’IA peuvent personnaliser ce modèle en fonction de leur fonctionnement, explique Cloudflare.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
