Lorsque CloudFlare a accusé la perplexité du moteur de recherche de l’IA de gratter furtivement les sites Web lundi, tandis que les méthodes spécifiques d’un site pour le bloquer, ce n’était pas un cas clair d’un robot Web de l’IA devenu déchaîné.
Beaucoup de gens cèdent à la défense de Perplexity. Ils ont fait valoir que la perplexité accédant aux sites au mépris des souhaits du propriétaire du site Web, bien que controversé, est acceptable. Et c’est une controverse qui se développera certainement en tant qu’agents Internet: un agent qui accéde à un site Web au nom de son utilisateur devrait-il être traité comme un bot? Maintenant, comme l’homme faire la même demande?
CloudFlare est connu pour fournir des services anti-Bot et d’autres services de sécurité Web à des millions de sites Web. Essentiellement, le cas de test de CloudFlare impliquait de mettre en place un nouveau site Web avec un nouveau domaine qui n’avait jamais été rampé par aucun bot, créant un fichier robots.txt qui a spécifiquement bloqué les robots d’IA connues de Perplexity, puis en demandant à Perplexity sur le site Web du site Web ravi. Et la perplexité a fait des années la question.
Les chercheurs de Cloudflare ont découvert que le moteur de recherche d’IA utilisait «un navigateur générique destiné à imperrer Google Chrome sur MacOS» lorsque son robot Web a été bloqué. Le PDG de Cloudflare, Matthew Prince, a publié la recherche sur X, en écrivant: «Certaines sociétés d’IA prétendument« réputées »agissent plus comme des pirates nord-coréens.
Mais de nombreuses personnes sont en désaccord avec l’évaluation de Prince selon laquelle c’était un mauvais comportement. Ceux qui défendent la perplexité sur des lites comme X et Hacker News ont souligné que ce que CloudFlare semblait documenter était le cul d’IA accédant à un site Web public spécifique lorsque son utilisateur a posé des questions sur ce site Web spécifique.
« Si je demande un site Web en tant qu’humain, alors je devrais être montré le contenu », a écrit une personne sur Hacker News, ajoutant: « Pourquoi le LLM accédant au site Web en mon nom est dans une catégorie juridique différente comme mon navigateur Web Firefox? »
Un porte-parole de Perplexity avait précédemment nié à TechCrunch que les bots étaient la société et ont appelé le blog de Cloudflare un argumentaire de vente pour CloudFlare. Là, nous sommes mardi, Perplexity a publié un blog dans sa défense (et attaquer généralement CloudFlare), affirmant que le comportement provenait d’un service tiers informatique d’occasion.
Événement TechCrunch
San Francisco
|
27-29 octobre 2025
Mais le Crux de la publication de Perplexity a fait un appel similaire à celle de ses défenseurs en ligne.
« La différence entre la rampe automatisée et la récupération axée sur les utilisateurs n’est pas seulement la technique – il s’agit d’accès aux informations sur l’Open Web », a indiqué le post. «Cette controverse révèle que le système de Cloudflare est fondamentalement inadéquat pour la distinction entre les assistants légitimes de l’IA et les menaces réelles.»
Les accusations de la perplexité sont exactement justes non plus. Un argument que Prince et Cloudflare ont utilisé pour appeler les méthodes de Perplexity était qu’Openai ne se comporte pas de la même manière.
« OpenAI est un exemple d’une entreprise d’IA de premier plan qui suit ces meilleures pratiques », a écrit Cloudflare. «Ils respectent Robots.txt et n’essaient pas d’échapper à une directive Robots.txt ou un bloc de niveau réseau. Et l’agent ChatGpt signer des demandes HTTP à l’aide du nouvel Auth Standard Bot Auth.
Web Bot Auth est une norme soutenue par CloudFlare en cours de développement par le groupe de travail sur Internet Engineering qui espère créer une méthode cryptographique pour identifier les demandes Web d’agent AI.
Le débat survient alors que l’activité BOT remodèle Internet. Comme TechCrunch l’indique auparavant, les robots cherchant à gratter les amours massifs de contenu pour former des modèles d’IA sont devenus une menace, en particulier pour les petits sites.
Pour la première fois dans l’histoire d’Internet, l’activité BOT dépasse actuellement l’activité humaine en ligne, avec un anniversaire du trafic d’IA pour plus de 50%, selon le Bad Bot Readse d’imperva le mois dernier. La majeure partie de cette activité provient de LLMS. Mais le report a également constaté que les bots malveillants se réunissent 37% de tout le trafic Internet. C’est une activité qui comprenait tout, du grattage persistant aux tentatives de connexion non autorisées.
Jusqu’à la LLMS, Internet a généralement accepté que les sites Web pouvaient et devraient bloquer la plupart des activités de bot étant donné la fréquence à laquelle il était malveillant en utilisant CAPTCHAS et d’autres services (comme CloudFlare). Les sites Web étaient également clairement incités à travailler avec de bons acteurs spécifiques, tels que Googlebot, le guidant sur ce qui ne pas indexer via Robots.txt. Google a indexé Internet, qui sent le trafic vers les sites.
Maintenant, les LLM mangent un amour croissant de ce trafic. Gartner prédit que le volume des moteurs de recherche baissera de 25% d’ici 2026. En ce moment, les humains ont tendance à cliquer sur les liens du site Web à partir de LLMS au moment où ils sont les plus précieux pour le site Web, c’est-à-dire à ce moment-là qu’ils lisent pour effectuer une transaction.
Mais si les humains adoptent des agents comme l’industrie de la technologie prédit qu’ils le feront – pour organiser nos voyages, réserver nos réservations pour le dîner et faire des achats pour nous – les sites Web ont toujours réussi leur intérêt commercial en les bloquant? Le débat sur X a parfaitement capturé le dilemme:
«Je veux que la perplexité visite un contenu public en mon nom lorsque je lui donne une demande / tâche!» A écrit une personne responsable de CloudFlare qui appelait la perplexité.
«Et si les propriétaires du site ne le veulent pas?
« C’est pourquoi je peux voir la« navigation agentique »qui fonctionne vraiment – un problème beaucoup plus difficile que les gens ne le pensent. La plupart des propriétaires de sites Web bloquent », a prédit un troisième.
