Les robots de rampe Web AI sont les cafards d’Internet, croient de nombreux développeurs de logiciels. Certains développeurs ont commencé à riposter de manière ingénieuse, souvent humoristique.
Bien que tout site Web puisse être ciblé par un mauvais comportement de Crawler – un élément de retrait du site – les développeurs open source ont un impact «debout», écrit Niccolò Venerandi, développeur d’un bureau Linux connu sous le nom de plasma et propriétaire du blog Liberews.
De par leur nature, l’hébergement des projets gratuits et open source (FOSS) partagent plus de leur infrastructure publiquement, et ils ont également tendance à avoir moins de ressources que les produits commerciaux.
L’IDSU est que de nombreux robots AI n’honorent pas le fichier Robot.txt du protocole d’exclusion des robots, l’outil qui indique aux robots quoi ne pas ramper, créé à l’origine pour les robots de moteur de recherche.
Dans un article de blog «Cry for Help» en janvier, le développeur FOSS XE IASO a décrit Howonbot sans relâche sur le site Web du serveur GIT au point de provoquer des pannes DDOS. Les serveurs GIT hébergent des projets FOSS afin que quiconque souhaite puisse télécharger le code ou y contribuer.
Mais ce bot a ignoré le robot.txt de l’IASO, caché derrière d’autres adresses IP et a fait semblant d’être d’autres utilisateurs, a déclaré Iaaso.
« Il est vain de bloquer les robots de robottes AI parce qu’ils mentent, modifient leur agent utilisateur, utilisent des adresses IP résidentielles comme proxys, et plus encore », a-t-il en lame.
« Ils gratteront votre unité de site, puis ils le gratteront parfois. Ils cliqueront sur chaque lien sur chaque lien, affichant les mêmes pages encore et encore et encore.
Entrez le dieu des tombes
Donc je suis en train de revenir avec l’intelligence, de construire un outil appelé Anubis.
ANUBIS est une vérification de preuve de travail proxy inverse qui doit être transmise que Bereourss est autorisé à frapper un serveur GIT. Il bloque des bots à travers les navigateurs opérés par des humains.
La partie drôle: Anubis est le nom d’un dieu dans la mythologie égyptienne qui mène les morts au jugement.
« Anubis a pesé votre âme (cœur) et si elle était plus lourde qu’une plume, votre cœur a eu Eatteten et vous, comme, Mega est mort », a déclaré Iaaso à TechCrunch. Si une demande Web transmet le défi et est déterminée à être humaine, une jolie image d’anime annonce le succès. Le dessin est «mon point de vue sur l’anthropomorphisage Anubis», explique IASO. S’il s’agit d’un bot, la demande est refusée.
Le projet ironiquement nommé s’est propagé comme le vent parmi la communauté FOSS. IASO l’a partagé sur GitHub le 19 mars, et en quelques jours, il collectionne 2 000 étoiles, 20 contributeurs et 39 fourchettes.
Vengeance comme défense
La popularité instantanée d’Anubis montre que la douleur de l’IASO n’est pas unique. En fait, Venerandi a partagé l’histoire après l’histoire:
Le PDG du fondateur de Sourcehut Drew Devault a décrit les dépenses «de 20 à 100% de mon temps au cours d’une semaine donnée, atténuant les robots hyper-agressifs LLM à grande échelle» et «expérimentant des dizaines de brèves pannes par semaine». Jonathan Corbet, un célèbre développeur FOSS qui dirige le site d’information de l’industrie Linux, LWN, a averti que son site était en train d’être SPENG par le trafic au niveau de DDOS « à partir de Bots de grattere AI. Kevin Fenzi, le Sysadmin de l’énorme projet Linux Fedora, a déclaré que le Brazil Ai Boulait.
Venerandi dit à TechCrunch qu’il connaît plusieurs autres projets en même temps. L’un d’eux «a dû interdire temporairement toutes les adresses IP chinoises à un moment donné».
Que cela s’enfonce parfois – que les développeurs «doivent même se tourner vers les pays entre les pays» juste pour se sentir hors des bottes d’IA qui ignorent les fichiers Robot.txt, explique Venerandi.
Au-delà du poids de l’âme d’une demande Web, d’autres développeurs croient que la vengeance est la meilleure défense.
Il y a quelques jours sur Hacker News, l’utilisateur Xyzal a suggéré de charger Robot.txt pour les pages interdites avec «une charge de seau d’articles sur les avantages de la consommation d’eau de l’eau» ou des «articles sur un effet positif de la capture de la rougeole sur les performances au lit».
« Pensez que nous devons aimer les bots pour obtenir la valeur utilitaire _negative_ en visitant nos pièges, pas seulement une valeur nulle », a expliqué Xyzal.
En l’occurrence, en janvier, un créateur anonyme connu sous le nom de «Aaron» a publié un outil appelé Nepenthes qui vise à faire exactement cela. Il piège les robots dans un dédale de faux contenu sans fin, un objectif que le développement a admis à ARS Technica est agressif, sinon carrément malveillant. L’outil porte le nom d’une plante carnivore.
Et Cloudflare, peut-être le plus grand joueur commercial offrant plusieurs outils pour repousser les robots de l’IA, a publié la semaine dernière un outil similaire AI Labyrinth.
Il est destiné à «ralentir, confondre et était les résistances des robots de l’IA et d’autres robots qui respectent les directives« sans crawl », a décrit Cloudflare dans son article de blog. Cloudflare a déclaré qu’il nourrit mal les robots d’IA, «un contenu non pertinent plutôt que d’extraire les données de votre site Web légitimes».
Devault de Sourcehut a déclaré à TechCrunch que «Nepenthes avait un sentiment de justice satisfaisant, car il nourrit les non-sens des robots et empoisonnes leurs puits, mais Ultimataly Anubis est la solution qui a fonctionné» pour son site.
Mais Devault a également émis un plaidoyer public et sincère pour une solution plus directe: «Veuillez arrêter de légitimer LLMS ou des générateurs d’images AI ou Github Copilot ou l’un de ces ordures. Je vous supplie de cesser de les utiliser, arrêtez d’en parler, arrêtez d’en faire de nouveaux, arrêtez-vous.
La vente de cela est Zilch, les développeurs, en particulier dans FOSS, ripostent avec intelligence et touche d’humour.
