Les soi-disant Sals AI, ce qui signifie que des images, des vidéos et du texte générés par LLM, ont repris Internet au cours des deux dernières années, polluant des sites Web, des plateformes de médias sociaux, au moins un journal et même des événements du monde réel.
Le monde de la cybersécurité n’est pas non plus à l’abri de ce problème. Au cours de la dernière année, les gens de l’industrie de la cybersécurité ont soulevé des rapports de primes AIT Sals Bug, ce qui signifie que des rapports qui prétendent avoir trouvé des vulnérabilités qui n’existent pas réellement, car ils ont créé avec un modèle grand langage qui a simplement constitué la vulnérabilité, puis l’a emballé dans un écriture professionnel.
« Les gens reçoivent des rapports qui semblent raisonnables, ils semblent techniquement corrects. Et puis vous finissez par y creuser, essayant de comprendre: » Oh non, où est cette vulnérabilité? « », A déclaré Vlad Ionescu, le co-fondateur et CTO de Runsybil, une startup qui a développé des chasseurs, a déclaré à TechCrunch.
« Il s’avère que ce n’était qu’une hallucination depuis le début. Les détails techniques que nous venons de faire par le LLM », a déclaré Ionescu.
Ionescu, qui travaillait dans l’équipe rouge de Meta chargée de pirater l’entreprise de l’intérieur, a expliqué que l’une des sorties est que les LLM sont conçues pour être utiles et donner positive. « Si vous lui demandez un rapport, cela vous donnera un rapport. Et puis les gens les copieront et les colleront dans les plates-formes de primes de bogue et submergeront les plates-formes elles-mêmes, submerger les clients, et vous entrez dans cette situation frustrante », a déclaré Ionescu.
« C’est le problème que les gens rencontrent, c’est que nous obtenons beaucoup de choses qui ressemblent à l’or, mais ce sont des nouvelles juste de la merde », a déclaré Ionescu.
Juste l’année dernière, il y a eu des exemples réels de cela. Harry Sintonen, un chercheur en sécurité, a révélé que le projet de sécurité open source Curl avait reculé un faux rapport. « L’attaquant a mal calculé mal », a écrit Sintonen dans un article sur Mastodon. « Curl peut fondre Ai Sols à des kilomètres de là. »
En responsable du poste de Sintonen, Benjamin Piouffle d’Open Collective, une plate-forme technologique pour les organisations à but non lucratif, a déclaré qu’ils avaient le problème: que leur boîte de réception est « inondé de déchets d’IA ».
Un développeur open source, qui entretient le projet Cyclonedx sur Github, a abaissé leur prime de bug entièrement plus tôt cette année après avoir reçu «des rapports presque entièrement AI SLAL.
Les principales plates-formes de primes de bogues, qui fonctionnent essentiellement comme des intermédiaires entre les pirates de Bunty et les entreprises qui sont prêtes à les payer et à les récompenser pour avoir trouvé des flammes dans leurs produits et logiciels, voient également un pic dans les rapports générés par AI, a appris TechCrunch.
Contact américain
Avez-vous plus d’informations sur l’impact de l’IA de l’industrie de la cybersécurité? Nous serions ravis de vous entendre. À partir d’un dispositif et d’un réseau sans travail, vous pouvez contacter Lorenzo Franceschi-Bicchiera en toute sécurité sur le signal à +1 917 257 1382, ou via Telegram et Keybase @lorenzofb, ou e-mail.
Michiel Prins, co-fondateur et directeur principal de la gestion des produits chez Hackerone, a déclaré à TechCrunch que la société avait encouragé une SAND IA.
« Nous avons également constaté une augmentation de la vulnérabilité des faux positifs qui semblent réelles mais qui sont générées par les LLM et manquent d’impact du monde réel », a déclaré Prins. «Ces soumissions à faible signal peuvent créer un bruit qui sape l’efficacité des programmes de sécurité.»
Prins a ajouté que les rapports contenant «des vulnérabilités hallucinées, un contenu technique vague ou d’autres formes de bruit à faible effort sont traitées comme du spam».
Casey Ellis, la fondatrice de BugCrowd, a déclaré qu’il y a certainement des chercheurs qui utilisent des bugs de recherche et rédigent les rapports qu’ils sont soumis à l’entreprise. Ellis a déclaré qu’ils constataient une augmentation globale de 500 soumissions par semaine.
« L’IA est largement utilisée dans la plupart des soumissions, mais elle a encore été provoquée par un pic important dans les rapports de » sloge « de faible qualité », a déclaré Ellis à TechCrunch. « Cela va probablement dégénérer à l’avenir, mais ce n’est pas encore là. »
Ellis a déclaré que l’équipe de BugCrowd selon laquelle une analyse des soumissions examine les rapports manuellement en utilisant des manuels et des flux de travail établis, ainsi qu’avec l’apprentissage automatique et «l’assistance AI».
Pour voir les sociétés IFHER, y compris celles qui gèrent leurs programmes de primes BOG, reçoivent également une augmentation des rapports non valides ou des rapports contenant une vulnérabilité inexistante hallucinée par LLMS, TechCrunch Contactez Google, Meta, Microsoft et Mozilla.
Damiano Demonte, un porte-parole de Mozilla, qui développe le navigateur Firefox, a déclaré que la société n’avait « pas vu une incrustée substantielle dans des rapports de bogues invalides ou à faible pointage qui semblent être générés par AI », et le taux de rejet de rapports faisant de la façon dont 10% de tous les rapports mensuels.
Les employés de Mozilla qui examinent les rapports de bogues pour Firefox Don utilisé pour filtrer les rapports, car il serait probablement difficile de le faire sans risque de rejet un rapport de bogue légitime », a déclaré Demonte dans un e-mail.
Microsoft et Meta, les sociétés qui ont tous deux parié sur l’IA, ont refusé de commenter. Google n’a pas répondu à une demande de comment.
IONESCU prédit que l’une des solutions au problème de l’augmentation de l’IA Sols sera de continuer à investir dans des systèmes à forfaitaire qui peuvent au moins effectuer une examen préliminaire et des soumissions de filtres pour la précision.
En fait, nous avons tué, Hackeron a lancé Hai Triage, un nouveau système de triage qui combinait l’homme et l’IA. Selon Hackerone, ce nouveau système exploite «les agents de sécurité de l’IA pour couper le bruit, signaler des doublons et hiérarchiser les menaces réelles». Les analystes humains interviennent ensuite pour valider les rapports de bogues et dégénérer au besoin.
Comme les pirates utilisent de plus en plus les LLM et les entreprises comptent sur l’IA pour triage ces références, il reste à voir lequel des deux IA prévaudra.
