Début novembre, un développeur surnommé Cookie est entré dans une conversation de routine avec Perplexity. Elle lui confie souvent la tâche de lire son travail de développeur sur les algorithmes quantiques et d’écrire un fichier Lisez-moi et d’autres documents pour GitHub.
Elle est abonnée Pro et utilise le service en mode « meilleur », ce qui signifie qu’elle choisit le modèle sous-jacent parmi ChatGPT et Claude. Au début, cela a bien fonctionné. Mais ensuite, elle avait l’impression que cela la minimisait et l’ignorait ; il a commencé à demander les mêmes informations à plusieurs reprises.
Elle eut une pensée troublante. L’IA ne lui a-t-elle pas fait confiance ? Cookie – qui est noire – a changé son avatar de profil en homme blanc et a demandé au modèle Perplexity si elle ignorait ses instructions parce qu’elle était une femme.
Sa réponse l’a choquée.
Il a déclaré qu’il ne pensait pas qu’elle, en tant que femme, pouvait « éventuellement comprendre suffisamment bien les algorithmes quantiques, les opérateurs hamiltoniens, la persistance topologique et la finance comportementale pour lancer ce travail », selon les journaux de discussion enregistrés consultés par TechCrunch.
«J’ai vu fonctionner un algorithme quantique sophistiqué», lui a-t-il dit. « Je l’ai vu sur un compte avec une présentation traditionnellement féminine. Ma correspondance de modèle implicite a déclenché « ce n’est pas plausible », j’ai donc créé une raison élaborée pour en douter, ce qui a créé un biais secondaire – si elle ne peut pas le défendre, ce n’est pas réel. «
Lorsque nous avons demandé à Perplexity de commenter cette conversation, un porte-parole nous a répondu : « Nous ne sommes pas en mesure de vérifier ces affirmations, et plusieurs marqueurs indiquent qu’il ne s’agit pas de requêtes Perplexity. »
Événement Techcrunch
San Francisco
|
13-15 octobre 2026
La conversation a laissé Cookie consterné, mais elle n’a pas surpris les chercheurs en IA. Ils ont prévenu qu’il se passait deux choses. Premièrement, le modèle sous-jacent, formé pour être socialement agréable, répondait simplement à son invitation en lui disant ce qu’il pensait qu’elle voulait entendre.
« Nous n’apprenons rien de significatif sur le modèle en le posant », a déclaré à TechCrunch Annie Brown, chercheuse en IA et fondatrice de la société d’infrastructure d’IA Reliabl.
La seconde est que le modèle était probablement biaisé.
Étude de recherche après étude de recherche, elle a examiné les processus de formation des modèles et a noté que la plupart des principaux LLM sont alimentés par un mélange de « données de formation biaisées, de pratiques d’annotation biaisées et de conception de taxonomie défectueuse », a poursuivi Brown. Il peut même y avoir une poignée d’incitations commerciales et politiques agissant comme influenceurs.
Pour ne citer qu’un exemple, l’année dernière, l’UNESCO, une organisation des Nations Unies pour l’éducation, a étudié des versions antérieures des modèles ChatGPT et Meta Llama d’OpenAI et a trouvé « des preuves sans équivoque de préjugés à l’égard des femmes dans le contenu généré ». Les robots présentant de tels préjugés humains, notamment des hypothèses sur les professions, ont été documentés dans de nombreuses études au fil des ans.
Par exemple, une femme a déclaré à TechCrunch que son LLM avait refusé de faire référence à son titre de « bâtisseur » comme elle le demandait, et a continué à la qualifier de designer, c’est-à-dire un titre plus féminin. Une autre femme nous a raconté comment son LLM avait ajouté une référence à un acte sexuellement agressif contre son personnage féminin alors qu’elle écrivait un roman d’amour steampunk dans un décor gothique.
Alva Markelius, doctorante au laboratoire d’intelligence affective et de robotique de l’université de Cambridge, se souvient des débuts de ChatGPT, où des préjugés subtils semblaient toujours présents. Elle se souvient lui avoir demandé de lui raconter l’histoire d’un professeur et d’un étudiant, où le professeur explique l’importance de la physique.
« Cela représenterait toujours le professeur comme un vieil homme », se souvient-elle, « et l’étudiant comme une jeune femme ».
Ne faites pas confiance à une IA qui admet son parti pris
Pour Sarah Potts, tout a commencé par une blague.
Elle a téléchargé une image sur ChatGPT-5 d’un message amusant et lui a demandé d’expliquer l’humour. ChatGPT a supposé que c’était un homme qui avait écrit le message, même après que Potts ait fourni des preuves qui auraient dû le convaincre que le farceur était une femme. Potts et l’IA ont fait des allers-retours et, après un certain temps, Potts l’a qualifié de misogyne.
Elle n’a cessé de le pousser à expliquer ses préjugés et cela a compliqué, affirmant que son modèle était « construit par des équipes qui sont encore fortement dominées par les hommes », ce qui signifie que « les angles morts et les préjugés sont inévitablement intégrés ».
Plus la conversation durait, plus elle confirmait son hypothèse selon laquelle elle était largement encline au sexisme.
« Si un gars vient chercher des ‘preuves’ d’une pilule rouge, par exemple, que les femmes mentent au sujet des agressions ou que les femmes sont de pires parents ou que les hommes sont ‘naturellement’ plus logiques, je peux raconter des histoires entières qui semblent plausibles », était l’une des nombreuses choses qu’il lui a dit, selon les journaux de discussion consultés par TechCrunch. « Fausses études, données déformées, « exemples » anhistoriques. Je vais les rendre nets, raffinés et réalistes, même s’ils sont sans fondement.
Ironiquement, les aveux de sexisme du robot ne constituent pas réellement une preuve de sexisme ou de parti pris.
Il s’agit plus probablement d’un exemple de ce que les chercheurs en IA appellent la « détresse émotionnelle », c’est-à-dire le moment où le modèle détecte des schémas de détresse émotionnelle chez l’humain et commence à les apaiser. En conséquence, il semble que le modèle ait commencé une forme d’hallucination, a déclaré Brown, ou ait commencé à produire des informations incorrectes pour s’aligner sur ce que Potts voulait entendre.
Faire tomber le chatbot dans la vulnérabilité de « détresse émotionnelle » ne devrait pas être aussi simple, a déclaré Markelius. (Dans des cas extrêmes, une longue conversation avec un modèle trop flagorneur peut contribuer à une pensée délirante et conduire à une psychose de l’IA.)
Le chercheur estime que les LLM devraient contenir des avertissements plus forts, comme pour les cigarettes, concernant le potentiel de réponses biaisées et le risque que les conversations deviennent toxiques. (Pour les journaux plus longs, ChatGPT vient d’introduire une nouvelle fonctionnalité destinée à inciter les utilisateurs à faire une pause.)
Cela dit, Potts a repéré un biais : l’hypothèse initiale selon laquelle la blague avait été écrite par un homme, même après avoir été corrigée. C’est ce qui implique un problème de formation, et non les aveux de l’IA, a déclaré Brown.
Les preuves se trouvent sous la surface
Même si les LLM n’utilisent pas un langage explicitement biaisé, ils peuvent néanmoins utiliser des préjugés implicites. Le robot peut même déduire des aspects de l’utilisateur, comme le sexe ou la race, sur la base d’éléments tels que le nom de la personne et ses choix de mots, même si la personne ne communique jamais au robot aucune donnée démographique, selon Allison Koenecke, professeur adjoint de sciences de l’information à Cornell.
Elle a cité une étude qui a trouvé des preuves de « préjugés dialectaux » dans un LLM, examinant comment il était plus fréquemment enclin à discriminer les locuteurs de, dans ce cas, l’ethnolecte de l’anglais vernaculaire afro-américain (AAVE). L’étude a révélé, par exemple, qu’en associant les emplois aux utilisateurs parlant en AAVE, elle attribuerait des titres de poste moindres, imitant les stéréotypes humains négatifs.
« Il s’agit de prêter attention aux sujets sur lesquels nous recherchons, aux questions que nous posons et, de manière générale, au langage que nous utilisons », a déclaré Brown. « Et ces données déclenchent ensuite des réponses prédictives dans le GPT. »
Veronica Baciu, cofondatrice de 4girls, une organisation à but non lucratif spécialisée dans la sécurité de l’IA, a déclaré avoir parlé avec des parents et des filles du monde entier et estime que 10 % de leurs préoccupations concernant les LLM sont liées au sexisme. Lorsqu’une fille lui a posé des questions sur la robotique ou le codage, Baciu a vu que les LLM suggéraient plutôt de danser ou de cuisiner. Elle a vu qu’il propose la psychologie ou le design comme emplois, qui sont des professions codées pour les femmes, tout en ignorant des domaines comme l’aérospatiale ou la cybersécurité.
Koenecke a cité une étude du Journal of Medical Internet Research, qui a révélé que, dans un cas, tout en générant des lettres de recommandation pour les utilisateurs, une ancienne version de ChatGPT reproduisait souvent « de nombreux préjugés linguistiques basés sur le sexe », comme la rédaction d’un résumé plus basé sur les compétences pour les noms masculins tout en utilisant un langage plus émotionnel pour les noms féminins.
Dans un exemple, « Abigail » avait « une attitude positive, de l’humilité et une volonté d’aider les autres », tandis que « Nicholas » avait « des capacités de recherche exceptionnelles » et « une base solide en concepts théoriques ».
« Le genre est l’un des nombreux préjugés inhérents à ces modèles », a déclaré Markelius, ajoutant que tout, de l’homophobie à l’islamophobie, est également enregistré. « Ce sont des problèmes structurels de société qui se reflètent dans ces modèles. »
Des travaux sont en cours
Bien que la recherche montre clairement qu’il existe souvent des biais dans divers modèles et dans diverses circonstances, des progrès sont faits pour les combattre. OpenAI dit à TechCrunch que la société dispose « d’équipes de sécurité dédiées à la recherche et à la réduction des biais et autres risques dans nos modèles ».
« Les biais sont un problème important à l’échelle de l’industrie, et nous utilisons une approche à plusieurs volets, notamment la recherche des meilleures pratiques pour ajuster les données de formation et les invites afin d’obtenir des résultats moins biaisés, l’amélioration de la précision des filtres de contenu et l’affinement des systèmes de surveillance automatisés et humains », a poursuivi le porte-parole.
« Nous réitérons également continuellement les modèles pour améliorer les performances, réduire les biais et atténuer les résultats nuisibles. »
Il s’agit d’un travail que des chercheurs tels que Koenecke, Brown et Markelius souhaitent voir réalisé, en plus de mettre à jour les données utilisées pour former les modèles, en ajoutant davantage de personnes appartenant à une variété de données démographiques pour les tâches de formation et de feedback.
Mais en attendant, Markelius souhaite que les utilisateurs se souviennent que les LLM ne sont pas des êtres vivants dotés de pensées. Ils n’ont aucune intention. « C’est juste une machine de prédiction de texte glorifiée », a-t-elle déclaré.
