L’étude indépendante la plus complète jamais menée sur les algorithmes de recrutement basés sur l’IA a révélé que des disparités raciales évidentes sont intégrées dans les outils utilisés pour sélectionner des millions de candidats à un emploi, avec plus d’un candidat noir sur quatre étant présenté pour des postes pour lesquels les algorithmes produisent des résultats qui déclenchent un examen fédéral de la discrimination.
L’article, intitulé « Algorithmic Monoculture in Employment », a été rédigé par des chercheurs de l’Université Stanford, de l’Université Chapman et de l’Université Northeastern et sera présenté à la conférence ACM sur l’équité, la responsabilité et la transparence à Montréal le mois prochain. L’institut a analysé plus de 4 millions de candidatures soumises par 3 millions de candidats provenant de 156 employeurs, principalement ceux dont le chiffre d’affaires annuel dépasse 5 milliards de dollars, toutes sélectionnées par des algorithmes construits par le même fournisseur, une plateforme de talents appelée Pymetrics.
« Il existe des disparités raciales évidentes dans les performances des candidats », écrivent les auteurs.
« À mesure qu’un seul fournisseur en vient à dominer la prise de décision dans un domaine, ses bizarreries et ses lacunes peuvent se manifester dans l’ensemble du secteur d’une manière qui n’était pas possible auparavant », a déclaré Kathleen Creel, professeur à l’Université Northeastern et co-auteur de l’étude, au Financial Times, qui a déjà rendu compte de l’étude.
M. Haber, propriétaire de Pymetrics, n’a pas répondu à une demande de commentaire.
Comment fonctionne l’algorithme et où les problèmes surviennent
Pymetrics, acquis en 2022, dont les algorithmes sont utilisés par de grands employeurs des secteurs de la finance, de l’industrie et de la technologie, sélectionne les candidats non pas par curriculum vitae mais par le biais d’une série de jeux en ligne conçus pour mesurer des caractéristiques cognitives telles que la tolérance au risque, la vitesse de traitement et l’altruisme. L’entreprise vante depuis longtemps son approche comme étant plus objective que la sélection traditionnelle des CV, et sa propre analyse préliminaire n’a révélé aucune disparité pouvant atteindre le niveau d’un examen juridique.
La nouvelle étude conteste ses conclusions, non pas en contestant les mathématiques de Pymetrics, mais en affirmant que l’entreprise posait les mauvaises questions.
Pymetrics a mesuré les biais en regroupant tous les candidats et résultats pour tous les employeurs et tous les postes. Au lieu de cela, l’équipe dirigée par l’Université de Stanford a analysé individuellement 1 746 postes individuels. C’est ainsi que la loi américaine sur la discrimination en matière d’emploi, en particulier la « règle des quatre cinquièmes » de la Commission pour l’égalité des chances en matière d’emploi, est conçue pour s’appliquer dans la pratique.
Lors de l’analyse par titre de poste, nous avons constaté que 10,62 % des offres d’emploi de notre ensemble de données avaient un impact négatif sur les candidats noirs. Cela signifie que l’algorithme a recommandé des candidats noirs à un taux inférieur à la norme fédérale par rapport au groupe racial le plus sélectionné. Trente pour cent des candidats noirs ont postulé pour au moins un de ces postes. Et 25,87 % de toutes les candidatures soumises par des candidats noirs (environ 40 000 candidatures) concernaient des postes pour lesquels l’algorithme a généré ce que les lignes directrices fédérales définissent comme un résultat discriminatoire.
Les candidats d’origine asiatique ont également été considérablement touchés, avec 14,74 % des candidats postulant à des postes avec des résultats discriminatoires.
« L’agrégation des postes individuels vers les groupes professionnels est suffisante pour masquer les effets négatifs par poste », écrivent les auteurs, qualifiant la pratique consistant à communiquer uniquement les résultats globaux d’interprétation « inappropriée, ou du moins incomplète » des directives fédérales.
Effet « boule noire algorithmique »
La deuxième conclusion majeure de l’étude pourrait avoir des conséquences encore plus importantes pour les demandeurs d’emploi. Les algorithmes du même fournisseur sont fortement corrélés entre les employeurs, de sorte qu’un refus dans une entreprise prédit de manière significative un rejet dans une autre.
Les chercheurs appellent cela un « rejet systémique ». Sur les 10 candidats examinés par Pymetrics, 4 % ont été rejetés pour tous les postes. Il s’agit d’un taux statistiquement plus élevé que celui auquel on pourrait s’attendre si chaque employeur prenait ses propres décisions.
Plus précisément, lorsque les candidats jouent au jeu de notation Pymetrics, leurs scores sont enregistrés et réutilisés pendant 330 jours maximum. Si deux entreprises différentes utilisent toutes deux Pymetrics, le candidat ne passe pas réellement deux évaluations distinctes, mais obtient plutôt deux fois le même score. Certains candidats sont effectivement exclus de plusieurs entreprises à la fois par des algorithmes sans même s’en rendre compte.
Les chercheurs décrivent cela comme une « boule noire algorithmique ». Bien que ce terme ait déjà été théorisé dans la littérature académique, il n’a jamais été documenté à cette échelle dans des données réelles déployées.
Pour comprendre l’ampleur du problème, l’équipe a effectué des simulations approfondies, tirant parti du fait que les algorithmes, contrairement aux évaluateurs humains, produisent à chaque fois le même résultat pour les mêmes entrées. Ils ont demandé à Pymetrics d’exécuter le modèle sur un échantillon de 1 000 candidats pour chaque poste applicable dans leur ensemble de données. Bonne nouvelle : aucun candidat n’a été rejeté pour tous les modèles. Mauvaise nouvelle : pour réduire le risque d’être systématiquement exclu à moins de 0,1 %, les candidats doivent postuler à au moins 25 postes différents. C’est plus du double des 10 candidatures qui suffiraient si la décision d’embauche était prise sur une base individuelle.
Et les auteurs soulignent que les recommandations de Pymetrics ne font qu’ajouter des candidats au bassin de candidats qui seront examinés par des humains. Cela ne garantit pas un entretien.
problèmes de concentration
Ce constat s’applique à une époque où le secteur du recrutement en IA est très concentré. En mai 2023, plus de 60 % des entreprises Fortune 100 et huit des 10 plus grandes agences fédérales américaines utilisaient les algorithmes de HireVue, indique le journal. Les auteurs préviennent que cette concentration crée des risques systémiques qui vont au-delà des biais. Si un seul fournisseur dominant devait se déconnecter ou s’il s’avérait qu’il produisait des résultats discriminatoires, l’embauche pourrait être perturbée pour des milliers d’employeurs simultanément.
« En intégrant certaines parties du processus de décision d’embauche chez différents employeurs, les algorithmes d’embauche influencent les taux négatifs collectifs et les modèles de rejet systématique », écrivent les auteurs.
Implications politiques
L’étude intervient alors que les régulateurs aux États-Unis et en Europe s’efforcent activement de déterminer comment régir les outils de recrutement d’IA. La ville de New York a adopté la loi locale 144 en 2021. Il s’agit de la première loi à cibler directement l’adoption d’algorithmes. Cependant, les auteurs ont constaté que les directives gouvernementales existantes de la ville semblent ordonner aux auditeurs de regrouper les données entre les titres de poste et les employeurs, la méthode d’agrégation même qui, selon eux, masque les disparités.
En Europe, la législation européenne sur l’IA désigne par défaut les algorithmes de recrutement comme systèmes d’IA à haut risque, les exigences de conformité entrant en vigueur le 2 août 2026, dans quelques semaines seulement.
Les auteurs formulent quatre recommandations politiques. Mesurez l’impact négatif au niveau de l’emploi. Renforcer la surveillance du marché auprès des employeurs. Surveiller les risques liés à la concentration algorithmique. Et cela créera une voie légale permettant aux chercheurs indépendants d’accéder aux données des algorithmes de recrutement, similaire aux dispositions de la loi européenne sur les services numériques, qui exige que de grandes plates-formes partagent des données avec des universitaires.
Le dernier point contient une mise en garde implicite. Cette étude n’a été possible que parce que Pymetrics a fourni volontairement les données dans le cadre d’un accord garantissant l’indépendance du chercheur. Les auteurs reconnaissent que cela peut involontairement empêcher le futur partage de données par les fournisseurs qui souhaitent que leurs algorithmes restent opaques.
« Des recherches indépendantes sont nécessaires pour démêler les algorithmes de recrutement opaques », ont-ils écrit. Sans cela, les disparités raciales documentées dans cette étude, qui touchent des dizaines de milliers de candidats dans certaines des plus grandes entreprises américaines, n’auraient peut-être jamais été révélées.
Dans cet article, les journalistes de Fortune ont utilisé l’IA générative comme outil d’enquête. Les rédacteurs ont vérifié l’exactitude des informations avant leur publication.
