Cela fait près de deux ans que le PDG de Microsoft, Satya Nadella, prédisait que l’IA remplacerait le travail du savoir – les emplois de col blanc occupés par les avocats, les banquiers d’investissement, les bibliothécaires, les comptables, les informaticiens et autres.
Mais malgré les énormes progrès réalisés par les modèles de fondation, le changement dans le travail des connaissances a mis du temps à se produire. Les modèles maîtrisent la recherche approfondie et la planification agentique, mais pour une raison quelconque, la plupart des travaux en col blanc ont été relativement peu affectés.
C’est l’un des plus grands mystères de l’IA – et grâce à de nouvelles recherches du géant des données de formation Mercor, nous obtenons enfin des réponses.
La nouvelle recherche examine la manière dont les principaux modèles d’IA résistent à l’exécution de véritables tâches de travail en col blanc, tirées du conseil, de la banque d’investissement et du droit. Le résultat est une nouvelle référence appelée Apex-Agents – et jusqu’à présent, chaque laboratoire d’IA obtient une note d’échec. Face aux questions de vrais professionnels, même les meilleurs modèles ont eu du mal à répondre correctement à plus d’un quart des questions. La grande majorité du temps, le modèle revenait avec une mauvaise réponse ou pas de réponse du tout.
Selon le chercheur Brendan Foody, qui a travaillé sur l’article, le plus grand point d’achoppement des modèles était la recherche d’informations dans plusieurs domaines, ce qui fait partie intégrante de la plupart des travaux de connaissances effectués par les humains.
« L’un des grands changements dans cette référence est que nous avons construit l’ensemble de l’environnement, sur le modèle de véritables services professionnels », a déclaré Foody à Techcrunch. « La façon dont nous faisons notre travail ne consiste pas à ce qu’une seule personne nous fournisse tout le contexte en un seul endroit. Dans la vraie vie, vous travaillez sur Slack, Google Drive et tous ces autres outils. » Pour de nombreux modèles d’IA d’agents, ce type de raisonnement multidomaine est encore aléatoire.
Les scénarios ont tous été élaborés par de véritables professionnels du marché d’experts de Mercor, qui ont à la fois formulé les requêtes et établi la norme pour une réponse réussie. L’examen des questions, publiées publiquement sur Hugging Face, donne une idée de la complexité des tâches.
Événement Techcrunch
San Francisco
|
13-15 octobre 2026
Une question dans la section « Droit » se lit comme suit :
Au cours des 48 premières minutes de l’arrêt de la production dans l’UE, l’équipe d’ingénierie de Northstar a exporté un ou deux ensembles groupés de journaux d’événements de production de l’UE contenant des données personnelles vers le fournisseur d’analyses américain… Selon les propres politiques de Northstar, elle peut raisonnablement traiter un ou deux journaux d’exportation comme étant conformes à l’article 49 ?
La bonne réponse est oui, mais pour y parvenir, il faut une évaluation approfondie des propres politiques de l’entreprise ainsi que des lois européennes pertinentes en matière de protection de la vie privée.
Cela pourrait dérouter même un humain bien informé, mais les chercheurs essayaient de modéliser le travail effectué par des professionnels dans le domaine. Si un LLM peut répondre de manière fiable à ces questions, il pourrait effectivement remplacer de nombreux avocats travaillant aujourd’hui. « Je pense que c’est probablement le sujet le plus important de l’économie », a déclaré Foody à TechCrunch. « La référence reflète très bien le travail réel accompli par ces personnes. »
OpenAI a également tenté de mesurer les compétences professionnelles avec son benchmark GDPVal, mais le test Apex Agents diffère sur des points importants. Alors que GDPVal teste les connaissances générales dans un large éventail de professions, le benchmark Apex Agents mesure la capacité du système à effectuer des tâches soutenues dans un ensemble restreint de professions à forte valeur ajoutée. Le résultat est plus difficile pour les modèles, mais aussi plus étroitement lié à la question de savoir si ces tâches peuvent être automatisées.
Si aucun des modèles ne s’est montré prêt à prendre la relève en tant que banquier d’investissement, certains étaient clairement plus proches du but. Gemini 3 Flash a réalisé le meilleur du groupe avec 24 % de précision en un seul coup, suivi de près par GPT-5.2 avec 23 %. En dessous, Opus 4.5, Gemini 3 Pro et GPT-5 ont tous obtenu un score d’environ 18 %.
Bien que les premiers résultats soient insuffisants, le domaine de l’IA a toujours dépassé des critères difficiles. Maintenant que le test Apex est public, il s’agit d’un défi ouvert pour les laboratoires d’IA qui croient pouvoir faire mieux – ce à quoi Foody s’attend pleinement dans les mois à venir.
« Cela s’améliore très rapidement », a-t-il déclaré à TechCrunch. « À l’heure actuelle, il est juste de dire que c’est comme si un stagiaire réussissait un quart du temps, mais l’année dernière, c’était le stagiaire qui réussissait cinq ou dix pour cent du temps. Ce genre d’amélioration année après année peut avoir un impact très rapidement. «
)
