C’est comme un nouveau récit de « tortue et lièvre ». Un groupe d’ingénieurs logiciels expérimentés a participé à une expérience où ils ont été chargés de terminer une partie du travail avec l’aide d’outils d’IA. En pensant comme un lapin rapide, les développeurs espéraient que l’IA favoriserait leur travail et augmenterait la productivité. Au lieu de cela, la technologie les a rendues plus lentes. L’approche de tortue sans AI dans le contexte expérimental serait plus rapide.
Les résultats de cette expérience, publiés dans l’enquête de ce mois, ont été étonnés par les développeurs de logiciels chargés d’utiliser l’IA, ainsi que les auteurs de recherche Joel Becker et Naitrash, et le personnel technique de l’évaluation des modèles et des menaces de l’organisation de la recherche technologique à but non lucratif (METR).
Les chercheurs ont effectué 246 tâches à 16 développeurs de logiciels avec une moyenne de cinq ans d’expérience, chacun réalisant certains des projets pour lesquels ils ont déjà travaillé. Pour la moitié des tâches, les développeurs ont été autorisés à utiliser des outils d’IA. La plupart d’entre eux ont choisi l’éditeur de code sélectionné Cursor Pro ou Claude 3.5 / 3.7 Sonnet.
La croyance des outils d’IA les rendrait plus productifs, les développeurs de logiciels ont prédit que la technologie réduirait les délais d’achèvement des tâches en moyenne de 24%. Au lieu de cela, l’IA a gonflé le temps de tâche de 19% de plus que lorsqu’il n’utilisait pas la technologie.
« Je veux croire que la productivité n’a pas lutté lors de l’utilisation de l’IA pour mes tâches, mais il est peu probable que ce ne soit pas aussi utile ou ne gêne mes efforts que je m’y attendais. »
Pourquoi l’IA ralentit certains travailleurs
Alors, où Knoll est-il allé sur la route? Un développeur expérimenté a peut-être abordé son travail au milieu de son projet dans de nombreux contextes supplémentaires que l’assistant de l’IA n’avait pas. Ainsi, la recherche montre que les assistants de l’IA n’en avaient pas et ont dû rénover leur programme et leurs stratégies de résolution de problèmes dans la production d’IA.
«La grande majorité des développeurs qui ont participé à l’étude parlent du fait que même lorsqu’ils obtiennent une production d’IA généralement utile, l’IA fait souvent un travail très impressionnant ou peut faire un travail très impressionnant.
D’autres développeurs ont perdu du temps à écrire des invites de chatbot ou ont attendu que l’IA produise des résultats.
Les résultats de cette étude contredisent une promesse noble concernant la capacité de l’IA à transformer l’économie et la main-d’œuvre, y compris une augmentation de 15% du PIB d’ici 2035 et, finalement, une augmentation de 25% de la productivité.
Cependant, Rush et Becker s’éloignent de faire des affirmations drastiques sur ce que les résultats de leurs recherches signifient pour l’avenir de l’IA.
D’une part, les échantillons d’étude sont petits et non communs, et ne comprennent qu’un groupe de personnes spécialisées où ces outils d’IA sont nouveaux. L’étude a également mesuré la technologie à un moment particulier, les auteurs ont déclaré qu’il n’avait pas exclu la possibilité que des outils d’IA puissent être développés à l’avenir qui aideraient les développeurs à améliorer leurs flux de travail.
Le but de cette étude était de pomper largement les freins sur la mise en œuvre passionnée de l’IA sur le lieu de travail et ailleurs, reconnaissant que nous devons reconnaître plus de données sur l’efficacité réelle de l’IA, et que nous devons la rendre accessible avant de prendre plus de décisions sur l’application.
« Certaines des décisions que nous prenons actuellement, centrées sur le développement et le déploiement de ces systèmes, sont potentiellement très élevées », a déclaré Rush. « Si vous essayez de le faire, vous n’obtenez pas seulement la réponse évidente. Prenez des mesures de haute qualité. »
L’impact plus large de l’IA sur la productivité
Les économistes ont déjà fait valoir que la recherche de METR est conforme au récit plus large de l’IA et de la productivité. Selon Anesh Raman, directeur des opportunités économiques de LinkedIn, l’IA commence à dépasser les postes de niveau d’entrée, mais les revenus pourraient chuter à des travailleurs qualifiés tels que les développeurs de logiciels expérimentés.
« Pour ceux qui ont déjà eu 20 ans d’expérience ou cinq ans dans cet exemple particulier, ce n’est peut-être pas le principal travail dont ils ont besoin pour les forcer à utiliser ces outils s’ils travaillent déjà à l’œuvre avec les méthodes de travail existantes », a déclaré à Fortune Anders Humlam, professeur adjoint d’économie à l’Université de Chicago Booth School.
Humlum a des recherches similaires sur l’impact de l’IA sur la productivité. Il a trouvé dans une étude de mai que sur 25 000 travailleurs de 7 000 lieux de travail au Danemark, des pays qui consomment une IA similaire à celle des États-Unis ont amélioré 3% parmi les employés utilisant des outils.
Les recherches de Humlum soutiennent l’affirmation selon laquelle le marché du MIT Economist et lauréat du prix Nobel Daron Acemoglu surestime les gains de productivité de l’IA. Acemoglu affirme que seulement 4,6% des tâches au sein de l’économie américaine deviendront plus efficaces avec l’IA.
« Même les processus qui ne devraient pas être automatisés, se précipiter pour tout automatiser, les entreprises perdent du temps et de l’énergie et n’obtiennent pas les avantages promis de la productivité », a précédemment écrit Acemoglu pour Fortune. « La vérité difficile est que gagner la productivité de toute technologie nécessite une coordination organisationnelle, une gamme complémentaire d’investissements et une amélioration des compétences des travailleurs par la formation et l’apprentissage pratique. »
Il montre la nécessité d’une réflexion critique sur le moment où les outils d’IA seront mis en œuvre si les développeurs de logiciels sont entravés, a déclaré Humlum. Des études antérieures sur la productivité de l’IA ont considéré les données ou les tâches autodéclarées qui contiennent des tâches spécifiques, mais les données sur les défis des travailleurs qualifiés utilisant cette technologie compliquent les photographies.
« Dans le monde réel, de nombreuses tâches ne sont pas aussi faciles que d’y entrer dans le chatppt », explique Humlum. « De nombreux experts ont beaucoup d’expériences (ils s’accumulent) qui sont très utiles. Nous ne devons pas l’ignorer et abandonner la précieuse expertise accumulée. »
« Je vois cela comme un bon rappel pour être extrêmement prudent sur le moment d’utiliser ces outils », a-t-il ajouté.
