L’IA rendra-t-elle réellement le codage plus efficace ? : RADIO NATIONALE PUBLIQUE

Les PDG du secteur technologique font des déclarations ambitieuses sur les capacités de codage de l’IA. Le PDG d’Anthropic, Dario Amodei, a déclaré en mars que « d’ici trois à six mois, nous atteindrons un point où l’IA écrit 90 % du code ». Mark Zuckerberg, PDG de Meta, a prédit en avril que « peut-être l’année prochaine… probablement la moitié du développement sera réalisé par l’IA » pour un projet. Les dirigeants d’Amazon, de Google et de Microsoft ont également souligné les capacités de génération de code des modèles de langage à grande échelle (LLM).

Les outils d’IA ont changé la façon dont le codage fonctionne pour certains développeurs et réduisent désormais le nombre d’ingénieurs logiciels, même les plus débutants. Mais malgré ce discours dramatique, l’IA dans le génie logiciel ne signifie peut-être pas une nouvelle ère d’automatisation.

Après des mois d’absence, l’ingénieur logiciel Colton Voege a finalement essayé les outils d’IA pour son travail. Il se souvient avoir regardé un podcast dans lequel le dirigeant de Y Combinator, l’incubateur de startups technologiques qui a aidé Voege à lancer son entreprise, vantait « l’incroyable productivité » de l’IA.

« Cela a en quelque sorte confirmé ce que je ressentais déjà, à savoir que nous sommes vraiment doués pour prendre des raccourcis vers certaines choses », a déclaré Voge. « [IA]est idéale pour créer de petits outils que vous utilisez une seule fois, puis que vous jetez. » Mais il n’existe toujours aucune preuve de gains d’efficacité à long terme.

Les entretiens montrent que de nombreux ingénieurs logiciels, mais pas tous, partagent leurs expériences avec Voege. Certaines personnes parlent de démêler le code généré par l’IA que leurs collègues leur ont transmis, tandis que d’autres parlent de la pression exercée pour fabriquer des emplois prétendant utiliser l’IA pour satisfaire la haute direction.

Oui, l’IA peut écrire du code… elle a toujours besoin d’humains

Boris Charney, chef du département Code Claude d’Anthropic, a déclaré dans une interview à NPR que « la majeure partie du code est écrite par le code Claude », mais il a refusé de dire quel pourcentage. « Nous travaillons toujours sur les données scientifiques pour nous assurer que nous disposons de chiffres vraiment précis. »

Charney a également précisé que, quelle que soit la quantité d’IA réellement utilisée, « chaque ligne de code doit être révisée par un ingénieur ».

Cela inclut le code généré par ce qu’Anthropic appelle des « agents », a-t-il déclaré. Les agents sont des composants d’outils d’IA capables de tester et de réécrire du code sans intervention humaine. Saluée comme étant beaucoup plus autonome que les outils précédents, cette fonctionnalité a été introduite pour la première fois par Claude Code et saluée par de nombreux acteurs de l’industrie comme une voie vers l’automatisation.

Mais les agents ne fonctionnent pas toujours. « Quand ces outils fonctionnent au mieux, ils résolvent automatiquement beaucoup de problèmes. Quand ils sont au pire, ils sont comme une spirale de la mort », a déclaré Voge, décrivant des situations dans lesquelles les outils restent bloqués dans une boucle de test au lieu de résoudre le problème en question. « Oh mon Dieu, j’ai l’impression que tu fais quelque chose de fou. »

Charney n’a pas hésité à présenter Claude comme une personne de haut niveau. « Je pense qu’un bon modèle mental est comme un programmeur expert assis à côté de vous », dit-il. Il a déclaré que même s’ils peuvent fonctionner comme un « partenaire de réflexion » dans certains cas, « en fin de compte, ce sont les humains qui font le travail ».

Simon Willison, un chercheur indépendant en IA invité à prévisualiser le dernier modèle d’OpenAI, a déclaré qu’il était plausible que l’IA puisse écrire un pourcentage élevé de code. Mais Wison a déclaré : « Je pense que le processus doit encore impliquer les mêmes personnes, voire davantage. » C’est parce que l’IA ne peut pas penser à des solutions de problèmes plus sophistiquées comme les ingénieurs. « Notre travail ne consiste pas à taper du code dans un ordinateur. Notre travail consiste à fournir des systèmes qui résolvent les problèmes », a déclaré Whisson.

Pour Willison, connu dans le monde du logiciel pour bricoler de nouveaux outils et développer des outils open source, les avantages en termes de productivité liés à l’utilisation de l’IA dépendront du choix de la bonne application et de l’expertise appropriée. « Pour certaines tâches, je peux affirmer avec certitude que pour les programmeurs expérimentés, ceux qui peuvent travailler sans IA, l’utilisation de l’IA peut apporter des gains de productivité de 2 à 5 fois, voire plus, selon la tâche spécifique. »

Willison a écrit plus tard dans un article de blog que les équipes qui en bénéficient le plus semblent adopter les meilleures pratiques en matière de développement logiciel et de collaboration.

Mais cela n’arrive pas toujours dans la vraie vie. Les gens utilisent l’IA, qu’ils en aient besoin ou non, créant parfois plus de travail pour leurs collègues. Les chercheurs ont inventé le terme « workthrop » pour décrire cela.

« Un ingénieur de très haut niveau dans l’entreprise était très passionné par le codage de l’IA et pensait pouvoir réaliser lui-même ce projet très complexe très rapidement. Il a donc essayé d’exécuter des outils d’IA », a déclaré un ingénieur d’Amazon qui n’était pas autorisé à s’exprimer publiquement.

« [Cela]vient de générer un tas de code désordonné qui ne fonctionnait pas, et personne ne l’a compris. Et ce que je fais maintenant, c’est simplement essayer de le faire à l’ancienne. »

Tout cela peut expliquer pourquoi les études ont montré des résultats mitigés concernant l’impact de l’IA. Contrairement aux attentes des ingénieurs, les ingénieurs logiciels open source expérimentés qui ont utilisé un LLM ont mis 19 % plus de temps à accomplir leurs tâches que leurs collègues qui ne l’ont pas fait, selon une étude de METR, une organisation à but non lucratif d’évaluation de l’IA. Dans une enquête nationale menée au Danemark, les ingénieurs logiciels ont déclaré avoir gagné 6,5 % de temps grâce à l’utilisation de l’IA. Il s’agit du taux le plus élevé parmi les 11 professions, avec une moyenne de 2,5 %.

« J’aimerais vraiment obtenir 3 % chaque jour, ce qui est similaire à la croissance annuelle de la productivité dans une profession typique », a déclaré Anders Hulme, co-auteur de l’étude danoise. « Ce n’est pas rien, mais je trouve que c’est modeste par rapport à l’expérience. »

Les ingénieurs conviennent que l’IA brille mieux lorsque la précision est moins importante. « Avant, il me fallait une heure pour réaliser un prototype illustré rapide, mais maintenant cela me prend cinq minutes parce que je peux simplement dire à Claude de casser quelque chose (avec moi) », a déclaré Willison. « Le fait que vous fassiez des erreurs n’est pas si important. »

Thomas Ptacek, développeur de logiciels chez fly.io, société d’infrastructure cloud, a déclaré que l’IA avait éliminé certaines tâches de codage répétitives au travail. « J’ai écrit (un morceau de code) tellement de fois que je peux le regarder immédiatement et savoir si quelque chose ne va pas. »

Il y a peu de place au désaccord.

Un ingénieur logiciel d’Amazon a déclaré que la direction encourageait les employés à utiliser l’IA dans chaque partie de leur travail, même lorsque cela n’était pas nécessaire. « Il s’agit souvent d’une solution à la recherche d’un problème », a déclaré l’ingénieur.

L’ingénieur a déclaré que tout cela contribuait au sentiment qu’il y avait peu de place au désaccord. « Nous devons mobiliser davantage, nous devons être plus efficaces. Si nous ne le faisons pas, nous faisons quelque chose de mal. »

Cela dit, l’ingénieur a également déclaré que l’impact spécifique du discours sur les emplois et les promotions varie selon les organisations.

Amazon n’est pas la seule entreprise technologique qui semble émettre des hypothèses sur l’impact de l’IA sur son code. Dans une note rapportée pour la première fois par 404 Media et Wired, les dirigeants de Meta ont appelé le département à utiliser l’IA pour atteindre une « productivité 5 fois supérieure » dans les logiciels et dans un large éventail d’autres fonctionnalités. « Plus nous nous dépasserons, plus nous débloquerons », a-t-il écrit dans une note. Deux ingénieurs ont été licenciés d’une startup d’IA de San Francisco pour ne pas avoir utilisé suffisamment d’outils de codage d’IA, a rapporté The Information.

Les ingénieurs logiciels d’Amazon et Voege ont déclaré qu’ils ne sont pas les seuls ingénieurs au travail à être sceptiques à l’égard de l’IA. Une récente enquête de Google auprès d’ingénieurs logiciels dans tous les pays et secteurs a révélé que même si l’utilisation de l’IA est presque universelle et améliore certains aspects du développement logiciel, environ la moitié des personnes interrogées ont déclaré avoir « une certaine » confiance dans ce que l’IA ferait, et 30 % ont déclaré qu’elles avaient « un peu » ou « pas du tout ».

Beaucoup craignent également qu’à mesure que les employeurs remplacent les jeunes programmeurs par l’IA, l’offre de talents à long terme nécessaires pour superviser les machines soit effectivement coupée dans les années à venir. Certains ont exprimé leurs inquiétudes quant à la quantité d’énergie et de contenu générés par l’homme que consomment les plus grands modèles, même si des améliorations spectaculaires commencent à sembler insaisissables.

Le porte-parole d’Amazon, Tom Parnell, a déclaré dans une déclaration à NPR que les outils d’IA de l’entreprise « aident les ingénieurs à agir plus rapidement, à fournir un code plus sécurisé et à consacrer moins de temps à des tâches chargées », ajoutant que grâce à des enquêtes, « les ingénieurs affirment que ces outils les aident à gagner du temps et à augmenter leur productivité ». Il a également déclaré que même si l’entreprise n’impose pas l’utilisation de l’IA et ne peut pas indiquer quel pourcentage de ses ingénieurs logiciels utilisent régulièrement des outils de modélisation linguistique à grande échelle, il estime que « ces outils aident les développeurs à travailler plus efficacement ».

Voge a depuis quitté son emploi et envisage désormais de relancer sa propre entreprise. Il a été frappé par la façon dont son ancien bailleur de fonds, Y Combinator, est passé du soutien à de nombreux types de technologies différents à une concentration uniquement sur l’IA.

Il s’est tourné vers le dernier appel à startups de l’organisation. « C’est juste de l’IA, de l’IA, de l’IA, 5 sur 5. »