Les modèles d’IA des laboratoires OpenAI, anthropiques et d’autres meilleurs laboratoires AI sont de plus en plus utilisés pour aider à la programmation des tâches. Le PDG de Google, Sundar Pichai, a déclaré que 25% octobre du nouveau code de la société était généré par l’IA, et que le PDG de Meta Mark Zuckerberg a des ambitions exprès de déployer largement les modèles de codage de l’IA avec le géant des médias sociaux.
Pourtant, même certains des meilleurs modèles ont aujourd’hui du mal à résoudre les bogues logiciels qui ne trébucheraient pas les développeurs expérimentés.
Une nouvelle étude de Microsoft Research, la division R&D de Microsoft, révèle que les modèles, comprenaient le Sonnet Claude 3.7 d’Anthropic et O3-MinI d’OpenAI, ne parviennent pas à déboguer de nombreux problèmes dans une référence de développement logiciel appelé Swe-Bench Lite. Les résultats sont un rappel qui donne à réfléchir que, malgré les déclarations audacieuses de la part des entreprises, l’IA ne correspond toujours pas aux experts humains dans des domaines tels que le codage.
Les co-auto-Autthors de l’étude ont testé neuf modèles différents comme l’épine dorsale d’un «agent invite unique» qui avait accès à un certain nombre d’outils de débogage, y compris un débogueur Python. Ils ont chargé cet agent de résoudre un ensemble organisé de 300 tâches de débogage de logiciels de Swe-Bench Lite.
Selon les co-auteurs, même lorsqu’ils sont équipés de modèles plus forts et plus récents, leur agent a rarement compliqué plus de la moitié des tâches de débogage avec succès. Claude 3.7 Sonnet avait le taux de réussite moyen le plus élevé (48,4%), suivi de l’O1 d’OpenAI (30,2%) et de l’O3-MinI (22,1%).
Pourquoi la performance décevante? Certains modèles ont eu du mal à utiliser les outils de débogage à leur disposition et à comprendre comment différents outils pourraient aider avec différentes émetteurs. Le plus gros problème, cependant, était la pénurie de données, selon les co-auteurs. Ils spéculent qu’il n’y a pas suffisamment de données représentant des «processus de prise de décision séquentiels» – c’est-à-dire, le débogage humain des traces dans les données de formation des modèles actuels.
«Nous croyons fortement que la formation ou le réglage fin (modèles) peuvent en faire de meilleurs débogateurs interactifs», a écrit les co-auteurs de leur étude. «Cependant, cela nécessitera des données spécialisées pour réaliser une telle formation de modèle, par exemple, des données de trajectoire qui enregistrent des agents interagissant avec un débogueur pour collecter les informations nécessaires avant de suggérer une correction de bogue.»
Les résultats ne sont pas exactement choquants. De nombreuses études ont montré que l’IA générateur de code a tendance à introduire des vulnérabilité et des erreurs de sécurité, en raison de faiblesses dans des domaines comme la capacité de comprendre la logique de programmation. Une évaluation récente de Devin, un outil de codage d’IA populaire, a révélé qui ne pouvait effectuer que trois des 20 tests de programmation.
Mais le travail Microsoft est l’un des looks les plus détaillés à ce jour sur un problème de persiste pour les modèles. Il n’atténuera probablement pas l’enthousiasme des investisseurs pour les outils de codage d’assistance à la formulation de l’IA, mais avec un peu de chance, cela fera deux fois les développeurs et leurs high-ups pour permettre à l’IA d’exécuter le spectacle de codage.
Pour ce que cela vaut, un nombre croissant de chefs de technologie ont contesté l’idée qu’une IA automatisera les emplois de codage. Le co-fondateur de Microsoft, Bill Gates, a déclaré qu’il pensait que la programmation comme une profession était là pour rester. Il en va de même pour les plis de cette Amjad Masad, du PDG d’Okta Todd McKinnon et du PDG d’IBM Arvind Krishna.
