Pensait que Pokémon était une référence difficile pour l’IA? Un groupe de chercheurs soutient que Super Mario Bros. est encore plus difficile.
Hao AI Lab, une organisation de recherche à l’Université de Californie San Diego, a lancé vendredi l’IA dans les jeux de Super Mario Bros. en direct. Claude 3.7 d’Anthropic a joué le meilleur, suivi de Claude 3.5. GEMINI 1.5 Pro de Google et GPT-4O d’OpenAI ont eu du mal.
Ce n’était pas tout à fait la même version de Super Mario Bros. En tant que sortie originale de 1985, pour être clair. Le jeu a fonctionné dans un émulateur et intégré à un cadre, Kid, pour donner le contrôle de l’AIS sur Mario.
Je plaisante, que Hao a développé en interne, a nourri les instructions de base de l’IA, comme: «Si un objet stress ou un ennemi est proche, déplacez / sautez à gauche pour esquiver» et des captures d’écran dans le jeu. L’IA a ensuite généré des entrées sous forme de code Python pour contrôler Mario.
Pourtant, Hao dit que le jeu a forcé chaque modèle à «apprendre» à planifier des manœuvres complexes et à développer des stratégies de gameplay. Fait intéressant, le laboratoire a constaté que des modèles soi-disant raisonnement comme O1 d’Openai, qui «pensent» à travers des problèmes étape par étape pour arriver à des solutions, ont permis de moins que des modèles «non-saisonnants», bien qu’ils soient généralement plus forts sur la plupart des repères.
Selon les chercheurs, l’une des principales raisons pour lesquelles les modèles de raisonnement ont des troubles jouant du temps réel, c’est qu’ils prennent un temps des secondes, pour décider des actions, selon les chercheurs. Dans Super Mario Bros., le timing est tout. Une seconde peut signifier la différence entre un saut dégagé en toute sécurité et une chute à mort.
Les jeux sont utilisés pour comparer l’IA depuis des décennies. Mais certains experts ont remis en question la sagesse de lier les liens entre les compétences de jeu de l’IA et les progrès technologiques. Contrairement au monde réel, les jeux ont tendance à être abstraits et relativement simples, et ils fournissent un amour théoriquement infini des données pour former l’IA.
Les récentes références de jeu flashy soulignent ce que Andrej Karpathy, chercheur et membre fondateur d’Openai, a appelé une «crise d’évaluation».
« Je ne sais pas quelles mesures (IA) à regarder en ce moment », a-t-il écrit dans un article sur X. « TLDR Ma réaction est que je ne sais pas à quel point ces modèles sont bons en ce moment. »
Au moins, nous pouvons regarder l’IA jouer à Mario.
