Openai, comme de nombreux laboratoires AI, pense que les repères de l’IA sont cassés. Il dit qu’il veut les réparer via un nouveau programme.
Appelé le programme Openai Pioneers, le programme se concentrera sur la création d’évaluations pour les modèles d’IA qui «définissent la barre pour les bons goûts», car Openai l’a formulé dans un article de blog.
« Alors que le rythme de l’adoption de l’IA s’accélère dans toutes les industries, il est nécessaire de comprendre et de l’impact sur le monde », a poursuivi la société dans son poste. « La création d’évalues spécifiques au domaine est un moyen de mieux refléter les cas d’utilisation du monde réel, aidant les équipes à évaluer les performances du modèle dans des enjeux pratiques et élevés. »
En tant que controverse récente avec l’illustration de la LM Arena et du modèle Maverick de Meta, il est difficile de savoir de nos jours, précisément ce qui différencie un modèle d’un autre. De nombreux benchmarks IA largement nécessaires mesurent les performances sur les tâches ésotériques, comme la résolution de problèmes mathématiques au niveau du doctorat. D’autres peuvent être joués, ou ne pas s’aligner bien avec la plupart des gens préférés.
Grâce au programme Pioneers, OpenAI espère créer des repères pour des domaines spécifiques comme le juridique, la finance, l’assurance, les soins de santé et la comptabilité. Le laboratoire dit que, dans les prochains mois, il fonctionnera avec «plusieurs sociétés» pour concevoir des repères sur mesure et finalement partager ces repères publiquement, ainsi que des évaluations «spécifiques à l’industrie».
« La première cohorte se concentrera sur les startups qui aideront à poser les fondements du programme Openai Pioneers », a écrit Openai dans le billet de blog. « Nous sélectionnons une poignée de startups pour cette cohorte initiale, chacune travaillant sur des casses d’utilisation appliquées à grande valeur où l’IA peut générer un impact réel. »
Les entreprises du programme auront également la possibilité de travailler avec l’équipe d’Openai pour créer des améliorations de modèle via un réglage fin du renforcement, une technique qui optimise les modèles pour un ensemble étroit de tâches, dit Openai.
La grande question est de savoir où la communauté de l’IA adoptera les repères dont la création a été financée par Openai. OpenAI a soutenu l’analyse comparative des efforts financiers et a conçu ses propres évaluations. Mais le partenariat avec les clients pour publier des tests d’IA peut être considéré comme un pont éthique trop loin.
