Lorsque OpenAI a dévoilé son modèle d’IA O3 «raisonnement» en décembre, la société s’est séparée des créateurs d’Arc-AGNI, une référence conçue pour tester une IA hautement capable, pour présenter les capacités de l’O3. Des mois plus tard, les résultats ont été révisés et ils semblent désormais un peu moins impressionnants qu’au départ.
La semaine dernière, l’Arc Prize Foundation, qui maintient et ARC-AGI, a mis à jour ses coûts informatiques approximatifs pour O3. L’organisation estimait à l’origine que la configuration la plus performante de l’O3 a testé, O3 High, a coûté 3 000 $ pour résoudre un seul problème ARC-AGI. Maintenant, l’Arc Prize Foundation pense que le coût est beaucoup élevé – possible autour de 30 000 $ par tâche.
La révision est remarquable car elle illustre à quel point les modèles d’IA les plus sophistiqués d’aujourd’hui peuvent finir par être pour certaines tâches, au moins tôt. OpenAI n’a pas encore prix O3 – ou le libérer même. Mais l’Arc Prize Foundation estime que le prix du modèle O1-Pro d’OpenAI est un indicateur raisonnable.
Pour le contexte, O1-Pro est le modèle le plus cher d’Openai à ce jour.
« Nous pensons que O1-Pro est une comparaison plus étroite du véritable coût O3 (…) en raison de l’amour du temps de test utilisé », a déclaré à TechCrunch Mike Knoop, l’un des co-fondateurs de l’Arc Prize Foundation. « Mais c’est toujours un proxy, et nous sommes gardés O3 étiquetés comme aperçu de notre classement pour refléter l’incertitude d’un prix officiel annoncé. »
Un prix élevé pour O3 High ne serait pas hors de question, étant donné les ressources informatiques que le modèle aurait utilisé. Selon l’ARC Prize Foundation, O3 High a utilisé 172x plus informatique plus que O3 Low, la configuration la plus basse de l’O3, pour lutter contre l’ARC-AGI.
De plus, les rumeurs volent depuis un certain temps sur les plans prix Openai envisagent l’introduction pour les clients d’entreprise. Début mars, les informations ont indiqué que l’entreprise prévoyait de facturer jusqu’à 20 000 $ par mois pour les «agents» d’IA spécialisés, comme l’agent du développeur de logiciels.
Certains pourraient affirmer que même les modèles les plus chers d’Openai coûteront chaud dans le cadre de ce qu’un entrepreneur humain ou un membre du personnel typique commanderait. Mais a ordonné le chercheur Toby en poste sur X, les modèles peuvent ne pas être efficaces. Par exemple, O3 High avait besoin de 1 024 tentatives à chaque tâche d’Arc-Agi pour obtenir son meilleur score.
