Le modèle phare AI d’Anthropic, Claude 3.7 Sonnet, a coûté «quelques dizaines de millions de dollars» pour s’entraîner en utilisant 10 ^ 26 flops de puissance de calcul.
C’est selon le professeur Wharton Ethan Mollick, qui, dans un X Post, a relayé lundi une clarification qu’il avait reçue du PR d’Anthropic. « J’ai été contacté par Anthropic qui m’a dit que Sonnet 3.7 ne serait pas considéré comme un modèle de flop 10 ^ 26 et coûterait quelques dizaines de dollars », a-t-il écrit, « bien que les modèles futurs soient beaucoup plus importants.
TechCrunch a contacté Anthropic pour confirmation, mais n’avait pas reçu de responsabilité à partir du temps de publication.
En supposant que le sonnet Claude 3.7 ne coûte en effet que «quelques dizaines de millions de dollars» pour s’entraîner, et sans tenir compte des efforts connexes, c’est un signe de la relativement bon marché de publier des modèles de pointe. Le prédécesseur de Claude 3.5 Sonnet, publié à l’automne 2024, a également coûté quelques dizaines de millions de dollars à former, a révélé le PDG d’Anthropic Dario Amodei dans un récent essai.
Ces totaux se comparent assez prédablement aux étiquettes de prix de formation des meilleurs modèles de 2023. Pour développer son modèle GPT-4, Openai a dépensé plus de 100 millions de dollars, selon le PDG d’Openai, Sam Altman. Pendant ce temps, Google a dépensé près de 200 millions de dollars pour former son modèle Gemini Ultra, a estimé une étude de Stanford.
Cela dit, Amodei exprime les futurs modèles d’IA pour coûter des milliards de dollars. Certes, la formation des coûts de la formation a du travail de capture comme les tests de sécurité et la recherche fondamentale. De plus, comme l’industrie de l’IA embrasse les modèles de «raisonnement» qui fonctionnent sur des problèmes pour des périodes de prolongation, les coûts informatiques des modèles de course continueront probablement d’augmenter.
