Reuters
–
Le développeur de l’intelligence artificielle chinoise Deepseek n’a dépensé que 294 000 $ pour la formation du modèle R1. Il dit que cela est bien moins que ce qui est signalé à ses rivaux américains.
Une mise à jour rare de la société basée à Hangzhou – la première estimation publiée des coûts de formation R1 – a été publiée mercredi dans un article évalué par des pairs dans la revue académique Nature.
Avec la publication de Deepseek disant qu’il s’agissait d’un système d’IA à faible coût en janvier, les investisseurs mondiaux ont été contraints de déverser des actions de haute technologie car ils craignaient que le nouveau modèle ne menace la domination des dirigeants de l’IA, y compris Nvidia.
Depuis lors, la société et son fondateur Liang Wenfeng ont largement disparu des lieux publics, sauf pour éliminer certaines mises à jour de produit.
Sam Altman, PDG de l’US AI Giant Openai, a déclaré en 2023 que la formation des modèles de base coûtait « beaucoup plus » que 100 millions de dollars, mais que son entreprise n’a pas donné de chiffres détaillés pour cette version.
Les coûts de formation pour les modèles de langue importants qui exécutent des chatbots d’IA se réfèrent aux coûts qui découlent de l’exécution d’un puissant groupe de puces pendant des semaines ou des mois pour traiter d’énormes quantités de texte et de code.
Un article de la nature répertoriant Liang comme l’un de ses co-auteurs a déclaré que la formation d’un modèle R1 axée sur le raisonnement de Deepseek coûtait 294 000 $ et utilisait une puce NVIDIA H800 512. Les versions précédentes de l’article publié en janvier ne contenaient pas ces informations.
Certaines des déclarations de Deepseek concernant le coût de développement et les technologies qu’elle a utilisées a été remise en question par les entreprises et les fonctionnaires américains.
La puce H800 mentionnée a été conçue par NVIDIA pour le marché chinois après que les États-Unis se soient fait illégaux en octobre 2022 pour exporter des puces AI H100 et A100 plus puissantes vers la Chine.
Les responsables américains ont déclaré à Reuters en juin que Deepseek pouvait accéder à « une quantité massive » de puces H100 achetées après la place des contrôles d’exportation américains. Nvidia a déclaré à Reuters à l’époque que Deepseek avait utilisé une puce H800 acquise légalement, pas un H100.
Dans un document d’information supplémentaire accompagnant l’article de la nature, la société a admis que c’était la première fois qu’elle possédait des puces A100 et a déclaré qu’elle les utilisait dans les étapes de préparation du développement.
« En ce qui concerne l’étude sur Deepseek-R1, nous avons utilisé le GPU A100 pour nous préparer à des expériences avec des modèles plus petits », ont écrit les chercheurs. Après ce stade précoce, il a ajouté que R1 avait été formé pour un total de 80 heures sur un groupe de 512 puces de puces H800.
Deepseek a également répondu pour la première fois, mais pas directement, pour affirmer qu’il avait « distillé » le modèle d’Openai indépendamment des meilleurs conseillers de la Maison Blanche en janvier et d’autres AIS américaines.
Ce terme fait référence à la manière dont un système d’IA apprend d’une autre, et bien qu’un nouveau modèle puisse profiter des avantages de l’investissement dans le temps qu’il a fallu pour construire un modèle précédent et un pouvoir de calcul, il n’y a pas de coût associé.
Deepseek fournit systématiquement la distillation pour améliorer les performances du modèle tout en offrant un accès plus large à la technologie avec une puissance beaucoup moins chère et IA.
Deepseek a déclaré en janvier qu’il avait utilisé le modèle de Meta Open-source Llama AI pour être utilisé pour une version distillée de son propre modèle.
Deepseek a déclaré que les données de formation du modèle V3 « s’appuient sur des pages Web rampées contenant des réponses générées par un nombre considérable de modèles OpenAI, afin que le modèle de base puisse indirectement acquérir des connaissances à partir d’autres modèles puissants ». Cependant, il a dit que ce n’était pas intentionnel, mais plutôt contingent.
OpenAI n’a pas répondu immédiatement aux demandes de commentaires.
