General Compute, une startup cloud d’inférence d’IA, a obtenu un prêt de 400 millions de dollars d’Upper90, une société d’investissement technologique. Il s’agit peut-être du premier accord à fournir en garantie des puces spécifiques à l’inférence – des puces conçues pour exécuter rapidement et efficacement des modèles d’IA déjà formés, plutôt que les puces plus coûteuses utilisées pour construire les modèles en premier lieu.
Ce financement est le dernier signal indiquant que les marchés répondent aux inquiétudes concernant le prix des outils et des jetons d’IA en se tournant vers une infrastructure qui exécute des modèles open source à un prix inférieur à celui des derniers LLM des laboratoires frontaliers.
Fondé par le PDG Finn Puklowski, General Compute a levé un tour de table de 15 millions de dollars en mai pour construire un néocloud d’inférence autour du silicium de SambaNova, un fabricant de puces soutenu par Intel. (Les Neoclouds sont spécialement conçus pour les charges de travail d’IA, contrairement à l’infrastructure à usage général proposée par les hyperscalers traditionnels comme AWS ou Azure.)
Les puces SN50 de la société sont conçues pour l’inférence. Ils sont économes en énergie et ne nécessitent pas de systèmes de refroidissement par eau coûteux, ce qui signifie qu’ils peuvent être déployés plus rapidement que les GPU sur une plus grande variété de centres de données. General Compute affirme que les nouvelles puces fourniront une inférence 16 fois plus rapide que les cloud basés sur GPU.
Le défi consiste à obtenir beaucoup de ces puces, surtout lorsque vous êtes une toute nouvelle entreprise.
Le co-fondateur et PDG d’Upper90, Billy Libby, ancien trader quantitatif de Goldman Sachs, avait un manuel pour cela : en 2021, son entreprise a financé les achats de GPU par Crusoe, la startup de centres de données axée sur l’énergie, qui, selon lui, était le premier prêt contre la valeur des puces avancées.
Les prêteurs traditionnels ont évité de telles transactions à l’époque en raison des risques et des incertitudes liés à la dépréciation du GPU. Mais à mesure que CoreWeave a fait des prêts adossés à des puces un modèle économique, puis la base d’une introduction en bourse à succès, ce type de financement est devenu courant.
« Lorsque nous avons financé les GPU Nvidia en tant que premier groupe à le faire, le marché était inefficace », a déclaré Libby à TechCrunch. « Nous pourrions vraiment mettre en place quelque chose en tant que participant précoce et être en quelque sorte indemnisés pour le risque. »
Maintenant que les GPU sont relativement bien compris et peut-être surachetés, Upper90 se tourne vers des sociétés comme General Compute pour surfer sur la prochaine vague du boom de l’IA. « Nous pensons que les modèles open source vont être importants, et nous avons cherché l’année dernière un acteur qui était en inférence », a déclaré Libby. « Tout le monde n’a pas besoin d’un superordinateur, mais ils ont besoin d’inférence et d’IA. »
Cette thèse s’est renforcée, avec des sociétés qui donnent accès à des modèles ouverts, comme OpenRouter et Fireworks, lançant de nouveaux tours à des valorisations énormes. De nouveaux modèles comme le K3 de Kimi, récemment sorti cette semaine, se sont révélés rivaliser avec les dernières versions d’Anthropic et d’OpenAI sur les tests de codage. Et de nouveaux fabricants de puces comme Groq et Cerebras ont suscité l’intérêt des acquéreurs et des marchés publics.
La capacité de General Compute à accéder à des puces en dehors de l’écosystème de Nvidia est importante pour la même raison. TensorWave, une autre société d’infrastructure d’IA, fait un pari similaire sur un partenariat avec AMD. À mesure que de nouvelles alternatives à Nvidia émergent, les fournisseurs de calcul qui ne sont pas liés par des accords Nvidia peuvent avoir un avantage en fournissant une inférence rentable.
« Il existe un certain nombre de puces qui commencent à évoluer et qui ont un (coût total de possession) incroyable ou qui peuvent fonctionner beaucoup plus rapidement que Nvidia, mais il n’y a pas beaucoup d’acheteurs pour elles », a déclaré Puklowski. « En s’associant avec Upper90, il ne s’agit pas seulement d’une startup cool qui a obtenu de l’argent pour acheter du calcul. » C’est le premier signe d’une organisation capitaliste et d’une fragmentation de la domination monopolistique de Nvidia. »
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
