Zain Asgar, professeur adjoint de Stanford et fondateur sortant avec succès, vient de lever une série A de 80 millions de dollars pour une startup qui a résolu le problème du goulot d’étranglement de l’inférence de l’IA de manière astucieuse. Le cycle a été mené par Menlo Ventures.
La société Gimlet Labs a créé ce qu’elle prétend être le premier et le seul « cloud d’inférence multi-silicium », un logiciel permettant d’exécuter simultanément une charge de travail d’IA sur différents types de matériel. Il peut répartir le travail d’une application d’IA entre les processeurs traditionnels et les GPU optimisés pour l’IA, ainsi que sur les systèmes à mémoire élevée.
« Nous utilisons essentiellement tous les différents matériels disponibles », a déclaré Asgar à TechCrunch.
Un seul agent peut enchaîner plusieurs étapes, et chacune « nécessite un matériel différent : l’inférence est liée au calcul ; le décodage est lié à la mémoire ; et les appels d’outils sont liés au réseau », écrit l’investisseur principal, Tim Tully de Menlo, dans un article de blog sur le financement.
Aucune puce ne fait encore tout, mais à mesure que du nouveau matériel est déployé et que les GPU vieillissants sont redéployés, « la flotte multi-silicium est prête – il lui manque juste la couche logicielle pour la faire fonctionner ». C’est ce que Tully pense que Gimlet Labs propose.
Si la tendance actuelle consistant à déployer davantage de calculs se poursuit, McKinsey estime que les dépenses des centres de données atteindront près de 7 000 milliards de dollars d’ici 2030. Asgar affirme que les applications n’utilisent le matériel existant déjà déployé que « entre 15 et 30 % » du temps.
« Une autre façon de voir les choses : vous gaspillez des centaines de milliards de dollars parce que vous laissez simplement des ressources inutilisées », a-t-il déclaré. «Notre objectif était essentiellement d’essayer de comprendre comment rendre les charges de travail d’IA 10 fois plus efficaces que jamais, aujourd’hui.»
Événement Techcrunch
San Francisco, Californie
|
13-15 octobre 2026
Lui et ses cofondateurs, Michelle Nguyen, Omid Azizi et Natalie Serrino, ont donc entrepris de créer un logiciel d’orchestration qui divise les charges de travail agents afin qu’elles puissent être réparties simultanément sur tous les types de matériel.
Gimlet Labs affirme qu’il accélère de manière fiable l’inférence de l’IA de 3 à 10 fois pour le même coût et la même puissance. Gimlet affirme qu’il peut même découper le modèle sous-jacent afin qu’il s’exécute sur différentes architectures, en utilisant la meilleure puce pour chaque partie du modèle.
La société a déjà établi des partenariats avec les fabricants de puces NVIDIA, AMD, Intel, ARM, Cerebras et d-Matrix.
Le produit de Gimlet, fourni sous forme de logiciel ou via une API sur son propre Gimlet Cloud, n’est pas destiné aux développeurs d’applications d’IA de base. Il est destiné aux plus grands laboratoires de modèles d’IA et centres de données.
La société a été lancée publiquement en octobre avec, selon elle, un chiffre d’affaires à huit chiffres (donc au moins 10 millions de dollars). Asgar a déclaré que sa clientèle a plus que doublé au cours des quatre derniers mois et comprend désormais un important modéliste et une très grande société de cloud computing, bien qu’il ait refusé de les nommer.
Les cofondateurs avaient déjà travaillé ensemble chez Pixie, une startup qui a créé un outil d’observabilité open source pour Kubernetes. Pixie a été acquis par New Relic en 2020, deux mois seulement après son lancement avec une série A de 9 millions de dollars dirigée par Benchmark. (La technologie de Pixie fait désormais partie de l’organisation open source qui supervise Kubernetes.)
Après qu’Asgar ait rencontré Tully par hasard il y a environ un an et ait également reçu des investissements providentiels de la part de professeurs de Stanford, les sociétés de capital-risque ont commencé à appeler. Après le lancement, une liste de conditions a atterri sur le bureau d’Asgar. Lorsque les sociétés de capital-risque ont entendu qu’Asgar étudiait des offres, « nous avons reçu un assez gros essaim de financement » et le cycle a été rapidement sursouscrit, a-t-il déclaré.
Avec la graine précédente, la startup a désormais levé un total de 92 millions de dollars, notamment auprès d’un grand nombre d’investisseurs providentiels comme Bill Coughran de Sequoia, le professeur Nick McKeown de Stanford, l’ancien PDG de VMware Raghu Raghuram et le PDG d’Intel Lip-Bu Tan. L’entreprise emploie actuellement 30 personnes.
Parmi les autres investisseurs figurent Factory, qui a dirigé l’amorçage, Eclipse Ventures, Prosperity7 et Triatomic.
