Aujourd’hui, Cerebras Systems est une entreprise publique qui vend des puces d’IA pour inférence à des géants comme OpenAI et AWS. Elle a organisé jeudi une introduction en bourse à succès, avec ses deux cofondateurs milliardaires, et a terminé la semaine avec une valeur d’environ 60 milliards de dollars.
Mais en 2019, alors qu’il avait trois ans, il a frôlé dangereusement l’échec – incinérant une somme d’argent choquante. Il s’agissait de résoudre un problème technique que personne dans l’industrie des semi-conducteurs ne pensait pouvoir résoudre.
«Nous dépensions environ 8 millions de dollars par mois», a déclaré le PDG fondateur Andrew Feldman à TechCrunch à propos de cette période. « À ce stade, nous avions incinéré près de 200 millions de dollars en essayant de résoudre un problème technique. »
Toutes les quelques semaines, Feldman était obligé de faire le douloureux chemin de la honte jusqu’à la réunion du conseil d’administration pour signaler un nouvel échec et encore plus d’argent brûlé.
Mais il n’avait pas le choix. Sans solution, Cerebras était mort de toute façon.
Elle a été fondée avec une idée simple sur le papier. L’industrie des microprocesseurs a passé plus de 50 ans à rendre les processeurs plus rapides et moins chers en entassant davantage de transistors sur une tranche de silicium et en découpant les tranches en morceaux de plus en plus petits. Mais l’IA nécessitait tellement de puissance de calcul que de nombreuses puces ont dû être reliées ensemble puis forcées de communiquer les unes avec les autres. Les fondateurs de Cerebras pensaient que transformer une plaquette entière, encore plus grande, en une puce géante et puissante, fonctionnerait plus rapidement.
Le problème était que personne n’avait jamais réussi cela auparavant, pour quelque raison que ce soit, IA ou non. L’orchestration d’un grand nombre de composants électroniques microscopiques sur une surface plus grande, mais toujours mince, a entraîné des problèmes d’ingénierie aggravés.
Une fois que Cerebras a franchi le premier seuil de conception de la mégapuce puis de fabrication avec TSMC, l’équipe s’est heurtée au véritable obstacle.
Ils ne pouvaient pas résoudre le problème du « emballage ». Cela implique tout après la fabrication du silicium lui-même : le coller sur une carte mère, l’alimenter, gérer le chauffage et le refroidissement ainsi que les tuyaux qui fourniraient et renverraient les données, a déclaré Feldman.
Les puces de Cerebras « étaient 58 fois plus grosses. Nous utilisions 40 fois plus d’énergie que quiconque n’en avait jamais utilisé », a-t-il déclaré. Il n’y avait pas de dissipateurs de chaleur prédéfinis. Aucun vendeur. Aucun partenaire de fabrication. Les esprits les plus brillants de l’ingénierie des microprocesseurs ont essayé pendant des décennies de construire des puces aussi grosses, mais plus denses, et ont échoué.
L’équipe de Cerebras s’est retrouvée avec des essais et des erreurs au cours desquels « nous avons détruit un nombre énorme de jetons » et une énorme somme d’argent. Mais sans emballage fonctionnel, la puce ne servait à rien.
Après une analyse exhaustive de chaque panne, l’équipe a finalement résolu suffisamment de problèmes : comment le refroidir et déplacer les données. Dans un cas, ils ont dû inventer leur propre machine capable de visser 40 vis simultanément pour fixer la plaquette sur une carte sans la fissurer.
Feldman se souvient encore du jour de juillet 2019 où tout a miraculeusement fonctionné.
Ils ont installé la puce emballée dans un ordinateur, l’ont allumé et toute l’équipe fondatrice (photo ci-dessous) « s’est simplement tenue dans le laboratoire et l’a regardée », a-t-il déclaré. « Regarder un ordinateur fonctionner est aussi excitant que regarder de la peinture sécher. Mais là, nous regardions les lumières clignoter sur l’ordinateur, stupéfaits d’avoir résolu ce problème. »
« Cela a été l’un des plus grands moments de ma vie », a-t-il déclaré. C’est important, car cette même équipe fondatrice avait déjà construit et vendu une startup pionnière en matière de serveurs cloud, SeaMicro, à AMD pour 334 millions de dollars en 2012.
Le jour où la puce a finalement fonctionné était également environ deux ans après qu’OpenAI ait parlé à Cerebras pour l’acquérir, ce que Feldman a confirmé à TechCrunch s’est produit comme le disaient les e-mails révélés publiquement.
Ces pourparlers ont échoué au milieu de querelles croissantes entre les fondateurs d’OpenAI, dont plusieurs sont des investisseurs providentiels dans Cerebras.
Aujourd’hui, OpenAI est client et partenaire, ayant prêté à Cerebras 1 milliard de dollars garantis par des bons de souscription. Ces bons de souscription accordent sous condition à OpenAI environ 33 millions d’actions de Cerebras, révèle le S-1. (33 millions d’actions valent plus de 9 milliards de dollars au cours de clôture de vendredi de 279 dollars.)
Il est intéressant de noter que Cerebras a également accepté de ne pas vendre ses produits à des concurrents spécifiques d’OpenAI dans le cadre de cet accord de prêt. Feldman n’a pas confirmé qu’il s’agissait de la société évidente : Anthropic. Il a toutefois précisé que cette restriction était temporaire.
« C’est limité dans le temps et il a été conçu pour garantir que nous puissions donner à OpenAI la capacité », a-t-il déclaré.
La vérité était que Cerebras n’était de toute façon pas encore assez grand pour gérer plusieurs modélistes à croissance rapide. Il aimait vendre la capacité de calcul de l’IA sous la forme d’un buffet à volonté. Au lieu d’essayer de s’encombrer de tous les clients potentiels, « nous allons travailler avec une partie du buffet seulement, et nous allons nous familiariser avec cela, avant d’attaquer le reste », a-t-il déclaré.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
