Nvidia a construit un empire de l’IA sur les GPU. Mais le pari de 20 milliards de dollars sur Groq suggère que l’entreprise n’est pas convaincue que les GPU peuvent à eux seuls dominer l’étape la plus importante de l’IA : l’exécution de grands modèles, appelés inférence.
La bataille à gagner en matière d’inférence par l’IA concerne bien entendu son aspect économique. Une fois qu’un modèle est formé, toutes les choses utiles qu’il effectue lors de l’inférence, comme répondre aux requêtes, générer du code, recommander des produits, résumer des documents, faire fonctionner des chatbots et analyser des images. C’est à ce moment-là que l’IA passe d’un coût irrécupérable à un service générateur de revenus. Cela s’accompagne d’une pression accrue pour réduire les coûts, réduire la latence (le temps nécessaire à l’IA pour réagir) et accroître l’efficacité.
Cette pression est la raison pour laquelle l’inférence est le prochain champ de bataille de l’industrie pour des profits potentiels, et pourquoi, dans un accord annoncé juste avant les vacances de Noël, Nvidia a obtenu une licence pour la technologie de Groq, une startup qui développe des puces conçues spécifiquement pour l’inférence d’IA à haute vitesse et à faible latence, et a embauché la plupart de son équipe, y compris le fondateur et PDG Jonathan Ross.
L’inférence est la « révolution industrielle » de l’IA
Le PDG de Nvidia, Jensen Huang, est clair sur les défis de l’inférence. Bien qu’il ait déclaré que NVIDIA est « supérieure à chaque étape de l’IA », il a déclaré aux analystes lors de la conférence téléphonique sur les résultats du troisième trimestre de la société en novembre que l’inférence était « vraiment, très difficile ». L’inférence moderne est loin d’être le simple cas d’une invite et d’une réponse, et doit prendre en charge l’inférence continue, des millions d’utilisateurs simultanés, une faible latence garantie et des contraintes de coûts implacables. De plus, les agents d’IA doivent traiter plusieurs étapes, ce qui augmente considérablement la demande et la complexité des inférences, ainsi que le risque de faire des inférences incorrectes.
« C’est facile parce que les gens pensent que le raisonnement est une solution unique. N’importe qui peut aborder le marché de cette façon », a déclaré Huang. « Mais en fin de compte, cela s’est avéré être le plus difficile, car il s’avère que penser est très difficile. »
Le soutien de Nvidia à Groq confirme cette conviction et montre que même les entreprises qui dominent la formation en IA sont réticentes à prendre des risques quant à la façon dont l’économie spéculative finira par s’effondrer.
Huang a également expliqué franchement à quel point l’inférence sera essentielle à la croissance de l’IA. Dans une récente conversation sur le podcast BG2, Huang a déclaré que l’inférence représente déjà plus de 40 % des revenus liés à l’IA, et a prédit que ces revenus « seront bientôt multipliés par un milliard ».
« C’est quelque chose que la plupart des gens n’ont pas complètement intériorisé », dit Huang. « C’est de cette industrie dont nous parlions. C’est la révolution industrielle. »
La confiance du PDG contribue à expliquer pourquoi Nvidia couvre de manière agressive la manière dont il fournit des inférences, même si l’économie sous-jacente reste volatile.
Nvidia veut accaparer le marché de l’inférence
Karl Freund, fondateur et analyste principal de Cambrian AI Research, a déclaré que NVIDIA couvre ses paris pour s’assurer d’avoir une main dans tous les domaines du marché. « C’est un peu comme si Meta achetait Instagram », a-t-il expliqué. « Ce n’est pas qu’ils pensaient que Facebook était mauvais ; ils savaient simplement qu’il existait des alternatives qui ne rivalisaient pas avec Facebook. »
Bien que Huang ait présenté de solides arguments en faveur de l’aspect économique de la plate-forme d’inférence Nvidia existante. « Je pense que cela n’a tout simplement pas trouvé autant d’écho auprès des clients qu’ils l’espéraient, ou peut-être qu’ils ont vu quelque chose dans l’approche basée sur la mémoire des puces que d’autres sociétés comme Groq et D-Matrix adoptent », a déclaré Freund, faisant référence à une autre start-up de puces d’IA à haute vitesse et à faible latence soutenue par Microsoft qui a récemment levé 275 millions de dollars pour une valorisation de 2 milliards de dollars.
Freund a déclaré que l’entrée de Nvidia dans Groq pourrait faire progresser l’ensemble de la catégorie. « Je pense que D-Matrix est une startup plutôt heureuse en ce moment car je pense que la valorisation pour le prochain cycle sera encore plus élevée grâce à[l’accord Nvidia et Groq] », a-t-il déclaré.
D’autres dirigeants de l’industrie affirment que les aspects économiques de l’inférence de l’IA évoluent à mesure qu’elle dépasse les chatbots et s’étend aux systèmes en temps réel tels que les robots, les drones et les outils de sécurité. Ces systèmes ne peuvent pas tolérer les retards associés à l’envoi et à la réception de données vers et depuis le cloud, ni le risque que la puissance de calcul ne soit pas toujours disponible. Au lieu de cela, ils préfèrent les puces spécialisées comme Groq aux clusters GPU centralisés.
Behnam Bastani, fondateur et PDG d’OpenInfer, a déclaré que sa startup cible ces types d’applications à la « périphérie », en mettant l’accent sur l’exécution de l’inférence d’IA à proximité de l’endroit où les données sont générées, telles que les appareils, les capteurs et les serveurs locaux, plutôt que dans des centres de données cloud distants.
Il a souligné que le marché de l’inférence en est encore à ses balbutiements. Et Nvidia accapare ce marché avec son accord avec Groq. Il a déclaré que même si l’économie de l’inférence reste volatile, NVIDIA se positionne comme une entreprise qui couvre l’ensemble de la pile matérielle d’inférence, plutôt que de parier sur une seule architecture.
« Cela positionne NVIDIA comme un groupe plus large », a-t-il déclaré.
Cet article a été initialement publié sur Fortune.com
