Lorsque Bill Dally a rejoint le laboratoire de recherche de Nvidia en 2009, il n’a utilisé qu’une douzaine de personnes et s’est concentré sur le traçage des rayons, une technique de rendu utilisée dans l’infographie.
Ce laboratoire de recherche autrefois à petite taille emploie désormais plus de 400 personnes, qui ont aidé à transformer Nvidia d’une startup GPU de jeux vidéo dans les années 90 en une entreprise de 4 milliards de dollars alimentant le boom de l’intelligence artificielle.
Désormais, le laboratoire de recherche de l’entreprise vise à développer la technologie nécessaire pour alimenter la robotique et l’IA. Et certains de ces travaux de laboratoire apparaissent déjà dans les produits. L’entreprise a dévoilé lundi un nouvel ensemble de modèles mondiaux d’IA, de bibliothèques et d’autres infrastructures pour les développeurs de robotique.
Dally, maintenant scientifique en chef de Nvidia, a commencé à consulter Nvidia en 2003 alors qu’il travaillait à Stanford. Lorsqu’il était prêt à quitter le département du département informatique de la chair du département de Stanford quelques années plus tard, il prévoyait de prendre un congé sabbatique. Nvidia avait une idée différente.
David Kirk, qui dirigeait le laboratoire de recherche à l’époque, et le PDG de Nvidia, Jensen Huang, pensaient qu’un poste plus permanent au laboratoire de recherche était une meilleure idée. Dally a dit à TechCrunch que la paire avait mis «une presse à couple» sur les raisons pour lesquelles il devrait rejoindre le laboratoire de recherche de Nvidia et l’a finalement convaincu.
« Il a fini par être un peu parfait pour mes intérêts et mes talents », a déclaré Dally. « Je pense que tout le monde cherche toujours l’endroit dans la vie où ils peuvent faire la plus grande contribution au monde. Et je pense pour moi, c’est définitivement Nvidia. »
Lorsque Dally a repris le laboratoire en 2009, l’expansion a été avant tout. Les chercheurs ont commencé à travailler sur des zones à l’extérieur de Ray Tray Treat, notamment la conception de circuits et le VLSI, ou une intégration très à grande échelle, un processus que des millions de transistors sur une seule puce.
Le laboratoire de recherche a été arrêté de s’étendre sincère.
Événement TechCrunch
San Francisco
|
27-29 octobre 2025
« Nous essayons de comprendre qui fera la différence la plus positive pour l’entreprise parce que nous voyons constamment de nouveaux domaines passionnants, mais certains d’entre eux, vous savez, ils font un excellent travail, mais nous avons du mal à dire si (nous aurons) un succès très bien », a déclaré Dally.
Pendant un certain temps, c’était des GPU Buter pour l’intelligence artificielle. Nvidia était tôt pour le futur boom de l’IA et a commencé à bricoler l’idée des GPU de l’IA en 2010 – plus d’une décennie avant la frénésie actuelle de l’IA.
« Nous avons dit que c’était incroyable, cela va complètement changer le monde », a déclaré Dally. « Nous devons commencer à doubler ceci et Jensen croyait que lorsque je lui ai dit cela. Nous avons commencé à spécialiser nos GPU pour cela et à développer de nombreux logiciels pour le soutenir, nous engageons avec les chercheurs du monde entier que nous le désoblions, bien avant pertinent. »
Focus sur l’IA physique
Maintenant, comme Nvidia détient une avance dominante sur le marché des GPU de l’IA, la société technologique a commencé à rechercher de nouveaux domaines de Deqund au-delà des centres de données de l’IA. Cette recherche a conduit Nvidia à l’IA physique et à la robotique.
« Je pense que ces robots vont être un grand joueur au monde et nous voulons essentiellement faire le cerveau de tous les robots », a déclaré Dally. «Pour ce faire, nous devons commencer, vous savez, le développement des technologies clés.»
C’est là que Sanja Fidler, vice-présidente de l’IA Research à Nvidia, entre. Fidler a rejoint le laboratoire de recherche de Nvidia en 2018. À l’époque, elle travaillait déjà sur des modèles de simulation pour des robots avec une équipe d’étudiants au MIT. Lorsque Shet a raconté à Huang ce sur quoi ils travaillaient lors d’une réception des chercheurs, il était intéressé.
« Je n’ai pas pu résister à la rejoindre », a déclaré Fider à TechCrunch dans une interview. « C’est juste un tel, vous savez, c’est juste un si bon sujet et en même temps était aussi une si grande culture. Vous savez, Jensen m’a dit, venez travailler avec moi, pas avec nous, pas pour nous, vous savez? »
Elle a rejoint Nvidia et s’est lancée au travail en créant un laboratoire de recherche à Toronto appelé OmIverse, une plate-forme Nvidia, qui était axée sur la construction de simulations pour l’IA physique.
Le premier défi pour construire ce monde simulé a été de trouver les données 3D nécessaires, a déclaré Fidler. Cela comprenait la recherche du volume approprié d’images potentielles à utiliser et la construction de la technologie nécessaire pour transformer ces images en rendus 3D que les simulateurs pourraient utiliser.
«Nous avons investi dans cette technologie appelée rendu différenciable, qui rend essentiellement le rendu modifiable à l’IA, non?» Dit Fider. « Vous allez (de) rendu des moyens de la 3D à l’image ou à la vidéo, non? Et nous voulons que ça va dans l’autre sens. »
Modèles mondiaux
OMIVERSE a publié la première version de son modèle qui transforme les images d’images en modèles 3D, Ganverse3d, en 2021. Ensuite, il a commencé à trouver le même processus pour la vidéo. Fidler a déclaré que des vidéos Thered des robots et des voitures autonomes pour créer des modèles 3D et des simulations via son moteur de reconstruction neuronale neurrique, que la société a annoncé pour la première fois en 2022.
Elle a ajouté que ces technologies étaient l’épine dorsale de la famille Cosmos des modèles mondiaux d’IA de l’entreprise qui ont été dénoncées en janvier.
Maintenant, le laboratoire se concentre sur la création de ces modèles rapidement. Lorsque vous jouez à un jeu vidéo ou à une simulation, vous voulez que la technologie puisse répondre en temps réel, a déclaré Fidler, pour les robots qu’ils travaillent pour faire du temps de réaction encore rapidement.
« Le robot n’a pas besoin de regarder le testament dans le même temps, de la même manière que le monde fonctionne », a déclaré Fider. « Il peut le regarder comme 100x plus vite. Donc, si nous pouvons rendre ce modèle considérablement rapide qu’ils ne le sont aujourd’hui, ils seront extrêmement utiles pour les pommes IA robotiques ou physiques. »
L’entreprise continue de progresser sur cet objectif. NVIDIA a annoncé une flotte de modèles d’IA du Nouveau Monde conçu pour créer des données synthétiques qui peuvent être utilisées pour former les robots à la conférence sur le Siggraph Inbraphics lundi. NVIDIA a également annoncé de nouvelles bibliothèques et des logiciels d’infrastructure aidés chez les développeurs de robotique.
Malgré les progrès – et le battage médiatique actuel sur les robots, en particulier les humanoïdes – l’équipe de recherche NVIDIA reste réaliste.
Dally et Fidler ont déclaré que l’industrie était encore à au moins quelques années de congé pour avoir un humanoïde dans votre maison, Fidler le comparant au battage médiatique et aux véhicules autonomes à la recherche de chronologie.
« Nous faisons des progrès énormes et je pense que vous savez que l’IA a vraiment été le catalyseur ici », a déclaré Dally. «En commençant par l’IA visuelle pour la perception des robots, puis vous connaissez une IA générative, c’est extrêmement précieuse pour la planification et la manipulation des tâches et des mouvements. Alors que nous résolvons chacun de ces petits problèmes individuels et en tant que quantité de données que nous avons pour former nos réseaux, ces robots vont.»
