Pour construire les machines autonomes du futur, votre modèle a parfois besoin d’un modèle.
Les entreprises développant des voitures autonomes, des robots manipulant l’environnement physique ou des équipements de construction autonomes collectent des milliers, voire des millions d’heures de données vidéo à des fins d’évaluation et de formation.
Organiser et cataloguer cette vidéo est désormais un travail pour les humains, qui doivent la regarder en entier. Même en avance rapide, cela ne s’adapte pas. NomadicML, une startup fondée par le PDG Mustafa Bal et le CTO Varun Krishnan, souhaite résoudre les problèmes des clients dont 95 % des données de leur flotte sont archivées.
Le défi devient plus difficile lorsque l’on recherche des cas extrêmes : les données les plus précieuses décrivent des événements qui se produisent rarement et peuvent perturber les modèles d’IA physique inexpérimentés.
Nomadic s’efforce de résoudre ce problème avec une plate-forme qui transforme les images en un ensemble de données structuré et consultable grâce à une collection de modèles de langage de vision. Cela permet à son tour une meilleure surveillance de la flotte et la création d’ensembles de données uniques pour un apprentissage par renforcement et une itération plus rapide.
La société a annoncé mardi un tour de table de 8,4 millions de dollars pour une valorisation post-monétaire de 50 millions de dollars. Le cycle a été mené par TQ Ventures, avec la participation de Pear VC et Jeff Dean, et permettra à l’entreprise d’intégrer davantage de clients et de continuer à affiner sa plateforme. Nomadic a également remporté le premier prix au concours de pitch de Nvidia GTC le mois dernier.
Les deux fondateurs, qui se sont rencontrés alors qu’ils étaient étudiants en informatique à Harvard, « ont continué à se heurter encore et encore aux mêmes défis techniques dans notre travail » dans des entreprises comme Lyft et Snowflake, a déclaré Bal à TechCrunch.
Événement Techcrunch
San Francisco, Californie
|
13-15 octobre 2026
« Nous fournissons aux gens un aperçu de leurs propres images, de tout ce qui pilote leurs propres AV (et) robots », a-t-il déclaré. « C’est ce qui fait avancer ces constructeurs de systèmes autonomes, et non des données aléatoires. »
Imaginez, par exemple, essayer d’affiner la compréhension d’un AV selon laquelle il peut allumer un feu rouge si un policier lui ordonne de le faire, ou s’isoler chaque fois que des véhicules passent sous un type spécifique de pont. La plateforme de Nomadic permet d’identifier ces incidents à la fois à des fins de conformité et d’être intégrés directement dans les pipelines de formation.
Des clients comme Zoox, Mitsubishi Electric, Natix Network et Zendar utilisent déjà la plateforme pour développer des machines intelligentes. Antonio Puglielli, vice-président de l’ingénierie chez Zendar, a déclaré que l’outil de Nomadic permettait à l’entreprise d’augmenter son travail beaucoup plus rapidement que l’alternative de l’externalisation, et que son expertise dans le domaine la distinguait des autres concurrents.
Ce type d’outil d’annotation automatique basé sur un modèle apparaît comme un flux de travail clé pour l’IA physique. Des sociétés établies d’étiquetage de données telles que Scale, Kognic et Encord développent des outils d’IA pour effectuer ce travail, tandis que Nvidia a publié une famille de modèles open source, Alpamayo, qui peuvent être adaptés pour résoudre le problème.
Varun affirme que l’outil de son entreprise est plus qu’une simple étiqueteuse ; il s’agit d’un « système de raisonnement agent : vous décrivez ce dont il a besoin et il détermine comment le trouver », utilisant plusieurs modèles pour comprendre l’action en cours et la replacer dans son contexte. Les bailleurs de fonds de Nomadic s’attendent à ce que l’accent mis par la startup sur cette infrastructure spécifique l’emporte.
« C’est la même raison pour laquelle Salesforce ne construit pas son propre cloud et Netflix ne construit pas ses propres (installations de distribution de contenu) », a déclaré à TechCrunch Schuster Tanger, partenaire de TQ Ventures qui a dirigé le cycle. « À la seconde où une entreprise de véhicules autonomes essaie de construire Nomadic en interne, elle est distraite de ce qui la fait gagner, à savoir le robot lui-même. »
Tanger fait l’éloge du talent de Nomadic, soulignant que Krishnan est un maître d’échecs international classé 1 549e meilleur joueur du monde. Krishnan, quant à lui, se vante que la douzaine d’ingénieurs de l’entreprise ont publié des articles scientifiques.
Aujourd’hui, ils travaillent dur pour développer des outils spécifiques, comme celui qui comprend la physique des changements de voie à partir des images de la caméra, ou un autre qui dérive des emplacements plus précis pour les pinces d’un robot dans une vidéo. Le prochain défi, du point de vue de Nomadic et de ses clients, est de développer des outils similaires pour les données non visuelles comme les relevés des capteurs lidar, ou d’intégrer les données des capteurs dans plusieurs modes.
« Jongler avec des téraoctets de vidéo, les confronter à des centaines de modèles de paramètres de plus de 100 milliards, puis extraire leurs informations précises, est vraiment incroyablement difficile », a déclaré Bal.
