La frontière de l’IA physique est un jeu Jenga dans un entrepôt de San Leandro, en Californie.
Cet entrepôt est occupé par Encord, une entreprise qui crée des outils de données utilisés pour former des modèles d’IA. Andrew Ceja est pilote – le terme utilisé par l’entreprise pour désigner ses entraîneurs robotiques – et il retire soigneusement des blocs de bois d’une tour chancelante tout en portant un casque doté d’une caméra qui suit ce qu’il voit. Cela seul est assez courant pour collecter des données d’entraînement de robot, mais ce casque comprend des capteurs qui mesurent ses ondes cérébrales pendant qu’il démonte soigneusement la tour du bloc.
Encord fait partie d’un nombre restreint mais croissant de startups pariant que la prochaine véritable contrainte sur la robotique humanoïde et d’entrepôt ne sera pas l’architecture des modèles mais plutôt la rareté des données d’entraînement physique réelles. Plutôt que d’aider simplement les entreprises de robotique à gérer les données dont elles disposent, Encord construit une entreprise autour de la fabrication des données dont elles ne disposent pas.
Le casque à ondes cérébrales que porte Ceja a été construit par Zander Labs, une startup allemande de neurosciences qui parie que mesurer l’activité cérébrale – pour en déduire des états mentaux comme l’erreur, l’intention et la surprise – peut créer un ensemble de données plus utiles pour entraîner des modèles. Le travail d’Encord avec Zander est actuellement à l’essai ; Encord affirme que l’objectif est de créer un premier ensemble de données étiquetées sur les ondes cérébrales, de l’exécuter via des modèles robotiques clients et d’évaluer s’il améliore réellement les performances avant de décider de l’étendre ou non.
Lucas Gehrke, un neuroscientifique de Zander supervisant les travaux, affirme que la quantité d’activité cérébrale utilisée à tout moment au cours d’une tâche donnée offre des indices aux constructeurs de modèles qui tentent de déterminer quand ils doivent déployer leurs modèles les plus exigeants.
Il s’agit de la « pointe » des efforts visant à résoudre le goulot d’étranglement des données robotiques, selon Vineeth Velmurugan, responsable de l’apprentissage robotique d’Encord. Vétéran du laboratoire de robots d’OpenAI et de Berkshire Grey, la société d’automatisation d’entrepôts, Velmurugan a rejoint Encord pour constituer l’équipe interne de création de données de l’entreprise.
Encord a été fondée pour aider les entreprises à créer des applications de vision industrielle, à annoter les données et à évaluer les modèles. Alors que leurs clients (Velmurugan affirme travailler avec de nombreuses grandes entreprises de robotique mais qu’il n’est pas autorisé à les nommer) ont commencé à appliquer l’apprentissage de bout en bout aux tâches de manipulation robotique, les dirigeants ont réalisé qu’ils devraient produire eux-mêmes les données de formation, plutôt que de simplement les gérer. « Les données n’existent tout simplement pas », a déclaré Velmurugan.
Le pari que l’IA générative peut faire pour les robots ce qu’elle fait pour les chatbots continue de se heurter à ce même mur. Les LLM ont été construits sur le texte de l’intégralité d’Internet, et plus encore. Trouver les mêmes matières premières pour enseigner aux réseaux neuronaux la manipulation physique est un défi : les constructeurs de voitures autonomes les collectent eux-mêmes, mais c’est difficile à mettre à l’échelle. La formation à partir de la vidéo peut fonctionner, mais elle n’offre pas la fidélité des données du monde réel. Velmurugan affirme qu’il faudra un ensemble de données environ cinq fois plus grand que le corpus vidéo de YouTube pour percer, une échelle qui aide à expliquer pourquoi la génération de données elle-même est devenue une entreprise et pas seulement un problème de recherche.
Nourrissez vos besoins égocentriques en matière de données
Les entreprises qui fabriquent des cerveaux de robots se tournent désormais vers deux sources principales : les vidéos « égocentriques » collectées par des travailleurs portant des caméras, souvent complétées par des angles de caméra supplémentaires et d’autres mesures, et la collecte de données provenant de robots exploités à distance. Encord fait les deux, en extrayant des données égocentriques de plusieurs usines à travers le monde et en utilisant ses installations de San Leandro pour expérimenter de nouvelles modalités, comme les ondes cérébrales, ou collecter des ensembles de données sur des compétences spécifiques pour les affiner.
Lors de la visite de TechCrunch, les pilotes utilisaient des plates-formes leader-suiveur – des bras robotiques appariés, l’un contrôlé directement par un opérateur humain et l’autre qui imite ses mouvements – pour créer des données sur des tâches telles que verser du café d’une cafetière dans des tasses (très liquide) et empiler des jetons de poker. « Toutes les entreprises humanoïdes nous ont demandé ces pièces », explique Velmurugan.
Les étagères de rangement contenaient des cartons de fausses fleurs dans des vases, des livres, des légumes en plastique, des bacs à litière et des pelles pour chat, des sacs et des faisceaux de fils, le stock nécessaire à la formation des manipulateurs pour les tâches ménagères.
Dans l’une de ces stations, une autre pilote, Sofia Infante, manœuvre des bras robotiques pour brancher et débrancher les câbles Ethernet à l’arrière d’un serveur – le genre de travail que les opérateurs de centres de données aimeraient être automatisé, si seulement les robots pouvaient les manipuler avec la précision requise. En faisant un tour derrière les commandes, j’ai pu comprendre pourquoi cela est toujours hors de portée : les pinces sont beaucoup moins adroites que les doigts humains et n’ont pas les degrés de liberté que nous tenons pour acquis dans nos bras.
Une autre nouvelle modalité de données développée par Encord utilise un ensemble de capteurs attachés à l’avant-bras pour détecter les signaux électriques dans les muscles. Les vidéos prises de mains humaines manipulant des objets ne capturent généralement pas la main entière, mais Velmurugan espère créer une représentation 3D de l’endroit où se trouve la main à tout moment, basée sur les capteurs du bras, créant ainsi une compréhension plus solide pour les modèles.
Les ensembles de données d’Encord sont annotés avec des descriptions physiques de ce que contient chaque vidéo (« la main droite serre le boulon ») pour aider les modèles basés sur LLM à comprendre ce qui se passe. Velmurugan estime que ce type d’annotation dense vaut 100 fois plus que des « données d’ego indésirables » pour la formation de tâches spécifiques, et qu’elles ne coûtent que 20 fois plus cher à produire, ce qui est un bon métier, sur le papier.
Mais « 20 fois plus » représente toujours de l’argent réel, et c’est là le problème : extraire du texte d’Internet, la façon dont les créateurs de LLM ont construit leurs modèles en s’appuyant sur Stack Overflow et le reste du Web, ne coûte presque rien aux laboratoires frontaliers. La génération de données sur l’entraînement physique ne le fait pas, et c’est la limite de la comparaison physique-IA-as-LLM. Ce type de données doit être fabriqué, pas seulement collecté, ce qui modifie les aspects économiques de la construction de ces modèles.
Velmurugan affirme que des progrès sont en cours : grâce à la visibilité d’Encord sur les programmes de l’ensemble du secteur, il est en mesure de voir des start-ups et des laboratoires pionniers déterminer ce qui fonctionne et ce qui ne fonctionne pas pour améliorer les modèles physiques d’IA. Ce point de vue – situé à la fois entre plusieurs entreprises de robotique – fait également partie du discours d’Encord. Il peut repérer quelles techniques de données gagnent du terrain dans l’ensemble du secteur avant qu’un seul client ne le puisse.
Cela occupera la douzaine de pilotes des installations d’Encord. Infante et Ceja font tous deux partie d’une main-d’œuvre en plein essor développant les éléments constitutifs des réseaux neuronaux ; ils ont auparavant travaillé chez Scale, une autre société d’annotation de données d’IA, avant de rejoindre Encord.
Ceja avait travaillé dans une entreprise de gestion des déchets où son intérêt pour la technologie l’avait amené à maintenir un trieur de déchets robotisé en bon état de fonctionnement. Aujourd’hui, alors que la tour Jenga s’effondre, il dit qu’il aime relever le défi de résoudre des tâches de formation pour les robots : « C’est quelque chose de nouveau chaque jour ! »
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
