Nous avons tous utilisé Street View sur Google Maps pour montrer à un ami à quoi ressemblait la maison de notre enfance, ou déposé cette petite icône de personne dans les rues de Paris pour voir si nous avions réservé un hôtel dans un quartier sympa. Imaginez pouvoir faire cela, mais d’une manière plus immersive et interactive qui vous permet de vraiment simuler la rue et ses environs, et même de faire des choses comme ajuster la météo ou voir à quoi cela ressemblerait dans un scénario « Jour d’après ».
C’est l’un des objectifs de la dernière intégration de Google. À partir d’aujourd’hui, Google DeepMind connecte Street View à Project Genie, le modèle mondial à usage général de l’entreprise qui peut générer des environnements diversifiés et interactifs. La nouvelle fonctionnalité lancée lors de la conférence des développeurs Google I/O.
« C’est vraiment puissant à la fois pour le cas d’utilisation de l’agent (et de la robotique) et pour les humains, et cela a toujours été la thèse de Genie », a déclaré Jack Parker-Holder, chercheur scientifique au sein de l’équipe ouverte de DeepMind, à TechCrunch.
Il a donné l’exemple d’un nouveau robot déployé à Londres, qui voit rarement le soleil. Selon Parker-Holder, Genie pourrait simuler ces rares occasions où le soleil brille sur les maisons victoriennes, afin que les rayons ne choquent pas le robot lorsque cela se produit.
« En même temps, vous pourriez dire : ‘Je vais à New York, mais pas à cette période de l’année' », a-t-il poursuivi. « ‘Il va neiger. Je veux voir à quoi ressemble ce bloc dans la neige.' »
Google collecte des données Street View depuis 20 ans via des voitures équipées de caméras et des individus attachés à des « sacs à dos de suivi ». Le géant de la technologie a collecté plus de 280 milliards d’images dans 110 pays et sept continents.
« Avec Street View, nous disposons d’images provenant d’une grande partie du monde », a déclaré Jack. « Vous pouvez imaginer à quel point il est potentiellement puissant de combiner cette riche source d’informations et de données du monde réel avec la capacité de simuler des mondes. »
Google a publié son dernier modèle mondial Genie 3 pour un aperçu de recherche en août dernier et a ouvert l’accès à l’outil aux abonnés Google AI Ultra aux États-Unis en janvier, permettant aux clients de créer des mondes de jeux interactifs à partir d’invites de texte ou d’images. L’objectif est d’utiliser Genie pour des expériences éducatives, des jeux et des formations en robotique.
Genie 3 contribue déjà à alimenter l’un des simulateurs de Waymo pour entraîner ses voitures autonomes sur des « événements extrêmement rares » comme des tornades ou des rencontres occasionnelles avec des éléphants. L’ajout de données Street View pourrait aider Waymo à se préparer à son lancement dans davantage de villes à travers le monde.
Waymo dispose de son propre simulateur sur lequel il s’est appuyé pour s’adapter à 11 villes américaines et tester son pilote d’IA dans plusieurs autres. La différence avec Genie, explique Parker-Holder, c’est que tout cela se situe du point de vue de la voiture. Street View permet non seulement de simuler un monde ancré dans un lieu réel, mais aussi de déplacer le point de vue vers d’autres types d’agents, comme un humain ou un robot.
Google lance aujourd’hui Street View dans Genie pour certains utilisateurs Ultra aux États-Unis, avec un accès déployé à grande échelle au fil du temps. Les utilisateurs de Global Ultra y auront accès au cours des prochaines semaines, selon la société.
L’objectif des chercheurs est de mettre cette nouvelle capacité entre les mains du plus grand nombre possible, selon Diego Rivas, chef de produit chez DeepMind. Il a reconnu que Street View en particulier et Genie en général sont encore une expérience et qu’il y a donc beaucoup à améliorer en termes de précision.
Dans les échantillons que l’équipe de Google m’a montrés – y compris une simulation sous-marine d’un quartier dans lequel je vivais – les résultats sont impressionnants et reconnaissables, mais restent de qualité jeu vidéo plutôt que photoréalistes. Les modèles ne sont pas encore sensibles à la physique, ce qui signifie qu’ils ne comprennent pas encore les causes et les effets. Par exemple, dans une simulation d’une femme courant à travers un Joshua Tree enneigé, elle a traversé des cactus et des buissons.
Comparez cela, par exemple, au générateur d’images Nano Banana de Google – qui peut désormais générer un texte parfait dans des infographies – ou à son générateur vidéo Veo – qui comprend que les bateaux en papier dérivent au gré des courants d’eau, que la fumée se disperse dans l’air et que le tissu recouvre les formes.
La physique n’est pas codée en dur dans ces modèles ; ils l’apprennent intuitivement au fil du temps par l’observation passive, comme le ferait un être vivant.
« Je pense que pour ce type de modèle, il y a peut-être six à 12 mois de retard sur la vidéo en termes de précision et de qualité, donc je pense que c’est quelque chose que nous allons résoudre », a déclaré Parker-Holder.
Jonathan Herbert, directeur de Google Maps qui a débuté dans l’équipe Street View en tant que stagiaire il y a 12 ans, a déclaré que Genie ne pouvait pas encore créer une reconstruction fidèle d’une rue. Il pense que la véritable avancée réside dans la continuité spatiale de l’IA. Si vous tournez à 360 degrés, l’IA se souvient et simule correctement l’environnement derrière vous. À partir de là, le modèle peut créer un nouvel environnement par-dessus.
« Nous réfléchissons depuis longtemps à la manière dont nous pouvons créer le modèle le meilleur et le plus riche au monde à partir des données Street View », a déclaré Herbert. « C’est définitivement une de nos idées d’utiliser les données cartographiques de nouvelles manières et pour de nouveaux types de recherche sur l’IA depuis assez longtemps. »
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
