Nous avons essayé les lunettes IA de Google et elles y sont presque

Lors de la conférence des développeurs I/O de Google cette semaine, nous avons eu l’occasion de faire un bref aperçu pratique de ses prochaines lunettes alimentées par l’IA – non pas les lunettes uniquement audio dont Google a annoncé qu’elles commenceraient à être expédiées cet automne, mais plutôt les lunettes qui offrent une expérience audio et visuelle combinée.

Annoncées pour la première fois lors de l’événement de l’année dernière, ces lunettes Android XR offrent un écran intégré à l’objectif qui met devant vous des informations utiles, superposées au monde réel. Cela inclut des widgets qui peuvent afficher des éléments tels que la météo, des itinéraires à pied, les détails de la prise en charge Uber, la traduction en direct, etc., et même des widgets que vous avez conçus vous-même à l’aide de l’IA.

Les lunettes seront également associées aux téléphones iOS et Android, a indiqué la société, à la fois dans le format audio uniquement et dans la future version d’affichage.

Les lunettes avec écran sont censées être la prochaine étape au-delà de la première génération de lunettes audio qui sortira plus tard cette année. Les lunettes elles-mêmes ont été développées en partenariat avec Warby Parker, Gentle Monster et Samsung, alliant la technologie de Google à l’esthétique du design de leurs marques.

Les verres que nous avons testés, quant à eux, n’étaient encore qu’un prototype, bien que suffisamment polis pour être maintenant testés en externe. Les représentants faisant la démonstration des lunettes XR ont expliqué que le prototype permettait à Google de ne pas se soucier de certains détails cosmétiques liés aux différents styles et formes, de sorte qu’il pouvait plutôt se concentrer sur l’expérimentation plus libre de la technologie d’affichage et de ses impacts sur la durée de vie de la batterie. Cela signifie que ces lunettes sont très différentes de toute future version de lunettes, en termes d’ajustement, de forme, de dimensions et d’attention portée aux détails. Il s’agit plutôt de pouvoir expérimenter « l’intérieur » des lunettes, tout en restant dans une monture basique et confortable.

La version d’expédition des lunettes sera capable de détecter quand les lunettes sont placées sur votre tête et retirées, mais celles que nous avons essayées n’avaient pas cette fonctionnalité.

Pour activer Gemini, vous devez appuyer pendant deux secondes sur le côté droit de la monture des lunettes. Un carillon de démarrage retentirait, vous informant que Gemini est allumé et écoute. Dans la version de démonstration, le démarrage de Gemini démarrerait également la caméra en même temps, mais la version d’expédition permettra à l’utilisateur de configurer s’il souhaite ou non allumer la caméra au démarrage de Gemini.

Lors d’un premier test, nous avons joué de la musique via les lunettes en demandant à Gemini de jouer un artiste préféré. Malheureusement, la salle était trop bruyante pour évaluer la qualité du son, car la musique était réglée au volume maximum et était encore relativement difficile à entendre de manière nette et détaillée. Mais la première impression issue de cette expérience limitée était que les lunettes ne constitueraient pas un excellent substitut aux écouteurs de meilleure qualité, même si elles le feraient si vous vouliez simplement écouter de la musique pendant que vous étiez dehors, en marchant, en randonnée ou en effectuant des tâches ménagères. L’avantage de ne pas avoir d’écouteurs est que vous pouvez plus facilement entendre quelqu’un parler, par rapport aux expériences en mode transparence sur des appareils comme les AirPod d’Apple.

Pour éteindre la musique, il vous suffit de tapoter une fois sur le côté du cadre, au milieu, comme si vous tapotiez sur votre tempe.

Lors du deuxième test, nous avons appuyé sur le bouton de capture photo avec notre doigt pour prendre une photo d’une personne. L’écran était éteint, la photo a donc été transférée sur notre téléphone et notre montre. (Vous pourrez plus tard capturer une vidéo en appuyant longuement, mais cette option n’était pas disponible pour tester avec le prototype. Dans le cas d’une vidéo, vous verriez un aperçu miniature de la vidéo au lieu d’une photo.)

Vous pouvez également simplement demander à Gemini de prendre une photo sans avoir à appuyer sur le bouton photo et d’effectuer une sorte de manipulation IA sur le résultat. Par exemple, vous pouvez dire quelque chose comme « prenez une photo et transformez la personne en personnage d’anime ». La photo est envoyée au téléphone, puis aux serveurs Gemini et Nano Banana, puis revient dans sa version éditée.

Sur le site Google I/O, où le Wi-Fi était soumis à une forte charge, l’aller-retour a duré environ 45 secondes.

Avec l’affichage activé, vous verrez un simple écran d’accueil apparaître dans votre champ de vision. La version de démonstration comportait des widgets préchargés qui affichaient la météo et un compte à rebours jusqu’à l’événement I/O de Google. Vous pouvez également créer des lanceurs rapides dans des applications spécifiques, comme Google Maps ou Translate, si ceux-ci faisaient partie de vos principaux cas d’utilisation des lunettes.

Le prototype n’avait qu’un seul écran sur l’œil droit, mais la plate-forme peut prendre en charge à la fois des écrans simples et doubles, ainsi que des lunettes uniquement audio. L’image elle-même était un peu floue, mais nous avons attribué cela à nos lentilles de prescription, qui impliquent le port d’une lentille optimisée pour la vision de loin d’un côté et d’une lentille optimisée pour la vision de près de l’autre. Lorsque nous avons fermé un œil, l’image est devenue plus nette, mais l’expérience nous a presque immédiatement laissé une certaine fatigue oculaire au-dessus de l’œil droit, et il n’est pas clair si la prescription était entièrement à blâmer.

L’une des meilleures démonstrations concernait l’expérience de traduction linguistique sur les lunettes, soutenue par l’application Google Translate sur le téléphone. L’un des manifestants parlait un espagnol rapide, et les lunettes détectaient automatiquement la langue et affichaient le texte en anglais sur l’écran, tandis que Gemini parlait anglais à notre oreille. Nous pourrions voir des voyageurs du monde entier acheter les lunettes uniquement pour cette expérience.

Il convient de noter que Translate fonctionnera également sur les lunettes audio uniquement, sans que le texte ne soit affiché sur les lunettes elles-mêmes. Au lieu de cela, vous pourriez voir la transcription sur le téléphone, si nécessaire, en plus du retour audio en temps réel.

Une autre démo impliquait l’utilisation des lunettes pour naviguer. Même si nous ne pouvions évidemment pas nous promener et quitter les lieux pour tester sa précision, nous pouvions avoir une idée de la façon dont cela fonctionnerait. Vous pouvez démarrer l’expérience Google Maps en demandant à Gemini de vous guider vers une destination, qui peut même être aussi vague que quelque chose comme « le café le plus proche ».

Gemini activera Google Maps sur le téléphone, mais vous n’avez pas besoin de sortir votre téléphone de votre sac ou de votre poche pour l’utiliser. Après un bref délai pendant le chargement de l’expérience, les lunettes affichent alors des instructions étape par étape. Lorsque vous regardez vers l’avant, les informations de votre prochain virage sont ce qui est affiché. Mais si vous avez besoin de vous orienter dans l’espace, vous pouvez regarder le sol et voir votre point bleu sur une carte. Vous pouvez également tourner vers la gauche et la droite pour pivoter dans l’espace, tout comme vous essaieriez de faire pointer le point bleu dans la bonne direction sur votre téléphone.

Ensuite, si vous relevez la tête, vous pouvez continuer à marcher sans que la carte ne vous gêne.

Étant donné que l’expérience est liée à Google Maps sur votre téléphone, les destinations enregistrées telles que « domicile » et « travail » seront déjà disponibles.

Nous avons également pu utiliser brièvement les lunettes pour identifier divers objets à notre vue et poser des questions à leur sujet. Les lunettes ont d’abord eu du mal à identifier la réplique d’un tableau de Monet sur une étagère devant nous, mais c’est parce que le prototype n’a pas automatiquement activé l’appareil photo : il a fallu le rallumer depuis l’application. Pourtant, il a fallu quelques questions avant que Gemini dise que cela ressemblait à un Monet même après que nous nous soyons rapprochés pour nous concentrer sur la signature de Monet en bas à gauche.

D’autres tests ont été plus fluides, car les verres ont immédiatement identifié la plante sur l’étagère et répondu aux questions sur différentes recettes d’un livre. Pourtant, nous nous sommes demandé comment ces choses pouvaient être faites aujourd’hui avec Google Lens (ou d’autres modèles d’IA intégrés dans les applications de chatbot), même si nous pensons qu’il est intéressant de pouvoir les faire sans avoir à retirer votre téléphone du tout.

Google affirme qu’il aura plus à partager sur ses lunettes d’affichage Android XR plus tard cette année, lorsqu’il étendra son programme de testeurs de confiance.

En attendant, la société estime que l’audio suffira aux besoins de certains utilisateurs, ce qui est peut-être une manière intelligente de faire croire qu’elle n’a pas ses lunettes d’affichage prêtes, malgré la concurrence de Meta et Snap sur ce front.

Comme la version d’affichage, les lunettes audio donnent également accès à l’IA Gemini de Google, que vous entendez en privé via les haut-parleurs du cadre des lunettes. Vous pouvez faire des choses comme écouter de la musique à travers les lunettes, appuyer sur un bouton pour prendre une photo, passer un appel ou accéder aux applications de votre téléphone, à partir de ces lunettes, comme vous le pourrez sur les futures versions d’affichage.

L’accès à d’autres applications tierces ne faisait pas partie des éléments que nous avons présentés en démonstration, mais les lunettes permettront aux utilisateurs de dire à Gemini de faire des choses comme « prendre les ingrédients de cette recette et les ajouter à ma liste de courses ».

Dans un autre exemple présenté par Google lors du discours d’ouverture de l’événement, les lunettes pouvaient voir un repas que le porteur préparait sur la cuisinière et donner des informations sur le repas, par exemple si la viande était déjà complètement cuite ou non.