Combien y a-t-il de P dans Google ? Selon Google, il y en a deux.
Il y a aussi « exactement 1 ‘r’ dans le mot ‘caca' », indique l’AI Overview de Google, ainsi que deux ‘d’ dans le mot journalisme, mais l’écrit : journalisme. Google a au moins identifié qu’il y avait un P dans le nom de famille du président américain, mais l’a orthographié trpum.
Il n’était pas nécessaire d’être un prophète pour prédire que la refonte de la recherche avancée par l’IA de Google allait mal se dérouler. Nous l’avons déjà fait. La première fois que Google a ajouté les aperçus IA à la recherche, la fonctionnalité a fini par citer des articles satiriques de The Onion et Reddit, conseillant aux gens de manger des pierres et de mettre de la colle sur leur pizza.
Cette fois-ci, alors que Google redouble d’efforts pour faire de l’IA générative la pièce maîtresse de son produit phare vieux de 29 ans, il n’est pas surprenant de le voir trébucher.
« Compter avec des mots est un défi connu pour les LLM, et nous travaillons pour résoudre ce problème particulier », a déclaré Google à TechCrunch dans une déclaration envoyée par courrier électronique.
Ces fautes d’orthographe de base peuvent sembler familières. Les LLM, le type d’intelligence artificielle qui alimente les chatbots et autres générateurs de texte, ne sont pas conçus pour comprendre l’orthographe. C’est une plaisanterie courante depuis des années que chaque fois qu’une entreprise dévoile un nouveau modèle d’IA, vous devriez lui demander combien de « r » il y a dans le mot fraise. Ces modèles d’IA – qui peuvent coder une application en quelques secondes ou résoudre des problèmes qui ont déconcerté les mathématiciens pendant des décennies – sont à peu près aussi bons qu’un enfant de maternelle en orthographe.
Les problèmes de Google en matière d’IA vont cependant au-delà des fautes d’orthographe stupides. Google a déjà corrigé un problème de la semaine dernière dans lequel la recherche du mot « ignorer » donnait ce qui ressemblait à une définition du mot dans un dictionnaire, seule la définition était affichée comme suit : « Compris. Faites-moi savoir chaque fois que vous avez une nouvelle invite ou une nouvelle question ! » Mais ces fautes d’orthographe restent amusantes tant elles sont difficiles à corriger.
Comme les chercheurs l’ont déjà expliqué lorsque nous avons posé des questions sur ces énigmes orthographiques, l’IA ne perçoit pas les phrases comme des unités de langage composées de mots et de lettres. De nombreux LLM sont construits sur des modèles de transformateurs, qui décomposent le texte en jetons, qui peuvent être des mots complets, des syllabes ou des lettres, selon le modèle. Au lieu de « lire » comme le ferait un humain, l’IA convertit le texte en représentations numériques de lui-même, qui sont ensuite contextualisées pour aider l’IA à trouver une réponse logique.
« Les LLM sont basés sur cette architecture de transformateur, qui ne lit pas réellement de texte. Ce qui se passe lorsque vous saisissez une invite, c’est qu’elle est traduite en un encodage », a déclaré Matthew Guzdial, chercheur en IA et professeur adjoint à l’Université de l’Alberta, à TechCrunch. « Quand il voit le mot ‘le’, il a cet encodage unique de ce que ‘le’ signifie, mais il ne connaît pas ‘T’, ‘H’, ‘E’. »
L’architecture basée sur des jetons qui alimente les LLM comme l’aperçu de l’IA de Google est intrinsèquement limitante, et les chercheurs ne sont pas optimistes quant à leur capacité à résoudre le problème d’orthographe.
« Il est assez difficile de contourner la question de savoir ce que devrait être exactement un » mot « pour un modèle de langage, et même si nous parvenions à ce que des experts humains se mettent d’accord sur un vocabulaire symbolique parfait, les modèles trouveraient probablement toujours utile de » fragmenter « les choses encore plus loin », a déclaré Sheridan Feucht, doctorante étudiant l’interprétabilité des grands modèles de langage à la Northeastern University, à TechCrunch. « Je suppose qu’il n’existe pas de tokeniseur parfait en raison de ce genre de flou. »
Il ne s’agit pas nécessairement d’un problème urgent dans l’esprit des chercheurs, puisque l’utilité des LLM ne réside pas dans leur capacité à épeler. Mais ces échecs flagrants nous rappellent que l’IA n’est pas parfaite, même si elle peut parfois apparaître comme une puissance omnisciente au-delà de notre compréhension. Nous ne pouvons pas faire aveuglément confiance aux résultats de l’IA sans vérifier leur exactitude.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
