Des millions de personnes utilisent désormais Chatgpt comme thérapeute, conseiller en carrière, coach de fitness ou parfois juste un ami à qui se défouler. En 2025, il n’est pas rare d’entendre parler de gens renversant les détails intimes de leur vie dans la barre rapide d’une IA IA Chatbot, mais aussi de s’appuyer sur les conseils qu’il rend.
Les humains commencent à avoir, par manque d’un meilleur terme, des relations avec les chatbots d’IA, et pour les grandes entreprises technologiques, il n’a jamais été compétitif d’attirer les utilisateurs vers leurs plateformes de chatbot – et de rester là. Alors que la «course d’engagement de l’IA» se réchauffe, il y a une incitation croissante pour les entreprises à adapter les réponses de leurs chatbots pour empêcher les utilisateurs de passer à des bottes rivales.
Mais le type de chatbot répond que les utilisateurs aiment – les réponses conçues pour les conserver – peuvent ne pas nécessairement être les plus correctes ou les plus utiles.
Ai vous disant ce que vous voulez entendre
Une grande partie de la Silicon Valley en ce moment est axée sur l’augmentation de l’utilisation du chatbot. Meta affirme que son chat de l’IA vient de traverser un milliard d’utilisateurs actifs mensuels (MAUS), tandis que les Gémeaux de Google ont récemment atteint 400 millions de MAU. Ils essaient tous les deux de devancer Chatgpt, qui compte maintenant environ 600 millions de MAU et a dominé l’espace des consommateurs depuis son lancement en 2022.
Alors que les chatbots d’IA étaient autrefois une nouveauté, ils sont un chiffre d’affaires en affaires massives. Google commence à tester des publicités en Gémeaux, tandis que le PDG d’Openai, Sam Altman, a indiqué dans une interview en mars qu’il serait ouvert aux «publicités de bon goût».
La Silicon Valley a des antécédents de privation du bien-être des utilisateurs en faveur de l’alimentation de la croissance des produits, surtout avec les médias sociaux. Par exemple, les chercheurs de Meta ont constaté en 2020 qu’Instagram a fait que les adolescentes se sentent pire dans leur corps, mais la société a minimisé les résultats en interne et en public.
Faire accrocher les utilisateurs aux chatbots AA peut avoir des implications plus importantes.
Un trait qui maintient les utilisateurs, nous avons une plate-forme de chatbot particulière est la sycophance: rendre un bot AI AA trop agréable et servile. Lorsque les chatbots AI louent les utilisateurs, d’accord avec eux et leur disent ce qu’ils veulent entendre, les utilisateurs ont tendance à l’aimer – au moins dans une certaine mesure.
En avril, Openai a atterri dans l’eau chaude pour une mise à jour de Chatgpt qui est devenue extrêmement sycophantique, au point où des exemples inconfortables sont devenus viraux sur les réseaux sociaux. Intentionnellement ou non, Openai trop optimisé pour rechercher une approche humaine plutôt que d’aider les gens à réaliser leurs tâches, selon le billet de blog ce mois-ci du chercheur Openai, Steven Adler.
Openai a déclaré dans son propre article de blog qu’il peut avoir trop indexé sur les «données du pouce et des pouces» des utilisateurs de Chatgpt pour éclairer le comportement de son chatbot, et n’avait pas eu suffisamment d’évaluations pour mesurer la sycophancie. Après l’incident, Openai s’est engagé à apporter des modifications à combattre la sycophance.
« Les sociétés (IA) ont une incitation à l’engagement et à l’utilisation, et donc dans la mesure où les utilisateurs aiment la sycophance, qui leur donne indirectement une incitation », a déclaré Adler dans une interview avec TechCrunch. «Mais les types de choses que les utilisateurs aiment à petites doses, ou en marge, entraînent souvent de plus grandes cascades de comportement qu’ils aient récemment.»
Trouver un équilibre entre le comportement agréable et sycophantique est plus facile à dire qu’à faire.
Dans un article en 2023, des chercheurs d’Anthropic ont constaté que les principaux chatbots d’IA d’Openai, Meta et même leur propre emploi, anthropic, tous présentent la sycophance à des degrés divers. C’est probablement le cas, les chercheurs théorisent, parce que tous les modèles d’IA sont formés aux signaux des utilisateurs humains qui ont tendance à aimer les réponses légèrement sycophantiques.
« Bien que la sycophance soit motivée par plusieurs facteurs, nous avons montré que les humains et les modèles de préférence favorisant les réponses sycophantiques jouent un rôle », a écrit les co-authiques de l’étude. «Notre travail motive le développement de méthodes de surveillance des modèles qui vont au-delà de l’utilisation des notes humaines non experte unidées.»
Le personnage.ai, une société de chatbot soutenue par Google qui a affirmé que ses millions d’utilisateurs passent des heures par jour avec ses robots, fait actuellement face à un procès dans lequel la sycophance pourrait avoir joué un rôle.
Le procès allègue qu’un personnage. Chatbot a fait peu de choses à s’arrêter et même à encourager un garçon de 14 ans qui a dit au chatbot qu’il allait se suicider. Le garçon avait développé une obsession romantique pour le chatbot, selon le procès. Cependant, le caractère nie ces allégations.
L’inconvénient d’un homme de battage médiatique
Selon le DR. Nina Vasan, professeure adjointe de psychiatrie en clinique à l’Université de Stanford.
« L’accord (…) exploite le désir de validation et de connexion d’un utilisateur », a déclaré Vasan dans une interview avec TechCrunch, « qui est particulièrement puissant dans les moments de solitude ou de détresse. »
Alors que le cas de personnage.ai montre les dangers extrêmes de la sycophance pour les utilisateurs vulnérables, la sycophance pourrait renforcer les comportements négatifs dans presque n’importe qui, explique Vasan.
« (L’accord) n’est pas seulement un lubrifiant social – cela devient un crochet psychologique », a-t-elle ajouté. « En termes thérapeutiques, c’est l’opposé de ce à quoi ressemble les bons soins. »
Le comportement du comportement et de l’alignement d’Anthropic, Amanda Askell, dit que la création de chatbots d’IA est en désaccord avec les utilisateurs fait partie de la stratégie de l’entreprise pour son chatbot, Claude. Pour philosophiser par la formation, Askell Shey essaie de modéliser le comportement de Claude sur le «humain parfait» théorique. Parfois, cela signifie défier les utilisateurs sur leurs croyances.
« Nous pensons que nos amis sont bons parce qu’ils nous disent la vérité lorsque nous avons besoin de l’entendre », a déclaré Askell lors d’un point de presse en mai. «Ils essaient simplement de capturer pour être prudent, le but enrichit nos vies.»
Cela peut être l’intention d’Anthropic, mais l’étude susmentionnée suggère que la lutte contre la sycophie et le contrôle du modèle d’IA contrôlent largement, en effet, en particulier lorsque d’autres considérations se gênent. Cela n’augmente pas bien pour les utilisateurs; Après tout, si les chatbots sont conçus pour être simplement d’accord avec nous, combien pouvons-nous leur faire confiance?
