L’intelligence artificielle passe rapidement d’une technologie de niche à un compagnon de tous les jours, avec des millions de personnes se tournant vers les chatbots pour obtenir des conseils, un soutien émotionnel et des conversations. Mais un nombre croissant de recherches et de témoignages d’experts suggèrent que les chatbots sont des courtisans et que, parce que les gens les utilisent pour tout, ils pourraient contribuer à accroître la paranoïa et la manie chez les utilisateurs souffrant de problèmes de santé mentale.
Une nouvelle étude de l’Université danoise d’Aarhus montre que l’utilisation accrue de chatbots peut aggraver les symptômes de paranoïa et de manie dans les communautés vulnérables. Le professeur Søren Dinesen-Ostergaard, l’un des chercheurs de l’étude, qui a examiné les dossiers de santé électroniques d’environ 54 000 patients souffrant de maladies mentales, a averti que les chatbots IA sont conçus pour cibler les plus vulnérables.
« Cela confirme notre hypothèse selon laquelle l’utilisation de chatbots IA peut avoir des effets négatifs importants sur les personnes atteintes de maladie mentale », a déclaré Ostergaard dans une étude publiée en février. Ses recherches s’appuient sur une étude de 2023 selon laquelle les chatbots peuvent provoquer « une dissonance cognitive qui peut alimenter les délires chez les personnes ayant une propension accrue à la psychose ».
D’autres psychologues approfondissent les méfaits des chatbots, affirmant qu’ils sont intentionnellement conçus pour rappeler constamment aux utilisateurs et qu’ils sont particulièrement dangereux pour les personnes souffrant de problèmes de santé mentale tels que la manie ou la schizophrénie. « Les chatbots confirment et valident tout ce qu’ils disent. Nous n’avons donc jamais vu quelque chose de pareil arriver à des personnes souffrant de troubles délirants, où quelqu’un les renforce constamment », a déclaré à Fortune le Dr Jodi Halpern, doyen et professeur de bioéthique à l’Université de Californie, Berkeley’s School of Public Health.
Le Dr Adam Chekroed, professeur de psychiatrie à l’Université de Yale et PDG de la société de santé mentale Spring Health, a même qualifié les chatbots de « courtisans géants » qui « justifient toujours tout ce que les gens répondent ».
Au cœur de l’étude, dirigée par Ostergaard et son équipe de l’hôpital universitaire d’Aarhus, se trouve l’idée selon laquelle ces chatbots sont intentionnellement conçus avec des tendances flatteuses, encourageant souvent plutôt qu’offrant des points de vue alternatifs.
« Les chatbots IA ont une tendance inhérente à essayer de justifier les croyances de leurs utilisateurs. Il est clair que cela est très problématique si l’utilisateur a déjà ou développe des délires. En fait, cela semble contribuer de manière significative à l’enracinement de la folie des grandeurs et de la paranoïa, par exemple », écrit Ostergaard.
Les modèles linguistiques à grande échelle sont formés pour être utiles et réconfortants, et valident souvent les croyances et les sentiments des utilisateurs. Pour la plupart des gens, cela apportera un soutien. Mais pour les personnes souffrant de schizophrénie, de trouble bipolaire, de dépression sévère ou de trouble obsessionnel-compulsif, cette validation peut alimenter des pensées paranoïaques, exagérées ou autodestructrices.
La recherche fondée sur des preuves soutient les affirmations
Alors que les chatbots IA sont devenus omniprésents, leur abondance fait partie d’un problème croissant pour les chercheurs et les professionnels. Les gens se tournent vers les chatbots pour obtenir de l’aide et des conseils, ce qui n’est pas une mauvaise chose en soi, mais ils ne rencontrent pas la même réaction que les humains face à certaines idées.
Aujourd’hui, l’une des premières études de population à examiner cette question suggère que le risque n’est pas hypothétique.
Les recherches d’Ostergaard et de son équipe ont révélé des cas où l’utilisation intensive ou à long terme d’un chatbot semblait exacerber les symptômes existants, avec un taux très élevé d’études de cas montrant que l’utilisation d’un chatbot renforçait la pensée paranoïaque et les épisodes maniaques, en particulier chez les patients souffrant de troubles graves tels que la schizophrénie et le trouble bipolaire.
En plus des délires et de la manie, l’étude a également révélé une augmentation des pensées suicidaires, de l’automutilation, des troubles de l’alimentation et des symptômes obsessionnels compulsifs. Les chercheurs ont découvert que l’utilisation de chatbots réduisait le sentiment de solitude dans seulement 32 cas documentés sur environ 54 000 dossiers de patients examinés.
« Bien que nos connaissances dans ce domaine soient encore limitées, je pense que nous en savons désormais suffisamment pour dire que si vous souffrez d’une maladie mentale grave telle que la schizophrénie ou le trouble bipolaire, l’utilisation de chatbots IA est dangereuse. J’appelle ici à la prudence », déclare Ostergaard.
Un psychologue expert met en garde contre les tendances à la flagornerie
Les psychologues professionnels se prononcent de plus en plus sur l’utilisation des chatbots dans des situations d’amitié et presque de santé mentale. Des histoires ont fait surface selon lesquelles des personnes tombaient amoureuses de partenaires de chatbots IA, et d’autres auraient demandé à des chatbots IA de répondre à des questions potentiellement incriminantes. Et cette semaine, quelqu’un aurait donné l’ordre à un homme de provoquer « un nombre massif de victimes » dans un aéroport majeur.
Certains experts en santé mentale estiment que l’adoption rapide des compagnons d’IA dépasse le développement des mesures de sécurité.
Chekroud, qui a étudié le sujet de manière approfondie en examinant divers modèles de chatbots d’IA chez Vera-MH, a décrit l’environnement actuel de l’IA comme une crise de sécurité qui se déroule en temps réel.
Il a déclaré que l’un des plus gros problèmes des chatbots est de ne pas savoir quand arrêter de se faire passer pour un expert en santé mentale. « Maintenons-nous des limites ? Par exemple, sommes-nous encore une simple IA et conscients de nos propres limites, ou essayons-nous d’agir davantage et de devenir les thérapeutes des gens ? »
Des millions de personnes utilisent désormais des chatbots pour des conversations thérapeutiques et un soutien émotionnel. Cependant, contrairement aux dispositifs médicaux et aux cliniciens qualifiés, ces systèmes fonctionnent sans surveillance ni réglementation clinique standardisée.
« À l’heure actuelle, l’insécurité est endémique », a déclaré Cheklod lors d’une récente discussion avec Fortune sur la sécurité de l’IA. « Le potentiel de préjudice est trop grand. »
Ces systèmes d’IA avancés agissent souvent comme de « grands courtisans » et ont tendance à être d’accord avec les utilisateurs plutôt que de contester les allégations potentiellement dangereuses ou de les orienter vers l’aide d’un professionnel. Résultat : les utilisateurs passent plus de temps avec le chatbot au sein de leur bulle. Pour Ostergaard, cela s’est avéré alarmant.
« Cette combinaison semble être très toxique pour certains utilisateurs », a déclaré Ostergaard à Fortune. Les chatbots offrent plus de validation, couplés à l’absence de réaction négative, ce qui a un impact sur les personnes qui utilisent des chatbots pendant de longues périodes dans une chambre d’écho. Un processus complètement circulaire qui nourrit chaque extrémité.
Pour faire face à ce risque, Chekroud a proposé un cadre de sécurité structuré qui permettrait aux systèmes d’IA de détecter quand un utilisateur pourrait être dans une « spirale mentale destructrice ». Plutôt que de répondre par une seule clause de non-responsabilité présentée à l’utilisateur lorsqu’il demande de l’aide, comme c’est le cas avec les chatbots actuels tels que ChatGPT d’OpenAI et Claude d’Anthropic, ces systèmes effectuent une évaluation en plusieurs étapes conçue pour déterminer si l’utilisateur a besoin d’une intervention ou d’une référence à un clinicien humain.
D’autres chercheurs affirment que l’omniprésence des chatbots est ce qui les rend si attrayants, et que leur capacité à fournir une validation instantanée peut miner la raison pour laquelle les utilisateurs demandent de l’aide aux chatbots en premier lieu.
Halpern a déclaré que la véritable empathie nécessite ce qu’elle appelle une « curiosité empathique ». Dans les relations, l’empathie implique souvent de reconnaître les différences, de résoudre les désaccords et de tester des hypothèses sur la réalité.
En revanche, les chatbots sont conçus pour maintenir la confiance et maintenir l’engagement.
« Nous savons que plus vous entretenez une relation avec un chatbot, plus cette relation se détériore et plus le risque que quelque chose de dangereux se produise », a déclaré Halpern à Fortune.
Pour les personnes souffrant de troubles délirants, un système qui valide systématiquement leurs croyances peut affaiblir leur capacité à vérifier leur réalité intérieure. Halpern a déclaré qu’au lieu d’aider les utilisateurs à améliorer leurs capacités d’adaptation, une relation purement positive avec un chatbot peut dégrader ces compétences au fil du temps.
Elle souligne également l’ampleur du problème. D’ici fin 2025, les statistiques publiées par OpenAi montrent qu’environ 1,2 million de personnes utiliseront ChatGPT chaque semaine pour discuter du suicide, démontrant à quel point ces systèmes sont profondément ancrés dans les moments de vulnérabilité.
Il y a place à amélioration dans les soins de santé mentale
Cependant, tous les experts ne sont pas aussi prompts à tirer la sonnette d’alarme sur la façon dont les chatbots fonctionnent dans le domaine de la santé mentale. Le psychiatre et neuroscientifique Dr Thomas Insel a déclaré qu’il pourrait être possible pour l’industrie médicale d’envisager les chatbots comme un moyen de développer davantage le domaine de la santé mentale, car ils sont très accessibles, gratuits et en ligne, et il n’y a aucune stigmatisation à demander de l’aide à un robot plutôt que de suivre une thérapie.
« Ce que nous ne savons pas, c’est à quel point cela a été incroyablement utile pour tant de gens », a déclaré Insel à Fortune. « Ce n’est pas seulement le nombre, c’est l’ampleur de l’implication. »
Comparée à d’autres domaines médicaux, la santé mentale est souvent ignorée par ceux qui en ont le plus besoin.
« Contrairement à la plupart des soins de santé, nous avons constaté que la grande majorité des personnes qui pourraient et devraient être soignées ne le sont pas », a déclaré Insel, ajoutant que les chatbots donnent aux gens la possibilité de demander de l’aide.
Ostergaard a déclaré que les professionnels de la santé mentale qui rencontrent des patients pour discuter de l’utilisation des chatbots en ligne devraient écouter attentivement pourquoi les patients utilisent réellement les chatbots. « J’encourage mes collègues à poser d’autres questions sur l’utilisation et ses effets », a déclaré Ostergaard à Fortune. « Je pense qu’il est important que les professionnels de la santé mentale soient à l’aise avec les chatbots IA, sinon il sera difficile de poser les bonnes questions. »
Les chercheurs originaux de l’article étaient d’accord avec Insel sur cette dernière partie. Parce qu’il est si universel, ils n’ont pu voir que les dossiers des patients qui ont mentionné le chatbot et ont averti que le problème pourrait être encore plus répandu que les résultats ne le montraient.
« Je crains que ce problème soit plus courant que la plupart des gens ne le pensent », a déclaré Ostergaard. « Nous ne voyons que la pointe de l’iceberg. »
Si vous envisagez de vous suicider, veuillez contacter le 988 Suicide & Crisis Lifeline en appelant le 988 ou le 1-800-273-8255.
