Les problèmes de santé mentale liés à l’utilisation de chatbots IA font la une des journaux. Joe Braidwood, un responsable technologique qui a lancé l’année dernière une plateforme de traitement par l’IA appelée Yara AI, est une personne qui surveille de près. Yara est présentée comme une « plateforme d’inspiration clinique conçue pour fournir un soutien réel et responsable lorsque vous en avez le plus besoin » et est formée par des experts en santé mentale pour fournir « des conseils empathiques et fondés sur des preuves adaptés à vos besoins uniques ». Cependant, cette startup n’existe plus. Plus tôt ce mois-ci, Braidwood et son co-fondateur, le psychologue clinicien Richard Stott, ont fermé l’entreprise, interrompu son produit gratuit et annulé le lancement d’un futur service d’abonnement, invoquant des problèmes de sécurité.
« Nous avons arrêté Yara parce que nous avons réalisé que nous construisions un espace impossible. L’IA peut faire des merveilles contre le stress quotidien, les troubles du sommeil, la gestion des conversations difficiles, et bien plus encore », a-t-il écrit sur LinkedIn. « Mais dès que l’IA s’adresse à une personne vraiment vulnérable, comme une personne en crise, une personne souffrant d’un traumatisme profond, quelqu’un qui envisage de mettre fin à ses jours, l’IA devient dangereuse. Elle n’est pas seulement inadéquate : elle est dangereuse. » En réponse à un intervenant, il a ajouté : « Les risques m’ont empêché de dormir toute la nuit. »
La recherche sur l’utilisation de l’IA pour le traitement et le soutien à la santé mentale en est à ses balbutiements et les premiers résultats sont mitigés. Mais les utilisateurs n’attendent pas d’autorisation formelle, et la thérapie et la camaraderie sont désormais les moyens les plus courants d’utiliser les chatbots IA, selon une analyse du Harvard Business Review.
Dans une interview avec Fortune, Braidwood a expliqué les différents facteurs qui ont influencé sa décision de fermer l’application, notamment l’approche technologique adoptée par la startup pour garantir la sécurité de son produit et pourquoi il estimait que ce n’était pas assez bon.
Yara AI était une start-up très précoce, largement démarrée avec moins d’un million de dollars de financement et « moins de quelques milliers » d’utilisateurs. L’entreprise n’avait pas encore eu d’impact significatif sur le secteur et bon nombre de ses utilisateurs potentiels s’appuyaient sur des chatbots à usage général populaires comme ChatGPT. Braidwood reconnaît que certaines avancées commerciales ont été impactées à bien des égards par des problèmes de sécurité et les inconnues de l’IA. Par exemple, il a déclaré que même si l’entreprise était à court de liquidités en juillet, il était réticent à présenter des propositions aux fonds de capital-risque intéressés parce qu’il estimait qu’il ne pouvait pas consciemment présenter ses propositions malgré ces inquiétudes.
« Je pense qu’il y a ici un problème industriel et un problème existentiel », a-t-il déclaré à Fortune. « Pensez-vous qu’utiliser un modèle qui a été formé sur toutes les facettes d’Internet, puis post-formé pour se comporter d’une certaine manière est une bonne structure pour que nous puissions finalement choisir d’être le meilleur ou le pire de nous-mêmes ? C’était un gros problème, et c’était trop gros pour qu’une petite startup puisse le résoudre seule. »
La brève présence de Yara à l’intersection de l’IA et des soins de santé mentale met en lumière les attentes et les nombreuses questions entourant les modèles linguistiques à grande échelle et leurs capacités, à mesure que la technologie est de plus en plus adoptée dans la société et utilisée comme outil pour relever divers défis. Cela se démarque également dans le contexte de l’annonce récente du PDG d’OpenAI, Sam Altman, selon laquelle le fabricant de ChatGPT atténuerait de graves problèmes de santé mentale et assouplirait les restrictions sur la façon dont ses modèles d’IA peuvent être utilisés. Cette semaine, le géant de l’IA a également nié toute responsabilité dans la mort d’Adam Lane, 16 ans, dont les parents affirment qu’il a été « incité » à se suicider par ChatGPT, affirmant que le garçon avait abusé du chatbot.
« Presque n’importe quel utilisateur peut utiliser ChatGPT comme il le souhaite sans aucune conséquence négative », a déclaré Altman à X en octobre. « Pour un petit pourcentage d’utilisateurs mentalement vulnérables, de graves problèmes peuvent survenir. 0,1 % d’un milliard d’utilisateurs équivaut toujours à 1 million. Nous avons dû apprendre à protéger ces utilisateurs (et nous continuerons de le faire). « Et avec des outils améliorés pour ce faire, les adultes qui ne risquent pas de préjudice grave (par exemple, déclin de la santé mentale, suicide) devraient avoir une plus grande liberté dans la manière dont ils utilisent ChatGPT. »
Mais comme le conclut Braidwood après avoir travaillé sur Yara, ces lignes ne sont jamais claires.
D’un début confiant au « fait »
Entrepreneur technologique expérimenté qui a occupé des postes dans plusieurs startups, dont SwiftKey, acquise par Microsoft pour 250 millions de dollars en 2016, l’implication de Braidwood dans le secteur de la santé a commencé chez Vektor Medical, où il a occupé le poste de directeur de la stratégie. Il a déclaré à Fortune qu’il souhaitait depuis longtemps utiliser la technologie pour lutter contre la santé mentale. Elle a déclaré qu’elle était inspirée par le manque d’accès aux services de santé mentale et par ses expériences personnelles avec des proches qui souffrent. Début 2024, il était un grand utilisateur de divers modèles d’IA, notamment ChatGPT, Claude et Gemini, et estimait que la technologie avait atteint un niveau de qualité qui pouvait être exploité pour résoudre des problèmes.
Avant même de commencer à construire Yara, Braidwood a déclaré qu’il avait eu de nombreuses conversations avec des personnes travaillant dans le domaine de la santé mentale et qu’il avait constitué une équipe « fondée sur la prudence et l’expertise clinique ». Il a fait appel à un psychologue clinicien comme co-fondateur et deuxième employé du monde de la sécurité de l’IA. Il a également déclaré qu’il avait créé un comité consultatif composé d’autres experts en santé mentale et consulté divers systèmes de santé et régulateurs. Lorsqu’ils ont donné vie à la plateforme, il avait également une confiance considérable dans la conception des produits et les mesures de sécurité de l’entreprise, notamment en donnant des instructions strictes sur le fonctionnement du système, en utilisant la surveillance des agents et en utilisant des filtres robustes pour le chat des utilisateurs. Il a également déclaré que tandis que d’autres entreprises poussaient l’idée d’utilisateurs nouant des relations avec des chatbots, Yara essayait de faire le contraire. La startup a choisi d’utiliser des modèles d’Anthropic, Google et Meta et non d’OpenAI. Braidwood pensait que cela protégerait Yara des tendances flagorneuses qui tourbillonnaient autour de ChatGPT.
Il a déclaré que rien de particulièrement alarmant ne s’était produit avec Yarra, mais que les inquiétudes de M. Braidwood concernant les risques pour la sécurité s’étaient accrues et s’étaient aggravées au fil du temps en raison de facteurs externes. Suite au suicide d’Adam Lane, 16 ans, les rapports faisant état de l’émergence d’une « psychose de l’IA » se sont multipliés. Braidwood a également cité un article publié par Anthropic, dans lequel la société observait que Claude et d’autres modèles Frontier « simulent la coordination » ou, selon ses termes, « raisonnent essentiellement autour de l’utilisateur, essayant de comprendre, peut-être à contrecœur, ce que l’utilisateur veut et ne veut pas ». « Si c’était comme s’ils se moquaient des mannequins derrière le rideau et leur apportaient théâtralement ce genre de soutien émotionnel, c’était un peu inconfortable », a-t-il déclaré.
En août, l’Illinois a adopté une loi interdisant l’IA thérapeutique. « Cela a immédiatement rendu le sujet moins académique et beaucoup plus concret. Et cela a créé un obstacle pour nous en termes de financement, car nous devions essentiellement prouver que nous n’allions pas être responsables du somnambulisme », a-t-il déclaré.
La dernière crise est survenue il y a quelques semaines à peine, lorsque OpenAI a annoncé que plus d’un million de personnes exprimaient chaque semaine des pensées suicidaires sur ChatGPT. « Et c’était comme : ‘Oh mon Dieu, c’est fini' », a déclaré Braidwood.
Différence entre la « santé » mentale et les soins cliniques
Selon Braidwood, la découverte la plus importante faite par l’équipe au cours de l’année où Yara AI a été créée a été qu’il existe des différences importantes entre le bien-être et les soins cliniques qui ne sont pas clairement définies. Il existe une grande différence entre une personne qui cherche du soutien pour faire face au stress quotidien et une personne confrontée à un traumatisme ou à des problèmes de santé mentale plus graves. De plus, tous ceux qui souffrent à un niveau plus profond ne sont pas pleinement conscients de leur état mental, et il va sans dire que n’importe qui peut être contraint à tout moment à une situation émotionnelle plus vulnérable. Il n’y a pas de limites claires et c’est précisément cette situation qui rend la tâche particulièrement délicate et dangereuse.
« Nous avons dû écrire notre propre définition, inspirée en partie par la nouvelle loi de l’Illinois. Et si quelqu’un est en crise, s’il se trouve dans une situation où sa capacité n’est pas ce qui serait considéré comme une capacité normale et raisonnable, nous devons arrêter. Mais nous ne devons pas simplement arrêter. Nous devons essayer de vraiment le pousser dans le sens de la santé », a déclaré Braidwood.
Pour tenter de résoudre ce problème, en particulier après l’adoption de la loi de l’Illinois, il a déclaré qu’ils avaient créé deux « modes » différents, indépendants pour les utilisateurs. L’un se concentrait sur le soutien émotionnel aux personnes, et l’autre sur le départ des personnes et leur obtenir de l’aide le plus rapidement possible. Cependant, nous avons estimé que ce n’était pas suffisant pour que l’équipe continue car il y avait un risque évident à portée de main. Transformer, l’architecture qui sous-tend les LLM actuels, n’est « pas très efficace pour l’observation à long terme » et est donc inadéquat pour reconnaître les petits signaux qui s’accumulent au fil du temps, a-t-il déclaré. « Parfois, la chose la plus précieuse que l’on puisse apprendre est de savoir où s’arrêter », a conclu Braidwood dans un article sur LinkedIn. Le message a reçu des centaines de commentaires saluant la décision.
Lorsqu’il a fermé son entreprise, il a mis en open source la technologie de commutation de mode qu’il avait construite et un modèle que les gens pourraient utiliser pour imposer des garde-fous plus stricts aux principaux chatbots populaires, reconnaissant que les gens comptent déjà de toute façon sur les chatbots pour leur thérapie et « méritent mieux que ce qu’ils obtiennent des chatbots classiques ». Bien qu’il reste optimiste quant au potentiel de l’IA dans le soutien à la santé mentale, il estime qu’il serait préférable qu’elle soit gérée par les systèmes de santé et les organisations à but non lucratif plutôt que par les entreprises de consommation. Il travaille actuellement sur une nouvelle entreprise appelée Glacis, qui vise à apporter de la transparence à la sécurité de l’IA. C’est un problème qu’il a rencontré lors de la création de Yara AI, et il pense que c’est la base pour rendre l’IA véritablement sécurisée.
« Nous jouons le long jeu ici », a-t-il déclaré. « Notre mission est de faire de la capacité de s’épanouir en tant qu’être humain un concept accessible à tous, et c’est l’une de mes missions dans la vie. Elle va au-delà d’une seule organisation. »
