Soyez prudent lorsque vous interagissez avec des chatbots, car vous pourriez leur donner une raison de vous aider à commettre un meurtre prémédité.
Une Sud-Coréenne de 21 ans aurait utilisé ChatGPT pour planifier une série de meurtres qui ont tué deux hommes.
La femme, identifiée uniquement par son nom de famille Kim, est soupçonnée d’avoir donné à deux hommes des boissons contenant des benzodiazépines prescrites pour des maladies mentales, a rapporté le Korea Herald.
Kim a été initialement arrêtée le 11 février pour une accusation mineure d’homicide involontaire ayant entraîné la mort, mais la police de Séoul Gangbuk a découvert son historique de recherche en ligne et ses conversations avec ChatGPT, indiquant qu’elle avait une intention meurtrière.
« Que se passe-t-il si vous prenez des somnifères avec de l’alcool ? » Kim aurait demandé au chatbot OpenAI. « Dans quelle mesure est considéré comme dangereux ?
« Est-ce que ce serait fatal ? » Kim aurait demandé. « Est-ce que ça peut tuer quelqu’un ? »
Dans l’affaire largement médiatisée connue sous le nom de Massacre du Gangbuk Motel, les procureurs affirment que les recherches de Kim et l’historique du chatbot indiquent que le suspect cherchait des instructions sur la façon de commettre des meurtres avec préméditation.
Selon le Herald, un enquêteur de la police a déclaré : « Kim a posé à plusieurs reprises des questions sur les drogues sur ChatGPT. Elle était pleinement consciente que consommer de l’alcool avec des drogues pouvait entraîner la mort. »
La police a déclaré que la femme avait admis avoir ajouté un sédatif prescrit, tel qu’une benzodiazépine, à la boisson de l’homme, mais avait précédemment déclaré qu’elle ne savait pas que cela pouvait causer la mort.
Juste avant 21h30. Le 28 janvier, Kim est entrée dans un motel à Gangbuk-gu, à Séoul, accompagnée d’un homme d’une vingtaine d’années, et a été vue en train de quitter le motel seule deux heures plus tard. Le lendemain, l’homme a été retrouvé mort dans son lit.
Kim aurait ensuite effectué la même procédure le 9 février, s’enregistrant dans un autre motel avec un autre homme d’une vingtaine d’années, qui a également été retrouvé mort à cause du même cocktail mortel de sédatif et d’alcool.
La police affirme qu’en décembre, Kim a tenté de tuer un homme avec qui il sortait en lui donnant une boisson sédative dans un parking. Bien que l’homme ait perdu connaissance, il a survécu.
OpenAI n’a pas répondu aux demandes de commentaires.
Les chatbots et leur impact sur la santé mentale
Les chatbots comme ChatGPT ont récemment fait l’objet d’une surveillance accrue en raison du fait que les entreprises n’ont pas mis en place de garde-fous pour prévenir les actes de violence et d’automutilation. Plus récemment, les chatbots ont commencé à offrir des conseils sur la manière de fabriquer des bombes et de participer à des scénarios de retombées nucléaires à grande échelle.
Des inquiétudes ont été soulevées en particulier par des histoires de personnes tombées amoureuses des compagnons chatbots, qui exploitent les vulnérabilités pour inciter les gens à utiliser les chatbots pendant de plus longues périodes. Les créateurs de Yara AI ont même fermé leur application de thérapie, invoquant des problèmes de santé mentale.
Des études récentes ont également montré que les chatbots sont liés à une augmentation des crises de santé mentale paranoïaques chez les personnes atteintes de maladie mentale. Une équipe de psychiatres de l’Université d’Aarhus au Danemark a découvert que l’utilisation de chatbots par des personnes atteintes de maladie mentale aggravait leurs symptômes. Le phénomène relativement nouveau des problèmes de santé mentale causés par l’IA est appelé « psychose de l’IA ».
Dans certains cas, cela peut même entraîner la mort. Google et Character.AI sont parvenus à un règlement dans le cadre de plusieurs poursuites intentées par des familles d’enfants qui se sont suicidés ou ont subi des dommages psychologiques, alléguant des liens avec des chatbots IA.
Le Dr Jody Halpern est doyenne et professeur de bioéthique à l’École de santé publique de l’Université de Californie à Berkeley, et codirectrice du Kavli Center for Ethics, Science, and the Public, et possède une vaste expérience dans ce domaine. Au cours d’une carrière aussi longue que son titre, Halpern a passé 30 ans à étudier comment l’empathie affecte ceux qui la reçoivent, citant des exemples tels que la façon dont les médecins et les infirmières traitent leurs patients et la façon dont les soldats revenant de la guerre sont perçus dans leur environnement social. Au cours des sept dernières années, Halpern a étudié l’éthique de la technologie et la façon dont l’IA et les chatbots interagissent avec les humains.
Elle a également conseillé le Sénat de Californie sur la SB 243, la première loi du pays à obliger les sociétés de chatbots à collecter et à communiquer des données sur l’automutilation et les tendances suicidaires associées. Se référant aux propres recherches d’OpenAI montrant que 1,2 million d’utilisateurs discutent ouvertement du suicide sur les chatbots, Halpern a comparé l’utilisation des chatbots aux lents progrès que l’industrie du tabac a du mal à faire pour empêcher l’ajout de cancérigènes nocifs aux cigarettes (le vrai problème était le tabagisme en général).
« Nous avons besoin d’entreprises sûres. C’est comme les cigarettes. Il se peut que certains facteurs rendent les gens plus vulnérables au cancer du poumon, mais le problème était la cigarette », a déclaré Halpern à Fortune.
« Le fait qu’une personne puisse avoir des pensées meurtrières ou adopter un comportement dangereux pourrait être exacerbé par l’utilisation de ChatGPT, et cela me préoccupe clairement », a-t-elle déclaré, ajoutant qu' »il y a un risque énorme que les gens l’utilisent pour aider au suicide » avec les chatbots en général.
Halpern a averti qu’il n’y avait aucun garde-fou pour empêcher les personnes interrogées dans l’affaire Séoul Kim.
« Nous savons que plus vous entretenez une relation avec un chatbot, plus la situation empire et plus le risque que quelque chose de dangereux se produise est élevé. C’est pourquoi il n’y a pas encore de garde-fous pour protéger les gens contre les chatbots. »
Si vous envisagez de vous suicider, veuillez contacter le 988 Suicide & Crisis Lifeline en appelant le 988 ou le 1-800-273-8255.
