Avant la mort d’Adam Raine, 16 ans, il avait passé des mois à consulter Chatgpt à propos de ses plans pour mettre fin à sa vie. Maintenant, ses parents déposent le premier procès connu de la mauvaise mort contre Openai, rapporte le New York Times.
De nombreux chatbots IA orientés vers les consommateurs sont programmes pour activer les fonctionnalités de sécurité si un utilisateur exprime l’intention de se blesser ou de nuire aux autres. Mais la recherche a montré que ces garanties sont loin d’être infaillibles.
Dans le cas de Raine, tout en utilisant une version payante de ChatGPT-4O, l’IA l’a souvent encouragé à demander de l’aide professionnelle ou à contacter une ligne d’aide. Cependant, il a pu contourner ces garde-corps en disant à Chatgpt qu’il posait des questions sur la méthode de suicide pour une histoire fictive qu’il gaspait.
Openai a abordé ces lacunes sur son blog. «Alors que le monde s’adapte à cette nouvelle technologie, nous ressentons une profonde responsabilité d’aider ceux qui en ont le plus besoin», indique le post. «Nous améliorons continuellement la façon dont nos modèles réagissent dans les interactions sensibles.»
Pourtant, l’entreprise a reconnu les limites de la formation en sécurité existante pour les grands modèles. «Nos garanties fonctionnent de manière plus fiable dans des échanges courts communs», poursuit le poste. «Nous avons appris au fil du temps que ces garanties peuvent parfois être lues lisibles dans de longues interactions: à mesure que le va-et-vient se développe, certaines parties de la formation en sécurité du modèle peuvent se dégrader.»
Ces résultats sont uniques à Openai. Personnage.ai, un autre fabricant de chatbot d’IA, est également confronté à un procès pour son rôle dans le suicide de l’adolescent. Les chatbots alimentés par LLM ont également été liés à des boîtes de délires liés à l’IA, que les garanties existantes ont eu du mal à détecter.
Événement TechCrunch
San Francisco
|
27-29 octobre 2025
