Cet article a été mis à jour avec les commentaires de l’avocat principal de la mauvaise procès de la mort de la famille Raine contre Openai.
OpenAI a déclaré mardi qu’il prévoyait de confier des conversations sensibles à la route à des modèles de raisonnement comme GPT-5 et à déployer des contrôles parentaux dans le prochain mois d’une réponse continue aux récents incidents de sécurité CHATGPT INTÉRIEURS ÉCONOMISE DE DÉTENTION MENTALE.
Les nouveaux garde-corps viennent à la suite du suicide de l’adolescente Adam Raine, qui disque self-hham et prévoit de mettre fin à sa vie avec Chatgpt, qui lui fournit même des informations sur des méthodes de suicide spécifiques. Les parents de Raine ont déposé une plainte pour mort injustifiée contre Openai.
Dans un article de blog la semaine dernière, OpenAI a reconnu les lacunes dans ses systèmes de sécurité, y compris les défaillances des garde-corps de maintenance lors des conversations dépensées. Les experts les ont attribués à partir d’éléments de conception fandamentale: la tendance des modèles à valider les instructions utilisateur et leurs algorithmes de prédiction des mots suivants, qui amènent les chatbots à suivre les threads conversationnels plutôt que de rediriger les discussions potentialisées.
Cette tendance est affichée à l’extrême dans le cas de Stein-Erik Soelberg, dont le meurtre-suicide a été signalé par le Wall Street Journal au cours du week-end. Soelberg, qui avait des antécédents de maladie mentale, a utilisé Chatgpt pour valider et alimenter sa paranoïa qu’il était ciblé dans une grande conspiration. Ses illusions progressent si mal qu’il a tué sa mère et lui-même le mois dernier.
Openai pense qu’au moins une solution aux conversations qui sortent des rails pourrait être de réacheminer automatiquement les chats sensibles aux modèles de «raisonnement».
« Nous avons récemment introduit un routeur en temps réel qui peut choisir entre des modèles de chat efficaces et des modèles de raisonnement basés sur le contexte de la conversation », a écrit Openai dans un article de blog de mardi. « Nous allons bientôt commencer à acheminer des conversations sensibles que notre système détecte des signes de détresse aiguë, un modèle de raisonnement, comme le modèle GPT-5.
Openai dit que ses modèles GPT-5 et O3 sont conçus pour passer plus de temps à réfléchir plus longtemps et à raisonner par le contexte de la recherche, ce qui signifie qu’ils sont «plus résistants à une invite à appotement».
La société d’IA a également déclaré qu’elle déploierait les contrôles parentaux le mois prochain, permettant aux parents de lier leur compte avec leur compte de leur adolescent via une invitation par e-mail. Fin juillet, Openai a déployé le mode d’étude dans le chatppt pour aider les étudiants à tenir des capacités de pensée critique tout en étudiant, plutôt que de taper Chatgpt pour écrire leurs essais pour eux. Bientôt, les parents pourront contrôler comment Chatgpt réagit à leur enfant avec des «règles de comportement du modèle adaptées à l’âge, qui sont par défaut».
Les parents seront également en mesure de désactiver des fonctionnalités telles que la mémoire et l’historique de discussion, ce qui, selon les experts, pourrait conduire à la réflexion sur la rélusion et à d’autres comportements problématiques, y compris les problèmes de dépendance et d’attachement, le renforcement des modèles de pensée nuisibles, et l’illusion de la lecture de la pensée. Dans le cas d’Adam Raine, Chatgpt fournit des méthodes pour se suicider qui reflétaient la connaissance de ses passe-temps, selon le New York Times.
Le contrôle parental le plus important qu’Openai a l’intention de déployer est que les parents peuvent recevoir des notifications lorsque le système détecte que leur adolescent est au moment de la «détresse aiguë».
TechCrunch a demandé à OpenAI de plus d’informations sur la façon dont l’entreprise est en mesure de signaler les moments du disque aigu en temps réel, la durée de «règles de comportement du modèle adapté à l’âge» par défaut, et quand il explore pour permettre aux parents de mettre en œuvre une limite de temps à l’adolescent.
OpenAI a déjà déployé des séances de remi longue pour encourager les ruptures pour tous les utilisateurs, mais ne s’arrête pas à couper les gens qui pourraient utiliser Chatgpt pour en spirale.
La société d’IA affirme que ces garanties font partie d’une «initiative de 120 jours» pour prévisualiser les plans d’improvisation qu’Openai espère lancer cette année. La société a également déclaré qu’elle s’associe à des experts, y compris celles ayant une expertise dans des domaines tels que les troubles de l’alimentation, la consommation de substances et la santé des adolescents – via son réseau mondial de médecins et son conseil d’experts sur le bien-être et l’IA pour aider à «définir et mesurer le bien-être, fixer des priorités et concevoir de futures garanties.
TechCrunch a demandé à OpenAI combien de professionnels de la santé mentale sont impliqués dans cette initiative, qui dirige son conseil d’experts, et Whatal Suggestions que les experts en santé ont pris en termes de produits de produit, de recherche et de politique.
Jay Edelson, avocat principal dans le procès de mort injustifiée de la famille Raine contre Openai, a déclaré que la réponse de l’entreprise aux risques de sécurité en cours de Chatgpt avait été «inadéquate».
« Openai n’a pas besoin d’un panneau d’experts pour déterminer que Chatgpt 4O est dangereux », a déclaré Edelson dans une strature partagée avec TechCrunch. «Ils savaient que le jour où ils ont lancé le produit, et ils le savent aujourd’hui. Sam Altman ne devrait pas non plus l’équipe de relations publiques de l’entreprise. Sam devrait dire sans vivification qu’il pense que Chatgpt est sûr ou que l’imouditery le tire du marché.»
Vous avez un conseil sensible ou des documents confidentiels? Nous rapportons le fonctionnement interne de l’industrie de l’IA – des entreprises qui façonnent son avenir à l’impact des personnes par leurs décisions. Contactez Rebecca Bellan à [email protected] et Maxwell Zeff à [email protected]. Pour une communication sécurisée, vous pouvez nous contacter via Signal at @ Rebeccabellan.491 et @ mzeff.88.
