L’utilisation de l’IA dans les soins de santé peut gagner du temps, de l’argent et de la vie. Cependant, lorsque la technologie connue pour mentir à des moments est introduite dans les soins aux patients, les risques graves augmentent également.
Un patient basé à Londres a récemment connu à quel point ces risques sont graves après avoir reçu une lettre l’invitant à un dépistage du regard pour le diabète. Problème: Il n’a pas été diagnostiqué avec le diabète ou n’a montré aucun signe de son état.
Après avoir ouvert le rendez-vous tard dans la nuit, le patient, un homme en bonne santé au milieu de la vingtaine, a déclaré à Fortune qu’il était facilement craint qu’il ait été diagnostiqué inconsciemment avec la condition avant de conclure que la lettre ne devait être qu’une erreur de gestion. Le lendemain, avec un test sanguin ordinaire pré-traité, l’infirmière a remis en question le diagnostic et lorsque le patient a confirmé qu’il n’était pas diabétique, la paire a examiné ses antécédents médicaux.
« Il m’a montré des notes sur le système, et ce sont des résumés générés par l’AI.
Après avoir entièrement demandé et examiné les dossiers médicaux, le patient a remarqué qu’une entrée introduisant un diagnostic de diabète était répertoriée comme un résumé « généré par Annie AI ». Les dossiers sont apparus à peu près au même moment où il a assisté à l’hôpital pour un cas grave d’amygdalite. Cependant, le dossier en question n’a pas mentionné l’amygdalite. Au lieu de cela, il a dit qu’il montrait des douleurs thoraciques et un essoufflement en raison de « une angine de poitrine plus probable en raison d’une maladie coronarienne ». En fait, il n’avait aucun de ces symptômes.
Les enregistrements examinés par Fortune soulignent également que le patient a reçu un diagnostic de diabète de type 2 à la fin de l’année dernière et prenait actuellement une série de médicaments. Il comprenait également des détails sur le dosage et l’administration du médicament. Cependant, ces détails n’étaient pas exacts, selon plusieurs autres dossiers médicaux examinés par les patients et la fortune.
Hôpital de santé de la ville de santé
Même les étrangers pensaient que le dossier était attribué à l’adresse d’un document médical qui semblait traiter un « hôpital de santé » fictif au 456 Care Road dans « Health City ». L’adresse comprenait également le code postal inventé.
Le représentant du NHS, le Dr Matthew Noble, a déclaré que pour la fortune, la pratique du médecin généraliste responsable de la surveillance de l’adoption de « l’utilisation limitée de l’IA surveillée » et que l’erreur était « un cas unique d’erreur humaine ». Il a déclaré que le résumé médical avait initialement découvert une erreur dans les dossiers du patient, mais était distrait et « enregistré à tort la version originale, et non la version mise à jour (ils) travaillaient dessus ».
Cependant, les dossiers générés par l’AI-AI semblent avoir produit des résultats en aval avec des invitations de patients participant à un rendez-vous pour le dépistage des yeux diabétiques sur la base d’un faux résumé.
Alors que la plupart des outils d’IA utilisés dans les soins de santé sont surveillés par une surveillance humaine stricte, un autre travailleur du NHS a déclaré à Fortune qu’il avait augmenté la sonnette d’alarme, dans un saut spectaculaire de l’angine de poitrine, en raison d’une maladie coronarienne à quelque chose qui est revenu d’un saut des symptômes d’origine (caverne).
« Ces erreurs d’erreur humaine sont assez inévitables lorsqu’il existe un système d’IA qui génère des résumés complètement inexacts », a déclaré un employé du NHS. « De nombreux patients âgés ou moins d’alphabétisation peuvent même ne pas savoir qu’il y a un problème. »
Anima Health, l’entreprise derrière la technologie, n’a pas répondu aux questions de Fortune sur le problème. Cependant, le Dr Noble a déclaré: « Anima est un système de gestion de documents approuvé par le NHS qui aide à pratiquer le personnel à traiter les documents entrants et à prendre des mesures sur les tâches nécessaires. »
« Il n’y a pas de documents traités par l’IA. Anima ne propose qu’un résumé du code et des examinateurs humains pour améliorer la sécurité et l’efficacité. Tous les documents nécessitent un examen humain avant l’action et la soumission », a-t-il ajouté.
Développements anxieux dans le secteur de la santé de l’IA
L’incident représente une partie de la douleur de croissance associée aux déploiements d’IA dans les soins de santé. Le défi consiste également à relever le défi de l’intégration de la technologie riche dans un environnement à enjeux élevés car les hôpitaux et les pratiques de médecins généralistes se disputent pour adopter des outils automatisés qui promettent d’atténuer les charges de travail et de réduire les coûts.
La pression pour innover la technologie et potentiellement sauver des vies est élevée, mais la nécessité d’une surveillance stricte est également élevée, d’autant plus que les outils considérés comme un «soutien» commencent à affecter les soins réels des patients.
L’entreprise derrière Anima Health, derrière la technologie, promet que les professionnels de la santé peuvent « économiser un jour par jour grâce à l’automatisation ». La société offre des services tels que la génération automatique de «communications des patients, des notes cliniques, des demandes d’administrateur et des documents avec lesquels les médecins font face chaque jour».
Annie, un outil d’IA d’Anima, est enregistrée en tant que dispositif médical de classe I auprès de l’Agence de réglementation des produits de médecine et de santé du Royaume-Uni (MHRA). Cela signifie qu’il est considéré comme un faible risque et est conçu pour aider les cliniciens à tester l’éclairage et les bandages plutôt que d’automatiser les décisions médicales.
Les outils d’IA dans cette catégorie obligent les cliniciens à examiner la sortie ou les éléments à saisir dans le dossier du patient avant qu’une action ne soit prise. Cependant, dans ce cas de patients mal diagnostiqués, cette pratique semblait incapable de traiter correctement l’erreur de facto avant qu’elle ne soit ajoutée aux dossiers du patient.
L’incident intervient au milieu d’une augmentation de l’examen des services de santé britannique concernant l’utilisation et la classification de la technologie de l’IA. Le mois dernier, le patron des services de santé a averti le GPS et les hôpitaux que l’utilisation actuelle des logiciels d’IA pourrait violer les réglementations sur la protection des données et mettre les patients en danger.
Dans un e-mail signalé pour la première fois par Sky News et confirmé par Fortune, NHS England a averti que les logiciels d’IA non approuvés qui violent les normes minimales pourraient mettre les patients à risque de préjudice. La lettre aborde spécifiquement l’utilisation de la technologie vocale ambiante, ou « AVT » par certains médecins.
Le principal problème avec la transcription ou le résumé de l’IA est la manipulation du texte original, Brendan Delaney, professeur d’informatique médicale et de prise de décision et médecin généraliste à l’Imperial College de Londres, a déclaré à Fortune.
« Cela donne un objectif de dispositif médical, pas seulement un enregistrement passif », a déclaré Delaney. Cependant, les directives récentes publiées par le NHS signifient que certaines entreprises et pratiques font des rattrapage réglementaires.
« Les appareils les plus couramment utilisés ont aujourd’hui une classe 1 (classification) », a déclaré Delaney. «J’en connais au moins un, mais peut-être que beaucoup d’autres sont maintenant pressés d’essayer la classe 2A et de commencer.
La définition d’un dispositif doit être défini comme un dispositif médical de classe 2A dépend essentiellement de son objectif prévu et de son niveau de risque clinique. Le Règlement sur les dispositifs médicaux britanniques peut nécessiter un reclassement en tant que dispositif médical de classe 2A, une catégorie soumise à un contrôle réglementaire plus strict, si la sortie d’un outil dépend de l’information d’une décision de soins.
Anima Health poursuit actuellement l’enregistrement de classe 2A ainsi que d’autres sociétés de technologie de santé basées au Royaume-Uni.
UK AI pour la poussée de la santé
Le gouvernement britannique adopte les possibilités de l’IA dans les soins de santé et espère pouvoir stimuler le système de santé national tendue du pays.
Au cours d’une récente «10 années de plan de santé», le gouvernement britannique déclare qu’il vise à faire du NHS le système de soins les plus compatibles avec l’IA au monde, visant à utiliser la technologie pour réduire le fardeau des gestionnaires, soutenir les soins préventifs et renforcer les patients grâce à la technologie.
Cependant, le déploiement de cette technologie d’une manière qui respecte les règles actuelles au sein d’une organisation est compliquée. Même le ministre britannique de la santé a semblé suggérer plus tôt cette année que certains médecins pourraient pousser des restrictions à l’intégration de la technologie de l’IA dans les soins aux patients.
« J’ai entendu des anecdotes à propos d’un pub qui descendait vraiment le pub. Certains cliniciens sont en avance sur le jeu et utilisent déjà une IA ambiante pour utiliser quelque chose comme des notes et des choses, même si la pratique et la confiance n’ont pas encore rattrapé leur retard. »
« En ce moment, plutôt que de l’encourager, il y a beaucoup de problèmes, mais ils disent: » Oh, les gens ne veulent pas changer, le personnel est très heureux et ils sont vraiment résistants au changement. » C’est le contraire.
L’IA Tech a certainement un grand potentiel pour améliorer considérablement la vitesse, la précision et l’accès aux soins, en particulier dans des domaines tels que le diagnostic, la gestion des dossiers médicaux, l’atteinte des patients dans un manque de ressources ou des contextes éloignés. Cependant, marcher entre les possibilités de haute technologie et les risques est difficile dans des secteurs comme les soins de santé, qui peuvent faire face aux données sensibles et causer de graves préjudices.
En repensant à son expérience, le patient a déclaré à Fortune: « En général, je pense que nous devons utiliser des outils d’IA pour soutenir le NHS. Il y a un grand potentiel pour économiser de l’argent et du temps. Mais LLM est toujours expérimental.
