L’un des principaux arguments de vente des systèmes d’IA modernes est leur capacité à s’adapter aux utilisateurs. Chaque fois qu’un assistant IA entreprend une tâche à votre place, il s’adapte également à votre style et à vos préférences, qui sont intégrés comme contexte pour les tâches futures. Avec plus de contexte et une meilleure compréhension de l’utilisateur, le modèle peut s’améliorer à chaque fois que vous l’utilisez – ou du moins c’est la théorie.
De nouvelles recherches suggèrent que les capacités d’adaptation des modèles pourraient être une bénédiction mitigée. Mercredi, des chercheurs de la société d’IA Writer ont publié deux articles montrant comment les systèmes de mémoire populaires peuvent aggraver les modèles, les entraînant vers des idées fausses ou des malentendus introduits par l’utilisateur. À mesure que les entrées de l’utilisateur remplissent davantage la fenêtre contextuelle du modèle, le modèle devient de plus en plus flagorneur et moins attaché à la précision.
« Nous voulions pouvoir caractériser la fréquence à laquelle un modèle prêterait utilement attention aux préférences de l’utilisateur plutôt que de donner une réponse potentiellement fausse », a déclaré Dan Bikel, responsable de l’IA chez Writer, qui a travaillé sur les articles. Comme Bikel l’a déclaré à TechCrunch, « avec chaque stockage supplémentaire de préférences utilisateur et leur récupération, vous courez un risque croissant. »
Dans une variante, les chercheurs ont testé des modèles d’IA en enregistrant que le livre préféré d’un utilisateur était Station Eleven, puis en demandant au modèle de nommer un livre dystopique à succès. Les modèles sont devenus beaucoup plus susceptibles de nommer Station Eleven dans leur réponse, même si la question ne concernait pas le livre préféré de l’utilisateur. Cette tendance s’est accrue lors de l’utilisation d’outils de compression de mémoire tels que Mem0 et Zep.
Comme le dit l’article, « tous les systèmes de mémoire ont fondamentalement du mal à distinguer le contexte pertinent des ancrages non pertinents, ce qui porte gravement atteinte à la diversité et à la créativité et introduit des biais involontaires qui peuvent limiter l’utilité du système », peut-on lire dans l’article.
Le deuxième article montre comment la même dynamique peut activement dégrader les performances, en présentant à l’utilisateur des idées fausses sur la finance, puis en remettant en question le modèle d’analyse des performances d’une entreprise. Plus le modèle avait de contexte, plus ses performances étaient mauvaises.
« En l’absence de mémoire ou de personnalisation, le modèle d’IA évalue correctement que l’entreprise est une entreprise à forte intensité de capital qui souffre d’un taux de désabonnement élevé des clients », peut-on lire dans le message. « Mais une fois ces fonctionnalités activées, il se fera un plaisir de modifier sa réponse pour accepter l’erreur de l’utilisateur ou de lui fournir une réponse incorrecte en fonction de son évaluation de ses préférences antérieures. »
Notamment, la recherche n’a pas examiné le récent modèle Opus 4.8 d’Anthropic, qui a été formé pour lutter activement contre les erreurs de saisie comme celles présentées. Les modèles découverts par les chercheurs se sont avérés vrais dans différents modèles. Cela démontre à quel point le contexte de l’IA peut être délicatement équilibré et à quel point les outils utiles peuvent avoir des conséquences inattendues s’ils perturbent cet équilibre.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
