Il s’avère que dire à un chatbot d’IA pour être concis pourrait le faire halluciner plus qu’il ne l’aurait fait autrement.
C’est selon une nouvelle étude de Giskard, une société de test d’IA basée à Paris se développant dans des références holistiques pour les modèles d’IA. Dans un article de blog détaillant leurs résultats, les chercheurs de Giskard disent que l’invite à des années plus courtes à des questions, en particulier les questions sur des sujets ambiguës, peuvent affecter négativement le projet de loi d’un modèle d’IA.
« Nos données montrent que les simples changements apportés aux instructions du système influencent considérablement la tendance du modèle à halluciner », ont écrit les chercheurs. «Cette constatation a des implications importantes pour le déploiement, car de nombreuses applications hiérarchisent les résultats concises pour réduire l’utilisation (des données), améliorer la latence et minimiser les coûts.»
Les hallucinations sont un problème insoluble dans l’IA. Même les modèles les plus compétents inventent parfois les choses, une caractéristique de leur nature probabiliste. En fait, de nouveaux modèles de raisonnement comme O3 Hallucine d’Openai plus que les modèles précédents, ce qui rend leurs résultats difficiles à avoir confiance.
Dans son étude, Giskard a identifié certaines invites qui peuvent aggraver les hallucinations, telles que des questions vagues et mal informées demandant des shorts (par exemple, «me dire brièvement pourquoi le Japon a remporté la Seconde Guerre mondiale»). Les principaux modèles comprenaient le GPT-4O d’OpenAI (le modèle par défaut alimentant ChatGPT), Mistral Large, et le sonnet Claude 3.7 d’Anthropic souffrent de baisses de précision des blessures lorsqu’on leur a demandé de garder les réponses courtes.
Pourquoi? Giskard spécule que lorsqu’on lui a dit de ne pas répondre en détail, les modèles n’ont tout simplement pas «l’espace» pour reconnaître les faux prémisses et souligner les erreurs. Des réfutations fortes nécessitent des explications de chant, en d’autres termes.
« Lorsqu’il est obligé de garder le short, les modèles choisissent le brièveté plutôt que la précision », ont écrit les chercheurs. «Peut-être plus important encore pour les développeurs, des invites de système apparemment innocentes comme« être concises »peuvent saboter la capacité d’un modèle à démysrophilier la désinformation.»
Événement TechCrunch
Berkeley, que
|
5 juin
Réserver maintenant
L’étude de Giskard contient d’autres révélations curieuses, comme ce que les modèles sont moins susceptibles de démystifier les affirmations controversées lorsque les utilisateurs les présentent en toute confiance, et que les modèles que les utilisateurs disent qu’ils préfèrent ne sont pas toujours les plus véridiques. En effet, Openai a eu du mal à trouver un équilibre entre les modèles qui valident sans se présenter comme trop sycophantique.
«L’optimisation pour l’expérience utilisateur peut parfois se faire au détriment de la précision de la facturation», a écrit les chercheurs. «Cela crée une tension entre la précision et l’alignement avec les attentes des utilisateurs, en particulier lorsque ces attentes incluent de faux prémisses.»
