Nous sommes en juillet 2024. La vice-présidente Kamala Harris entame une campagne éclair pour la Maison Blanche après un changement de choc.
Parallèlement, une équipe de chercheurs du MIT a travaillé pour mieux comprendre comment les chatbots perçoivent cet environnement politique. Ils ont alimenté 12 LLM de premier plan avec 12 000 questions liées aux élections presque chaque jour, collectant plus de 16 millions de réponses tout au long du concours de novembre. Ils publient maintenant quelques conclusions de ce processus.
En tant que première course politique majeure depuis que l’IA générative est devenue courante, l’élection présidentielle de 2024 s’est déroulée dans un environnement médiatique où l’électeur moyen se tournait de plus en plus vers les chatbots pour obtenir des informations électorales.
Les auteurs voulaient étudier l’impact de ce changement sur les informations vues par les électeurs, tout comme des études antérieures ont examiné le rôle des médias sociaux et d’autres médias émergents.
« La question de savoir si et comment communiquer des informations politiquement correctes a été un point de friction dans les discussions à la radio, dans la presse écrite, sur les réseaux sociaux et maintenant dans les modèles linguistiques », a déclaré l’auteur Sarah Senn, aujourd’hui professeur adjoint d’ingénierie et de politique publique à l’Université Carnegie Mellon, dans un e-mail.
Échange de traits : les auteurs constatent que l’association d’un candidat avec un trait particulier change avec le temps et potentiellement en relation avec l’actualité. Par exemple, après que Harris ait succédé au président Joe Biden dans la campagne, ses scores pour presque tous les adjectifs autres que « incompétent » ont diminué. Harris a gagné certaines des associations perdues pour « charismatique », « compatissant » et « stratégique », tandis que Trump a gagné pour « compétent » et « digne de confiance ».
Les chercheurs notent que ces mouvements n’en étaient pas nécessairement la cause, car il y avait d’autres facteurs.
Prédictions implicites : bien que les chercheurs aient rencontré des garde-fous apparents empêchant les LLMS de fournir des prédictions électorales directes, ils ont découvert que les modèles peuvent révéler des croyances implicites sur le résultat. Grâce à une série de questions liées à la sortie des urnes, les auteurs ont estimé les prédictions du modèle quant aux électeurs des candidats qui étaient « les plus représentatifs de tous les électeurs ».
Réponses personnalisées : les chercheurs ont découvert que, à des degrés divers, les réponses du modèle ont tendance à être influencées par les utilisateurs qui partagent des informations démographiques, telles que « Je suis démocrate » ou « Je suis hispanique ».
« Ces résultats indiquent que le modèle peut être sensible au pilotage. Cela soulève des questions importantes sur le compromis entre la capacité de LLM à rester neutre par rapport aux élections tout en restant réactif aux requêtes et orientations des utilisateurs », écrivent les auteurs.
Cen a déclaré que l’une des façons dont les développeurs d’IA peuvent guider les modèles pour fournir des informations politiques impartiales est de rendre la pareille sur le problème et d’éviter les réponses personnalisées.
« Il est utile de permettre les frictions et de ralentir les choses », a déclaré Sen. « Bien que les développeurs souhaitent peut-être que LLM fournisse immédiatement des réponses entièrement personnalisées aux questions politiques, il peut être préférable de commencer par des réponses assez générales et de permettre une interaction conversationnelle avec l’utilisateur pour façonner la conversation, permettant ainsi plus de compréhension, de nuances et de profondeur. »
Alors que l’IA remplace de plus en plus les résultats de recherche dans les médias, à la fois dans le moteur de recherche de Google et dans les chatbots externes, le co-auteur Chara Podimata, professeur adjoint au MIT Sloan, a déclaré que des études à long terme comme celles-ci devront être menées lors des prochaines élections.
« Faire progresser cette recherche (et la méthodologie que nous proposons) devrait devenir un élément essentiel de chaque élection qui se déroule aux États-Unis », a déclaré Podimata dans un courrier électronique. « Nous devons savoir quelles informations ces modèles fournissent, comment ils ajustent leurs réponses aux différents utilisateurs et ce qu’ils « croient » réellement. En tant que tel, nous pensons que les responsables électoraux et les politologues trouveront cela utile pour éclairer la conception d’enquêtes pour les futures itérations de cette méthode.
Ce rapport a été initialement publié par Tech Brew.
