Un développeur pseudonyme a créé ce qu’ils appellent une «évaluation de la liberté d’expression», SpeechMap, pour les modèles d’IA alimentant les chatbots Chatgpt et X’s Grok. L’objectif est de comparer comment les différents modèles traitent les sujets sensibles et controversés, a déclaré le développeur à TechCrunch, y compris la critique politique et les questions sur les droits civils et les manifestations.
Les sociétés de l’IA se sont concentrées sur le réglage fin de la façon dont leurs modèles gèrent des sujets, car certains alliés de la Maison Blanche accusent les chatbots populaires d’être trop «réveillés». Beaucoup de proches confiants du président Donald Trump, tels que Elon Musk et Crypto et David Sacks de «Czar», ont allégué que les Chatbots censurent les opinions conservatrices.
Bien qu’aucune de ces sociétés d’IA n’ait répondu directement aux allégations, plusieurs se sont engagés à ajouter leurs modèles afin qu’ils refusent de répondre aux questions controversées moins souvent. Par exemple, pour sa dernière récolte de modèles de lama, Meta a déclaré avoir réglé les modèles pour ne pas approuver «quelques points de vue sur les autres» et répondre à une invite politique plus «débattue».
Le développeur de Spe:
« Je pense que ce sont les types de discussions qui devraient se produire en public, pas seulement à l’intérieur du siège social », a déclaré XLR8Hardeur à TechCranche par e-mail. « C’est pourquoi j’ai construit le site pour laisser quelqu’un explorer les données elles-mêmes. »
SpeechMap utilise des modèles d’IA pour juger où d’autres modèles se conforment à un ensemble donné d’invites de test. Les invites touchent à un rangement de sujets, de la politique aux récits historiques et aux symboles nationaux. Les enregistrements de discours sur les modèles de l’éther «complètent» une demande (c’est-à-dire y répondre sans couverture), donner des réponses «évasives», ou une baisse carrément pour répondre.
XLR8Hardeur reconnaît que le test a des défauts, comme le «bruit» en raison d’erreurs du fournisseur de modèles. Il est également possible que les modèles «juge» contiennent des biais qui pourraient influencer les résultats.
Mais en supposant que le projet a été créé de bonne foi et que les données sont des accidents, SpeechMap révèle des tendances intéressantes.
Par exemple, les modèles d’Openai ont, au fil du temps, refusé de plus en plus de répondre à Invit to Political, selon DispengMap. Les derniers modèles de l’entreprise, la famille GPT-4.1, sont légèrement plus permissifs, mais ils sont toujours à un pas en baisse par rapport à l’une des sorties d’Openai l’année dernière.
Openai a déclaré en février qu’il réglerait les futurs modèles pour ne pas adopter une position éditoriale et pour offrir de multiples perspectives sur des sujets controversés – le tout dans le but de rendre ses modèles plus «neutres».
Selon l’analyse comparative d’Elon Musk, le modèle le plus permissif du groupe est développé par la startup AI d’Elon Musk, selon l’analyse comparative de SpeechMap. Grok 3 alimente un certain nombre de fonctionnalités sur X, y compris le chatbot Grok.
Grok 3 répond à 96,2% de l’invite de test de SpeechMap, par rapport au «taux de conformité» du modèle moyen de 71,3%.
« Alors que les modèles récents d’Openai sont devenus moins permissifs au fil du temps, en particulier sur des invites politiquement sensibles, Xai se déplace dans la direction opposée », a déclaré XLR8Hardeur.
Lorsque Musk a annoncé Grok il y a environ deux ans, il a présenté le modèle d’IA comme avant-gardiste, non filé et anti-«réveillé» en général, en le décrivant comme disposé à répondre aux questions controversées que d’autres systèmes d’IA ne le feraient pas. Il a livré certains de cela promis. Dit d’être vulgaire, par exemple, Grok et Grok 2 Wow Happyry obligent, crachant un langage coloré que vous verriez probablement de Chatgpt.
Mais les modèles GROK avant Grok 3 ont fait des bornes sur des sujets politiques et ne franchiraient pas certaines frontières. En fait, une étude a révélé que Grok se penchait sur la gauche politique sur des sujets tels que les droits des transgenres, les programmes de diversité et les inégalités.
Musk a un comportement noir sur les données de formation de Grok – les pages Web publiques – et s’est engagée à «rapprocher Grok de la politique politiquement neutre». À moins d’erreurs de haut niveau, comme censure brièvement des mentions peu flatteuses du président Donald Trump et Musk, il semble qu’il ait pu atteindre cet objectif.
