Personnage.ai, une plate-forme de premier plan pour discuter et un jeu de rôle avec des personnages générés par AI-AI, a dévoilé mardi son modèle de génération de vidéos de la première prochaine fois, Avatarfx. Disponible en bêta fermé, le modèle anime les personnages de la plate-forme dans une variété de styles et de voix, des personnages humains aux dessins animés 2D.
Avatarfx se distingue des compertiteurs comme Sora d’Openai car n’est pas uniquement un générateur de texte à vidéo. Les utilisateurs peuvent également des vidéos à partir d’images préexistantes, permettant aux utilisateurs d’animer des photos de vraies personnes.
Il est à l’immoniement évident comment ce type de technologie pourrait être exploité pour les abus pourrait télécharger des photos de célébrités ou de personnes qu’ils connaissent dans la vraie vie et de créer des vidéos réalistes dans lesquelles ils font ou disent quelque chose d’incriminant. La technologie pour créer des fesses profondes convaincantes existe déjà, mais l’incorporer dans des produits de consommation populaires comme le caractère.
Nous avons contacté le personnage.ai pour comment.
Personnage.ai est déjà confronté à des problèmes de sécurité sur sa plate-forme. Les parents ont intenté des poursuites contre l’entreprise, alléguant que ses chatbots ont encouragé leurs enfants à s’auto-servir, à se suicider ou à tuer leurs parents.
Dans un cas, un garçon de quatorze ans est décédé par suicide après avoir élaboré une relation obsessionnelle avec un personnage AI A IA.AI basé sur le personnage de «Game of Thrones». Peu de temps avant sa mort, il s’était ouvert à l’IA pour avoir des pensées de suicide, et l’IA l’avait encouragé à poursuivre l’acte, selon de courts dépôts.
Ce sont des exemples extrêmes, mais ils vont montrer comment les gens peuvent être manipulateurs émotionnellement par les chatbots d’IA à travers le texte seul. Avec l’incorporation de la vidéo, la relation que les gens entretiennent avec ces personnages pourraient se sentir encore plus réalistes.
Personnage.ai a respiré les allégations contre elle en construisant des contrôles parentaux et des garanties supplémentaires, mais comme pour toute application, les contrôles ne sont efficaces que lorsqu’ils sont réellement utilisés. Onsents, les enfants utilisent la technologie d’une manière que leurs parents connaissent.
