OpenAI pourrait réduire ses efforts sur le marché de la génération vidéo avec la fermeture de son application Sora, mais ByteDance a confirmé jeudi que son nouveau modèle audio et vidéo, Dreamina Seedance 2.0, est désormais déployé sur sa plateforme d’édition, CapCut.
ByteDance indique que le modèle permet aux créateurs de rédiger, d’éditer et de synchroniser du contenu vidéo et audio à l’aide d’invites, d’images ou de vidéos de référence.
Le déploiement progressif commencera avec les utilisateurs de CapCut au Brésil, en Indonésie, en Malaisie, au Mexique, aux Philippines, en Thaïlande et au Vietnam, et d’autres marchés s’ajouteront au fil du temps.
La nouvelle du lancement de CapCut fait suite à un rapport récent selon lequel le déploiement mondial du modèle serait suspendu, alors qu’il s’efforçait de résoudre les problèmes de propriété intellectuelle qui avaient suscité des critiques de la part d’Hollywood pour violation présumée du droit d’auteur. Cela explique probablement le nombre limité de marchés sur lesquels le modèle est actuellement disponible dans CapCut.
En Chine, le modèle est disponible pour les utilisateurs de l’application Jianying de ByteDance.
Le modèle de génération vidéo fonctionne sans images de référence, même si le créateur n’utilise que quelques mots pour décrire la scène qu’il a en tête, précise ByteDance dans son annonce. CapCut est également efficace pour restituer des textures, des mouvements et un éclairage réalistes dans une gamme de perspectives et d’angles visuels, qui, selon la société, pourraient être utilisés pour éditer, améliorer ou corriger les propres images des créateurs.
Un autre cas d’utilisation consisterait à permettre aux créateurs de tester des idées potentielles basées sur des premiers concepts ou croquis avant de filmer la vraie vidéo.
En outre, Dreamina Seedance 2.0 peut être utilisée pour un large éventail de contenus, notamment des recettes de cuisine, des tutoriels de fitness, des présentations d’entreprises ou de produits et des vidéos avec du contenu axé sur le mouvement ou l’action, où les modèles vidéo d’IA ont toujours été confrontés à des défis, explique la société.
Au lancement, le modèle prend en charge des clips d’une durée maximale de 15 secondes dans six formats d’image.
Dans CapCut, le modèle sera déployé dans différents domaines, y compris des fonctionnalités d’édition telles que AI Video et des outils de génération comme Video Studio. Il s’agira également de la plateforme de génération d’IA de ByteDance, Dreamina, et de sa plateforme marketing, Pippit.
Compte tenu de sa capacité à créer du contenu réaliste, ByteDance affirme avoir ajouté des restrictions de sécurité, de sorte que le modèle n’aura pas la possibilité de créer des vidéos à partir d’images ou de vidéos contenant de vrais visages. CapCut bloquera également l’utilisation de la génération non autorisée de propriété intellectuelle. (Cependant, si les restrictions fonctionnaient correctement, le modèle serait désormais disponible aux États-Unis. Il est probable que d’autres modifications soient encore en cours.)
Le contenu produit par Dreamina Seedance 2.0 comprendra également un filigrane invisible, qui aidera à identifier le contenu créé avec le modèle lorsqu’il sera partagé hors plateforme, a ajouté ByteDance. Cela pourrait aider dans des domaines tels que les demandes de retrait des titulaires de droits dans le cas où le modèle autoriserait le contenu protégé par le droit d’auteur.
ByteDance indique qu’elle s’associera avec des experts et des communautés créatives au fur et à mesure du déploiement du modèle pour itérer et améliorer les capacités du modèle.
