L’IA permet à n’importe qui de créer des vidéos, mais de nombreux outils de création vidéo d’IA ne prennent pas en charge l’audio. Mirelo construit une IA qui ajoute des bandes sonores pour correspondre à l’action de la vidéo.
Plus tôt cette année, la startup basée à Berlin a publié Mirelo SFX v1.5, un modèle d’IA qui interprète les vidéos pour ajouter des effets sonores synchronisés (SFX).
Cela a attiré l’attention des sociétés de capital-risque qui se préparent à une révolution de l’IA générative dans les jeux. La startup allemande de deux ans a levé un tour de table de 41 millions de dollars dirigé par Index Ventures et Andreessen Horowitz, a appris TechCrunch en exclusivité.
Ce nouveau capital aidera Mirelo à être plus compétitive dans sa catégorie émergente. Alors qu’il était encore en mode furtif et avec des ressources limitées, de grandes entreprises telles que Sony et Tencent ont lancé des modèles vidéo vers SFX. Il en a été de même pour Kling AI, société chinoise appartenant à Kuaishou, et pour ElevenLabs, également soutenu par a16z.
Même si Mirelo s’en distingue déjà par son orientation plus étroite, battre ces modèles à long terme nécessite que la startup procède à des embauches supplémentaires. Au total, la startup s’attend à ce que son équipe de 10 personnes « double, voire triple » ses effectifs d’ici la fin de l’année prochaine, a déclaré à TechCrunch le PDG et co-fondateur de Mirelo, CJ Simon-Gabriel.
Ces nouvelles recrues soutiendront la R&D de Mirelo, ainsi que sa stratégie produit et de commercialisation. La startup a publié ses modèles sur Fal.ai et Replicate et s’attend à ce que l’utilisation des API génère l’essentiel de ses revenus à court terme, a déclaré Simon-Gabriel. Mais il investit également dans le développement de son espace de travail pour les créateurs, Mirelo Studio, qui pourrait à terme prendre en charge une utilisation professionnelle complète.
Alors que Mirelo se prépare à évoluer, la startup et ses investisseurs anticipent également les préoccupations concernant les données de formation qui ont harcelé d’autres sociétés d’IA générative. Selon Georgia Stevenson, qui a dirigé les investissements d’Index, Mirelo a basé ses modèles sur des bibliothèques sonores publiques et achetées, et a signé des partenariats de partage des revenus qui respectent les droits des artistes.
C’est une tension inhérente aux outils d’IA générative, mais Mirelo ne remplace pas les musiciens et les concepteurs sonores – du moins pas encore. Avec un modèle freemium comprenant un forfait recommandé pour les créateurs au prix de 20 €/mois (environ 23,50 $), la startup cible principalement les amateurs et les prosommateurs qui espèrent réactiver le son des vidéos générées par l’IA.
Selon Simon-Gabriel, les créateurs ne peuvent pas pleinement profiter de ce nouveau potentiel sans l’audio.
« George Lucas a déclaré que le son représentait 50 % de l’expérience cinématographique. Ce n’est pas une exagération », a-t-il déclaré. « C’est plutôt un euphémisme. Vous pouvez prendre exactement les mêmes images, et le son façonnera une ambiance complètement différente, en fonction du son et de la musique que vous y mettrez. »
Lui et son co-fondateur, Florian Wenzel, sont à la fois chercheurs en IA et musiciens eux-mêmes, et la startup a la génération de musique IA sur sa feuille de route. Mais Mirelo constate une plus grande attirance pour les effets sonores, en partie parce qu’il y a moins de recherches en cours que dans d’autres domaines de l’IA, a déclaré Simon-Gabriel.
« Il est plus facile de construire de véritables douves ici, puis d’en tirer parti », a-t-il noté.
Cela pourrait s’avérer payant pour Mirelo. Simon-Gabriel a refusé de divulguer sa nouvelle valorisation, mais a déclaré qu’elle avait augmenté « de manière très significative » par rapport à son cycle de pré-amorçage non divulgué auparavant. Ce cycle précédent avait été mené par la société berlinoise Atlantic, qui a également participé au nouveau financement, portant le total levé par Mirelo à 44 millions de dollars et contribuant à combler son déficit de ressources.
La startup est également soutenue par des investisseurs providentiels qui confèrent de la crédibilité à sa technologie et pourraient ouvrir de nouvelles portes, notamment le PDG de Mistral, Arthur Mensch, le directeur scientifique de Hugging Face, Thomas Wolf, le co-fondateur de Fal.ai, Burkay Gur, et d’autres.
Néanmoins, l’équipe est consciente que les vidéos générées par l’IA ne resteront peut-être pas muettes longtemps.
Par exemple, le générateur vidéo de Gemini intègre désormais des bandes sonores alimentées par le modèle vidéo-audio Veo 3.1 de DeepMind. Mais au contraire, Simon-Gabriel semble justifié. « Maintenant, tout d’un coup, les gens se rendent compte : « Oh, peut-être devrions-nous ajouter du son ». Mais bien sûr, vous devriez en ajouter. C’est un peu comme les films muets contre les films parlants, non ? Cela fait une sacrée différence ! »
