Lorsque Brett Levenson a quitté Apple en 2019 pour diriger l’intégrité commerciale chez Facebook, le géant des médias sociaux était au cœur des retombées de Cambridge Analytica. À l’époque, il pensait pouvoir simplement résoudre le problème de modération du contenu de Facebook avec une meilleure technologie.
Le problème, apprit-il rapidement, était plus profond que la technologie. Les évaluateurs humains devaient mémoriser un document politique de 40 pages traduit automatiquement dans leur langue, a-t-il déclaré. Ensuite, ils disposaient d’environ 30 secondes par élément de contenu signalé pour décider non seulement si ce contenu enfreignait les règles, mais aussi comment y remédier : le bloquer, bannir l’utilisateur, limiter la propagation. Ces appels rapides n’étaient que « légèrement meilleurs que 50 % de précision », selon Levenson.
« C’était un peu comme lancer une pièce de monnaie, savoir si les évaluateurs humains pouvaient réellement traiter correctement les politiques, et c’était de toute façon plusieurs jours après que le préjudice s’était déjà produit », a déclaré Levenson à TechCrunch.
Ce type d’approche réactive et différée n’est pas viable dans un monde d’acteurs antagonistes agiles et bien financés. L’essor des chatbots IA n’a fait qu’aggraver le problème, car les échecs de modération du contenu ont entraîné une série d’incidents très médiatisés, comme les chatbots fournissant aux adolescents des conseils pour s’automutiler ou les images générées par l’IA échappant aux filtres de sécurité.
La frustration de Levenson a conduit à l’idée de « politique en tant que code » – un moyen de transformer des documents politiques statiques en une logique exécutable et actualisable étroitement couplée à l’application. Cette idée a conduit à la création de Moonbounce, qui a annoncé vendredi avoir levé 12 millions de dollars de financement, a appris TechCrunch en exclusivité. Le cycle a été co-dirigé par Amplify Partners et StepStone Group.
Moonbounce travaille avec des entreprises pour fournir une couche de sécurité supplémentaire partout où le contenu est généré, que ce soit par un utilisateur ou par l’IA. L’entreprise a formé son propre modèle de langage pour examiner les documents de politique d’un client, évaluer le contenu au moment de l’exécution, fournir une réponse en 300 millisecondes ou moins et prendre des mesures. Selon les préférences du client, cette action pourrait ressembler à un ralentissement de la distribution par le système de Moonbounce pendant que le contenu attend un examen humain ultérieur, ou à un blocage immédiat du contenu à haut risque.
Aujourd’hui, Moonbounce dessert trois secteurs verticaux principaux : les plates-formes traitant du contenu généré par les utilisateurs, comme les applications de rencontres ; Les sociétés d’IA construisant des personnages ou des compagnons ; et générateurs d’images IA.
Événement Techcrunch
San Francisco, Californie
|
13-15 octobre 2026
Moonbounce prend en charge plus de 40 millions d’avis quotidiens et dessert plus de 100 millions d’utilisateurs actifs quotidiens sur la plateforme, a déclaré Levenson. Les clients incluent la startup compagnon d’IA Channel AI, la société de génération d’images et de vidéos Civitai et les plateformes de jeu de rôle de personnages Dippy AI et Moescape.
« La sécurité peut en fait être un avantage du produit », a déclaré Levenson à TechCrunch. « Cela n’a jamais été le cas, car c’est toujours une chose qui se produit plus tard, et non une chose que vous pouvez réellement intégrer à votre produit. Et nous constatons que nos clients trouvent des moyens vraiment intéressants et innovants d’utiliser notre technologie pour faire de la sécurité un différenciateur et une partie de l’histoire de leur produit. »
Le responsable de la confiance et de la sécurité de Tinder a récemment expliqué comment la plateforme de rencontres utilise ces types de services basés sur LLM pour atteindre une amélioration de 10 fois de la précision des détections.
« La modération du contenu a toujours été un problème qui tourmentait les grandes plateformes en ligne, mais maintenant, avec les LLM au cœur de chaque application, ce défi est encore plus intimidant », a déclaré Lenny Pruss, associé général chez Amplify Partners, dans un communiqué. « Nous avons investi dans Moonbounce parce que nous envisageons un monde dans lequel des garde-fous objectifs et en temps réel deviennent l’épine dorsale de chaque application basée sur l’IA. »
Les sociétés d’IA sont confrontées à une pression juridique et réputationnelle croissante après que les chatbots ont été accusés de pousser des adolescents et des utilisateurs vulnérables au suicide et que des générateurs d’images comme Grok de xAI ont été utilisés pour créer des images de nus non consensuelles. De toute évidence, les garde-fous de sécurité internes échouent et cela devient une question de responsabilité. Levenson a déclaré que les entreprises d’IA regardent de plus en plus hors de leurs propres murs pour contribuer à renforcer les infrastructures de sécurité.
« Nous sommes un tiers situé entre l’utilisateur et le chatbot, donc notre système n’est pas inondé de contexte comme l’est le chat lui-même », a déclaré Levenson. « Le chatbot lui-même doit potentiellement mémoriser des dizaines de milliers de jetons qui l’ont précédé… Nous nous préoccupons uniquement de l’application des règles au moment de l’exécution. »
Levenson dirige l’entreprise de 12 personnes avec son ancien collègue d’Apple Ash Bhardwaj, qui avait auparavant construit une infrastructure cloud et IA à grande échelle pour les offres principales du fabricant d’iPhone. Leur prochain objectif est une capacité appelée « pilotage itératif », développée en réponse à des cas comme le suicide en 2024 d’un garçon de Floride de 14 ans devenu obsédé par un chatbot Character AI. Plutôt qu’un refus brutal lorsque des sujets préjudiciables surviennent, le système intercepterait la conversation et la redirigerait, modifiant les invites en temps réel pour pousser le chatbot vers une réponse plus activement solidaire.
« Nous espérons pouvoir ajouter à notre boîte à outils d’actions la possibilité d’orienter le chatbot dans une meilleure direction pour, essentiellement, prendre l’invite de l’utilisateur et la modifier pour forcer le chatbot à être non seulement un auditeur empathique, mais un auditeur utile dans ces situations », a déclaré Levenson.
Lorsqu’on lui a demandé si sa stratégie de sortie impliquait une acquisition par une société comme Meta, bouclant ainsi la boucle de son travail sur la modération de contenu, Levenson a déclaré qu’il reconnaissait à quel point Moonbounce s’intégrerait bien dans la pile de son ancien employeur, ainsi que dans ses propres obligations fiduciaires en tant que PDG.
« Mes investisseurs me tueraient pour avoir dit cela, mais je détesterais voir quelqu’un nous acheter et ensuite restreindre la technologie », a-t-il déclaré. « Du genre : « D’accord, c’est à nous maintenant, et personne d’autre ne peut en bénéficier. »
