Le conseiller scientifique de la Maison Blanche, Michael Kratsios, a déclaré que Moonshot, la société chinoise à l’origine du Kimi K3, le plus grand LLM à poids ouvert disponible, a construit son modèle en copiant le Fable LLM d’Anthropic tout en utilisant des puces qui ne sont pas autorisées à être exportées vers la Chine.
« Une distillation industrielle secrète à grande échelle visant à voler une technologie américaine exclusive et à saper la recherche américaine est inacceptable », a écrit Kratsios, au milieu de discussions rapportées sur l’interdiction des modèles chinois à poids ouvert qui ont dominé le secteur de l’IA. Moonshot n’a pas répondu aux questions sur son processus de formation et Kratsios n’a pas partagé plus de détails sur les sources de ses allégations.
Le tweet de Kratsios fait écho aux commentaires du secrétaire au Trésor, Scott Bessent, selon lesquels « nous trouvons des filigranes de nos grands modèles linguistiques américains sur de nombreux modèles chinois, et c’est inacceptable ». On ne sait pas exactement en quoi consistent ces filigranes et le département du Trésor n’a pas répondu à notre demande.
Cependant, les experts sont sceptiques quant au fait que la distillation (le processus d’interrogation d’un LLM pour déterminer son fonctionnement interne et copier ses capacités) soit responsable des capacités avancées affichées par le Kimi K3.
« Je ne pense pas que l’on puisse obtenir un modèle aussi puissant et aussi rapide après Fable faisant strictement de la distillation », a déclaré à TechCrunch Braden Hancock, chercheur à l’Institut Laude et co-fondateur de Snorkel AI. « Franchement, nous n’avons même pas le temps, n’est-ce pas ? Fable n’est accessible au public que depuis le 1er juillet. Vous ne pouvez pas distiller autant de données, entraîner un modèle et le publier en deux semaines. »
« Je suis d’avis que la distillation a de moins en moins d’impact au fil du temps à mesure que les modèles chinois se rapprochent de la frontière et que le régime de formation passe à (l’apprentissage par renforcement) », a déclaré Nathan Lambert, chercheur en IA à l’Allen Institute for AI, dans un podcast publié hier. « (Si) c’était le cas, tout le monde serait facilement en mesure de rattraper un GLM ou un K3 en utilisant ses données pour la distillation. Mais nous ne l’avons pas fait, et nous ne le verrons pas, grâce à un seul réglage fin supervisé. »
Effectuer une distillation nécessite qu’un laboratoire interroge systématiquement son modèle cible afin de générer des données pouvant être utilisées pour la post-formation. Parfois, cela implique explicitement de demander au modèle d’articuler sa chaîne de pensée pour comprendre comment il résout les problèmes. D’autres fois, les invites et les réponses d’un modèle sont utilisées pour entraîner un nouveau modèle dans le cadre d’un processus appelé réglage fin supervisé, ou SFT.
C’est ce processus de mise au point qui peut aboutir à un modèle apparemment créé par un tiers prétendant qu’il s’agit de Claude. Le réglage fin est, selon Lambert, le moment où le « modèle reprend ses habitudes ».
Mais Lambert affirme que les avantages de la SFT deviennent de moins en moins importants à mesure que les modèles deviennent plus complexes. Distiller des capacités de type Fable nécessiterait probablement des techniques d’apprentissage par renforcement. Dans de nombreux cas, cela signifie qu’un agent du modèle le plus grand note les réponses du modèle le plus petit et qu’il effectue des ajustements en fonction de la note.
Les techniques les plus avancées nécessitent également des infrastructures plus importantes. Les grandes séries d’apprentissage par renforcement peuvent nécessiter des dizaines de millions d’agents. Utiliser l’API d’un laboratoire frontalier pour ce faire « serait incroyablement coûteux et potentiellement cela constituerait probablement un goulot d’étranglement de temps car ces modèles sont assez lents et, pour être franc, pourraient même ne pas vous apporter une amélioration des performances ».
Il semble probable que les modèles pionniers précédents aient contribué à Kimi ; Anthropic a publiquement accusé Moonshot, DeepSeek et MiniMax d’avoir systématiquement distillé ses modèles plus tôt cette année. Anthropic a déclaré avoir découvert des millions d’échanges entre ses modèles et les utilisateurs identifiés dans ces entreprises via des adresses IP et d’autres métadonnées. Ces requêtes étaient « distinctes des modèles d’utilisation normaux, reflétant une extraction délibérée de capacités plutôt qu’une utilisation légitime ». Anthropic n’a pas répondu aux questions de TechCrunch sur la distillation Fable.
Cependant, la distillation est considérée comme courante parmi les entreprises d’IA, et pas seulement en Chine. Elon Musk a déclaré plus tôt cette année que sa société SpaceXAI avait distillé des modèles OpenAI pour développer Grok et que cette pratique était courante dans l’industrie. La frontière entre la distillation et le développement d’ensembles de données synthétiques, par exemple, peut être assez floue.
« (I)en général, les Américains sous-estiment l’expertise technique de ces équipes chinoises », a déclaré Hancock. « L’un des fondateurs de Moonshot était un doctorant de la CMU. Ce sont des chercheurs et des ingénieurs légitimes qui font un travail solide. … Si les modèles américains s’arrêtaient, je pense que les progrès de la Chine ralentiraient, mais continueraient quand même. Ils ne font pas que suivre ici. »
Il est également difficile de distinguer la deuxième partie du commentaire de Kratsios – que Moonshot avait obtenu des puces Nvidia avancées, des Grace Blackwell 300, et avait également accédé à des serveurs équipés de GB300 en Thaïlande. Ces puces sont interdites d’exportation vers la Chine, mais un marché noir existe, selon Sam Bresnick, chercheur au Centre pour la sécurité et les technologies émergentes de Georgetown. En mai, le fondateur de Supermicro, un constructeur de serveurs américain, a reçu l’ordre d’introduire clandestinement des puces avancées en Chine.
« Je suis partisan de connaître vos lois client pour les centres de données à travers le monde », a déclaré Bresnick. « Si vous laissez une entreprise organiser d’énormes sessions de formation sur votre matériel de pointe, il doit y avoir un mécanisme de reporting indiquant qui est cette entreprise et ce qu’elle fait. »
Le ministère du Commerce du président Joe Biden a proposé des règles fédérales de connaissance du client pour les centres de données en 2024, mais aucun autre progrès ne semble avoir été réalisé sous Donald Trump. Les exportateurs expédiant des puces avancées à l’étranger sont toutefois censés s’assurer qu’elles ne sont utilisées qu’à des fins approuvées.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
