Les modèles de grandes langues (LLM) ont atterri sur le programme de souveraineté numérique européen avec un coup la semaine dernière, alors que des nouvelles ont émergé d’un nouveau programme pour développer une série de LLMs open source «véritablement» couvrant toutes les langues de l’Union européenne.
Cela comprenait les 24 langues officielles actuelles de l’UE, ainsi que les langues pour les pays qui négocient actuellement l’entrée sur le marché, comme l’Albanie. Le futur est le nom du jeu.
OpenEurollm est une collaboration entre une vingtaine d’organisations, co-dirigée par Jan Hajič, linguiste informatique de l’Université Charles de Prague, et Peter Sarlin, PDG et co-fondateur de Finnish Ai Lab Silo AI, qu’AMD a acquis l’année dernière pour 665 $ million .
Le projet correspond à un récit plus large qui a vu l’Europe pousser la souveraineté numérique en priorité, ce qui lui permet de rapprocher l’infrastructure et les outils critiques de mission. La plupart des géants du cloud investissent dans des infrastructures locales pour s’assurer que les données de l’UE restent locales, tandis que l’IA Darling Openai a dévoilé avec recul une nouvelle offre qui permet aux clients de traiter et de stocker les données en Europe.
Ailleurs, l’UE a récemment signé un accord de 11 milliards de dollars pour créer une constellation de satellite souverain pour rivaliser avec StarLink d’Elon Musk.
Donc OpenEurollm est certainement sur la marque.
Cependant, le budget déclaré uniquement pour la construction des modèles eux-mêmes est de 37,4 millions d’euros, avec environ 20 millions d’euros à venir le programme Europe numérique de l’UE – une baisse de l’océan par rapport à ce que les géants du monde de l’IA d’entreprise investissent. Le budget réel est davantage lorsque vous tenez compte du financement alloué aux travaux tangentiels et connexes, et Arguabury, la plus grande dépense est le calcul. Les partenaires du projet OpenEurollm comprennent les centres des superchons EuroHPC en Espagne, en Italie, en Finlande et aux Pays-Bas – et le projet EuroHPC plus large a un budget d’environ 7 milliards d’euros.
Mais le grand nombre de parties participantes à la disparition, couvrant le monde universitaire, la recherche et les sociétés, ont conduit beaucoup à remettre en question où ses objectifs sont réalisables. Anastasia Stenaseko, co-fondatrice de la société LLM Pleias, a interrogé que «des consortiums tentaculaires de plus de 20 organisations» pourraient avoir le même foyer mesuré d’une entreprise d’IA privée locale.
«Les succès récents de l’Europe dans l’IA brillent à travers de petites équipes ciblées comme Mistral IA et Lighton – des entreprises qui possèdent vraiment ce qu’elles construisent», a écrit Stenseko. «Ils ont la responsabilité de l’immonage pour leurs choix, que ce soit dans les finances, le positionnement du marché ou la réputation.»
Jusqu’à rayures
Le projet OpenEurollm part de zéro, soit il a une longueur d’avance – selon la façon dont vous le regardez.
Self 2022, Hajič a également coordonné le projet High Performance Language Technologies (HPLT), qui a défini pour développer des ensembles de données, des modèles et des workflows gratuits et réutilisables à l’aide de l’informatique haute performance (HPC). Ce projet devrait se terminer à la fin de 2025, mais il peut être visual du «prédécesseur» à OpenEurollm, selon Hajič, compte tenu des partenaires de HPLT (à part les partenaires britanniques) participent également ici.
« Ce (OpenEurollm) n’est vraiment qu’une participation plus large, mais plus axée sur les LLM génératives », a déclaré Hajič. «Il ne s’agit donc pas de zéro en termes de données, d’expertise, d’outils et d’expérience de calcul. Nous avons assemblé des gens qui savent ce qu’ils font – nous devrions être en mesure de nous rendre rapidement à la vitesse.
Hajič a déclaré qu’il s’attend à ce que les premières version (s) soient publiées à la mi-2026, avec la ou les itération finales arrivant par la conclusion du projet en 2028. Mais ces objectifs pourraient toujours sembler élevés lorsque vous considérez qu’il y a beaucoup de choses à Pick sur encore au-delà d’un profil Github à nu.
« À cet égard, nous partons de zéro – le projet a commencé le samedi 1er février », a déclaré Hajič. «Mais nous préparons le projet depuis un an (le processus d’appel d’offres a ouvert ses portes en février 2024).»
D’après le monde universitaire et la recherche, les organisations couvrant la Tchéie, les Pays-Bas, l’Allemagne, la Suède, la Finlande et la Norvège font partie de la cohorte OpenEurollm, en plus des centres EuroHPC. Du monde de l’entreprise, la Finlande appartenant à AI Lab Silo Ai est à bord, tout comme Aleph Alpha (Allemagne), Ellamind (Allemagne), l’ingénierie du langage de promotion (Espagne) et Lighton (France).
Une omission notable de la liste est celle de la Mistral de la licorne de l’AI française, qui s’est positionnée comme une alternative open source aux titulaires tels que Openai. Bien que personne de Mistral n’ait répondu à TechCrunch pour commenter, Hajič a confirmé qu’il avait essayé d’initier des conversations avec la startup, mais sans Avaé.
« J’ai essayé de les approcher, mais cela a été un abord de discussion ciblé sur leur participation », a déclaré Hajič.
Le projet pourrait encore rassembler de nouveaux participants dans le cadre du programme de l’UE qui prononce le financement, bien qu’il se limite aux organisations. Cela signifie que les entités du Royaume-Uni et de la Suisse ne pourront pas participer. Cela vole en contraste avec le programme Horizon R&D, que le Royaume-Uni a rejoint en 2023 après une impasse prolongée du Brexit et qui a fourni un financement à HPLT.
S’accumuler
L’objectif supérieur du projet, selon son slogan, est de créer: «Une série de modèles de fondation pour l’IA transparent en Europe». De plus, ces modèles devraient préserver la «diversité linguistique et culturelle» de toutes les langues de l’UE – actuel et futur.
Ce que cela se traduit en termes de livrables est toujours en cours de calcul, mais cela signifiera probablement un LLM multilingue de base conçu pour les tâches générales-purpous où la précision est primordiale. Et puis également les versions «quantifiées» plus petites, peut-être pour les applications de bord où l’efficacité et la vitesse sont importantes.
« C’est quelque chose que nous devons encore faire un plan détenu », a déclaré Hajič. «Nous voulons l’avoir aussi petit mais aussi de haute qualité que possible. Nous ne voulons pas libérer quelque chose qui est à moitié cuit, parce que le point de point européen de ce qui est élevé, avec beaucoup d’argent provenant de l’argent de la Commission européenne-public.
Bien que l’objectif soit de rendre le modèle aussi compétent que possible dans toutes les langues, une égalité à tous les niveaux pourrait également être difficile.
« C’est l’objectif, mais à quel point nous pouvons réussir avec les langues avec des ressources numériques rares », a déclaré Hajič. «Mais c’est aussi pourquoi nous voulons avoir de vrais repères pour ces langues, et ne pas être agitée vers des repères qui ne sont peut-être pas représentatifs des langues et de la culture derrière eux.
En termes de données, c’est là qu’une grande partie des travaux du projet HPLT s’avéreront fructueuses, la version 2.0 de son ensemble de données il y a des mois. Cet ensemble de données a été formé 4,5 pétaoctets de rampes Web et plus de 20 milliards de documents, et Hajič a déclaré qu’ils ajouteraient des données supplémentaires de Common Crawl (une restituant ouverte de données raffinées par le Web) au mélange.
La définition open source
Dans les logiciels traditionnels, la lutte vivace entre l’open source et le propriétaire tourne autour du sens «vrai» de «l’open source». Cela peut être résolu en reportant la «définition» formelle selon l’initiative open source, les gardiens de l’industrie de ce qui sont et ne sont pas des listes open source légitimes.
Plus récemment, l’OSI a formé une définition de «IA open source», bien que tout le monde ne soit pas satisfait des résultats. Les partisans de l’IA open source soutiennent que non seulement les modèles devraient être disponibles, mais aussi les ensembles de données, les modèles préparés, les poids – le shebang complet. La définition de l’OSI ne rend pas le mandat de données de formation, car il dit que les modèles d’IA sont souvent formés sur des données propriétaires ou des données avec des restrictions de redistribution.
Il est suffisant pour le dire, l’OpenEurollm fait face à ces whenaries, et malgré son intention d’être «vraiment ouverte», il devra probablement faire des compromis s’il veut remplir ses obligations de «qualité».
«Le but est d’avoir chaque ouverture. Maintenant, de race, il y a certaines limites », a déclaré Hajič. «Nous voulons avoir des modèles de la plus haute qualité possible, et sur la base de la directive européenne du droit d’auteur, nous pouvons utiliser tout ce que nous pouvons mettre la main. Une partie ne peut pas être redistribuée, mais une partie peut être stockée pour une inspection future. «
Cela signifie que le projet OpenEurollm pourrait avoir pour conserver certaines des données de formation sous Wraps, mais être disponible pour les auditeurs à la demande requise pour les systèmes d’IA à haut risque en vertu des termes de la loi sur les véhicules électriques.
« Nous espérons que les données (seront ouvertes), en particulier les données provenant de la rampe commune », a déclaré Hajič. «Nous aimerions que tout cela soit très ouvert, mais nous verrons. Dans tous les cas, nous devrons respecter une réglementation a. «
Deux pour un
Une autre critique qui a émergé au lendemain du dévoilement officiel d’OpenEurollm était qu’un projet très similaire lancé en Europe quelques mois à peine quelques mois. Eurollm, qui a lancé son premier modèle en septembre et un suivi en décembre, est co-transformé par l’UE aux côtés d’un consortium de neuf partenaires. Il s’agit notamment d’institutions universitaires telles que l’Université d’Édimbourg et des sociétés telles que Untabel, qui a remporté l’année dernière des millions d’heures de formation GPU sur les supercompentes.
Eurollm partage des objectifs similaires à son quasi-nomkeke: «Pour construire un modèle de grande langue européen open source qui soutient 24 langues européennes officielles et quelques autres langues stratégiques importantes.»
Andre Martins, responsable de la recherche chez Unbabel, s’est rendu sur les réseaux sociaux pour souligner ces similitudes, notant qu’OpenEurollm s’approprie un nom qui existe déjà. « J’espère que les différentes communautés collaborent ouvertement, partagent leur expertise et ne décideront pas de réinventer la roue chaque fois qu’un nouveau projet est financé », a écrit Martins.
Hajič a qualifié la situation de «malheureuse», ajoutant qu’il espérait qu’ils pourraient coopérer, bien qu’il ait souligné que de la source de son financement dans l’UE, OpenEurollm est restreint en termes de collaborations avec les non-EU, y compris les universités britanniques .
Fossé de financement
L’arrivée de la profondeur chinoise et le ratio coût-performance qu’il promit a donné des encouragements selon lesquels une initiative d’IA pourrait être en mesure de faire beaucoup plus avec beaucoup moins que de la pensée initiale. Cependant, au cours des dernières semaines, beaucoup ont remis en question les véritables coûts impliqués dans la construction Deepseek.
« En ce qui concerne Deepseek, nous avons maintenant très peu de choses sur ce qui était exactement enivrante », a déclaré à TechCrunch Peter Sarlin, qui est co-dirigé sur le projet OpenEurollm, à TechCrunch.
Sans longue, Sarlin estime qu’OpenEurollm aura accès à un financement suffisant, car il est le plus pour couvrir les gens. En effet, une grande partie des coûts de construction de systèmes d’IA est calculée, ce qui devrait être principalement couvert par son partenariat avec les centres EuroHPC.
« Vous pourriez dire qu’OpenEurollm News a été un budget important », a déclaré Sarlin. «EuroHPC a investi des milliards dans l’IA et calcule les infrastructures, et a engagé des milliards de plus dans l’expansion dans les prochaines années.
Il convient également de noter que le projet OpenEurollm ne se construit pas vers un produit de base ou d’entreprise. Il s’agit uniquement des modèles, et c’est pourquoi Sark estime que le budget qu’il a devrait être ample.
« L’intention ici n’est pas de construire un chatbot ou un assistant d’IA – qui est une initiative de produit nécessitant beaucoup d’efforts, et c’est ce que Chatgpt a si bien fait », a déclaré Sarlin. «Ce que nous contribuons, c’est un modèle de fondation open source qui fonctionne comme l’infrastructure d’IA pour les entreprises d’Europe sur lesquelles s’appuier. Nous savons ce qu’il faut pour construire des modèles, ce n’est pas quelque chose pour lequel vous avez besoin de milliards. «
Vente 2017, Sarlin a dirigé Ai Lab Silo AI, qui a lancé – en partenariat avec d’autres, dont le projet HPLT – la famille de Poro et Viking Open Models. Ceux-ci soutiennent déjà une poignée de langues européennes, mais l’entreprise prépare maintenant les prochains modèles d’itération «Europa», qui couvrira toutes les langues européennes.
Et cela est lié à l’ensemble de la notion «ne pas partir de zéro» de Hajič – il y a déjà un fondement d’expertise et de technologie en place.
État souverain
Comme l’ont noté les critiques, OpenEurollm a beaucoup de pièces mobiles – ce que Hajič reconnaît, bien qu’avec une perspective positive.
« J’ai impliqué dans de nombreux projets collaboratifs, et je pense qu’il a ses avantages par rapport à une seule entreprise », a-t-il déclaré. « De race, ils ont fait de grandes choses comme Openai à Mistral, mais j’espère que la combinaison de l’expertise académique Et l’objectif des entreprises pourrait apporter quelque chose de nouveau. «
Et à bien des égards, il ne s’agit pas d’essayer de dépasser les startups de Big Tech ou d’un milliard de dollars; L’objectif ultime est la souveraineté numérique: (principalement) les LLM de fondation ouverte construites par et pour l’Europe.
« J’espère que ce ne sera pas le cas, mais si, en fin de compte, nous ne sommes pas le modèle numéro un, et que nous avons un » bon modèle, alors nous aurons toujours un modèle avec tous les composants basés en Europe « , Hajič Dit. «Ce sera un résultat positif.»
