C’est la semaine pour les petits modèles d’IA, semble-t-il.
Jeudi, AI2, l’Institut de recherche AI à but non lucratif, a publié Olmo 2 1B, un modèle de paramètre de 1 milliard de milliards de dollars qui prétend battre des modèles de taille similaire de Google, Meta et Alibaba sur plusieurs benchmarks. Les paramètres, parfois rétractés aux poids, sont les composants internes d’un modèle qui guident son comportement.
OLMO 2 1B est disponible sous une licence Apache 2.0 permissive sur la face de la plate-forme AI Dev. Contrairement à la plupart des modèles, Olmo 2 1b peut être reproduit à partir de zéro; AI2 a pris le code et les ensembles de données (OLMO-MIX-1124, Dolmino-MIX-1124) utilisés pour le développer.
Les petits modèles peuvent ne pas être aussi capables que leurs homologues de géant, mais surtout, ils ont besoin de matériel costaud pour fonctionner. Cela les rend beaucoup plus accessibles pour les développeurs et les amateurs d’enfant avec les limites des machines bas de gamme et de consommation.
Il y a eu une série de petits lancements de modèles au cours des derniers jours, de la famille de raisonnement Phi 4 de Microsoft à 2,5 Omni 3B de Qwen. La plupart d’entre eux – et Olmo 2 1b – peuvent facilement fonctionner sur un ordinateur portable moderne ou même un appareil mobile.
AI2 dit qu’Olmo 2 1b a été formé sur un ensemble de données de 4 billions de jetons provenant de sources publiques, générées par AI-AI et créées manuellement. Les jetons sont les bits bruts des modèles de données ingèrent et génèrent – 1 million de jetons équivaut à environ 750 000 mots.
Nous avons des références mesurant le raisonnement arithmétique, GSM8K, OLMO 2 1B scores mieux que Google’s Gemma 3 1b, Meta’s Llama 3.2 1B et Alibaba’s Qwen 2.5 1.5b. Olmo 2 1b éclipse également les performances de trois modèles sur véritableqa, un test pour évaluer la précision de facturation.
Événement TechCrunch
Berkeley, que
|
5 juin
Réserver maintenant
AI2 prévient que l’Olmo 2 1b comporte des risques, comme si. Comme tous les modèles d’IA, il peut produire des «sorties à problèmes» comprenait un contenu nocif et «sensible», selon l’organisation, ainsi que des déclarations inactives. Pour ces raisons, AI2 recommande de ne pas déployer OLMO 2 1B en milieu commercial.
