Un nouveau laboratoire d’IA appelé Flapping Airplanes a été lancé mercredi, avec un financement de démarrage de 180 millions de dollars de Google Ventures, Sequoia et Index. L’équipe fondatrice est impressionnante et l’objectif – trouver un moyen moins gourmand en données de former de grands modèles – est particulièrement intéressant.
Sur la base de ce que j’ai vu jusqu’à présent, je les classerais au niveau deux sur l’échelle d’essayer de gagner de l’argent.
Mais il y a quelque chose d’encore plus excitant dans le projet Flapping Airplanes sur lequel je n’avais pas pu mettre le doigt jusqu’à ce que je lise cet article de David Cahn, partenaire de Sequoia.
Comme le décrit Cahn, Flapping Airplanes est l’un des premiers laboratoires à aller au-delà de la mise à l’échelle, l’accumulation incessante de données et de calculs qui a défini la majeure partie de l’industrie jusqu’à présent :
Le paradigme de mise à l’échelle plaide pour consacrer une énorme quantité de ressources de la société, autant que l’économie peut en rassembler, à la mise à l’échelle des LLM d’aujourd’hui, dans l’espoir que cela conduise à l’AGI. Le paradigme de la recherche explique que nous sommes à 2 ou 3 avancées scientifiques d’une intelligence « AGI » et que, par conséquent, nous devrions consacrer des ressources à la recherche à long terme, en particulier aux projets qui peuvent prendre 5 à 10 ans pour se concrétiser.
(…)
Une approche axée sur le calcul donnerait la priorité à l’échelle du cluster avant tout et favoriserait fortement les gains à court terme (de l’ordre de 1 à 2 ans) par rapport aux paris à long terme (de l’ordre de 5 à 10 ans). Une approche axée sur la recherche répartirait les paris dans le temps et devrait être prête à faire de nombreux paris qui ont une faible probabilité absolue de fonctionner, mais qui élargissent collectivement l’espace de recherche de ce qui est possible.
Il se peut que les spécialistes du calcul aient raison, et il est inutile de se concentrer sur autre chose que la construction frénétique de serveurs. Mais avec autant d’entreprises déjà orientées dans cette direction, il est agréable de voir quelqu’un prendre le chemin inverse.
