Sarah Hooker, chercheuse en IA et défenseure de systèmes d’IA moins chers et utilisant moins de puissance de calcul, s’accroche.
L’ancien vice-président de la recherche de la société d’IA Cohere et vétéran de Google DeepMind a levé 50 millions de dollars en financement de démarrage pour sa nouvelle startup Adaption Labs.
Hooker et son co-fondateur Sudip Roy, ancien directeur du calcul d’inférence chez Cohere, visent à créer un système d’IA qui consomme moins de puissance de calcul et coûte moins cher à exécuter que la plupart des principaux modèles d’IA actuels. Ils ciblent également des modèles qui utilisent diverses techniques pour les rendre plus « adaptatifs » que la plupart des modèles existants pour les tâches individuelles qu’ils sont appelés à accomplir. (C’est l’origine du nom de la startup.)
Le cycle de financement a été mené par Emergence Capital Partners avec la participation de Mozilla Ventures, de la société de capital-risque Fifty Years, Threshold Ventures, Alpha Intelligence Capital, e14 Fund et Neo. Adoption Lab, basé à San Francisco, a refusé de fournir des informations sur sa valorisation après le financement.
Hooker a déclaré à Fortune qu’il souhaitait créer des modèles capables d’apprendre en continu, sans nécessiter de recyclage ou de réglage coûteux, et sans les incitations et l’ingénierie contextuelle approfondies que la plupart des entreprises utilisent actuellement pour adapter les modèles d’IA à leurs cas d’utilisation spécifiques.
La création de modèles capables d’apprendre en continu est considérée comme l’un des grands défis non résolus de l’IA. « C’est probablement le problème le plus important sur lequel j’ai jamais travaillé », a déclaré Hooker.
Adaption Labs représente un pari important contre la sagesse commune de l’industrie de l’IA selon laquelle la meilleure façon de créer des modèles d’IA plus performants est d’agrandir le LLM sous-jacent et de l’entraîner avec plus de données. Hooker affirme que même si les géants de la technologie dépensent des milliards de dollars en formation à grande échelle, cette approche a des rendements décroissants. « La plupart des laboratoires ne quadruplent pas la taille de leurs modèles chaque année, principalement parce que l’architecture est saturée », a-t-elle expliqué.
Hooker a déclaré que l’industrie de l’IA est à un « point de liquidation » où les améliorations ne proviendront plus de la simple construction de grands modèles, mais de la construction de systèmes qui peuvent être adaptés plus facilement et à moindre coût à la tâche à accomplir.
Adaption Labs n’est pas le seul « néolab » à rechercher de nouvelles architectures d’IA visant à déchiffrer l’apprentissage continu (ainsi appelé parce qu’il s’agit d’une nouvelle génération de laboratoires d’IA pionniers suite au succès d’entreprises plus établies telles que OpenAI, Anthropic et Google DeepMind). Jerry Tourek, chercheur principal chez OpenAI, a quitté l’entreprise ces dernières semaines pour fonder sa propre startup appelée Core Automation. Il a également déclaré qu’il souhaitait utiliser de nouvelles techniques d’IA pour créer des systèmes capables d’apprendre en continu. David Silver, ancien chercheur de Google DeepMind, a quitté le géant de la technologie le mois dernier pour lancer une startup appelée Ineffable Intelligence, qui se concentre sur l’utilisation de l’apprentissage par renforcement (où les systèmes d’IA apprennent à partir du comportement plutôt que des données statiques). Dans certaines configurations, cela pourrait également conduire à des modèles d’IA capables d’apprendre en continu.
La startup de Hooker organise ses opérations autour de trois « piliers », a-t-elle déclaré : Données adaptatives (les systèmes d’IA génèrent et manipulent les données nécessaires pour répondre à une question à la volée, plutôt que d’être formés à partir de grands ensembles de données statiques). Intelligence adaptative (ajuste automatiquement la quantité de calcul consommée en fonction de la difficulté du problème). Interfaces adaptatives (apprentissage de la façon dont les utilisateurs interagissent avec le système).
Depuis son passage chez Google, Hooker s’est bâti une réputation dans le monde de l’IA en tant que personne qui remet en question le dogme « tout ce dont vous avez besoin, c’est d’échelle » de nombre de ses collègues chercheurs en IA. Dans un article de 2020 largement cité intitulé « The Hardware Lottery », elle a fait valoir que les idées d’IA réussissent ou échouent souvent en fonction de leur adéquation avec le matériel existant, plutôt que de leurs mérites intrinsèques. Récemment, elle a rédigé un document de recherche intitulé « Sur la mort lente de la mise à l’échelle » dans lequel elle soutient que des modèles plus petits dotés de meilleures techniques de formation peuvent surpasser des modèles beaucoup plus grands.
Chez Cohere, nous avons défendu le projet Aya. Le projet était une collaboration avec 3 000 informaticiens dans 119 pays pour apporter des capacités d’IA de pointe à des dizaines de langages qui ne fonctionnaient pas bien avec les principaux modèles frontières, et ce, en utilisant un modèle relativement compact. Cette étude a démontré que des approches créatives en matière de conservation et de formation des données peuvent compléter l’échelle brute.
L’une des idées explorées par Adaption Labs est ce qu’on appelle « l’apprentissage sans gradient ». Tous les modèles d’IA actuels sont de très grands réseaux neuronaux contenant des milliards de neurones numériques. La formation traditionnelle sur les réseaux neuronaux utilise une technique appelée descente de gradient. Cela fonctionne de la même manière qu’un randonneur aux yeux bandés fait des petits pas et essaie de sentir s’il descend une pente pour trouver le point le plus bas d’une vallée. Le modèle affine des milliards de paramètres internes appelés « poids » qui déterminent dans quelle mesure un neurone donné met l’accent sur l’entrée des autres neurones auxquels il est connecté avec sa propre sortie, vérifiant après chaque étape s’il se rapproche de la bonne réponse. Ce processus nécessite une puissance de calcul importante et peut prendre des semaines, voire des mois. Une fois le modèle entraîné, ces poids sont fixés en place.
Les utilisateurs ont souvent recours à des réglages fins pour affiner un modèle pour une tâche spécifique. Cela implique de poursuivre la formation du modèle sur un ensemble de données plus petit et plus organisé (généralement composé de milliers ou de dizaines de milliers d’échantillons) et d’ajuster davantage les pondérations du modèle. Encore une fois, cela peut coûter cher, pouvant atteindre des millions de dollars dans certains cas.
Alternativement, l’utilisateur essaie simplement de donner au modèle des instructions ou des invites très spécifiques sur la manière d’effectuer la tâche que l’utilisateur souhaite que le modèle exécute. Hooker rejette cela comme étant des « acrobaties rapides », notant que les invites se cassent souvent et doivent être réécrites à chaque fois qu’une nouvelle version du modèle est publiée.
Elle a déclaré que son objectif était « d’éliminer l’ingénierie instantanée ».
L’apprentissage sans gradient évite de nombreux problèmes grâce à un réglage fin et à une ingénierie rapide. Plutôt que d’ajuster tous les poids internes d’un modèle via une formation coûteuse, l’approche d’Adaption Labs modifie le comportement du modèle au moment où il répond à une requête, un moment que les chercheurs appellent « temps d’inférence ». Les poids de base du modèle restent inchangés, mais le système peut adapter son comportement en fonction de la tâche à accomplir.
« Comment mettre à jour le modèle sans modifier les poids ? » » dit Hooker. « Il existe des innovations vraiment intéressantes dans le domaine de l’architecture, qui exploitent l’informatique de manière plus efficace. »
Elle a mentionné plusieurs façons différentes de procéder. L’une d’entre elles est la « fusion à la volée ». Le système choisit parmi ce qui est essentiellement un répertoire d’adaptateurs, souvent de petits modèles formés individuellement sur de petits ensembles de données. Ces adaptateurs façonnent la réponse du modèle majeur à grande échelle. Le modèle décidera quel adaptateur utiliser en fonction des questions de l’utilisateur.
Une autre méthode est le « décodage dynamique ». Le décodage fait référence à la manière dont le modèle sélectionne le résultat parmi la plage de réponses attendue. Le décodage dynamique modifie les probabilités en fonction de la tâche à accomplir sans modifier les poids sous-jacents du modèle.
« Nous nous éloignons d’un simple modèle », a déclaré Hooker. « Cela fait partie d’un concept profond. Il est basé sur l’interaction et le modèle doit changer en temps réel en fonction de la tâche à accomplir. »
Hooker soutient que l’adoption d’une telle approche modifie fondamentalement l’économie de l’IA. « Le type d’informatique le plus coûteux est l’informatique de pré-formation, principalement parce qu’elle nécessite une énorme quantité de calcul et beaucoup de temps. Avec l’informatique inférentielle, vous en avez plus pour votre argent (avec chaque unité de puissance de calcul) », a-t-elle déclaré.
Roy, CTO d’Adaption, apporte une expertise approfondie dans l’exécution efficace des systèmes d’IA. « Mon co-fondateur fait fonctionner les GPU très rapidement, ce qui est important pour nous car nous avons un composant en temps réel », a déclaré Hooker.
Hooker a déclaré qu’Adaption prévoyait d’utiliser le financement du cycle de démarrage pour embaucher davantage de chercheurs et d’ingénieurs en IA, ainsi que de concepteurs pour travailler sur une variété d’interfaces utilisateur d’IA, et pas seulement sur la « barre de discussion » standard utilisée par la plupart des modèles d’IA.
