Richard Socher est une figure majeure de l’IA depuis un certain temps, surtout connu pour avoir fondé la première startup de chatbot You.com et, avant cela, pour son travail sur ImageNet. Il rejoint désormais la génération actuelle de startups d’IA axées sur la recherche avec Recursive Superintelligence, une startup basée à San Francisco qui est sortie furtivement mercredi avec un financement de 650 millions de dollars.
Socher est rejoint dans la nouvelle entreprise par une cohorte d’éminents chercheurs en IA, dont Peter Norvig et le co-fondateur de Cresta, Tim Shi. Ensemble, ils travaillent à la création d’un modèle d’IA auto-amélioré de manière récursive, capable d’identifier de manière autonome ses propres faiblesses et de se repenser pour les corriger, sans implication humaine – un Saint Graal de longue date de la recherche contemporaine sur l’IA.
J’ai parlé avec lui sur Zoom après le lancement, explorant l’approche technique unique de Recursive et pourquoi il ne considère pas ce nouveau projet comme un néolab, le terme informel désignant une nouvelle génération de startups d’IA qui donnent la priorité à la recherche plutôt qu’à la construction de produits.
Cette interview a été éditée pour des raisons de longueur et de clarté.
On entend beaucoup parler de récursion ces jours-ci ! Cela semble être un objectif très commun dans différents laboratoires. Selon vous, quelle est votre approche unique ?
Notre approche unique consiste à utiliser l’ouverture pour parvenir à une amélioration personnelle récursive, ce que personne n’a encore atteint. C’est un objectif insaisissable pour beaucoup de gens. Beaucoup de gens supposent déjà que cela se produit lorsque vous effectuez simplement une recherche automatique. Vous savez, vous pouvez prendre l’IA et lui demander d’améliorer autre chose, qui pourrait être un système d’apprentissage automatique, ou simplement une lettre que vous écrivez, ou, vous savez, quoi que ce soit, n’est-ce pas ? Mais il ne s’agit pas d’une auto-amélioration récursive. C’est juste une amélioration.
Notre objectif principal est de construire à grande échelle une superintelligence véritablement récursive et auto-améliorée, ce qui signifie que l’ensemble du processus d’idéation, de mise en œuvre et de validation des idées de recherche serait automatique.
Premièrement (cela automatiserait) les idées de recherche sur l’IA, puis éventuellement tout type d’idées de recherche, même éventuellement dans les domaines physiques. Mais elle est particulièrement puissante lorsque l’IA travaille sur elle-même et développe un nouveau type de conscience de ses propres défauts.
Vous avez utilisé le terme « ouvert » : est-ce que cela a une signification technique spécifique ?
C’est le cas. En fait, Tim Rocktäschel, l’un de nos co-fondateurs, a dirigé les équipes d’ouverture et d’auto-amélioration de Google DeepMind et a notamment travaillé sur le modèle mondial Genie 3, qui est un excellent exemple d’ouverture. Vous pouvez lui expliquer n’importe quel concept, n’importe quel monde, n’importe quel agent, et il le crée simplement, et c’est interactif.
Dans l’évolution biologique, les animaux s’adaptent à l’environnement, puis d’autres s’adaptent à ces adaptations. C’est juste un processus qui peut évoluer sur des milliards d’années, et des choses intéressantes continuent de se produire, n’est-ce pas ? C’est ainsi que nous avons développé des yeux dans nos (têtes).
Un autre exemple est l’équipe arc-en-ciel, tiré d’un autre article de Tim. Avez-vous entendu parler de l’équipe rouge ?
En cybersécurité, cela signifie…
Ainsi, le red teaming doit également se faire dans un contexte LLM. Fondamentalement, vous essayez de demander au LLM de vous dire comment construire une bombe, et vous voulez vous assurer qu’il ne le fait pas.
Désormais, les humains peuvent rester assis longtemps et proposer des exemples intéressants de ce que l’IA ne devrait pas dire. Mais que se passerait-il si vous testiez cette première IA avec une deuxième IA, et que cette deuxième IA a maintenant pour tâche de faire (essayer de) dire à la première IA toutes les mauvaises choses possibles. Et puis ils peuvent faire des allers-retours pendant des millions d’itérations.
Vous pouvez en fait permettre à deux IA de co-évoluer. L’un continue d’attaquer l’autre, puis propose non pas un seul angle, mais de nombreux angles différents, d’où l’analogie avec l’arc-en-ciel. Et puis vous pouvez inoculer la première IA, et vous devenez de plus en plus en sécurité. C’était une idée de Tim Rocktaeschel, et elle est désormais utilisée dans tous les grands laboratoires.
Comment savoir quand c’est fait ? Je suppose que cela n’a jamais été fait.
Certaines de ces choses ne seront jamais réalisées. Vous pouvez toujours devenir plus intelligent. Vous pouvez toujours vous améliorer en programmation, en mathématiques, etc. Il y a certaines limites à l’intelligence ; En fait, j’essaie de les formaliser en ce moment, mais ils sont astronomiques. Nous sommes très loin de ces limites.
En tant que néolab, vous avez l’impression d’être censé faire quelque chose que les grands laboratoires ne font pas. Une partie de l’implication ici est que vous ne pensez pas que les grands laboratoires parviendront à réaliser le RSI (auto-amélioration récursive) en faisant ce qu’ils font. Est-ce juste de le dire ?
Je ne peux pas vraiment commenter ce qu’ils font, mais je pense que nous abordons les choses différemment. Nous adhérons vraiment au concept d’ouverture et notre équipe se concentre entièrement sur cette vision. Et l’équipe a fait des recherches sur ce sujet et rédigé des articles dans ce domaine au cours de la dernière décennie. Et l’équipe a fait ses preuves en faisant vraiment avancer le domaine de manière significative et en expédiant de vrais produits. Vous savez, Tim Shi a transformé Cresta en licorne. Josh Tobin a été l’une des premières personnes d’OpenAI et a finalement dirigé leurs équipes Codex et les équipes de recherche approfondie.
En fait, j’ai parfois un peu de mal avec cette catégorie néolab. J’ai l’impression que nous ne sommes pas seulement un laboratoire. Je veux que nous devenions une entreprise vraiment viable, que nous ayons vraiment des produits incroyables que les gens aiment utiliser et qui ont un impact positif sur l’humanité.
Alors, quand comptez-vous expédier votre premier produit ?
J’y ai beaucoup réfléchi. L’équipe a fait tellement de progrès que nous pouvons réellement allonger les délais par rapport à ce que nous avions initialement supposé. Mais oui, il y aura des produits, et il faudra attendre des trimestres, pas des années.
L’une des idées autour de l’auto-amélioration récursive est que, une fois que nous disposons de ce type de système, le calcul devient la seule ressource importante. Plus vite vous exécuterez le système, plus vite il s’améliorera, et aucune activité humaine extérieure ne fera vraiment la différence. La question se pose alors : quelle puissance de traitement pouvons-nous y consacrer ? Pensez-vous que c’est vers ce monde que nous nous dirigeons ?
Le calcul ne doit pas être sous-estimé. Je pense qu’à l’avenir, une question très importante sera : quelle quantité de calcul l’humanité veut-elle dépenser pour résoudre quels problèmes ? Voici ce cancer et voici ce virus : lequel voulez-vous résoudre en premier ? Quelle quantité de calcul voulez-vous lui donner ? Cela devient finalement une question d’allocation des ressources. Ce sera l’une des plus grandes questions au monde.
Lorsque vous achetez via des liens dans nos articles, nous pouvons gagner une petite commission. Cela n’affecte pas notre indépendance éditoriale.
