Alors que la poussée de l’infrastructure de l’IA atteint des proportions stupéfiantes, il y a plus de pression que jamais pour extraire autant d’inférences que possible des GPU dont ils disposent. Et pour les chercheurs experts dans une technique particulière, c’est le moment idéal pour lever des fonds.
Cela fait partie de la force motrice derrière Tensormesh, lancé furtivement cette semaine avec 4,5 millions de dollars de financement de démarrage. L’investissement a été dirigé par Laude Ventures, avec un financement providentiel supplémentaire du pionnier des bases de données Michael Franklin.
Tensormesh utilise cet argent pour créer une version commerciale de l’utilitaire open source LMCache, lancé et maintenu par le co-fondateur de Tensormesh, Yihua Cheng. Bien utilisé, LMCache peut réduire les coûts d’inférence jusqu’à 10 fois – une puissance qui en a fait un incontournable des déploiements open source et attiré par les intégrations de poids lourds comme Google et Nvidia. Tensormesh envisage désormais de transformer cette réputation universitaire en une entreprise viable.
Le cœur du produit est le cache clé-valeur (ou cache KV), un système de mémoire utilisé pour traiter plus efficacement les entrées complexes en les condensant jusqu’à leurs valeurs clés. Dans les architectures traditionnelles, le cache KV est supprimé à la fin de chaque requête – mais le co-fondateur et PDG de Tensormesh, Junchen Jiang, affirme qu’il s’agit d’une énorme source d’inefficacité.
« C’est comme si un analyste très intelligent lisait toutes les données, mais oubliait ce qu’il avait appris après chaque question », explique Jiang.
Au lieu de supprimer ce cache, les systèmes de Tensormesh le conservent, ce qui lui permet d’être redéployé lorsque le modèle exécute un processus similaire dans une requête distincte. La mémoire GPU étant si précieuse, cela peut nécessiter de répartir les données sur plusieurs couches de stockage différentes, mais la récompense est une puissance d’inférence nettement supérieure pour la même charge de serveur.
Le changement est particulièrement puissant pour les interfaces de discussion, puisque les modèles doivent continuellement se référer au journal de discussion croissant au fur et à mesure que la conversation progresse. Les systèmes agentiques ont un problème similaire, avec un journal croissant d’actions et d’objectifs.
En théorie, il s’agit d’une évolution que les entreprises d’IA peuvent exécuter elles-mêmes – mais la complexité technique rend la tâche ardue. Compte tenu du travail de recherche de l’équipe Tensormesh sur le processus et la complexité des détails lui-même, la société parie qu’il y aura une forte demande pour un produit prêt à l’emploi.
« Conserver le cache KV dans un système de stockage secondaire et le réutiliser efficacement sans ralentir l’ensemble du système est un problème très difficile », explique Jiang. « Nous avons vu des gens embaucher 20 ingénieurs et passer trois ou quatre mois à construire un tel système. Ou bien ils peuvent utiliser notre produit et le faire de manière très efficace. »
