Uptime Industries a pris un pari sur les infrastructures Prime avec un dispositif portable «AI-in-A-Box» appelé Lemony AI.
La taille d’un sandwich, de l’IA citronnée peut supposer un modèle grand langage (LLM), des agents d’IA et des flux de travail AI sur un seul nœud. Chaque citron vert ne nécessite que 65 watts de puissance à fonctionner, l’équivalent de charger un ordinateur portable, et peut être empilé et connecté pour former des grappes d’IA plus importantes.
Sascha Buehrle, co-fondatrice et PDG de Uptime, a déclaré à TechCrunch que chaque nœud peut maintenir un LLM jusqu’à 75 milliards de paramètres et peut héberger des modèles open-source ou des versions modernisées de modèles fermés. Dans un groupe de nœuds citronnés, chaque appareil peut exécuter un modèle différent.
Uptime est lancé avec des partenariats avec IBM et JetBrains pour offrir à ses clients un accès plus facile aux modèles d’IA, comprenant les modèles fermés d’IBM.
Comme la plupart des startups technologiques, l’idée de Lemony AI est issue d’un projet parallèle: les co-fondateurs de Uptime, Buehrle et Ivan Kuleshov, essayaient de comprendre qu’ils pouvaient distribuer des modèles de langage sur les micro-ordinateurs de Raspberry Pi, et bien que cela n’ait pas été lié à l’origine, ils ont commencé à essayer de voir ce que ces Pi de Raspberry Pi pouvaient gérer.
Lorsqu’ils ont réalisé que les modèles d’exécution sur des appareils locaux pourraient prouver la clé pour débloquer plus d’adoption de l’IA par les organisations-Say, les entreprises que vous souhaitez utiliser des modèles basés sur le cloud – ils ont commencé à créer leur propre appareil. Ils pensent que le fait de s’affronter en mettant l’accent sur la confidentialité des données pourrait permettre aux entreprises d’adopter une IA plus rapidement.
« Nous devons construire quelque chose de petit qui peut facilement entrer dans les équipes, et qui (fait) ne nécessite aucune solutions de génération de décision à l’échelle de l’organisation à l’origine dans les équipes commerciales, Basalely », a déclaré Buehrle. Des grappes de petits dispositifs électriques peuvent aider le système à se développer en fonction des besoins d’un client, a-t-il ajouté.
L’entreprise affirme qu’elle a déjà fait la demande des affaires dans les industries régulées par les cieux comme la finance, les soins de santé et le droit.
« Tout reste dans votre boîte », a déclaré Buehrle. « Donc, vos documents, vos fichiers, vos e-mails – les modèles sont hébergés dans la boîte, les agents fonctionnent localement dans la boîte et rien ne quitte la boîte. »
La disponibilité a été levée de 2 millions de dollars dans un tour de financement des semences dirigé par True Ventures, avec la participation des Alumni Ventures, Jetbrains et certains investisseurs providentiels. L’entreprise utilisera les fonds pour développer davantage les appareils.
La startup indique que le plan est maintenant d’obtenir le logiciel qu’il a développé pour ses ordinateurs micro-AI, Lemony OS, pour travailler sur le matériel d’autres sociétés, comme le NVIDIA DGX Spark. Il souhaite également élargir le logiciel de son objectif actuel de l’utilisateur unique qui peut être utilisé par les équipes.
Le citron d’IA coûte 499 $ par mois à utiliser et peut être accentué jusqu’à cinq utilisateurs.
