San Jose, Californie, 05 février 2025 (Globe Newswire) – Avec la demande croissante d’applications d’IA génératrices, l’optimisation des modèles de grande langue (LLM) et la réduction des coûts sont devenus essentiels. Pliops permet aux développeurs de relever ces défis de front. Chez AI DevWorld la semaine prochaine, Pliops présentera sa solution innovante XDP Lightningai, qui révolutionne les performances de LLM en fournissant des gains d’efficacité de bout en bout tout en réduisant considérablement les exigences de coût, de puissance et de calcul. En permettant à VLLM de traiter chaque contexte une seule fois, Pliops établit une nouvelle norme pour l’innovation d’IA évolutive et durable.
Alors que les LLM continuent de croître en taille et en sophistication, leurs demandes de puissance de calcul et d’énergie augmentent également considérablement. Cette croissance introduit des défis, tels que des temps de traitement plus longs, pour générer le premier jeton d’une réponse en raison de la nécessité de gérer un contexte étendu. Notamment, jusqu’à 99% des données contextuelles – telles que l’historique des conversations, les livres et le texte spécifique au domaine – peuvent être traités à plusieurs reprises lors de l’inférence LLM. Cette répétition conduit à des inefficacités, car ces modèles doivent calculer continuellement leurs caches de valeur clé (KV) pour des informations inchangées.
Pliops Lightningai: un coup de pouce pour Vllm
PLIOPS XDP Lightningai, un nœud intelligent révolutionnaire accéléré KV distribué, introduit un nouveau niveau de la mémoire de pétaoctet sous la mémoire à large bande passante (HBM) pour les applications de calcul GPU. Il utilise un stockage intelligent rentable et désagrégé pour conserver les caches KV calculées, ce qui leur permet d’être récupéré s’ils sont jetés à partir de HBM. Lors du service d’un contexte prétraité, les caches KV enregistrées sont efficacement chargées à partir du stockage, permettant à VLLM de générer un nouveau contenu considérablement plus rapidement.
La solution d’inférence LLM de Pliops est optimale pour les agents de tâches autonomes de l’IA, un cas d’utilisation émergent pour les LLM. Ces modèles ont la capacité de fonctionner de manière autonome et sont aptes à aborder un éventail diversifié de tâches complexes grâce à une planification stratégique, un raisonnement sophistiqué et une interaction dynamique avec des environnements externes.
La démo AI DevWorld de Pliops, avec des conversations multiples, prend en charge fondamentalement des agents de tâches autonomes. Au salon, le CTO et co-fondateur de Pliops, Moshe Twitto, présentera une présentation qui met en évidence les détails et donne un aperçu de cette capacité révolutionnaire. La session aura lieu le jeudi 13 février à 10 h PST – avec une session virtuelle qui suivra le jeudi 20 février à 10 h.
XDP Lightningai sature complètement le tissu (y compris 400 g et au-delà), même lors de la gestion du trafic avec des tailles d’E / S aléatoires extrêmement petites pour les opérations de lecture et d’écriture. Il facilite également le partage transparent des caches KV sur plusieurs GPU, les instances VLLM et les utilisateurs. Avec une capacité de stockage pratiquement illimitée, toute partie du contexte en cache peut être réutilisée sans recomputation, débloquant de nouveaux niveaux d’évolutivité et d’efficacité.
XDP Lightningai se connecte facilement aux serveurs GPU en tirant parti de l’écosystème de stockage NVME-OF mature pour fournir un service KV distribué. XDP Lightningai surpasse le système de fichiers traditionnels (FS) et les solutions basées sur DRAM, abordant les limitations critiques de la gestion des charges de travail AI modernes.
La technologie de Pliops est très polyvalente et efficace, soutenant toutes les progrès dans les LLM. L’annonce récente de Deepseek et de ses innovations renforce encore la pointe de Pliops. Chacune des principales innovations architecturales de Deepseek améliore ou conserve les avantages de la solution de déchargement du cache KV de Pliops.
- MLA (compression KV) Réduit la taille du cache KV mais ne réduit pas le calcul, ce qui entraîne un gain net pour les Pliops.
- Décodage spéculatifRéduit la bande passante HBM par jeton, ce qui rend le lot plus efficace, ce qui renforce les avantages de Pliops.
- Désagrégation du code pré-décodes’aligne sur la direction attendue du marché de Pliops, où sa solution offre jusqu’à 8x gains d’efficacité.
Les progrès de Deepseek soulignent la robustesse de la solution de magasin KV partagée de Pliops. À mesure que de nouveaux modèles émergent, les goulots d’étranglement fondamentaux dans la bande passante de la mémoire et l’E / S persistent, garantissant que les PLIOPS restent un catalyseur critique pour l’inférence IA à haute performance.
Vivre à Ai Devworld
Pliops s’est concentré sur l’inférence LLM, une zone cruciale et en évolution rapide dans le monde du Genai qui exige des améliorations d’efficacité importantes. La démo de l’entreprise à l’IA Devworld est centrée sur l’accélération des applications d’inférence LLM. Ce même niveau de mémoire est parfaitement applicable à d’autres applications Genai que PLIOPS prévoit d’introduire au cours des prochains mois.
«En tant que plus grand événement de développement de l’intelligence artificielle au monde, AI DevWorld fournit la plate-forme parfaite pour montrer comment nos solutions transforment les infrastructures d’IA, permettant aux développeurs de créer des applications d’IA plus rapides, plus durables et évolutives», a déclaré Ido Bukspan, PLIOP PDG. «Nous sommes ravis de partager comment notre technologie ouvre la voie à une innovation d’IA plus rapide, plus efficace et rentable.»
Faits saillants du stand de Pliops # 912 sur le plancher de l’AI Devworld Show du Santa Clara Convention Center comprend:
- Pliops XDP Lightningai fonctionnant avec des serveurs Dell PowerEdge
- PLIOPS XDP Améliorations pour AI VectordB
Pour plus d’informations sur Pliops, veuillez visiter www.pliops.com.
À propos des pliops
Gagnant de la solution d’IA la plus innovante FMS 2024, Pliops est un innovateur technologique axé sur la création de centres de données plus rapidement et plus efficacement. Le processeur de données extrêmes de l’entreprise (XDP) simplifie radicalement la façon dont les données sont traitées et gérées. PLIOPS surmonte les inefficacités d’E / S pour accélérer massivement les performances et réduire considérablement les coûts d’infrastructure globaux pour les applications d’IA avides de données. Fondée en 2017, Pliops a été nommé à quelques reprises l’une des 10 startups semi-conductrices les plus chaudes. La société a levé plus de 200 millions de dollars à ce jour des principaux investisseurs, notamment Koch Disruptive Technologies, State of Mind Ventures Momentum, Intel Capital, Viola Ventures, Softbank Ventures Asia, Expon Capital, Nvidia, AMD, Western Digital, SK Hynix et Alicorn. Pour plus d’informations, visitez www.pliops.com.
Contact médiatique:
Stéphanie Olsen
Lages et associés
(949) 453-8080
[email protected]
Une photo accompagnant cette annonce est disponible à
#Pliops #apporte #nouveau #niveau #mémoire #LLM #facilité #dutilisation