IBM propose une version optimisée de l’IA Open-Source Mistral sur watsonx pour concurrencer Microsoft

L’accord entre Mistral et Microsoft ne se passe pas bien (voir notre article) ? IBM a la solution. L’entreprise propose une version optimisée de Mixtral-8x7B. Particularité ? Il reste bien open source. Et ce n’est pas le seul modèle ouvert disponible.

jeBM propose une version optimisée de Mixtral-8x7b (open source). Le modèle Mixtral-8x7B peut traiter et à analyser rapidement de grandes quantités de données. Lors de tests internes à IBM et Red Hat, le modèle a permis d’augmenter le débit de 50 % par rapport au modèle standard.

Traduction : cela pourrait réduire le temps de latence de 35 à 75 %, en fonction de la taille du prompt. Ce résultat est théorique évidemment, mais il a été obtenu grâce à un processus appelé quantization, qui réduit la taille du modèle et les besoins en mémoire pour les LLMs.

Pour une intelligence artificielle au service de l’intelligence humaine

IBM rappelle que Mixtral-8x7B (utilisé par Brave notamment) a été conçu en combinant le Modélisation clairsemée – elle n’utilise que les parties les plus essentielles des données pour créer des modèles plus efficaces – et la technique de Mélange d’expertsqui combine différents modèles (“experts”) qui se spécialisent dans différentes parties d’un problème et les résolvent.

D’autres modèles open source disponibles

Mistral n’est pas le seul éditeur proposé par IBM, qui adopte une position très neutre et ouverte sur la question des LLM. La semaine dernière, la maison-mère de Red Hat a également annoncé la disponibilité d’ELYZA-japanese-Llama-2-7b, un modèle LLM japonais Open-Source de la société ELYZA Corporation, sur watsonx. IBM propose également les modèles open-source Llama-2-13B-chat et Llama-2-70B-chat de Meta, ainsi que d’autres modèles de tiers sur watsonx, et d’autres encore seront disponibles au cours des prochains mois.

Articles similaires