Microsoft et Meta étendent leur partenariat IA avec Llama 2

Meta et Microsoft ont annoncé que Llama 2, la prochaine génération du modèle de langage open source de la société propriétaire de Facebook, Instagram et Whatsapp, sera disponible gratuitement à la fois pour la recherche et pour une utilisation commerciale. L’accord de coopération a été donné conjointement par les deux dirigeants, Mark Zuckerberg et Satya Nadella.

Cela inclut les paramètres de “pondération” du modèle et le code source pour les versions pré-entraînées et améliorées de manière conversationnelle (paramètres 7B, 13B et 70B). Il est donc possible d’accéder aux modèles de Lama 2 depuis le site dédié ou tramite Microsoft Azure e Windows, Amazon Web Services e Hugging Face.

“Nous pensons qu’une approche ouverte avec une large accessibilité est la bonne façon de se développer en utilisant le potentiel actuellement offert par les modèles d’Intelligence Artificielle”, écrit Meta dans un communiqué, expliquant que l’approche concerne “particulièrement ceux comme Llama 2, qui opèrent dans le Generative L’industrie de l’IA, où la technologie continue de progresser rapidement grâce à des avancées réelles et qualitatives.

La satisfaction de Zuckerberg avec l’opération

Visible était la satisfaction exprimée par Zuckerberg lors de l’annonce : « Nous collaborons avec Microsoft pour présenter Llama 2, la nouvelle génération de notre modèle linguistique open source. Llama 2 sera disponible gratuitement pour la recherche et pour un usage commercial ».

Et encore : “Meta a une longue histoire d’open source en ce qui concerne notre infrastructure et notre travail sur l’intelligence artificielle : de PyTorch, le framework le plus important pour l’apprentissage automatique, à des modèles tels que Segment Anything, ImageBind et Dino, jusqu’à l’infrastructure sous-jacente. dans le cadre du projet Open Compute. Cela nous a aidés à créer de meilleurs produits, faisant avancer l’industrie.”

L’open source, selon le responsable de Meta, “favorise l’innovation car il permet à davantage de développeurs de travailler avec les nouvelles technologies. Il améliore également la sécurité car lorsqu’un logiciel est ouvert, davantage de personnes peuvent l’étudier pour identifier et résoudre les problèmes potentiels”. que si l’écosystème en ligne est plus ouvert, cela conduira à plus de progrès et c’est pourquoi nous rendons Llama 2 open source.”

“Aujourd’hui – poursuit-il – nous publions des modèles pré-entraînés et raffinés avec les paramètres 7B, 13B et 70B. Llama 2 a été pré-entraîné sur un volume de données 40% plus élevé que Llama 1 et des améliorations ont été apportées à son architecture. modèles, nous avons collecté plus d’un million d’annotations humaines et appliqué un raffinement supervisé et un apprentissage renforcé par rétroaction humaine (RLHF) avec d’excellents résultats en termes de sécurité et de qualité. Enfin, l’invitation à tout tester : “J’ai hâte de voir ce que tu vas construire !”.