Meta et Microsoft présentent la nouvelle génération de Llama

Les récentes percées dans le domaine de l’IA, et de l’IA générative en particulier, ont captivé l’imagination du public et démontré ce que ceux qui développent ces technologies savaient depuis longtemps : elles ont le potentiel d’aider les gens à faire des choses incroyables, de créer une nouvelle ère d’opportunités économiques et sociales et de donner les particuliers, les créateurs et les entreprises de nouvelles façons de s’exprimer et de se connecter avec les gens.

Nous pensons qu’une approche ouverte est la bonne pour le développement des modèles d’IA d’aujourd’hui, en particulier ceux de l’espace génératif où la technologie progresse rapidement. En rendant les modèles d’IA disponibles ouvertement, ils peuvent profiter à tout le monde. Donner aux entreprises, aux startups, aux entrepreneurs et aux chercheurs l’accès à des outils développés à une échelle qu’il serait difficile de construire eux-mêmes, soutenus par une puissance de calcul à laquelle ils n’auraient peut-être pas accès autrement, leur ouvrira un monde d’opportunités pour expérimenter et innover de manière passionnante. , et en fin de compte bénéficier économiquement et socialement.

Et nous pensons que c’est plus sûr. L’ouverture de l’accès aux modèles d’IA d’aujourd’hui signifie qu’une génération de développeurs et de chercheurs peut les tester, identifier et résoudre rapidement les problèmes, en tant que communauté. En voyant comment ces outils sont utilisés par d’autres, nos propres équipes peuvent en tirer des enseignements, améliorer ces outils et corriger les vulnérabilités.

Meta a placé la recherche exploratoire, l’open source et la collaboration avec des partenaires universitaires et industriels au cœur de nos efforts en matière d’IA depuis plus d’une décennie. Nous avons vu de première main comment l’innovation ouverte peut conduire à des technologies qui profitent à plus de gens. Des dizaines de grands modèles de langage ont déjà été publiés et font progresser les développeurs et les chercheurs. Ils sont utilisés par les entreprises comme ingrédients de base pour de nouvelles expériences génératives basées sur l’IA. Nous avons été époustouflés par l’énorme demande pour Llama 1 de la part des chercheurs – avec plus de 100 000 demandes d’accès au grand modèle de langage – et les choses incroyables qu’ils ont accomplies en construire dessus.

Nous sommes maintenant prêts à ouvrir la prochaine version de Llama 2 et nous la rendons disponible gratuit pour la recherche et l’utilisation commerciale. Nous incluons également les pondérations du modèle et le code de départ pour le modèle pré-entraîné et les versions conversationnelles affinées. Comme Satya Nadella l’a annoncé sur scène à Microsoft Inspire, nous portons notre partenariat au niveau supérieur avec Microsoft en tant que partenaire privilégié pour Llama 2 et élargissons nos efforts dans l’IA générative. À partir d’aujourd’hui, Llama 2 est disponible dans le catalogue de modèles Azure AI, permettant aux développeurs utilisant Microsoft Azure de créer avec lui et d’exploiter leurs outils cloud natifs pour le filtrage de contenu et les fonctionnalités de sécurité. Il est également optimisé pour s’exécuter localement sur Windows, offrant aux développeurs un flux de travail transparent car ils offrent des expériences d’IA génératives aux clients sur différentes plates-formes. Llama 2 est également disponible via Amazon Web Services (AWS), Hugging Face et d’autres fournisseurs.

Les particuliers et les entreprises ont bénéficié du partenariat de longue date entre Microsoft et Meta. Ensemble, nous avons introduit un écosystème ouvert pour les cadres d’IA interchangeables, et nous avons co-écrit des articles de recherche pour faire progresser l’état de l’art en matière d’IA. Nous avons collaboré pour étendre l’adoption de TorchePy – le principal framework d’IA d’aujourd’hui créé par Meta et la communauté de l’IA – sur Azure, et nous sommes parmi les membres fondateurs de la Fondation PyTorch. Microsoft et Meta ont récemment rejoint une cohorte de partisans qui approuvent le Partenariat sur le cadre de l’IA pour une action collective dans la création et le partage de médias synthétiques. Notre partenariat s’étend en dehors de l’IA et dans le métaverse également pour offrir des expériences immersives pour l’avenir du travail et des loisirs.

Désormais, avec ce partenariat élargi, Microsoft et Meta soutiennent une approche ouverte pour fournir un accès accru aux technologies d’IA fondamentales au profit des entreprises du monde entier. Il n’y a pas que Meta et Microsoft qui croient en la démocratisation de l’accès aux modèles d’IA d’aujourd’hui. Nous avons un large éventail de supporters divers dans le monde entier qui croient également en cette approche – y compris des entreprises qui nous ont fait part de leurs premiers commentaires et sont ravies de créer de nouveaux produits avec Llama 2, des fournisseurs de cloud qui incluront Llama 2 dans leurs offres pour les clients, des instituts de recherche qui collaborent avec nous sur le déploiement sûr et responsable de grands modèles génératifs et des personnes de la technologie, du milieu universitaire et de la politique qui voient les avantages comme nous.

Un focus sur la responsabilité

Notre approche open source favorise la transparence et l’accès. Nous savons que si l’IA a apporté d’énormes progrès à la société, elle comporte également des risques. Nous nous engageons à construire de manière responsable et fournissons un certain nombre de ressources pour aider ceux qui utilisent Llama 2 à le faire également.

• Exercices d’équipe rouge : Nos modèles affinés ont été red-teamed – testés pour la sécurité – grâce à des efforts internes et externes. L’équipe a travaillé pour générer des invites contradictoires afin de faciliter le réglage fin du modèle. De plus, nous avons chargé des tiers de mener des tests contradictoires externes sur nos modèles affinés afin d’identifier de la même manière les écarts de performance. Ces processus de mise au point de la sécurité sont itératifs ; nous continuerons d’investir dans la sécurité grâce à des ajustements et à des analyses comparatives et nous prévoyons de publier des modèles mis à jour et affinés sur la base de ces efforts.
• Schéma de transparence : Nous expliquons nos méthodes de mise au point et d’évaluation du modèle et identifions ses lacunes. Notre schéma de transparence, qui se trouve dans le document de rechercherévèle les défis et problèmes connus que nous avons rencontrés et donne un aperçu des mesures d’atténuation prises et futures que nous avons l’intention d’explorer.
• Guide d’utilisation responsable : Nous avons créé ce guide en tant que ressource pour soutenir les développeurs avec les meilleures pratiques en matière de développement responsable et d’évaluations de la sécurité. Il décrit les meilleures pratiques reflétant la recherche de pointe actuelle sur l’IA générative responsable discutée dans l’industrie et la communauté de recherche en IA.
• Politique d’utilisation acceptable : Nous mettons un politique en place qui interdit certains cas d’utilisation pour aider à garantir que ces modèles sont utilisés de manière équitable et responsable.

Meta a également créé de nouvelles initiatives pour exploiter la perspicacité et la créativité des individus, des chercheurs et des développeurs du monde entier afin d’obtenir des commentaires sur les performances des modèles et sur la manière dont ils pourraient être améliorés.

• Communauté de recherche sur l’innovation ouverte en IA : Aujourd’hui, nous avons également lancé un nouveau partenariat programme pour les chercheurs universitaires qui vise à approfondir notre compréhension du développement responsable et du partage des grands modèles linguistiques. Les chercheurs peuvent demander à rejoindre une communauté de praticiens pour partager leurs connaissances sur ce sujet important, et la communauté établira un programme de recherche à poursuivre.
• Défi Impact Lama : Nous voulons activer la communauté des innovateurs qui aspirent à utiliser Llama pour résoudre des problèmes difficiles. Nous lançons un défi pour encourager un ensemble diversifié d’entités publiques, à but non lucratif et à but lucratif à utiliser Llama 2 pour relever des défis environnementaux, éducatifs et autres importants. Le règles de défi sera disponible avant le début de celui-ci.

Conclusion

Tout au long de l’histoire de notre entreprise, nous avons expérimenté les avantages d’une approche open source lors de l’innovation dans d’autres domaines de l’entreprise. Nos ingénieurs ont développé et partagé des frameworks qui sont désormais des standards de l’industrie, comme React, un framework leader pour la création d’applications Web et mobiles, et PyTorch, qui est désormais le framework leader pour l’IA. Celles-ci sont devenues des infrastructures couramment utilisées pour l’ensemble de l’industrie technologique. Nous pensons que le partage ouvert des grands modèles de langage d’aujourd’hui soutiendra également le développement d’une IA générative utile et plus sûre.

Nous avons hâte de voir ce que le monde construit avec Llama 2.