Intelligence artificielle et HPC, AMD ROCm 6.3 arrive

ROCm 6.3 change la donne pour l’open source DMLA et introduit des outils avancés pour alimenter les charges de travail IA, ML et HPC sur les accélérateurs GPU Instinct.
Il est conçu pour prendre en charge un large éventail de clients, des startups innovantes en IA aux industries basées sur le HPC, en améliorant la productivité des développeurs et en offrant des performances exceptionnelles.

La plateforme assure une intégration parfaite SG Lang pour l’inférence accélérée de l’IA, un FlashAttention-2 repensé pour la formation et l’inférence, l’introduction du Vitesse de Fourier (FFT) multi-nœuds pour révolutionner les flux de travail HPC et plus encore

SGLang dans ROCm 6.3 : modèles d’inférence ultrarapide et d’intelligence artificielle générative (GenAI)

GenAI transforme les industries, mais déployer de grands modèles signifie souvent relever les défis de latence, de débit et d’utilisation des ressources. SGLang est un nouveau moteur d’exécution pris en charge par ROCm 6.3, spécialement conçu pour optimiser l’inférence de modèles génératifs de pointe tels que LLM et VLM sur les GPU AMD Instinct.
Le système offre un débit 6 fois plus élevé et une grande facilité d’utilisation grâce à l’intégration et à la préconfiguration Python.

FlashAttention-2 copié sur AMD Instinct

Les modèles de transformateurs sont au cœur de l’IA moderne, mais leurs exigences élevées en matière de mémoire et de calcul limitent traditionnellement leur évolutivité. Avec FlashAttention-2 optimisé pour ROCm 6.3, AMD corrige ces faiblesses, permettant une formation et une inférence plus rapides et plus efficaces.
Le système offre un Accélération 3X et des longueurs de séquence étendues pour une utilisation efficace de la mémoire et une réduction des frais d’E/S.

Compilateur AMD Fortran

Les entreprises exécutant d’anciennes applications HPC basées sur Fortran peuvent désormais exploiter la puissance de l’accélération GPU moderne avec les accélérateurs AMD Instinct, grâce au nouveau compilateur AMD Fortran introduit dans ROCm 6.3. Parmi les avantages : Déchargement direct du GPU, compatibilité descendante et intégrations simplifiées avec les noyaux HIP et les bibliothèques ROCm.

Nouvelle FFT multi-nœuds dans rocFFT

Les industries qui s’appuient sur des charges de travail HPC, du pétrole et du gaz à la modélisation climatique, ont besoin de solutions informatiques distribuées évolutives efficacement. ROCm 6.3 introduit le Prise en charge de la FFT multi-nœuds dans rocFFT, permettant des calculs FFT distribués hautes performances. Cela garantit l’intégration MPI (Message Passing Interface) et une évolutivité transparente sur d’énormes ensembles de données.

Bibliothèques de vision par ordinateur améliorées : AV1, rocJPEG

Les développeurs d’IA travaillant avec des médias et des ensembles de données modernes ont besoin d’outils efficaces pour le prétraitement. ROCm 6.3 introduit des améliorations à ses bibliothèques de vision par ordinateur, rocDécoder, rocJPEG e RocALpermettant aux entreprises de gérer diverses charges de travail, de l’analyse vidéo à l’augmentation des ensembles de données. Cela fournit une prise en charge du codec AV1, un décodage JPEG accéléré par GPU et un prétraitement amélioré pour une formation de modèles robuste dans des environnements bruyants avec la bibliothèque rocAL.

En plus de ces caractéristiques distinctives, il convient de souligner qu’Omnitrace et Omniperf, introduits dans ROCm 6.2, ont été renommés ROCm System Profiler et ROCm Compute Profiler. Ce changement de marque contribuera à améliorer la convivialité, la stabilité et l’intégration transparente dans l’écosystème de profilage ROCm actuel.