Nvidia mise sur TensorRT pour étendre la domination de l’IA générative

Nvidia cherche à renforcer sa présence en dehors des ventes de GPU en intégrant son kit de développement logiciel spécifique à l’IA dans davantage d’applications.

Nvidia a annoncé qu’elle ajoutait la prise en charge de son SDK TensorRT-LLM à Windows et à des modèles comme Stable Diffusion. La société a déclaré dans un article de blog qu’il vise à accélérer le fonctionnement des grands modèles de langage (LLM) et des outils associés.

TensorRT accélère l’inférence, le processus de traitement des informations pré-entraînées et de calcul des probabilités pour obtenir un résultat, comme une image de diffusion stable nouvellement générée. Avec ce logiciel, Nvidia souhaite jouer un rôle plus important dans le domaine de l’inférence de l’IA générative.

Son TensorRT-LLM décompose les LLM et leur permet de fonctionner plus rapidement sur les GPU H100 de Nvidia. Il fonctionne avec des LLM comme Meta’s Llama 2 et d’autres modèles d’IA comme Stable Diffusion de Stability AI. La société a déclaré qu’en exécutant les LLM via TensorRT-LLM, “cette accélération améliore considérablement l’expérience pour une utilisation plus sophistiquée du LLM, comme les assistants d’écriture et de codage”.

En d’autres termes, Nvidia espère non seulement fournir les GPU qui entraînent et exécutent les LLM, mais également le logiciel qui permet aux modèles de s’exécuter et de fonctionner plus rapidement afin que les utilisateurs ne cherchent pas d’autres moyens de rendre l’IA générative rentable.

La société a déclaré que TensorRT-LLM sera « disponible publiquement pour toute personne souhaitant l’utiliser ou l’intégrer » et pourra accéder au SDK sur son site. site.

Nvidia détient déjà un quasi-monopole sur les puces puissantes qui entraînent des LLM comme GPT-4 – et pour en former et en exécuter un, vous avez généralement besoin de beaucoup de GPU. La demande a grimpé en flèche pour ses GPU H100 ; les prix estimés ont atteint 40 000 $ par puce. La société a annoncé une version plus récente de son GPU, le GH200, qui arrivera l’année prochaine. Il n’est pas étonnant que les revenus de Nvidia aient atteint 13,5 milliards de dollars au deuxième trimestre.

Mais le monde de l’IA générative évolue rapidement et de nouvelles méthodes permettant d’exécuter des LLM sans avoir besoin de nombreux GPU coûteux sont apparues. Des sociétés comme Microsoft et AMD ont annoncé qu’elles fabriqueraient leurs propres puces pour réduire leur dépendance à l’égard de Nvidia.

Et les entreprises ont jeté leur dévolu sur l’aspect inférence du développement de l’IA. AMD envisage d’acheter la société de logiciels Nod.ai pour aider les LLM à fonctionner spécifiquement sur des puces AMD, tandis que des entreprises comme SambaNova propose déjà des services qui facilitent également l’exécution de modèles.

Nvidia, pour l’instant, reste le leader matériel en matière d’IA générative, mais il semble déjà se tourner vers un avenir où les gens n’auront plus à dépendre de l’achat d’un grand nombre de ses GPU.