NVIDIA a fait un gros pari sur l’IA ces derniers mois, et si cela s’applique au matériel que l’entreprise a développé pour les centres de données et le traitement de l’IA, la même technologie pourrait désormais se concrétiser et atteindre les consommateurs en général.
La société a dévoilé aujourd’hui son nouveau Discutez avec RTXune application qui vous permet d’exécuter des modèles LLM localement, en utilisant la puissance de traitement des dernières cartes graphiques RTX.
Cette application permet aux utilisateurs d’avoir leur propre chatbot directement sur leur PC, fonctionnant localement. La base de données est créée par les utilisateurs eux-mêmes, qui peuvent fournir des documents ou même des vidéos YouTube, et l’IA peut y répondre au contenu.
Pour exécuter cette application, les utilisateurs doivent disposer d’au moins une carte graphique RTX 30 ou 40, avec 8 Go de VRAM. Vous avez également besoin de 16 Go de RAM sur le système en général pour exécuter efficacement les modèles.
L’application vous permet d’effectuer diverses tâches en utilisant les sources fournies par l’utilisateur. Par exemple, à l’aide de vidéos YouTube, l’IA peut analyser leur transcription pour créer un résumé du contenu ou présenter des informations importantes qui s’y rapportent.
Le système peut également être utilisé dans le même format pour différents types de documents et de fichiers.
Le système est encore en développement, les utilisateurs peuvent donc s’attendre à quelques erreurs et problèmes, et les réponses fournies sont loin d’être équivalentes à des outils plus avancés tels que ChatGPT ou Gemini. Cependant, il s’agit de la première étape de NVIDIA vers la création d’un environnement d’IA local, dans lequel les utilisateurs peuvent faire fonctionner leurs propres modèles LLM de manière simple et rapide, et avec une plus grande confidentialité.
Cependant, il en est encore à un stade très précoce de développement, comme le montrent les réponses fournies, qui nécessitent clairement encore des améliorations. Ce sera certainement quelque chose sur lequel NVIDIA se concentrera pour les futures versions.
En même temps, gardez à l’esprit que cette application nécessite un large éventail d’exigences qui vont au-delà de la seule carte graphique. L’application prend plusieurs minutes pour installer tous les modèles LLM et, lors de son exécution, elle consomme de grandes quantités de RAM et de traitement. Les réponses peuvent également prendre un certain temps en fonction des ressources et du matériel utilisé.
2024-02-13 20:11:57
1707847716
#Nvidia #lance #moyen #dexécuter #des #modèles #LLM #localement
