Nvidia a publié une application de démonstration Discutez avec RTX, qui montre déjà l’avenir du travail avec des fichiers locaux. Il utilise les grands modèles de langage Llama ou Mistral existants, avec lesquels vous pouvez insérer un dossier local contenant des fichiers TXT, PDF, DOC/DOCX et XML ou des vidéos et des listes de lecture de YouTube.
En utilisant une méthode appelée génération augmentée par récupération (RAG), lors de la génération d’une réponse à une requête en LLM, le modèle peut s’appuyer sur des données de fond réelles et ainsi éviter les hallucinations ou les ambiguïtés dans le texte généré.
Et comme Nvidia Chat avec RTX s’exécute uniquement localement sur des données locales, il est non seulement rapide, mais également sécurisé. Vous pouvez ainsi exécuter des requêtes sur du contenu protégé qui ne devrait se trouver nulle part sur Internet. Un avocat peut interroger les lois et les décisions antérieures, un technicien peut consulter des manuels de référence autrement impénétrables et un médecin peut interroger les dossiers médicaux des patients.
La principale limitation actuellement résidera principalement dans les modèles linguistiques utilisés. Il est économique de les exécuter localement sur un ordinateur, et soit ils ne connaissent pas du tout le tchèque, soit dans une version très ancienne, presque inutilisable. En réalité, vous ne pouvez le démarrer aujourd’hui qu’avec les données sous-jacentes en anglais. Il sera néanmoins certainement largement utilisé, mais il faudra freiner cet enthousiasme. Ce n’est pas ChatGPT 4 local.
Exigences matérielles
Vous aurez également besoin d’un matériel plus puissant. Une carte graphique GeForce RTX série 30 ou 40 équipée d’au moins 8 Go de mémoire est requise. Les cartes RTX 4050 ou 4060 bon marché n’offrent pas une quantité similaire de mémoire graphique dans les PC et ordinateurs portables de jeu de base, vous avez donc besoin de quelque chose de mieux. Mais cela reste une exigence réalisable, vous n’êtes pas obligé de chercher le NVIDIA GH200 Grace Hopper avec 288 Go de mémoire pour un joli million de couronnes.
D’autres exigences sont déjà tout à fait réalisables : Windows 11, 16 Go de mémoire et les pilotes Nvidia actuels.
Le chat avec RTX, même dans cette version de base, montre bien les possibilités et les limites des modèles linguistiques locaux. La possibilité de fonctionner sur un seul ordinateur coupé d’Internet implique toujours des concessions sous forme de réponses simples dans un nombre limité de langues. Dans le même temps, les modèles de langage nécessitent de grandes quantités de mémoire que l’on ne trouve pas dans les ordinateurs ordinaires.
La demande de performances et la mémoire occupée indiquent également qu’un modèle de langage similaire sur l’ordinateur ne sera probablement pas prêt en permanence en arrière-plan avant un certain temps. En tant que partie intégrante du système, nous ne l’utiliserons pas avant quelques années, et même l’ajout d’unités neuronales NPU directement aux processeurs n’y changera rien.
Mais déjà aujourd’hui, bien que selon Nvidia il ne s’agisse que d’une application de démonstration, Chat with RTX peut être d’une grande aide dans de nombreux cas lors de l’extraction d’informations à partir de documents stockés localement.
2024-02-14 16:45:15
1707940609
#Demandez #vos #fichiers #Avec #Nvidia #Chat #RTX #vous #pouvez #démarrer #chatbot #chez #vous #sur #votre #ordinateur #Živě.cz