– Aujourd’hui, nous assistons à une nouvelle tendance en matière d’intelligence artificielle, qui pourrait s’avérer être une avancée décisive pour les entreprises – déclare Jacek Gralak, directeur du portefeuille IA chez Transition Technologies, dans une interview avec WNP.PL. Il ajoute : – Les petits modèles de langage changent la donne.
- S’éloigner du cloud pour exécuter de petits modèles linguistiques sur des appareils locaux est aujourd’hui la plus grande tendance en matière d’IA.
- Le coût de la formation d’un seul grand modèle peut dépasser 100 millions de dollars.
- – De mon point de vue, cela change la donne pour l’industrie de l’IA, car cela permettra un accès plus large à la technologie et ouvrira la possibilité aux entreprises de créer des solutions locales qui seront véritablement adaptées aux exigences d’une organisation donnée. – déclare Jacek Gralak, directeur du portefeuille IA chez Transition Technologies.
Ils sont formés sur une énorme quantité de données et permettent ce qu’on appelle l’apprentissage automatique, mais que sont réellement les modèles de langage ?
– Les grands modèles de langage sont une utilisation innovante des réseaux de neurones artificiels, assez anciens en eux-mêmes, ayant été créés dans les années 1950 ou 1960. La révolution résulte de la création d’une architecture réseau innovante en 2017, que nous appelons un transformateur. Cela s’est avéré parfait pour mémoriser un contexte de données long.
Le fonctionnement même des modèles linguistiques se résume à ceci : si nous avons des mots ou des images, ils sont convertis en nombres puis codés et traités par un réseau neuronal. Après le traitement des données d’entrée, le processus inverse a lieu : le réseau renvoie des séquences numériques, qui sont décodées et finalement converties en mots spécifiques.
Comment ça marche ? Expert : C’est encore un mystère, mais rien de magique
L’architecture du transformateur fait que le contexte est mémorisé dès le début et que les réseaux sont capables de le capturer d’une manière que nous ne comprenons pas entièrement. L’explicabilité de ce modèle est problématique car nous ne pouvons pas comprendre pleinement comment ce réseau trouve exactement des corrélations dans les données et comment il est capable de générer des réponses très précises. Cela reste un mystère, car d’un point de vue technique, les réseaux de neurones (en particulier les transformateurs) sont des fonctions mathématiques si étendues que leur analyse classique est fondamentalement impossible. Cependant, ce n’est pas magique.
Nous savons également que la qualité des données ou des textes sur lesquels les modèles sont entraînés est cruciale en termes de qualité des réponses, mais à mon avis les modèles de langage que nous traitons aujourd’hui ne pourront jamais, par exemple, effectuer une preuve mathématique ou découvrir une nouvelle loi physique, ils sont simplement utilisés pour générer du texte.
Il ne s’agit pas – si je comprends bien – seulement d’exemples simples, comme suggérer ce que nous voulons écrire dans un texte d’e-mail ?
– Les applications sont nombreuses, d’autant plus que la technologie peut être adaptée en entreprise. En allant au-delà des résumés de texte typiques, en générant de nouveaux articles sur l’industrie ou en composant des e-mails, par exemple CoPilot promu par Microsoft, il est possible d’utiliser des modèles de langage dans des outils tels que Word ou Excel que nous utilisons quotidiennement. Nous lançons PowerPoint et, en fait, nous pouvons préparer toute la présentation avec une seule commande.
Mais il convient de souligner que ces modèles de langage sont formés sur une énorme quantité de données accessibles au public, telles que Wikipédia, les sites Web, etc. Si nous voulions utiliser quelque chose comme ça dans l’entreprise, ce modèle n’a pas nos données internes.
Par exemple, si nous voulions vérifier quel est le salaire moyen dans mon entreprise, les données sur les salaires de nos employés ne sont bien sûr pas utilisées pour former de grands modèles accessibles au public.
Grâce à la technologie, il est possible de combiner les données internes de l’entreprise avec les possibilités offertes par les modèles linguistiques pour créer des applications adaptées à un business case spécifique.
La technologie combinée à nos données offre des possibilités illimitées
Par exemple, nous avons neuf cents programmeurs dans l’entreprise, chacun avec un CV spécifique incluant la formation, l’histoire du design et les compétences. Si j’ai un nouveau projet, nous avons besoin de collaborateurs dotés de compétences spécifiques. Mais outre le fait qu’ils puissent programmer dans une langue donnée, il serait également bon de vérifier si tel employé sera disponible à un moment précis et pourra être inclus dans le nouveau projet. Le modèle linguistique permet de demander en langage naturel si, par exemple, en juillet et août j’aurai à disposition un collaborateur ayant 5 ans d’expérience dans une langue donnée et ayant également travaillé sur des projets en France. La technologie combinée à nos données offre des possibilités illimitées.
Mais comme toute technologie, celle-ci a probablement ses limites…
– C’est vrai, c’est donc là que nous passons aux petits modèles de langage. La taille du modèle est définie par le nombre de paramètres, c’est-à-dire les nombres formés et dont dispose le modèle. Dans le cas de grands modèles de langage, nous parlons de plusieurs dizaines, voire plusieurs centaines de milliards de ces nombres. Par conséquent, la formation des modèles nécessite d’énormes ressources informatiques, ce qui implique une énorme consommation d’énergie.
Les modèles – leur formation et leur utilisation – contribuent de manière significative à augmenter l’empreinte carbone
Le coût de la formation d’un seul modèle peut dépasser 100 millions de dollars. L’année dernière, un rapport est apparu selon lequel OpenAI payait 700 000 $ par jour pour maintenir le service Chat GPT. Nous parlons donc de coûts effroyables.
De plus, les modèles – leur formation et leur utilisation – contribuent de manière significative à augmenter l’empreinte carbone. De plus, pour former ou utiliser un tel modèle, vous avez besoin d’une très grande infrastructure informatique, vous devez disposer de cartes graphiques puissantes, coûteuses et énergivores, donc le plus souvent la seule approche judicieuse consiste à utiliser le cloud computing et le service cloud. fournisseurs.
Cependant, le cloud implique des problèmes de sécurité, car la publication/partage de données sensibles, par exemple celles des employés, sur le cloud comporte très souvent certains risques et est associée à des problèmes juridiques.
Et il y a un autre problème qui est apparu récemment, à savoir que les grands modèles de langage sont considérablement sous-entraînés et que l’augmentation du nombre de paramètres, si cela ne va pas de pair avec une augmentation proportionnelle de la quantité et de la bonne qualité des données utilisées. entraîner ce modèle n’a pas vraiment de sens. Cela confirme encore la validité de l’utilisation de modèles de langage plus petits.
Quels sont-ils?
– Les SLM sont des modèles dans lesquels on ne parle plus de plusieurs dizaines ou centaines de milliards de paramètres, mais d’un milliard, voire plusieurs milliards. Ce sont des modèles qui – avant tout – peuvent fonctionner sur des appareils locaux, des ordinateurs portables ou même des smartphones.
Il n’est pas nécessaire d’utiliser le cloud, il n’y a donc aucun problème de sécurité ou juridique. Ils nécessitent des équipements moins puissants, ils sont donc beaucoup plus respectueux de l’environnement, consomment moins d’énergie, s’entraînent beaucoup plus rapidement et ne nécessitent pas d’infrastructures coûteuses. Il est intéressant de noter que dans des cas spécifiques, ils ne sont pas vraiment inférieurs aux grands modèles en termes de performances ou de qualité, car un modèle plus petit, mais mieux entraîné, peut se comporter de la même manière, voire parfois mieux, que les grands modèles.
S’éloigner du cloud et se tourner vers l’exécution de petits modèles sur des appareils locaux est clairement la plus grande tendance en matière d’IA aujourd’hui. De mon point de vue, cela change la donne pour l’industrie de l’IA, car cela permettra un accès plus large à la technologie et ouvrira la possibilité aux entreprises de créer des solutions locales qui seront véritablement adaptées aux exigences d’une organisation donnée.
2024-06-01 14:57:15
1717243997
#Lintelligence #artificielle #séloigne #cloud #Cela #changera #donne