15 juillet 2024
Le développement pourrait rendre l’apprentissage automatique plus économe en énergie et en coûts pour les applications d’IA et plus encore.
Les chercheurs de l’ Institut Max Planck pour la science de la lumière (MPISL), Erlangen, Allemagne, ont développé une nouvelle approche pour mettre en œuvre un réseau neuronal avec un système optique. Ils affirment que cela pourrait « rendre l’apprentissage automatique plus durable ». Ils décrivent leur méthode « beaucoup plus simple » dans Physique de la nature.
L’apprentissage automatique et l’intelligence artificielle sont de plus en plus répandus, avec des applications allant de la vision par ordinateur à la génération de texte, comme le montre ChatGPT. Cependant, ces tâches complexes nécessitent des réseaux neuronaux de plus en plus complexes, certains comportant plusieurs milliards de paramètres.
Cette croissance rapide de la taille des réseaux neuronaux a mis les technologies sur une voie non durable en raison de leur consommation d’énergie et de leurs temps de formation en croissance exponentielle, explique l’équipe MPISL : « Par exemple, on estime que la formation de GPT-3 a consommé plus de 1 000 MWh d’énergie », indique l’annonce.
Cette tendance a créé un besoin d’alternatives plus rapides, plus économes en énergie et en coûts, donnant naissance au domaine en plein développement de l’informatique neuromorphique. L’optique et la photonique sont des plateformes particulièrement prometteuses pour l’informatique neuromorphique, car la consommation d’énergie peut être réduite au minimum.
Cependant, jusqu’à présent, deux défis majeurs se sont posés : d’une part, la réalisation des calculs mathématiques complexes nécessaires nécessite des puissances laser élevées et, d’autre part, l’absence d’une méthode d’entraînement générale efficace pour de tels réseaux neuronaux physiques.
Relever les défis
Ces deux défis peuvent être surmontés grâce à la nouvelle méthode proposée par Clara Wanjura et Florian Marquardt du MPISL. « Normalement, les données saisies sont imprimées sur le champ lumineux. Cependant, dans nos nouvelles méthodes, nous proposons d’imprimer les données saisies en modifiant la transmission de la lumière », explique Marquardt, directeur de l’Institut.
Le signal d’entrée peut être traité de manière arbitraire. Cela est vrai même si le champ lumineux lui-même se comporte de la manière la plus simple possible, c’est-à-dire que les ondes interfèrent sans s’influencer mutuellement.
Cette approche permet ainsi d’éviter des interactions physiques complexes pour réaliser les fonctions mathématiques requises, qui nécessiteraient sinon des champs lumineux de grande puissance. L’évaluation et l’entraînement de ce réseau neuronal physique deviendraient alors très simples.
« Il suffirait d’envoyer de la lumière à travers le système et d’observer la lumière transmise. Cela nous permettrait d’évaluer le rendement du réseau. En même temps, cela permettrait de mesurer toutes les informations pertinentes pour l’apprentissage », explique Clara Wanjura, première auteure de l’étude. Les auteurs ont démontré par des simulations que leur approche peut être utilisée pour effectuer des tâches de classification d’images avec la même précision que les réseaux neuronaux numériques.
À l’avenir, les auteurs prévoient de collaborer avec des groupes expérimentaux pour étudier la mise en œuvre de leur méthode. Étant donné que leur proposition allège considérablement les exigences expérimentales, elle peut être appliquée à de nombreux systèmes physiquement très différents. Cela ouvre de nouvelles possibilités pour les dispositifs neuromorphiques permettant un entraînement physique sur une large gamme de plateformes.
2024-07-15 19:15:32
1721060681
#Les #chercheurs #Max #Planck #proposent #une #approche #optique #pour #des #réseaux #neuronaux #durables
