L'apprentissage à partir d’exemples est la base du machine learning. Alimenté par une énorme quantité de données durant sa phase d’entraînement supervisé, un réseau de neurones réalise des prédictions, comparées au résultat souhaité. Prenons le cas du chien, étiqueté comme tel sur une image d’entraînement. S’il n’est pas correctement identifié, les poids synaptiques sont alors plus ou moins corrigés, selon leur contribution à cette erreur, de la dernière couche du réseau de neurones à la première. Et ainsi de suite jusqu’à l’obtention des paramètres optimaux, qui minimisent une fonction mathématique propre au réseau appelée fonction de coût.
Cette technique itérative dite de rétropropagation du gradient d’erreur est très populaire grâce à sa capacité à faire converger la fonction de coût vers un minimum. Mais le calcul des gradients d’erreur et des modifications des poids synaptiques est très lourd, donc gourmand en énergie. D’autre part, « il s’agit d’une abstraction mathématique apparemment très éloignée de ce qui se passe dans le cerveau », relève Julie Grollier, directrice de recherche à l’unité mixte de physique CNRS-Thales.
Après la perturbation, l’équilibre
Utiliser l’évolution spontanée d’un système physique vers un état d’équilibre pour assurer l’essentiel des calculs représente une alternative séduisante, explorée dans plusieurs publications scientifiques. La méthode dite de « propagation d’équilibre » publiée en 2017 par Yoshua Bengio, l’un des pontes de l’IA moderne, et Benjamin Scellier s’inscrit dans cette approche. Un modèle d’Ising – un système 2D de spins en interaction – peut illustrer le concept. Dans un premier temps, les données d’entrée sont encodées via un champ magnétique dans les spins de la première rangée – la première couche du réseau de neurones. Cette perturbation va se propager de spin en spin jusqu’à ce que l’ensemble atteigne un état d’équilibre stable. La lecture des spins de la dernière rangée du système détermine l’écart entre cette réponse du réseau et la bonne réponse, celle qui est connue : mais si, c’est un chien !
Cette erreur est en partie corrigée dans une deuxième phase, en soumettant les spins terminaux à une petite force qui les rapproche des valeurs de la bonne réponse. C’est une nouvelle perturbation, qui va cette fois se propager à rebours pour amener le système à un nouvel équilibre. À l’issue de ces deux étapes, il est simple de calculer les modifications des poids synaptiques – la force des interactions entre les spins. La correction d’un poids ne dépend en effet que de la valeur des spins qu’il relie, et non de l’ensemble du réseau. Ce qui représente un énorme gain en calcul.
L’idée est d’explorer des systèmes de memristors et de nanoneurones artificiels à base de spins
— Julie Grollier, directrice de recherche à l’unité mixte de physique CNRS-Thales
Cette méthode est d’autant plus puissante que Yoshua Bengio et Benjamin Scellier ont mathématiquement démontré qu’elle équivalait à la rétropropagation de gradient. Jérémie Laydevant, qui a soutenu une thèse sur le sujet en 2022 sous la direction de Julie Grollier, a expérimenté cette méthode sur la machine quantique de D-Wave, laquelle met en œuvre des spins. L’apprentissage d’un réseau de neurones pour reconnaître des chiffres manuscrits s’y est révélé aussi précis que s’il avait été exécuté sur un PC. Dans la même équipe, Erwann Martin a aussi mis au point EqSpike, un algorithme qui va jusqu’à éliminer les séquences de stockage et de programmation des poids. De quoi espérer à terme des systèmes neuromorphiques dont l’apprentissage est purement intrinsèque.
Conduit par le laboratoire CNRS-Thales avec une participation du Centre de nanosciences et de nanotechnologies, le projet européen Grenadyn, doté d’un budget de 2 millions durant cinq ans, s’intéressera à la conception de ce type d’algorithme et des substrats matériels les mieux adaptés. « On a besoin de composants dynamiques, interconnectés et qui peuvent être mesurés, ce qui recouvre plein de possibilités, détaille Julie Grollier. L’idée est d’explorer des systèmes de memristors et de nanoneurones artificiels à base de spins ».
