Le supercalcul s'entiche d'intelligence artificielle

Plus de 6 millions de kilomètres. C’est la distance parcourue par la flotte de voitures autonomes Waymo (ex-Google cars) depuis leur lancement, indique la filiale d’Alphabet dans son rapport d’activité 2017. Soit l’équivalent de trois cents années de conduite d’un Américain moyen. Une paille comparé au 1,6 milliard de kilomètres avalés en 2016 par le biais de la simulation. Avantage des routes virtuelles sur lesquelles sont testés et perfectionnés les algorithmes de conduite autonome : les accidents y sont indolores et ne font pas la une des médias.

Faire travailler virtuellement des algorithmes de machine learning permet d’accélérer de plusieurs ordres de grandeur leur entraînement. Mais cela demande une puissance de calcul importante. Une étude Nvidia a montré qu’un tel entraînement génère des centaines de pétaoctets (soit des centaines de milliards de mégaoctets) de données, raison pour laquelle les infrastructures de calcul intensif sont de plus en plus étudiées afin d’assurer un apprentissage accéléré des réseaux de neurones. En effet, avec une architecture massivement parallèle et des interconnexions internes très rapides, un supercalculateur moderne est particulièrement bien adapté pour les applications d’intelligence artificielle (IA). "Faire monter en puissance les algorithmes de deep learning implique d’exploiter des milliers de nœuds de calcul en parallèle, souligne Stéphane Requena, le directeur de l’innovation et de la technologie au Genci, la structure publique française dédiée au calcul intensif. Ce besoin pousse les experts de l’IA à se rapprocher de plus en plus des acteurs traditionnels du calcul."

Si les data scientists lorgnent les supercalculateurs des scientifiques pour exécuter leurs modèles plus rapidement, ils s’intéressent aussi beaucoup au machine learning et au big data. En identifiant des relations, des schémas ou encore des anomalies, ces technologies permettent de faire face à l’accroissement des données. "Le calcul intensif a besoin de l’IA, car les grands instruments de mesure et les modèles de simulation génèrent aujourd’hui de telles masses de données que les humains ne peuvent plus traiter manuellement ces informations, remarque Stéphane Requena. L’IA est une solution qui les aide à faire de l’analyse de pertinence de données. C’est un autre aspect du rapprochement entre le calcul intensif et l’IA."

La montée en puissance de l’IA

Ce rapprochement va déjà au-delà des seuls outils d’analyse, puisqu’il est désormais possible de coupler des données issues de capteurs et des données calculées. Christian Saguez, le directeur de l’association Teratec et président de la start-up CybeleTech, en sait quelque chose. "Dans le cadre de l’agriculture de précision, nous combinons simulation et machine learning pour calculer au mieux la croissance des récoltes, explique-t-il. Nous simulons la croissance des plantes au moyen de nos modèles numériques, tandis que l’environnement de la serre est modélisé, non pas par algorithmes, mais par les données mesurées." Cette approche, très prometteuse, peut s’appliquer à d’autres environnements complexes, difficiles à modéliser dans leur globalité.

Mais mêler calcul intensif et IA nécessite une adaptation des supercalculateurs. Les algorithmes d’IA présentent de vraies spécificités dans leurs exigences techniques. Là où un modèle de simulation requiert une grande précision dans les calculs en virgule flottante, mettre en œuvre un réseau de neurones demande une précision bien moindre, mais un très grand nombre de cœurs de calcul interconnectés à très haute vitesse. De fait, les processeurs de cartes graphiques (GPU) sont bien adaptés, avec un ratio performance-consommation électrique très intéressant. Les calculateurs modernes voient ainsi leur nombre de puces graphiques s’accroître en raison de la montée en puissance de l’IA. L’Institut de technologie de Tokyo (Tokyo Tech) a récemment annoncé la construction de Tsubame 3.0, un calculateur dédié à l’IA. Son architecture hybride compte 540 nœuds de calcul, avec deux processeurs Intel Xeon E5 pour chacun d’eux et 4 GPU Tesla P100 de Nvidia, soit un total de 2 160 GPU. La capacité de cette machine est estimée à 12,2 pétaflops (soit 12,2 millions de milliards d’opérations par seconde) en calcul double précision, mais à 47,2 pétaflops en "demi-précision", c’est-à-dire pour les applications d’IA.

Une nouvelle vague de processeurs conçus pour l’IA arrive sur le marché. IBM a fourni au Lawrence Livermore national laboratory sa puce neurosynaptique TrueNorth afin de réaliser de l’analyse de données de type machine learning. Ce composant, issu d’un programme de la Darpa, l’agence du département de la défense des Etats-Unis spécialisée dans l’innovation de rupture, exploite un réseau de 16 millions de neurones et 4 milliards de synapses pour une consommation limitée à 2,5 watts. Intel a acquis la start-up Nervana pour disposer d’une technologie comparable. Et Google en est à la deuxième génération de sa puce dédiée à l’IA, le TPU (tensor processing unit). Ce dernier a conçu un calculateur spécialisé, équipé de 64 de ces puces, qui affiche une puissance de 11,5 pétaflops. Un modèle de traduction automatique qui nécessitait une journée d’apprentissage sur une machine dotée de 64 des plus puissants GPU ne nécessite plus qu’une demi-journée de travail en exploitant 8 TPU. L’IA redéfinit le supercalculateur du futur.

Sélectionné pour vous

« Demain, énormément d’entreprises utiliseront du calcul intensif au quotidien », affirment François Sabatino et Charles Huot, d'Eclairion

La simulation multiphysique intègre les couplages

La France aura son supercalculateur Exascale : le projet Jules Verne est retenu par l’initiative européenne EuroHPC