« La robotique est tout proche de vivre son moment ChatGPT ». Ce lundi 6 janvier à Las Vegas, alors qu’il arpente la scène pour cette nouvelle édition du CES, le président de Nvidia, Jensen Huang, reprend à son compte une expression qui fleurit dans le monde de la robotique.
Avec le renfort de l’IA générative, les robots – humanoïdes en particulier – montrent une dextérité et des performances inédites, sans même qu’il soit nécessaire de les programmer explicitement.
On assisterait ainsi à la fusion de l’IA et de la robotique, une évolution nommée « IA incarnée », comme le fait Google avec son projet Open-X Embodiement, voire « IA physique » dans le jargon de Nvidia. Ce dernier y voit un nouveau débouché porteur pour ses surpuissantes puces graphiques, et plusieurs de ses annonces vont dans ce sens.
Produire des vidéos réalistes pour faciliter l’apprentissage des robots et voitures autonomes
Le recours à des images produites par ordinateur devient systématique pour entraîner des IA embarquées dans les voitures autonomes, les robots mobiles industriels ou encore les robots humanoïdes, faute d’images réelles en nombre suffisant pour élaborer toutes les scénarios que ces IA peuvent rencontrer. Un long processus que Nvidia se propose d’automatiser avec Cosmos.
Cette plateforme d’IA générative sert à développer des modèles de fondation dits « du monde » (world fundation models, WMF). Ces simulateurs de mondes réels seraient en mesure de « comprendre le monde physique », d’après l’expression de Jensen Huang.
Entraînés à partir de 20 millions d’heures de vidéo, les premiers modèles issus de Cosmos, personnalisables, sont d’ores-et-déjà en accès libre sur Hugging Face. Sur la base de requêtes (textes, images ou vidéos), ils produisent des vidéos qui entreront dans la boucle d’apprentissage d’une IA.
Cosmos peut être utilisé en complément d’Omniverse, le générateur de jumeaux numériques « réalistes », dans le sens où ces mondes virtuels se conforment aux lois de la physique. Un couplage qui permet de s’assurer que ces modèles d’IA générative suivent ces mêmes règles, tout en embellissant le jumeau numérique avec des images photoréalistes.
Plusieurs entreprises ont déjà l’intention d’adopter Cosmos, selon Nvidia. Dont 1X et Figure AI, deux fabricants de robots humanoïdes.
Etoffer l’apprentissage par imitation des robots à partir de quelques démonstrations humaines
Annoncé en mars 2024, le projet Groot, conçu pour accélérer le développement de la robotique humanoïde grâce à l’apprentissage multimodal, s’enrichit d’une nouvelle fonction, Groot Blueprint : l’apprentissage par imitation à partir de vidéos de synthèse inspirées de véritables mouvements effectués par un opérateur humain.
La raison est la même que celle ayant motivé la plateforme Cosmos : si l’apprentissage par imitation, qui demande de téléopérer le robot, est intéressant pour enseigner à un robot humanoïde les « bons gestes », de très nombreuses exemples sont nécessaires, alourdissant la méthode.
L’idée, derrière cette fonction, est de simuler de multiples mouvements et trajectoires à partir de quelques démonstrations humaines.
Ces trajectoires, une fois générées, évaluées et validées grâce au moteur physique d’Isaac Lab (la plateforme d’apprentissage robotique de Nvidia), sont ensuite transformées en images 3D, via Isaac Sim. En bout de chaîne, c’est un modèle Cosmos qui intervient pour créer les vidéos qui serviront à étoffer l’apprentissage du robot.
Simuler le comportement d’une flotte de robots dans un entrepôt
Avec Mega, Nvidia part à la conquête des entrepôts et des sites industriels employant des robots mobiles, humanoïdes ou non, des bras robotiques, etc. Cet ensemble de logiciels – un framework plus précisément – est fondé sur une version personnalisée d’Omniverse, la plateforme de construction de jumeaux numériques de Nvidia, grâce à la mise en œuvre de flux de travail IA spécifiques.
Mega a pour vocation de simuler les opérations robotiques mues par IA (déplacements, mouvements…) et de coordonner le comportement d’une flotte de robots évoluant dans un environnement virtuel reflétant fidèlement un site logistique, par exemple. L’idée est de tester et d’optimiser ces flux opérationnels – et notamment d’anticiper les problèmes – avant de mettre en œuvre ce système robotique « pour de vrai ».
Par analogie avec l’automobile (et plus largement avec l’informatique), Mega promet ainsi l’avènement d’usines et d’entrepôts définis par logiciel (software defined), selon la formulation de Nvidia. En partenariat avec Accenture, Kion Group, fournisseur de chariots élévateurs et d’équipements pour la chaîne logistique, sera le premier à l’intégrer.
