Quels sont les apports fondamentaux de l’IA générative pour la robotique ?
Les modèles de vision-langage (VLM) et vision-langage-action (VLA) permettent de transmettre des instructions en langage naturel aux robots et de les gratifier d’un « bon sens » afin qu’ils puissent se projeter dans le futur et planifier des actions en fonction du contexte. Une évolution recherchée par les roboticiens depuis longtemps. Mais ces modèles ne résolvent pas l’ensemble des problématiques traitées en robotique.
Quelles problématiques ne sont pas traitées par ces grands modèles ?
Les aspects de locomotion et d’équilibre ont progressé grâce à l’apprentissage par renforcement. Si vous demandez à un robot d’avancer en ligne droite, vous ne lui expliquez pas comment mettre un pied devant l’autre. Ces actions sont gérées à bas niveau par de l’apprentissage ou par des modèles de contrôle prédictif. Pour l’identification et la manipulation d’objets, un réseau de neurones, entraîné à partir de démonstrations humaines ou de simulations, suffit. En revanche, si l’on veut guider un robot par le langage, la question est de pouvoir établir un lien entre le haut niveau, à savoir l’intention du robot, et le bas niveau, ses actions. Le VLA serait une réponse.
La robotique autonome est considérée comme un graal. Franchit-on une étape en la matière grâce à ces modèles ?
Paradoxalement, un robot piloté par l’IA générative obéit à des ordres. Même s’il possède une part d’autonomie pour accomplir une tâche, il ne prend pas d’initiative. Un robot autonome remplit sa mission seul, sans parler à personne, et n’a donc pas recours aux dernières avancées en matière d’IA générative. Des robots encore plus autonomes, curieux, se fixent eux-mêmes leurs objectifs, essaient des choses… Ces agents, dits autotéliques, sont étudiés depuis les années 2000. Cet aspect créatif nous intéresse.
Peut-on quand même parler de raisonnement, du fait de la capacité de ces grands modèles à planifier des actions ?
Les modèles actuels ont tendance à produire une réponse raisonnable moyenne, qui n’est pas toujours optimale pour contrôler un système robotique.
Le « bon sens » est indispensable pour qu’un robot prenne des décisions raisonnables dans un contexte précis, sans plan ni données très détaillés. Mais il n’est pas adapté pour trouver le meilleur chemin entre votre maison et votre lieu de travail. C’est un problème de planification pour lequel on dispose d’une carte précise et qui est résolu efficacement par les algorithmes de n’importe quelle application de navigation. Concernant le raisonnement, les modèles actuels, même s’ils sont déjà appréciables, demeurent insuffisants. Ils ont tendance à produire une réponse raisonnable moyenne, qui n’est pas toujours optimale pour contrôler un système robotique, d’autant plus avec des impératifs de sécurité. Disons que ce ne sont pas des moteurs de raisonnement idéaux, mais qu’ils peuvent jouer un rôle intéressant dans la vie quotidienne, où il se passe des choses très variées.
Vous évoquiez la sécurité. Comment instaurer de la confiance envers ces robots afin de pouvoir les déployer sans danger ?
On peut créer cette confiance grâce à des modèles d’IA performants et affinés, même s’il n’y a pas de garantie. C’est la stratégie des fabricants de robots humanoïdes. Autre approche : le modèle s’auto-évalue, indiquant le niveau de confiance dans sa décision, que l’on peut rejeter si elle ne dépasse pas le seuil fixé. Ce sujet de recherche, historique en machine learning, reste difficile à appliquer aux grands modèles de langage. Enfin, un système de supervision externe et indépendant, conçu par une entreprise tierce, peut observer les décisions du grand modèle et tirer la sonnette d’alarme au besoin. Cela reste à inventer. Faute de quoi, l’adoption de tels robots dans des situations réelles, à l’usine ou à la maison, sera ralentie. La confiance se construit par l’utilisation et la certification, ce qui demande du temps.
Peut-on intégrer le son ou le toucher dans l’espoir d’améliorer la sensibilité des robots à leur environnement ?
Nous aimerions prendre en compte des données tactiles des robots, à partir des doigts, voire de la peau, pour ceux qui en sont recouverts, et des données de force issues des capteurs aux poignets et aux chevilles des robots humanoïdes. Pour le son, des modèles de transcription sont bien sûr embarqués, mais un grand nombre de signaux audio qui véhiculent des informations sur le monde, comme le bruit des machines, ne sont pas exploités. L’Europe lance un appel à projets pour mettre en œuvre ces grands modèles multimodaux. Mais, contrairement aux images et au texte, ces données manquent et dépendent, pour les données de force, des capteurs utilisés. Les effets d’échelle obtenus sur les grands modèles actuels sont alors beaucoup plus difficiles à répliquer. Idem pour le mouvement. C’est une question centrale. Doit-on créer ces données spécialement pour la robotique ? Peut-on employer des vidéos YouTube ou extraites de caméras de surveillance ? Cette prochaine étape sur notre feuille de route améliorera la perception, mais aussi les actions réalisées.
Le contrôle de ces modèles ne doit pas être abandonné à une poignée d’entreprises américaines dont l’objectif est de créer une dépendance.
Ces grands modèles réclament la collecte de millions de données. La recherche doit-elle s’en préoccuper ?
Le contrôle de ces modèles ne doit pas être abandonné à une poignée d’entreprises américaines dont l’objectif est de créer une dépendance. Nous avons besoin de développer un écosystème européen pour réaliser nos propres modèles. Le rôle de la recherche est aussi d’en comprendre les fonctionnements, de les expliquer, pour former de futurs étudiants qui continueront le travail. Et les moyens de calcul deviennent plus accessibles : un laboratoire peut aujourd’hui développer l’équivalent de ChatGPT 2. Avec quelques années de retard, certes, mais ce n’est pas pour autant qu’il faut laisser tomber !
La convergence entre IA et robotique, thème d’un nouveau PEPR
La convergence de l’IA et de la robotique fait l’objet d’un nouveau programme et équipements prioritaires de recherche (PEPR) sur la robotique, officialisé en juin au salon Vivatech. Financé à hauteur de 30 millions d’euros, ce PEPR s’articule autour de quatre axes : la mobilité et la locomotion, la manipulation d’objets complexes fragiles et déformables (très difficile à modéliser par des équations), le développement des capacités de perception dans des environnements peu ou pas structurés (notamment hors des usines et des entrepôts) et la robotique miniature. Le programme sera coordonné par Philippe Souères, directeur de recherche CNRS au Laboratoire d’analyse et d’architecture des systèmes (Laas), à Toulouse. Il complète le PEPR Robotique organique, de nature plus exploratoire, lancé en 2024.
L’objectif est de concevoir des briques technologiques «critiques» et des prototypes de robots en vue de leur transfert à l’industrie. L’alignement sur l’IA de la stratégie nationale robotique, qui doit aboutir à une «robotique nativement IA», ne s’arrête pas là. Un appel à manifestation d’intérêt servira à identifier, voire à financer, des projets de R&D sur la robotique industrielle ou encore sur les drones. Par ailleurs, le dispositif de financement Pionnier de l’IA incitera les deeptechs, labos et consortiums publics et privés à innover en robotique intelligente.
