[Cahier Technique] L'haptique met le numérique au bout des doigts

Le sens du toucher est extrêmement riche. Lorsque nous interagissons avec notre environnement, nous voyons apparaître différents phénomènes qui contribuent aux sensations ressenties (efforts sur la main, déformations de la peau, vibrations…). Ces stimuli sont mesurés par plusieurs types de capteurs tactilo­kinesthésiques présents en grand nombre dans le derme, l’épiderme, les muscles et les tendons. Ces capteurs sont caractérisés par des aires de mesure et des sensibilités diverses qui les rendent plus ou moins adaptés à la détection de différents types de stimuli (vibrations, efforts statiques, configuration des membres, température…).

Les interfaces haptiques sont des dispositifs électromécaniques ayant pour objectif de générer des stimuli physiques permettant de solliciter ce sens de façon aussi réaliste que possible. Il est cependant impossible, dans l’état actuel de la technique, de développer un dispositif reproduisant l’ensemble des phénomènes mis en jeu lors de nos interactions gestuelles. Il est nécessaire, dans la pratique, de se concentrer sur les phénomènes qui ont l’influence la plus importante sur le succès de la tâche réalisée. Nous nous focaliserons ici sur les interfaces à retour d’effort et sur les interfaces tactiles.

1. Le retour d’effort, technologie pionnière

Les premières interfaces à retour d’effort étaient des télémanipulateurs mécaniques développés à partir de la fin des années 1940 pour des applications de téléopération nucléaire. Ces dispositifs, encore utilisés de nos jours, sont très performants mais peu ergonomiques. Ils ont donc été remplacés, à chaque fois que cela était possible, par des systèmes motorisés autorisant une conception différente des bras maître et esclave, l’esclave étant ainsi dimensionné en fonction des tâches à réaliser, et le maître optimisé pour une prise en main aisée et une manipulation ergonomique. Ces bras ont progressivement été pourvus de diverses fonctionnalités (capacité à faire des mouvements ou à appliquer des efforts d’amplitudes différentes, compensation automatique de leur poids, définition de zones interdites d’accès…). Ces progrès ont multiplié les usages des systèmes de téléopération, que ce soit pour des applications dans d’autres milieux hostiles que le nucléaire (spatial, offshore profond) ou dans le domaine de la santé avec l’arrivée des premiers robots de téléchirurgie dans les années 2000.

Parallèlement à ces applications, il est rapidement venu à l’esprit des chercheurs l’idée d’utiliser des bras maîtres non pas pour commander un robot à distance mais pour interagir avec un environnement virtuel. On parle dans ce cas d’interfaces haptiques. Le premier exemple significatif est le projet Grope de l’université de Caroline du Nord à la fin des années 1960, dans lequel un bras maître de téléopération nucléaire a été couplé à une simulation moléculaire. Avec ce système, l’utilisateur pouvait visualiser les molécules sur un écran 3D, les déplacer, ressentir leurs forces d’interaction et essayer de les amarrer entre elles.

FIG.1

De façon plus générale, la réalité virtuelle est une technologie qui vise à immerger son utilisateur dans un monde artificiel créé par un ordinateur. Pour que cet environnement paraisse réaliste, il doit respecter les lois de la physique, être immersif (l’utilisateur doit avoir l’illusion d’y être présent) et interactif (l’utilisateur doit pouvoir agir dessus). Une bonne immersion demande un retour visuel panoramique haute définition, avec une mise à jour de l’affichage en temps réel en fonction des mouvements, un retour sonore réaliste et si possible spatialisé, mais aussi des moyens de stimuler le sens du toucher.

L’interaction, pour être naturelle, requiert quant à elle la mesure des mouvements, par exemple à l’aide de caméras, pour commander un avatar dans l’environnement virtuel. On utilise ensuite un moteur physique pour identifier les contraintes auxquelles est soumis cet avatar (gravité, collisions…) et mettre à jour sa position en simulant les lois de la physique. Ce type de solution permet d’agir sur l’environnement mais, sans retour haptique, le monde virtuel reste impalpable et l’opérateur ne peut pas ressentir physiquement la présence des objets, ce qui est très limitant. Il suffit pour s’en convaincre de travailler avec des gants. En filtrant les informations haptiques, ils diminuent notre sensibilité tactile et nous rendent moins efficaces.

Des travaux réalisés par l’université d’Umeå en Suède ont été plus loin en comparant les résultats obtenus avant et après anesthésie locale de la pulpe des doigts. Ces travaux ont montré que, privés du sens du toucher, les sujets ont beaucoup de difficultés à effectuer les tâches demandées. Il est donc primordial, si l’on veut pouvoir interagir efficacement dans un environnement virtuel, de restituer à l’opérateur le sens du toucher.

Pour le retour d’effort, on utilise en général un couplage bilatéral en position et vitesse entre le bras maître et l’avatar de l’utilisateur. Ainsi, lorsque l’utilisateur déplace la poignée de l’interface haptique en espace libre, l’avatar suit ses mouvements ; mais quand cet avatar entre en contact avec son environnement, il est bloqué, de même que l’interface haptique, et l’opérateur ressent les contraintes auxquelles il est soumis. On peut aussi introduire des facteurs d’échelle en déplacement et en effort, par exemple pour manipuler des objets virtuels de taille millimétrique. Ce type de couplage a l’avantage d’être très stable si les gains du contrôleur sont choisis correctement.

Dans la pratique, pour permettre des contacts francs avec l’environnement, le contrôleur doit tourner au kilohertz et la scène virtuelle doit être mise à jour à une fréquence de plusieurs centaines de hertz. Cela nécessite une très forte optimisation des codes de calcul du moteur physique utilisé pour simuler l’environnement virtuel (qui peut compter plusieurs dizaines de millions de triangles ou polygones pour les modèles industriels usuels).

D’un point de vue mécanique aussi, le retour d’effort impose certaines contraintes. Ainsi, contrairement aux robots industriels qui sont commandés en position suivant une stratégie généralement prédéfinie, les interfaces haptiques doivent pouvoir être déplacées par l’utilisateur sans lui opposer de résistance quels que soient les mouvements qu’il souhaite effectuer. On parle de réversibilité et de transparence. Elles doivent aussi pouvoir appliquer des forces parfaitement contrôlées. Il faut pour cela que l’on puisse les commander en effort. Leurs frottements et leur inertie, dont une large part vient des actionneurs, doivent être aussi faibles que possible. Ces caractéristiques peuvent être obtenues en intégrant sur le robot des capteurs de couples ou d’effort utilisés pour mesurer, en vue de les compenser, les frottements et l’inertie des actionneurs.

Cette approche présente toutefois des limitations, puisque l’on ne peut pas compenser totalement l’inertie du robot et qu’elle rend le système plus complexe et plus coûteux. On préfère souvent utiliser des solutions d’actionnement nativement réversibles et transparentes (c’est-à-dire peu frottantes et peu inertielles), comme celles utilisant des réducteurs dits à cabestan à câbles, ou bien des réducteurs à vis à billes, associés à des moteurs à courant continu, notamment ceux à balai de type rotor sans fer, ou encore ceux sans balai.

On voit que ce défi nécessite des recherches dans de multiples domaines (étude du système sensorimoteur humain, informatique, robotique). Il a conduit au développement de nombreuses interfaces à retour d’effort. Parmi les systèmes les plus emblématiques, on citera le Phantom, développé au MIT et commercialisé à la fin des années 1990 par la société Sensable Technologies (rachetée par Geomagic, puis 3D Systems), qui, en se concentrant sur le retour de force (les axes de rotation sont passifs), a simplifié radicalement la conception du robot pour obtenir un retour d’effort de très grande qualité à un coût raisonnable. Même si les applications sont moins riches qu’avec un retour d’effort utilisant six dimensions, ce dispositif a permis à de nombreuses équipes de recherche de s’équiper, de travailler sur la simulation haptique et de faire des études du système haptique humain. On citera également le CyberGrasp, l’un des premiers gants à retour d’effort commercialisé par Virtual Technologies dans les années 1990 (technologie rachetée par Immersion Corporation, puis CyberGlove Systems).

Avec les progrès de l’informatique, les usages de l’haptique en environnement virtuel ont explosé au tournant des années 2000. On a ainsi vu apparaître, au-delà des applications industrielles qui seront détaillées plus loin, des applications de divertissement (joysticks et volants à retour d’effort), muséographiques (possibilité de toucher les œuvres et de manipuler virtuellement les objets exposés) ou médicales (formation aux gestes, répétition d’opérations). Cet essor s’est accompagné de l’apparition de nombreux fabricants d’interfaces à retour d’effort, comme le français Haption, qui exploite les résultats du CEA List, le suisse Force Dimension, qui utilise ceux de l’EPFL, l’américain 3D Systems, qui s’appuie sur ceux du MIT, ou le canadien MPB Technologies, qui se sert de ceux de l’université McGill. Plus récemment, avec le boom des casques de réalité virtuelle, on a aussi vu éclore de nombreux fabricants d’exosquelettes tels que Haption, SenseGlove, HaptX et Dexta Robotics.

2. Le défi de la restitution des informations tactiles

Bien que les informations tactiles (géométrie locale, textures, vibrations…) fassent partie intégrante du sens du toucher, leur restitution est très difficile. L’interaction avec les capteurs tactiles cutanés nécessite en effet la conception de dispositifs capables de stimuler la peau sur des amplitudes de l’ordre du millimètre, dans une bande de fréquences allant jusqu’à plusieurs centaines de hertz et avec une densité spatiale pouvant atteindre plusieurs dizaines de taxels (ou pixels tactiles) par centimètre carré. Compte tenu de cette difficulté, le développement des premières interfaces tactiles a été alimenté par d’autres besoins, en particulier celui de disposer de systèmes permettant d’accroître l’accessibilité pour les aveugles et malvoyants (possibilité de « regarder » une photo en la touchant, moyens efficaces et faciles pour lire le braille).

FIG. 2 

Pour ces applications, une densité spatiale de l’ordre de quelques millimètres entre chaque taxel suffit et il n’est pas nécessaire de faire bouger ces derniers à très haute fréquence. Cela a permis le développement de nombreux dispositifs utilisant différents types d’actionneurs (électromagnétiques, piézoélectriques ou microfluidiques) pour afficher des images tactiles ou faire passer des informations de plus haut niveau. D’autres recherches ont porté sur l’exploitation des vibrations, notamment pour transmettre de l’information en mobilité à l’aide de dispositifs portés ou pour améliorer les sensations des utilisateurs de jeux vidéo. À titre d’exemple, la stimulation tactile produite par des masselottes montées sur les axes d’actionneurs électriques miniatures, synchronisée avec l’image et le son, a inspiré le développement de manettes donnant l’illusion d’un retour d’effort de façon simple et légère.

On a aussi utilisé des actionneurs électromagnétiques, puis des actionneurs piézoélectriques, pour développer des écrans tactiles (smartphones, tablettes, tableaux de bord automobiles numériques). Ce type de système peut être utilisé pour restituer des informations simples comme des clics, en faisant simplement vibrer l’ensemble de l’écran. On peut encore, en disposant plusieurs actionneurs sur le pourtour ou sous l’écran et en les pilotant judicieusement (contrôle spatiotemporel de la propagation des ondes, retournement temporel, vibrations non rayonnantes), restituer des signaux plus complexes (retour haptique localisé et multipoint).

On peut encore commander les actionneurs piézoélectriques pour réaliser, grâce à des vibrations à hautes fréquences, un coussin d’air pilotable entre le doigt et l’écran afin de restituer des textures. Ces développements, ainsi que l’hybridation entre actionneurs électriques miniatures et technologies microfluidiques rendant possible la création de taxels de dimensions plus petites, ont permis une maturation suffisante des technologies d’actionnement et de commande pour envisager aujourd’hui un retour tactile réaliste.

Dans la pratique, les interfaces tactiles peuvent être utilisées de deux façons différentes On peut chercher à reproduire des interactions physiques naturelles ou transmettre des informations plus abstraites, en utilisant des métaphores pour encoder l’information sous forme de patterns tactiles. En élargissant ce concept, de véritables alphabets tactiles ont été développés. Cette possibilité de faire passer des informations contextuelles complexes par le canal haptique est particulièrement intéressante quand les autres sens sont déjà saturés, comme sur un site industriel bruyant où la vue est déjà très sollicitée. Les patterns tactiles sont dans ce cas très efficaces pour transmettre des alertes, des directions ou simplement attirer l’attention.

3. Les applications industrielles de l’haptique

Historiquement, les interfaces à retour d’effort ont d’abord été utilisées pour téléopérer plus efficacement des robots. Depuis quelques années, de nouvelles applications émergent, tirées par de nouveaux environnements de travail numériques et virtuels. Ainsi, la maquette numérique, qui remplace de plus en plus les prototypes physiques lors du développement et de la mise au point de nouveaux produits et services, s’est peu à peu imposée comme un élément central de la chaîne de l’innovation. Elle permet en effet de tester et valider la conception de ces produits beaucoup plus facilement et rapidement qu’avec des maquettes physiques qui restent toujours coûteuses, longues à réaliser et d’usage limité.

Son utilisation efficace requiert toutefois des méthodes et des périphériques adaptés. Les systèmes de capture de mouvement et les wands (systèmes de contrôle des casques de RV) peuvent apparaître comme une solution intéressante mais ils ne suffisent pas pour donner à l’utilisateur l’illusion qu’il évolue dans un monde réaliste. Il faut pour cela prendre en compte toutes les stimulations sensorielles, y compris la stimulation haptique. Une fois rendue tangible grâce aux interfaces haptiques à retour d’effort, la maquette numérique « physicalisée » trouve de nombreux usages industriels.

FIG. 3

. Les logiciels de CAO ont engendré des gains de productivité très importants dans les bureaux d’études en offrant la possibilité de concevoir les différentes pièces d’un système et de les positionner les unes par rapport aux autres en 3D. Ils ne permettent cependant pas de simuler les mouvements nécessaires à leur assemblage. Un concepteur peut donc parfaitement dessiner un produit qui sera difficile voire impossible à monter. Pour éviter cet écueil, il est nécessaire de valider l’ensemble du processus d’assemblage en tenant compte des pièces mécaniques, mais aussi des supports éventuels, des outillages et de l’utilisateur qui doit avoir la place de passer les mains, pour vérifier que le montage peut se faire.

Le fitting, qui consiste à faire cette vérification de façon interactive en environnement virtuel, offre une solution efficace pour résoudre ce problème. En manipulant les différentes pièces pour réaliser les opérations comme on le ferait avec une maquette réelle, on peut détecter les erreurs et les corriger au plus tôt. Cela évite des surcoûts ultérieurs potentiellement très importants si par exemple on n’a pas su anticiper le besoin d’équipements d’assemblage spécialisés ou bien si l’on n’a pas vu que l’on sera dans l’incapacité d’assembler les composants selon la procédure de montage prescrite. Bien entendu, on peut aussi simuler le démontage des produits pour faciliter leur maintenance ou leur désassemblage et recyclage dans une démarche d’éco-conception. L’usage de la maquette numérique permet ainsi de réduire radicalement les risques et les délais de mise sur le marché du produit et de faciliter la gestion de sa fin de vie.

. Grâce aux outils de capture de mouvement, on peut mesurer en temps réel la posture des opérateurs. En utilisant ces données pour piloter leurs avatars, on estime à l’aide de logiciels de simulation physique les efforts qui s’appliquent sur leurs articulations quand ils réalisent un assemblage en environnement virtuel. En intégrant de tels avatars dans l’usine numérique, on peut effectuer des analyses ergonomiques (cotation automatique) de façon interactive pour optimiser le produit ou le poste de travail afin de limiter l’apparition de troubles musculo-squelettiques.

Pour de telles études d’ergonomie, il est indispensable que l’opérateur effectue les mêmes mouvements et applique les mêmes efforts que sur un poste de travail réel. Cela nécessite l’usage d’interfaces haptiques à grand espace de travail et forte capacité en effort comme le Scale1 d’Haption. Dans ce contexte, on peut aussi ­utiliser des interfaces tangibles fixées à l’extrémité du robot pour obtenir une préhension plus naturelle. On peut également intégrer des appuis et des obstacles physiques autour de l’opérateur pour l’obliger à prendre des postures correspondant à l’environnement simulé.

. La simulation interactive étendue à l’usine complète permet de tester l’organisation des postes de travail au-delà de l’assemblage lui-même. Dans ce contexte, l’usage d’interfaces à retour d’effort est particulièrement intéressant car ces systèmes sont très simples à manipuler, ce qui permet d’impliquer les opérateurs qui utiliseront ces futurs postes de travail et donc d’intégrer leur savoir-faire dans l’optimisation du process. Par extension, cet usage peut également faciliter la formation des opérateurs.

La variété de ces applications industrielles des interfaces haptiques à retour d’effort conduit à des spécifications et des besoins techniques différents selon les situations. Par exemple, pour vérifier si des pièces peuvent être montées, on peut simuler leur assemblage à échelle réduite. Dans ce cas, l’opérateur pourra effectuer des mouvements plus petits et appliquer des efforts plus faibles que pour le montage réel.

Pour les études ergonomiques, en revanche, il est important de respecter l’échelle 1, c’est-à-dire que l’opérateur fera exactement les mêmes gestes et appliquera les mêmes efforts que dans la réalité, de sorte que ses actions soient représentatives. Cette contrainte vaut aussi pour la formation des opérateurs en environnement virtuel si l’on veut qu’ils soient directement opérationnels sur une chaîne de montage réelle. Enfin, pour des tâches de groupe ou pour des revues de projets en équipe, il faut que plusieurs utilisateurs puissent cohabiter et collaborer dans le même environnement virtuel.

4. Les interfaces tactiles, des outils émergents

Les interfaces tactiles présentent de nombreux avantages : elles peuvent, comme les interfaces à retour d’effort, être associées aux autres modalités pour offrir un retour sensoriel enrichi, elles sont peu encombrantes, de prix modérés et elles peuvent stimuler différentes parties du corps (elles se déclinent en manettes, bracelets, gants, vestes, ceintures et même semelles ou chaussures). Elles trouvent donc naturellement différents usages.

. Les interfaces tactiles peuvent, comme les interfaces à retour d’effort, être utilisées pour la formation des opérateurs, que ce soit en transmettant des informations réalistes ou en utilisant des signaux plus abstraits et contextuels. Les interfaces tactiles portées (bracelets ou dispositifs au bout du doigt) transmettent, par des vibrations ou des plates-formes mécaniques, des informations simples de collisions avec la scène virtuelle, ce qui facilite la manipulation des objets qui s’y trouvent.

Go Touch VR a par exemple collaboré avec une entreprise qui commercialise des simulateurs de vol afin de permettre aux pilotes en entraînement de toucher et manipuler de façon plus réaliste les éléments de leur cockpit avec le VRtouch, une interface dite bout du doigt. Le CEA List a également utilisé des messages tactiles fondés sur des métaphores ou des analogies pour transmettre des informations contextuelles (messages d’erreur ou de danger, informations diverses) dans un scénario pédagogique de formation des opérateurs sur des chaînes de montage automobile.

. Le tactile a beaucoup de potentiel dans le domaine du marketing. Il permet de toucher des objets virtuels et d’en ressentir les textures, mais aussi d’avoir une expérience plus interactive et ludique avec de futurs produits. Microsoft a par exemple développé le Haptic Revolver qui permet, grâce à une molette rotative synchronisée avec les gestes de l’utilisateur, de transmettre le contact, le mouvement et de changer les textures ressenties. Ultraleap se positionne, avec une technologie très différente, sur l’haptique sans contact généré par des ultrasons diffusés à la surface de l’écran, par exemple pour interagir avec des panneaux publicitaires.

Bien que plus faciles à déployer dans les usines, les interfaces haptiques tactiles doivent encore trouver les applications qui leur permettront d’être utilisées dans un environnement industriel.

FIG. 4

5. Passer aux technologies hybrides

À l’heure actuelle, les dispositifs à retour kinésthésique et les interfaces tactiles demeurent distinctes. On trouve d’une part des bras robotisés (Haption, Force Dimension…), qui fournissent un retour d’effort de haute fidélité mais restent complexes et coûteux, d’autre part, les technologies de surface et les wearables (comme Go Touch VR), qui sont plus légers et moins complexes mais offrent un retour sensoriel plus limité. Les progrès de ces deux types d’interfaces permettent toutefois de voir arriver sur le marché des premiers dispositifs hybrides, comme les gants à retour d’effort SenseGlove ou HaptX.

Ces différentes interfaces trouvent déjà des applications industrielles. Les perspectives concernent l’amélioration continue des performances. Pour les interfaces à retour d’effort, cela peut passer par le contact intermittent avec lequel l’interface suit l’opérateur à distance et ne vient à son contact que pour restituer des efforts, autorisant un rendu théoriquement plus réaliste de ces derniers. Pour les interfaces tactiles, le progrès viendra du développement de dispositifs générant des sensations tactiles à distance, en jouant par exemple sur la focalisation d’ondes acoustiques dans l’air.

FIG. 5

Une autre perspective concerne l’intégration mécatronique toujours plus poussée grâce à l’amélioration des performances des actionneurs, des capteurs et des cartes électroniques. Cela laisse imaginer des interfaces multimodales pervasives, avec un retour tactile intégré aux objets, et des interfaces à retour d’effort plus portables, à l’image des exosquelettes, avec une prolongation des usages sur site grâce à la réalité augmentée.