Au-delà des écrans tactiles, devenus omniprésents, c'est l'ensemble de notre environnement que des chercheurs s'ingénient à rendre communicant. Quitte à s'affranchir de toute surface d'interaction.
Message à ceux qui sourient encore à la vision d'un passant soliloquant avec véhémence, le portable dans la poche et l'oreillette en place : l'avenir promet d'être bien plus drôle. En effet, chacun pourra bientôt travailler ou jouer sur son équipement portable favori avec force moulinets et pointages du doigt. Un peu comme avec une souris (la souris, vous vous souvenez ?), mais à mains nues, dans le vide et sans le moindre écran devant les yeux ! C'est en tout cas ce que promettent des travaux menés aux États-Unis, au Massachusetts Institute of Technology (MIT) et chez Microsoft avec l'université Carnegie Mellon. En Europe, Inria (France) ou l'Institut Hasso Plattner à Potsdam (Allemagne) travaillent dans la même direction. Pour tous ces chercheurs, l'écran tactile de la tablette - sans parler de celui du téléphone - est trop limité physiquement pour interagir avec le monde numérique. Ils proposent donc d'étendre les surfaces d'interaction. Voire de s'en débarrasser.
Communiquer avec l'ordinateur sans le toucher ? C'est déjà possible. On peut s'en faire une idée avec un dispositif assez simple, le Mouseless, mis au point par Pranav Mistry, chercheur au Media Lab du MIT. Ce système intègre un laser infrarouge, placé sur le côté de l'ordinateur portable, qui balaye l'espace et les mouvements de votre main à proximité. Une petite caméra, clipsée sur l'écran, observe la scène et détecte la position de votre main que vous bougez pour activer des commandes. Le curseur de l'écran se déplace, les clics simulés par l'index sont pris en compte. Comme avec une souris, mais sans souris !
Mais laissons tomber la souris, un brin dépassée quand les écrans tactiles prolifèrent. Partons du nec plus ultra qui existe aujourd'hui : la tablette. Comment élargir l'interface de communication de cet objet sans nuire à sa portabilité ? Posée sur une table, Portico, une tablette de 12 pouces conçue par des chercheurs d'Intel et de Microsoft, utilise la zone autour de l'écran pour multiplier par six la surface d'interaction entre l'ordinateur et son utilisateur. Grâce à deux petites caméras montées sur des bras repliables, le prototype réagit aux objets posés sur l'écran ou manipulés sur la table. Ce qui autorise toutes sortes de scénarios ludiques mêlant objets réels et monde numérique : la bille qui touche le bord de la tablette, par exemple, et poursuit son chemin à l'écran, l'animal en peluche qui boit dans un étang virtuel, l'évolution à l'écran d'un avion qui suit les mouvements d'un jouet manoeuvré à la main... Plus sérieusement, Portico devrait donner des idées aux enseignants en physique ou en mathématiques : leurs élèves pourraient manipuler simultanément objets tangibles, modèles numériques et figures abstraites.
La lumière comme interface
Quand l'interface de l'ordinateur sort de l'écran et fait de plus en plus appel aux gestes, ce sont de nouveaux usages qu'il faut inventer. « Notre démarche est de réaliser très vite un démonstrateur pour observer les réactions d'utilisateurs, susciter des applications et réorienter nos recherches », explique Laurent Grisoni, le responsable de l'équipe Mint (Méthodes et outils pour l'interaction à gestes) d'Inria (Lille). Les spécialistes de la communication par gestes avec l'ordinateur ont ainsi mis au point un prototype de dessin sur écran sans contact, qui a fait mouche auprès d'une fondation de rééducation. Les chercheurs ont aussi créé un instrument de musique joué à distance (des bols tibétains). Le système doit détecter les gestes du musicien, mais aussi leur direction (quel est le bol « touché ») et leur intensité. Ce développement a ensuite été appliqué à la commande par gestes d'une télévision (changer de chaîne, monter le son...). On imagine l'usage que pourrait en faire la domotique.
Savoir interpréter des gestes est déterminant pour les projets qui veulent s'affranchir de l'écran tactile... Pour mieux le recréer sur n'importe quelle surface de notre environnement. Deux innovations récentes jouent un rôle clé dans ces dispositifs : le picoprojecteur (un projecteur numérique miniaturisé) et la caméra de détection de profondeur, du type de celle qui équipe la Kinect de la console de jeux Microsoft.
Ce sont les composants de base du système SixthSense (« sixième sens ») du MIT. Le projecteur projette un clavier, ou toute autre interface visuelle sur un bureau, un mur, un bloc-notes... La caméra, elle, détecte les mouvements des doigts sur cette interface et transmet les commandes à l'ordinateur ou au smartphone. Dans sa version initiale - le projet est en cours de développement -, SixthSense impose quelques contraintes, comme des marques de couleur sur les doigts... Le Media Lab a déjà décliné ce principe sur une application destinée à la vente de produits sur un présentoir. LuminAR ressemble ainsi à une lampe de bureau (en fait, c'est un bras de robot) dans laquelle l'ampoule est remplacée par le système de projection et de détection de gestes. Placé sur le comptoir, LuminAR réagit aux gestes des clients qui désignent du doigt ou manipulent un produit, en projetant une interface qui leur propose conseils et informations, voire d'entrer en communication avec un expert.
Du bout des doigts
OmniTouch, un système concurrent développé par l'université Carnegie Mellon et Microsoft, utilise également un picoprojecteur et une caméra de détection de profondeur. Monté dans un cadre métallique, ce prototype est porté à l'épaule. Des premiers essais ont tout simplement été menés avec la Kinect de Microsoft. Les résultats étaient satisfaisants. Mais la Kinect présente un inconvénient : les objets qu'elle détecte doivent être placés à au moins 50 cm... ce qui rend difficile la détection des mains. Aussi, une caméra spécifique a-t-elle été fournie par l'israélien PrimeSense (à l'origine de la technologie de la Kinect). L'équipe de Carnegie Mellon a alors effectué un important travail sur le logiciel afin de rendre l'OmniTouch le plus fonctionnel possible. Pas besoin de le calibrer ni d'apprentissage pour s'en servir, car son système se cale automatiquement. Il projette les images et reconnaît les gestes, que la surface interactive soit la main, l'avant-bras ou un objet quelconque. Du bout des doigts, il permet de cliquer, faire défiler une liste, glisser et déposer... Le tout, sans marques de couleur sur les doigts. Reste que l'ensemble est encore trop encombrant. « L'étape suivante sera celle de la miniaturisation. Un système comme OmniTouch devrait bientôt tenir dans le volume d'un jeu de cartes et même s'intégrer dans un appareil portable », affirme Chris Harrison, qui travaille sur le projet à Carnegie Mellon.
Après les objets, les corps tactiles
La perspective de rendre tactile n'importe quelle surface intéresse aussi des designers, qui imaginent d'utiliser des objets comme interface avec des équipements numériques. Mais cette fois, l'idée est de créer des objets eux-mêmes dotés d'une sensibilité au toucher. Pour explorer ce nouveau type d'interface, le Human Media Lab de la Queen's University de Kingston (Canada) propose une solution peu coûteuse, sous la forme d'un ruban tactile pour recouvrir l'objet. Le ruban est constitué d'un empilement d'une couche résistive, d'une couche isolante et d'une couche métallique conductrice. Lorsque l'on appuie sur le ruban, le circuit électrique se ferme et le ruban devient conducteur, ce qui détecte le toucher.
Une technique plus sophistiquée, testée à l'Institut Hasso Plattner, s'inspire de la réflectométrie, méthode pour localiser un défaut dans un câble qui analyse l'écho du signal électrique renvoyé par un défaut. Le Human Computer Interaction Lab de Potsdam a ainsi fabriqué des fils et même des tissus ou des films sensibles au toucher, avec lesquels il enveloppe des formes diverses (sphères, bouteilles...) pour les rendre tactiles.
Transformer en interface la première surface à portée de main, voilà qui devrait pas mal changer notre dialogue avec le monde numérique. Mais pour certains, c'est encore trop contraignant. C'est l'avis de Patrick Baudisch, le responsable du Human Computer Interaction Lab de l'Institut Hasso Plattner. Le chercheur propose de se débarrasser carrément de l'interface visuelle, et par conséquent du projecteur, pour ne garder que la caméra. À titre d'exemple, son équipe a testé l'« Imaginary Phone », avec lequel on peut prendre un appel ou raccrocher en tapotant sur sa main, comme s'il s'agissait de l'écran de l'appareil
« Comme si » : tout est là. Car il faut encore répondre à cette question : dans quelle mesure peut-on interagir avec une interface qui n'existe que dans notre imagination ? Ou plutôt, dans notre mémoire : l'utilisateur d'un iPhone mémorise rapidement, sans y prendre garde, l'interface visuelle de son appareil. L'équipe de Potsdam a montré qu'il pouvait la reproduire mentalement sur sa main et effectuer quelques commandes avec un doigt de l'autre main trackée par une caméra. « À court terme, il ne s'agit pas de remplacer toute l'interface tactile, mais de pouvoir réaliser des tâches simples sans chercher l'appareil dans sa poche ou son sac », précise Patrick Baudisch. Là aussi, la miniaturisation est au programme. Avec l'entreprise allemande PMD, qui conçoit des caméras de détection de profondeur, les chercheurs de Potsdam veulent réduire considérablement la taille de leur dispositif. L'idée, à terme, est de le rendre invisible, intégré dans une broche ou dans le bouton d'un vêtement...
Les études technologiques sont loin d'être finies, mais déjà des chercheurs s'intéressent aux implications psychosociologiques des nouveaux systèmes d'interaction avec le numérique. Ainsi, l'équipe de Carnegie Mellon, qui travaille sur la projection des interfaces sur tous types de surface, soulève une question qui mérite qu'on y réfléchisse : à partir du moment où le propre corps de l'utilisateur peut devenir une plateforme interactive, qu'arrivera-t-il s'il doit partager cette interface avec d'autres personnes ? Au moins d'autres occasions de rire.
L'interface est étendue à la surface environnante La tablette numérique, par exemple, réagit aux objets physiques posés autour de son écran. L'interface tactile est projetée sur n'importe quelle surface Un bureau, un présentoir de produits, la main... deviennent ainsi une interface tactile pour utiliser une application numérique. L'interface devient complètement virtuelle Des gestes manuels dans l'espace suffisent à commander un téléphone ou un ordinateur.
Monté sur un cadre métallique, constitué d'un picoprojecteur et d'une caméra de détection de profondeur, le système OmniTouch se porte à l'épaule. Son principe repose sur la projection d'un clavier ou d'une interface visuelle quelconque sur n'importe quelle surface : une main, un avant-bras, un mur, une table... La caméra repère la position et les mouvements des doigts sur l'interface projetée, et détecte les clics. D'autres fonctions, tels la vision en mode panoramique ou le zoom, ont pu être testées, comme, ici, avec l'exemple de la projection d'une carte.
Des photos de la galaxie, la structure détaillée de l'Internet mondial, des clichés de la Terre par satellite, des stocks d'images médicales destinées à la recherche... Toutes ces prises de vues ont en commun d'être difficiles à explorer. Le mur d'images Wild, mis au point par l'équipe In Situ d'Inria, est un outil conçu pour interagir plus librement avec ces énormes volumes de données. Avec ses 32 écrans LCD de 30 pouces, il se prête à l'affichage de grandes images ou à des juxtapositions d'un nombre important de vues. Mais l'originalité de Wild tient surtout à ses technologies d'interaction avec les images. Un système Vicon détecte les gestes (10 caméras infrarouges au plafond) et une table multitactile permet de manipuler les objets affichés sur le mur. Des scénarios sont étudiés avec les chercheurs de différentes disciplines susceptibles d'utiliser un mur d'écrans. Tel ce système d'interaction sans contact. Dans une main, le chercheur tient une baguette avec laquelle il désigne précisément une zone de l'image. Dans l'autre, un iPod connecté par Wi-Fi au système d'affichage, et dont il utilise la surface tactile pour zoomer ou dézoomer l'image. Autre option : un objet tenu à la main sert à contrôler simultanément l'orientation de tous les objets affichés à l'écran, des images de cerveaux par exemple.
