Commander son ordinateur ou son téléphone mobile avec des gestes de la main, c’est ce que permet Digits, un dispositif sans fil qui se porte au poignet. Objectif : interagir librement avec les mobiles et enrichir les jeux vidéo.
Il y avait d’un côté les "data gloves", ces gants électroniques qui donnent une interaction gestuelle avec les systèmes de réalité virtuelle. De l’autre, la Kinect, qui autorise une interaction 3D à mains nues, à condition de rester dans le champ de la caméra. Les chercheurs de Microsoft ont trouvé le moyen de combiner les deux, en embarquant le système de détection de gestes sur l’utilisateur : il se noue à son poignet, et se focalise sur les gestes de la main. Digits, c’est son nom, a été présenté par Microsoft à UIST 2012, un salon sur les interfaces avec les équipements électroniques qui vient d’avoir lieu à Cambridge. Il est un peu encombrant (le prototype est réalisé avec des produits disponibles dans le commerce), mais Microsoft Research assure qu’on peut le réduire à la taille d’une montre.
Digits détecte l’orientation du poignet et la position des doigts. Des gestes complexes peuvent alors être identifiés par l’ordinateur, le téléphone mobile, ou la tablette avec lesquels il communique, pour exécuter une commande ou interagir avec des objets virtuels. Le système comprend notamment une source laser infra-rouge, une caméra infra-rouge, et une unité de mesure inertielle. Mais le plus compliqué, soulignent les chercheurs, a été de modéliser des gestes naturels de la main à partir de seulement 5 points de mesure, du poignet au bout des doigts. Après beaucoup de lectures en biomécanique et pas mal de mathématiques, ils sont arrivés à un résultat satisfaisant : une main virtuelle à l’écran reproduit fidèlement les mouvements de la main de l’utilisateur.
Digits pourrait être intéressant dans toutes les situations de mobilité : on peut continuer à interagir en changeant de pièce, ou avec le téléphone dans sa poche. Il peut aussi s’ajouter à une Kinect, pour des jeux qui combineront l’interaction via le corps entier et au moyen des doigts.
