Intelligence artificielle : comment Mark Zuckerberg a bâti Jarvis, son assistant virtuel

Mark Zuckerberg tient ses bonnes résolutions ! Après l’apprentissage du mandarin, lire deux livres par mois et rencontrer une nouvelle personne chaque jour, le patron de Facebook s’était lancé un défi plus technologique en janvier dernier : construire lui-même une intelligence artificielle (AI) pour sa maison et l’aider dans son travail. C’est chose faite !

Après 11 mois de développement et d'ajustement, Mark Zuckerberg a publié une vidéo sur sa propre page Facebook pour présenter son intelligence artificielle, baptisée Jarvis, en référence à l’ordinateur de bord de Tony Stark dans Iron Man.

Connecter l'AI à la domotique

Dans la vidéo en question, Jarvis est présenté comme un assistant virtuel avec qui il est possible d’interagir via un smartphone par la voix et par message sur l’application Facebook Messenger. Au réveil, Jarvis rappelle à Mark Zuckerberg son agenda de la journée. Reliée à différents éléments domotiques de la maison, l’intelligence artificielle peut aussi contrôler la lumière, la musique ou encore lancer un programme vidéo. Jarvis est également capable de reconnaître les visiteurs, de les laisser entrer s’ils sont autorisés et d’alerter Mark Zuckerberg de leur arrivée.

Dans un billet de blog, le « père » de Jarvis en dit plus sur les techniques utilisées. Au programme : des algorithmes de traitement du langage naturel, de reconnaissance vocale, de reconnaissance faciale et d’apprentissage par renforcement. Le tout, codé dans différents langages comme Python, PHP ou encore Objective C. Ces différentes briques technologiques permettent d’alimenter le système d’intelligence artificielle, qui est lui-même connecté à différentes interfaces utilisateurs (Messenger, caméra d’entrée et système de reconnaissance vocale d’iOS) et à différents éléments de la maison (lumière, thermostat, portes, système Sonos, grille-pain, canon à T-shirts, etc…)

Permettre à l'AI de comprendre le contexte

Dans l'article, Mark Zuckerberg raconte que l’un des premiers challenges techniques a consisté à connecter les différents équipements de la maison, car chacun utilise son propre langage et son propre protocole de communication.

Le patron de Facebook explique également à quel point il est important pour une AI de comprendre le contexte. Il donne un exemple pour illustrer cette problématique : lorsqu'il demande à Jarvis de mettre la climatisation dans son bureau, cette demande ne signifie pas la même chose que lorsque sa femme fait exactement la même requête, puisque chacun a son propre bureau. Pour améliorer les capacités de son assistant virtuel, Mark Zuckerberg a donc adopté une approche d’apprentissage par renforcement.

Apprendre à Jarvis à apprendre toute seule

« Cette méthode ressemble au dressage d’un animal de cirque ou d’un animal de compagnie : on attend que l’animal fasse la bonne action et on lui donne une récompense. C’est ce type d’apprentissage qui a été utilisé pour entraîner le logiciel AlphaGO . Au jeu de Go, lorsque la machine gagne, elle se dit qu’il faut refaire la même chose. A chaque essai, on donne finalement très peu d’informations à la machine » nous expliquait Yann Lecun, le directeur du laboratoire d’intelligence artificielle de Facebook, le FAIR, lors d’une précédente interview.

A l’avenir, le patron de Facebook aimerait trouver le moyen d’apprendre à Jarvis la capacité d’apprendre, elle-même, de nouvelles fonctionnalités, plutôt que de lui apprendre à chaque fois des tâches bien spécifiques. On parle alors d’apprentissage prédictif ou d’apprentissage non supervisé. Concrètement, cela signifie qu'une machine est capable d'apprendre toutes les choses que nous apprenons en observant le spectacle du monde. C’est LE grand défi scientifique de l’intelligence artificielle, selon Yann Lecun.

Sélectionné pour vous

Cryptographie post-quantique : se préparer sans se précipiter

La deeptech Pasqal signe avec BMW pour appliquer le calcul quantique au formage des métaux

L’intelligence artificielle s'attaque à l'échographie : focus sur le projet SUOG