L’apprentissage auto-supervisé, futur du deep learning appliqué à l’image chez Facebook AI Research

L’étiquetage des images sera bientôt du passé pour le deep learning. Avec le modèle SEER (SElf-supERvised), décrit dans un article scientifique mis en ligne sur le site de prépublication arXiv, les équipes du laboratoire de recherche en Intelligence Artificielle de Facebook (FAIR) de Paris, en collaboration avec l’Inria, ont montré qu'un algorithme d'apprentissage auto-supervisé permettait d'apprendre à regrouper des images par catégories sans avoir besoin qu’un humain les pré-étiquette avant.

« Ces algorithmes sont le futur de l’apprentissage machine », affirme Mathilde Caron, doctorante à l’Inria et au FAIR, « Le modèle SEER est la combinaison d’un réseau de neurones basé sur une nouvelle architecture appelée RegNet de 1 300 millions de paramètres appris en utilisant l’algorithme auto-supervisé SwAV que nous avons mis au point l’année dernière et une base de données de 1 milliard d’images Instagram publiques. »

Catégoriser en analysant les similitudes de différentes distorsions

Jusqu’ici, le deep learning reposait sur la possibilité d’entraîner des algorithmes de catégorisation sur des données préalablement étiquetées. Le problème, c’est que cet étiquetage reste une tâche humaine et fastidieuse. Les nouveaux algorithmes d’apprentissage auto-supervisés n’ont plus besoin de cette étape.

Pour se passer de la labellisation humaine des images, les algorithmes d’apprentissage auto-supervisé comme SwAV vont analyser l’image après des distorsions comme une découpe, une rotation ou un filtre de couleur. L’algorithme classe ensuite les images dans des groupes dont les résultats des différentes distorsions se rapprochent le plus. Plus on utilise de distorsions plus la catégorisation devient précise.

Un deep learning moins biaisés

« Il y a énormément d’avantages à utiliser des algorithmes non supervisés », explique Mathilde Caron, « le processus d’annotation, en plus d’être cher, est biaisé par les annotateurs. En laissant l’algorithme apprendre directement sur la base de données, nous évitons ce biais même s’il reste celui de la confection de la base de données elle-même. ».

Cette classe d’algorithmes de deep learning pourrait permettre d’utiliser ce type d’intelligence artificielle sur des images où l’annotation est plus complexe. « Par exemple, en imagerie médicale, l’étiquetage d’une tumeur est difficile. Un algorithme non supervisé pourrait reconnaitre qu’il y a des images qui se ressemblent qui correspondent à des cas bénins et d’autres qui se ressemblent et qui sont des images de tumeurs » ajoute la doctorante.

Le « bon sens » humain pas encore atteint

Le responsable scientifique de la recherche au FAIR, Yann Lecun, s’est fendu d’un billet de blog le 4 mars dernier qui compare l’apprentissage non-supervisé au « bon sens » humain qui nous permet d’analyser le monde sans tout étiqueter.

Si les algorithmes d’apprentissage non-supervisé permettent effectivement aux machines de se passer de l’étiquetage, ils n’évitent malheureusement pas le besoin d’une masse de données énormes pour pouvoir apprendre de manière efficace. « Les algorithmes de deep learning restent toujours gourmands en données et il y a toujours un bénéfice à les entrainer sur le plus d’images possible », reconnaît Mathilde Caron.

Un enfant n’a pas besoin de voir des millions de voitures pour en reconnaître une. Il faudra encore du travail aux chercheurs en intelligence artificielle pour atteindre l’efficacité du « bon sens » humain.

Sélectionné pour vous

« Nous voulons combiner les avantages des photons et des électrons pour une IA plus sobre », avance Damien Querlioz, du C2N

Intel mise sur les substrats en verre pour perpétuer la loi de Moore

Le marché mondial du processeur, aiguillonné par l’IA, atteindrait 242 milliards de dollars en 2028, d’après Yole Intelligence