L’apprentissage auto-supervisé, futur du deep learning appliqué à l’image chez Facebook AI Research

Le deep learning veut se passer du coûteux étiquetage des images. Le modèle SEER, créé par le laboratoire de recherche franco-américain de Facebook (FAIR) en collaboration avec l’Inria, utilise des  algorithmes de deep learning auto-supervisés qui catégorisent les données sans avoir besoin qu’elles soient étiquetées. Ces algorithmes restent néanmoins très gourmands en données et en énergie.

Partager
L’apprentissage auto-supervisé, futur du deep learning appliqué à l’image chez Facebook AI Research

L’étiquetage des images sera bientôt du passé pour le deep learning. Avec le modèle SEER (SElf-supERvised), décrit dans un article scientifique mis en ligne sur le site de prépublication arXiv, les équipes du laboratoire de recherche en Intelligence Artificielle de Facebook (FAIR) de Paris, en collaboration avec l’Inria, ont montré qu'un algorithme d'apprentissage auto-supervisé permettait d'apprendre à regrouper des images par catégories sans avoir besoin qu’un humain les pré-étiquette avant.

« Ces algorithmes sont le futur de l’apprentissage machine », affirme Mathilde Caron, doctorante à l’Inria et au FAIR, « Le modèle SEER est la combinaison d’un réseau de neurones basé sur une nouvelle architecture appelée RegNet de 1 300 millions de paramètres appris en utilisant l’algorithme auto-supervisé SwAV que nous avons mis au point l’année dernière et une base de données de 1 milliard d’images Instagram publiques. »

Catégoriser en analysant les similitudes de différentes distorsions

Jusqu’ici, le deep learning reposait sur la possibilité d’entraîner des algorithmes de catégorisation sur des données préalablement étiquetées. Le problème, c’est que cet étiquetage reste une tâche humaine et fastidieuse. Les nouveaux algorithmes d’apprentissage auto-supervisés n’ont plus besoin de cette étape.

Pour se passer de la labellisation humaine des images, les algorithmes d’apprentissage auto-supervisé comme SwAV vont analyser l’image après des distorsions comme une découpe, une rotation ou un filtre de couleur. L’algorithme classe ensuite les images dans des groupes dont les résultats des différentes distorsions se rapprochent le plus. Plus on utilise de distorsions plus la catégorisation devient précise.

Un deep learning moins biaisés

« Il y a énormément d’avantages à utiliser des algorithmes non supervisés », explique Mathilde Caron, « le processus d’annotation, en plus d’être cher, est biaisé par les annotateurs. En laissant l’algorithme apprendre directement sur la base de données, nous évitons ce biais même s’il reste celui de la confection de la base de données elle-même. ».

Cette classe d’algorithmes de deep learning pourrait permettre d’utiliser ce type d’intelligence artificielle sur des images où l’annotation est plus complexe. « Par exemple, en imagerie médicale, l’étiquetage d’une tumeur est difficile. Un algorithme non supervisé pourrait reconnaitre qu’il y a des images qui se ressemblent qui correspondent à des cas bénins et d’autres qui se ressemblent et qui sont des images de tumeurs » ajoute la doctorante.

Le « bon sens » humain pas encore atteint

Le responsable scientifique de la recherche au FAIR, Yann Lecun, s’est fendu d’un billet de blog le 4 mars dernier qui compare l’apprentissage non-supervisé au « bon sens » humain qui nous permet d’analyser le monde sans tout étiqueter.

Si les algorithmes d’apprentissage non-supervisé permettent effectivement aux machines de se passer de l’étiquetage, ils n’évitent malheureusement pas le besoin d’une masse de données énormes pour pouvoir apprendre de manière efficace. « Les algorithmes de deep learning restent toujours gourmands en données et il y a toujours un bénéfice à les entrainer sur le plus d’images possible », reconnaît Mathilde Caron.

Un enfant n’a pas besoin de voir des millions de voitures pour en reconnaître une. Il faudra encore du travail aux chercheurs en intelligence artificielle pour atteindre l’efficacité du « bon sens » humain.

SUR LE MÊME SUJET

Sujets associés

NEWSLETTER L'hebdo de la techno

Nos journalistes sélectionnent pour vous les articles clés de l'innovation technologique

Votre demande d’inscription a bien été prise en compte.

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes...

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes du : Groupe Moniteur Nanterre B 403 080 823, IPD Nanterre 490 727 633, Groupe Industrie Service Info (GISI) Nanterre 442 233 417. Cette société ou toutes sociétés du Groupe Infopro Digital pourront l'utiliser afin de vous proposer pour leur compte ou celui de leurs clients, des produits et/ou services utiles à vos activités professionnelles. Pour exercer vos droits, vous y opposer ou pour en savoir plus : Charte des données personnelles.

LES ÉVÉNEMENTS L'USINE NOUVELLE

LES PODCASTS

Le Mans, capitale du son

Le Mans, capitale du son

Dans ce nouvel épisode de La Fabrique, Olivier James nous emmène au Mans pour nous faire découvrir un écosystème surprenant : celui de l'acoustique. En quelques années, la...

Écouter cet épisode

Le design dans le monde d'après

Le design dans le monde d'après

L'ancien secrétaire d'Etat socialiste, Thierry Mandon, est président de la Cité du Design de Saint-Etienne. Dans ce nouvel épisode du podcast Inspiration, il présente la Biennale...

Écouter cet épisode

Viande in vitro, végétal... Frédéric Wallet dresse le menu de demain

Viande in vitro, végétal... Frédéric Wallet dresse le menu de demain

Dans ce nouvel épisode de « Demain dans nos assiettes », notre journaliste reçoit Frédéric Wallet. Chercheur à l'Inrae, il est l'auteur de Manger Demain, paru aux...

Écouter cet épisode

La fin du charbon en Moselle

La fin du charbon en Moselle

Dans ce nouvel épisode de La Fabrique, Cécile Maillard nous emmène à Saint Avold, en Moselle, dans l'enceinte de l'une des trois dernières centrales à charbon de...

Écouter cet épisode

Tous les podcasts

LES SERVICES DE L'USINE NOUVELLE

Trouvez les entreprises industrielles qui recrutent des talents

VILLE DE CALLAC

Technicien des Services Techniques H/F

VILLE DE CALLAC - 31/03/2022 - CDD - CALLAC DE BRETAGNE

+ 550 offres d’emploi

Tout voir
Proposé par

ARTICLES LES PLUS LUS