Vers une plateforme de métrologie et d’essais dédiée à l’intelligence artificielle avec le LNE

L’intelligence artificielle est devenue une des briques essentielle de l’IIoT et nécessite désormais des outils pour en évaluer la performance. A l’occasion de la journée technique « IIoT, Capteurs intelligents et Métrologie », organisée le 5 novembre par le Collège français de métrologie (CFM), la création d’une plateforme dédiée à la métrologie de l’IA a été évoquée par le LNE.

 

Partager
Vers une plateforme de métrologie et d’essais dédiée à l’intelligence artificielle avec le LNE
La plateforme LEIA pourra évaluer les performances des algorithmes, comme ceux des robots agricoles, directement sur le terrain.

Avec le développement des capteurs intelligents dans les usines, l’évaluation des performances des algorithmes traitant l’information s’impose aujourd’hui comme un véritable enjeu industriel. Cette question, au cœur de l’usine 4.0, a été abordée lors de la journée technique « IIoT, Capteurs intelligents et Métrologie », organisée le 5 novembre par le Collège français de métrologie (CFM).

A cette occasion, Guillaume Avrin, responsable du département évaluation de l’IA au laboratoire national d’essais et de métrologie (LNE), a dévoilé le projet d’une plateforme française de métrologie et d’essais de l’intelligence artificielle. Baptisée LEIA (pour Laboratoire d’évaluation de l’intelligence artificielle), elle rassemblera des acteurs nationaux et européens afin de répondre au besoin d’évaluation des systèmes d’IA.

Le projet, qui est en train de se mettre en place, pourrait voir le jour dès 2021 avec l’obtention de financements européens.

« C’est véritablement une nouvelle discipline de la métrologie. La plateforme LEIA n’a pas d’équivalent à l’international », a mis en avant Guillaume Avrin lors de la journée technique du CFM. « Notre objectif est de développer une théorie de la mesure des performances de l’IA. Il s’agira d’un outil précieux à la fois pour permettre aux développeurs de peaufiner leur solutions et pour que celles-ci soient en conformité avec les exigences des utilisateurs finaux. »

Ouvrir la « boîte noire »

Un travail qui est loin d’être trivial. Contrairement aux autres logiciels, les IA échappent en effet aux méthodes d’évaluations classiques. Tout d’abord parce que ces solution doivent pouvoir permettre aux capteurs intelligents de s’adapter à des environnements non structurés. « L’évaluation des algorithmes d’IA revient en grande partie à caractériser leur environnement de fonctionnement. L'utilisateur final veut savoir dans quelle condition il peut utiliser son capteur intelligent. Or, il n’est pas possible d’échantillonner un domaine de fonctionnement d'une IA et d’en déduire, par interpolation et extrapolation, les performances du système sur l'ensemble de son périmètre de fonctionnement », pointe Guillaume Avrin.

Pour répondre à cela le LNE expérimente des méthodes d’évaluation et de mesure dites en « boîte noire » ou en « boîte grise ». L’évaluation en « boîte noire » est l’approche la plus basique : une fois la tâche d’évaluation définit, un jeu de données et un environnement sont fournis mis en place. La tâche est effectuée à la fois par l’IA et des humains qui fourniront des résultats de référence. Une métrique de comparaison entre les deux résultats est alors mise en place. Elle sert de base à l’analyse des erreurs et à la quantification de la performance.

Evaluer chaque brique d’intelligence

L’évaluation en « boîte grise » est une approche un peu plus complexe, et plus demandeuse en ressources. Elle consiste à segmenter la tâche à évaluer en plusieurs fonctionnalités intermédiaires dont les performances seront quantifiées séparément. « Dans le cas d’un robot collaboratif de l’usine 4.0 par exemple, dont le fonctionnement repose sur une IA, nous pouvons évaluer la partie reconnaissance de l’information, la compréhension de l’environnement du système, ou encore son processus de gestion de mission », explique Guillaume Avrin. « Ces mesures, réalisées sur les briques d’intelligence du dispositif, sont ensuite associées à l’évaluation de l’action en sortie. Cette combinaison permet de quantifier la performance du système complet ».

L’analyse sur le terrain

Une autre méthode consiste à effectuer une évaluation directement sur le terrain et en « cascade ». Dans ce cadre, les données utilisées pour évaluer les algorithmes d’IA sont celles produites par les robots sur le terrain. Ces données brutes du terrain sont annotées et qualifiées par des experts. Elles serviront dans un deuxième temps de données de test pour une seconde évaluation et quantifier la performance de l’IA. « Ces évaluations sont souvent répétées dans le temps pour mesurer les éventuelles dérives, les dégradations de performance, ou encore l’impact des investissements en R&D consentis », précise Guillaume Avrin.

Dans ce domaine, le LNE est coordinateur du projet H2020 METRICS (pour Metrological evaluation and testing of robots in international competition) qui rassemble 17 organismes européens pour évaluer et quantifier la performance de robots.

Une plateforme aux environnements multiples

La plateforme LEIA visera à mettre en place une banque centrale de données de test qui servira à évaluer les algorithmes d’IA. Elle permettra également des créer différents environnements de tests pour mesurer leur performances. « Nous voulons mettre ne place trois types d’environnements : les LEIA 1 n’effectueront que des tests numériques, tandis que les LEIA 3 ne feront que des tests physiques. Dans le premiers cas, nous pourrons générer beaucoup de scénarios mais ce ne sera pas un retour du terrain. Dans le second, les tests seront moins nombreux mais réalisés en conditions réelles. Les LEIA 2 seront une forme hybride, où il y aura un élément physique – comme un capteur intelligent ou un robot – et un environnement simulé, avec une projection par exemple. L’idéal sera de pouvoir évaluer les IA dans ces trois environnements. », conclut Guillaume Avrin.

SUR LE MÊME SUJET

Sujets associés

NEWSLETTER L'hebdo de la techno

Nos journalistes sélectionnent pour vous les articles clés de l'innovation technologique

Votre demande d’inscription a bien été prise en compte.

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes...

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes du : Groupe Moniteur Nanterre B 403 080 823, IPD Nanterre 490 727 633, Groupe Industrie Service Info (GISI) Nanterre 442 233 417. Cette société ou toutes sociétés du Groupe Infopro Digital pourront l'utiliser afin de vous proposer pour leur compte ou celui de leurs clients, des produits et/ou services utiles à vos activités professionnelles. Pour exercer vos droits, vous y opposer ou pour en savoir plus : Charte des données personnelles.

LES ÉVÉNEMENTS

LES PODCASTS

Le Mans, capitale du son

Le Mans, capitale du son

Dans ce nouvel épisode de La Fabrique, Olivier James nous emmène au Mans pour nous faire découvrir un écosystème surprenant : celui de l'acoustique. En quelques années, la...

Écouter cet épisode

Le design dans le monde d'après

Le design dans le monde d'après

L'ancien secrétaire d'Etat socialiste, Thierry Mandon, est président de la Cité du Design de Saint-Etienne. Dans ce nouvel épisode du podcast Inspiration, il présente la Biennale...

Écouter cet épisode

Viande in vitro, végétal... Frédéric Wallet dresse le menu de demain

Viande in vitro, végétal... Frédéric Wallet dresse le menu de demain

Dans ce nouvel épisode de « Demain dans nos assiettes », notre journaliste reçoit Frédéric Wallet. Chercheur à l'Inrae, il est l'auteur de Manger Demain, paru aux...

Écouter cet épisode

La fin du charbon en Moselle

La fin du charbon en Moselle

Dans ce nouvel épisode de La Fabrique, Cécile Maillard nous emmène à Saint Avold, en Moselle, dans l'enceinte de l'une des trois dernières centrales à charbon de...

Écouter cet épisode

Tous les podcasts

LES SERVICES DE

Trouvez les entreprises industrielles qui recrutent des talents

VILLE DE CALLAC

Technicien des Services Techniques H/F

VILLE DE CALLAC - 31/03/2022 - CDD - CALLAC DE BRETAGNE

+ 550 offres d’emploi

Tout voir
Proposé par

ARTICLES LES PLUS LUS