Vers une plateforme de métrologie et d’essais dédiée à l’intelligence artificielle avec le LNE

L’intelligence artificielle est devenue une des briques essentielle de l’IIoT et nécessite désormais des outils pour en évaluer la performance. A l’occasion de la journée technique « IIoT, Capteurs intelligents et Métrologie », organisée le 5 novembre par le Collège français de métrologie (CFM), la création d’une plateforme dédiée à la métrologie de l’IA a été évoquée par le LNE.

 

Partager
Vers une plateforme de métrologie et d’essais dédiée à l’intelligence artificielle avec le LNE
La plateforme LEIA pourra évaluer les performances des algorithmes, comme ceux des robots agricoles, directement sur le terrain.

Avec le développement des capteurs intelligents dans les usines, l’évaluation des performances des algorithmes traitant l’information s’impose aujourd’hui comme un véritable enjeu industriel. Cette question, au cœur de l’usine 4.0, a été abordée lors de la journée technique « IIoT, Capteurs intelligents et Métrologie », organisée le 5 novembre par le Collège français de métrologie (CFM).

A cette occasion, Guillaume Avrin, responsable du département évaluation de l’IA au laboratoire national d’essais et de métrologie (LNE), a dévoilé le projet d’une plateforme française de métrologie et d’essais de l’intelligence artificielle. Baptisée LEIA (pour Laboratoire d’évaluation de l’intelligence artificielle), elle rassemblera des acteurs nationaux et européens afin de répondre au besoin d’évaluation des systèmes d’IA.

Le projet, qui est en train de se mettre en place, pourrait voir le jour dès 2021 avec l’obtention de financements européens.

« C’est véritablement une nouvelle discipline de la métrologie. La plateforme LEIA n’a pas d’équivalent à l’international », a mis en avant Guillaume Avrin lors de la journée technique du CFM. « Notre objectif est de développer une théorie de la mesure des performances de l’IA. Il s’agira d’un outil précieux à la fois pour permettre aux développeurs de peaufiner leur solutions et pour que celles-ci soient en conformité avec les exigences des utilisateurs finaux. »

Ouvrir la « boîte noire »

Un travail qui est loin d’être trivial. Contrairement aux autres logiciels, les IA échappent en effet aux méthodes d’évaluations classiques. Tout d’abord parce que ces solution doivent pouvoir permettre aux capteurs intelligents de s’adapter à des environnements non structurés. « L’évaluation des algorithmes d’IA revient en grande partie à caractériser leur environnement de fonctionnement. L'utilisateur final veut savoir dans quelle condition il peut utiliser son capteur intelligent. Or, il n’est pas possible d’échantillonner un domaine de fonctionnement d'une IA et d’en déduire, par interpolation et extrapolation, les performances du système sur l'ensemble de son périmètre de fonctionnement », pointe Guillaume Avrin.

Pour répondre à cela le LNE expérimente des méthodes d’évaluation et de mesure dites en « boîte noire » ou en « boîte grise ». L’évaluation en « boîte noire » est l’approche la plus basique : une fois la tâche d’évaluation définit, un jeu de données et un environnement sont fournis mis en place. La tâche est effectuée à la fois par l’IA et des humains qui fourniront des résultats de référence. Une métrique de comparaison entre les deux résultats est alors mise en place. Elle sert de base à l’analyse des erreurs et à la quantification de la performance.

Evaluer chaque brique d’intelligence

L’évaluation en « boîte grise » est une approche un peu plus complexe, et plus demandeuse en ressources. Elle consiste à segmenter la tâche à évaluer en plusieurs fonctionnalités intermédiaires dont les performances seront quantifiées séparément. « Dans le cas d’un robot collaboratif de l’usine 4.0 par exemple, dont le fonctionnement repose sur une IA, nous pouvons évaluer la partie reconnaissance de l’information, la compréhension de l’environnement du système, ou encore son processus de gestion de mission », explique Guillaume Avrin. « Ces mesures, réalisées sur les briques d’intelligence du dispositif, sont ensuite associées à l’évaluation de l’action en sortie. Cette combinaison permet de quantifier la performance du système complet ».

L’analyse sur le terrain

Une autre méthode consiste à effectuer une évaluation directement sur le terrain et en « cascade ». Dans ce cadre, les données utilisées pour évaluer les algorithmes d’IA sont celles produites par les robots sur le terrain. Ces données brutes du terrain sont annotées et qualifiées par des experts. Elles serviront dans un deuxième temps de données de test pour une seconde évaluation et quantifier la performance de l’IA. « Ces évaluations sont souvent répétées dans le temps pour mesurer les éventuelles dérives, les dégradations de performance, ou encore l’impact des investissements en R&D consentis », précise Guillaume Avrin.

Dans ce domaine, le LNE est coordinateur du projet H2020 METRICS (pour Metrological evaluation and testing of robots in international competition) qui rassemble 17 organismes européens pour évaluer et quantifier la performance de robots.

Une plateforme aux environnements multiples

La plateforme LEIA visera à mettre en place une banque centrale de données de test qui servira à évaluer les algorithmes d’IA. Elle permettra également des créer différents environnements de tests pour mesurer leur performances. « Nous voulons mettre ne place trois types d’environnements : les LEIA 1 n’effectueront que des tests numériques, tandis que les LEIA 3 ne feront que des tests physiques. Dans le premiers cas, nous pourrons générer beaucoup de scénarios mais ce ne sera pas un retour du terrain. Dans le second, les tests seront moins nombreux mais réalisés en conditions réelles. Les LEIA 2 seront une forme hybride, où il y aura un élément physique – comme un capteur intelligent ou un robot – et un environnement simulé, avec une projection par exemple. L’idéal sera de pouvoir évaluer les IA dans ces trois environnements. », conclut Guillaume Avrin.

SUR LE MÊME SUJET

Sujets associés

NEWSLETTER L'hebdo de la techno

Nos journalistes sélectionnent pour vous les articles clés de l'innovation technologique

Votre demande d’inscription a bien été prise en compte.

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes...

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes du : Groupe Moniteur Nanterre B 403 080 823, IPD Nanterre 490 727 633, Groupe Industrie Service Info (GISI) Nanterre 442 233 417. Cette société ou toutes sociétés du Groupe Infopro Digital pourront l'utiliser afin de vous proposer pour leur compte ou celui de leurs clients, des produits et/ou services utiles à vos activités professionnelles. Pour exercer vos droits, vous y opposer ou pour en savoir plus : Charte des données personnelles.

LES ÉVÉNEMENTS L'USINE NOUVELLE

Tous les événements

LES PODCASTS

Le premier câble transatlantique (2/2)

Le premier câble transatlantique (2/2)

Après deux échecs, Cyrus Field reste déterminé à mener à bien son projet : relier l’Europe à l’Amérique par un câble sous-marin. 

Écouter cet épisode

Le premier câble transatlantique (1/2)

Le premier câble transatlantique (1/2)

Un entremetteur talentueux et fortuné compte unir l’Europe à l’Amérique via un câble sous-marin. Pour le meilleur et pour le pire.

Écouter cet épisode

Monstre et compagnie

Monstre et compagnie

L’explosion meurtrière de la plateforme Piper Alpha révèle un industriel compatissant. Un rôle de composition pour Armand Hammer...

Écouter cet épisode

Le London Bridge, attraction touristique... en Arizona

Le London Bridge, attraction touristique... en Arizona

Du fog anglais à la chaleur de l’Arizona, il n’y a qu’un pas. Ou le pari d’un industriel américain prêt à tout pour promouvoir sa ville.

Écouter cet épisode

Tous les podcasts

LES SERVICES DE L'USINE NOUVELLE

Trouvez les entreprises industrielles qui recrutent des talents

ORANO

Chef de projet Chimie F/H

ORANO - 25/09/2023 - CDI - Bessines-sur-Gartempe

+ 550 offres d’emploi

Tout voir
Proposé par

Accédez à tous les appels d’offres et détectez vos opportunités d’affaires

74 - Thonon-les-Bains

Conception et réalisation pour la réhabilitation de 224 logements en site occupé, résidence La Versoie

DATE DE REPONSE 23/10/2023

+ de 10.000 avis par jour

Tout voir
Proposé par

ARTICLES LES PLUS LUS