La France aura son propre capteur de vision neuromorphique, qui équipera de futurs smartphones pour améliorer leur qualité photo et vidéo. C’est l’ambition du projet Persephone, lauréat de l’appel à projet « IA embarquée », impulsé par le plan France 2030. L’annonce a été faite ce jeudi 11 juillet 2024 par Bpifrance et le spécialiste français de cette technologie, la deeptech Prophesee.
Les deux acteurs mettent 15 millions d’euros sur la table - avec une participation majoritaire de Prophesee – pour développer une nouvelle génération de capteurs de vision neuromorphique. Et cela devrait aller vite. « Les premiers échantillons sont prévus en 2025, avant une mise sur le marché l’année suivante », précise Guillaume, responsable marketing et communication de Prophesee.
Pour rappel, un tel capteur, aussi appelé capteur événementiel ou à vision dynamique, s’inspire du fonctionnement de l’œil humain. Il ne capture pas des images dans leur entièreté ou des séquences d’images, comme un capteur d’image conventionnel (frame based).
Un précédent capteur co-conçu avec Sony
Ses photo-détecteurs, indépendants et asynchrones, ne captent que les changements de luminosité induits par le mouvement. A la clé : des économies d’énergie (le capteur demeure inactif quand rien ne bouge dans la scène), une très faible latence de l’ordre de la microseconde et une fréquence d’acquisition équivalente à plus de 10000 images/seconde, entre autres qualités.
Prophesee était déjà entré en contact avec l’écosystème de la téléphonie mobile en 2023, à la suite d’un partenariat avec Qualcomm, dévoilé au Mobile World Congress de Barcelone.
Pour la démonstration, son capteur IMX636 de quatrième génération, co-conçu avec Sony (le leader mondial du secteur), était associé à un capteur traditionnel du même Sony.
Avec l’appui d’une IA embarquée dans la puce de Qualcomm et capable de reconstruire des images, le flou de bougé pouvait être éliminé grâce aux informations supplémentaires acquises par le capteur événementiel, durant le temps d’exposition du capteur traditionnel.
La technologie est en test actuellement chez plusieurs fabricants de smartphones. Dont Xiaomi, qui a investi par le passé dans Prophesee.
Prophesee garde un pied dans l'industrie
Le prochain capteur événementiel développé dans le cadre du projet Persephone proposera ce type de fonction et d’autres, en cours de développement : super-ralenti, création d’images interpolées pour un affichage plus fluide ou encore identification de gestes et suivi du regard.
Guillaume Butin évoque aussi des travaux de recherche sur des réseaux de neurones plus adaptés aux spécificités d’un capteur neuromorphique, comme les réseaux de neurones à impulsions (SNN, spiking neural networks).
A la différence majeure de l’IMX636, toutefois, ce capteur de sixième génération sera entièrement conçu et produit en France. Logiquement, il se veut aussi plus performant et plus petit (pour diminuer le coût de production), mais ses caractéristiques exactes ne sont pas encore connues.
S’il se rapproche du marché grand public, Prophesee garde toujours un pied dans le monde industriel, où il a fait ses premières armes. Le GenX320, son capteur précédent appartenant à cinquième génération, s’adresse à l’IoT et à la réalité immersive.
En collaboration avec AMD, un kit assorti du GenX320 est aujourd’hui à disposition des développeurs pour des applications dans l’industrie et l’automobile.
