Suivre Sony France

Sony présente sa nouvelle exclusivité mondiale : des capteurs à vision intelligente dotés de fonctionnalités de traitement par IA

Communiqué de presse   •   mai 14, 2020 09:00 CEST

Sony Corporation annonce aujourd’hui la commercialisation imminente de deux modèles de capteurs à vision intelligente, les tout premiers capteurs d’images au monde à intégrer des fonctionnalités de traitement par IA1. Cette intégration directement dans le capteur d’images permet non seulement l’accélération du processus d’IA en périphérie du réseau et l’extraction sélective des seules données nécessaires, mais aussi, lors de l’utilisation de services Cloud, la réduction de la latence des transmissions des données, le respect de la vie privée et une diminution de la consommation d’énergie et des coûts de communication.

Ces produits ouvrent de nouveaux horizons dans le domaine du développement d’appareils équipés d’IA, avec un large spectre d’applications dans les secteurs du commerce de détail et de l’équipement industriel, mais aussi en matière d’optimisation de systèmes connectés au cloud.

 Capteurs à vision intelligente : IMX500 (à gauche) et IMX501 (à droite)

Nom du modèle Date de livraison de l’échantillon Prix de l’échantillon
(hors taxes)
Capteur à vision intelligente IMX500
de type 1/2.3 (7,857 mm de diagonale) avec environ 12,3 mégapixels effectifs (puce seule)
Avril 2020 10 000 JPY
Capteur à vision intelligente IMX501
de type 1/2.3 (7,857 mm de diagonale) avec environ 12,3 mégapixels effectifs (circuit intégré)
Juin 2020
(date estimée)
20 000 JPY

Les nouveaux capteurs Sony présentent une configuration empilée composée d’une puce pixel et d’une puce logique. Ils sont les premiers au monde à intégrer une fonctionnalité d’analyse et de traitement des images par IA dans la puce logique. Le signal acquis par la puce de pixels est traité par IA sur le capteur : il permet ainsi de se passer de processeurs haute performance ou de mémoire externe et d’élaborer des systèmes d’IA en périphérie du réseau. Grâce à la génération de métadonnées (informations sémantiques appartenant aux données d’images) au lieu d’informations d’images, le capteur favorise la réduction du volume d’informations et le respect de la vie privée. En outre, l’intégration de l’IA permet de diversifier les fonctionnalités offertes et de proposer des applications polyvalentes, telles que le suivi d’objets en temps réel avec un traitement par IA à grande vitesse. Enfin, il est possible de choisir différents modèles d’IA par réécriture de la mémoire interne pour les adapter aux besoins de l’utilisateur ou aux conditions du lieu d’utilisation.L’expansion de l’IoT a entraîné la connexion au Cloud de dispositifs polymorphes, ainsi que la banalisation de systèmes qui traitent, dans le Cloud et grâce à l’IA, les informations obtenues de ces dispositifs. Mais le foisonnement des informations traitées dans le Cloud pose différents problèmes : une latence plus importante au niveau de la transmission des données qui entrave le traitement en temps réel des informations, une inquiétude croissante des utilisateurs concernant la sécurité du stockage de leurs données personnelles et d’autres problèmes liés à l’augmentation de la consommation d’énergie et des coûts de communication des services Cloud.

Caractéristiques principales

Le premier capteur d’images au monde avec une fonction d’IA embarquée

La puce de pixels est rétro-éclairée et dispose d’environ 12,3 mégapixels effectifs pour capturer des informations sur un grand angle de vue. En complément du circuit du capteur d’images classique, la puce logique est dotée d’un processeur de signal numérique (DSP) original de Sony dédié au traitement du signal par IA et de la mémoire pour le modèle d’IA. Cette configuration permet de se passer de processeurs haute performance ou de mémoire externe, et de créer des systèmes d’IA en périphérie du réseau.

Sortie de métadonnées

Les signaux acquis par la puce de pixels sont d’abord traités par un ISP (processeur de signal d’image) et l’IA sur la puce logique ; les informations extraites étant produites sous forme de métadonnées, les données à traiter sont moindres. En outre, ce processus permet de diminuer les risques de sécurité et d’améliorer la protection de la vie privée en s’assurant que les informations des images ne sont pas transmises.En plus de l’image enregistrée par le capteur d’image traditionnel, les utilisateurs peuvent adapter le format de sortie des données à leurs besoins et à leur utilisation en optant pour un format de sortie ISP (YUV/RVB) ou en choisissant des extractions d’une zone d’intérêt spécifique (ROI).

Traitement par IA à grande vitesse

Lorsqu’une vidéo est enregistrée à l’aide d’un capteur d’images traditionnel, il est nécessaire d’envoyer les données de chaque image de sortie pour les traiter par IA. Cette procédure augmente le volume de données transmis et ralentit les performances en temps réel. Mais les nouveaux capteurs Sony effectuent un traitement ISP et un traitement IA à grande vitesse (3,1 millisecondes pour MobileNet V1[2]) sur la puce logique, et exécutent ainsi l’ensemble du processus en une seule vidéo. Cette conception permet d’assurer un suivi des objets de haute précision et en temps réel tout en enregistrant la vidéo.

Exemple de suivi en temps réel d’un produit et d’une tâche à un caisse

Flexibilité des modèles d’IA

Les utilisateurs peuvent mettre à jour la mémoire intégrée du capteur avec les modèles d’IA de leur choix pour s’adapter aux besoins et conditions du lieu d’utilisation. Cette possibilité apporte une grande polyvalence. Un magasin pourrait, en effet, n’utiliser qu’un seul type de caméra pour gérer différents lieux, circonstances, événements ou problématiques. A l’entrée de l’établissement, elle pourrait compter le nombre de visiteurs entrant dans l’établissement ; installée sur l’étagère d’un magasin, elle détecterait les ruptures de stock.

Montée au plafond, elle réaliserait la cartographie thermique du magasin en détectant les zones d’affluence, et ainsi de suite. En outre, le modèle d’IA de chaque caméra peut être réécrit pour, par exemple, passer de la cartographie thermique à l’identification du comportement des consommateurs.

Exemple d’utilisation de caméras dans un établissement

Caractéristiques principales

Nom du modèle IMX500 (puce seule) IMX501 (circuit intégré)
Nombre de pixels effectifs 4056 (H) × 3040 (V), env. 12,3 mégapixels
Format de l’image 7,857 mm de diagonale (type ½.3)
Taille du pixel 1,55 μm (H) × 1,55 μm (V)
Fréquence d’images Pleine résolution 60 ips
Vidéo 4K (4056 × 2288) 60 ips
1080p 240 ips
Pleine résolution / vidéo + traitement IA 30 ips
Sortie métadonnées 30 ips
Sensibilité (valeur standard F5.6) Env. 250 LSB
Niveau du signal de saturation du capteur (valeur minimale) Env. 9610e-
Alimentation Analogique 2,7 V
Numérique 0,84 V
Interface 1,8 V
Fonctions principales Traitement par IA, ISP, prise de vue HDR
Sortie MIPI D-PHY 1.2 (4 voies) / SPI
Matrice de filtres colorés Matrice de Bayer
Format de sortie Image (Bayer RAW), sortie ISP (YUV/RVB), ROI, métadonnées
Circuit intégré - Céramique LGA 12,5 mm (H) × 15,0 mm (V)


[1]Parmi les capteurs d’image. Selon l’étude Sony (en date de l’annonce du 14 mai 2020).

[2] MobileNet V1 : un modèle d’analyse d’image par IA pour la reconnaissance d’objets sur les appareils mobiles.

À propos de Sony Corporation

Sony Corporation est une société créative de divertissement reposant sur de solides fondations technologiques. Dans tous ses univers (jeux, services en réseau, musique, imagerie, produits électroniques, semi-conducteurs ou services financiers), Sony poursuit le même objectif : remplir le monde d'émotions en conjuguant le pouvoir de la créativité à celui de la technologie. Pour plus d'informations, visitez : http://www.sony.net/

Pièces jointes

Document PDF