Notre équipe de recherche s'intéresse à la formation des images couleur dans les caméras numériques - en particulier celles ne disposant que d'un seul capteur -, ainsi qu'à l'exploitation de l'information de couleur pour la classification et la segmentation automatique des images numériques.

Dans les caméras mono-capteur (CCD ou CMOS), le capteur est recouvert d'une mosaïque de filtres chromatiques (Color Filter Array, ou CFA). L'image ainsi formée (dite "brute" ou CFA) ne comporte donc qu'une seule composante couleur par pixel. Pour obtenir une image couleur, dont chaque pixel est défini par ses 3 composantes couleurs, il faut procéder à l'estimation des 2 composantes manquantes en chaque pixel (opération nommé dématriçage). Dans le cadre d'une thèse de doctorat, nous avons étudié l'influence d'une telle estimation sur les traitements bas niveau classiquement appliqués aux images couleur. Cela nous a amenés à envisager d'analyser directement l'image CFA, pour exploiter l'information de couleur sans réaliser de dématriçage.

Nos travaux sur le dématriçage (ou démosaïçage) ont été initiés dans le cadre de la thèse de Yanqin Yang. Outre une bibliographie très complète sur l'état de l'art des méthodes existantes, ainsi qu'une comparaison approfondie de celles-ci suivants différents critères [losson_aiep_2010], cette recherche a permis d'évaluer quantitativement la qualité des images estimées par dématriçage [yang_sitis_2007]. Elle a aussi consisté à quantifier la dégradation due au dématriçage en termes d'artefacts caractéristiques (tels que l'effet de fermeture éclair (zipper effect) et de fausses couleurs, bien visibles sur l'image estimée ci-dessous) et leur influence sur le résultat de procédures bas niveau (telles que la détection de contours) appliquées sur les images estimées [yang_these_2009].

Ces travaux ont été étendus aux images multispectrales dans le cadre de la thèse de Sofiane Mihoubi. Pour dématricer des images multispectrales, nous proposons d'utiliser une image dite pseudo-panchromatique définie comme la moyenne de tous les canaux spectraux [mihoubi_ipta_2015, mihoubi_sitis_2016]. Un équilibrage de l'énergie inter-canaux dans l'image brute MSFA mihoubi_ipta_2017] et un mécanisme d'adaptation aux contours nous permettent d'éviter les artefacts d'estimation [mihoubi_tci_2017].

Les valeurs de couleur erronnées dues au dématriçage sont également préjudiciables à l'information texturale, ainsi que nous l'avons montré dans le cadre de la classification de textures couleur [losson_ietip_2012, losson_jrtip_2015]. Cela nous a amenés à proposer une approche originale : analyser directement l'image CFA pour en exploiter l'information de couleur sans dématriçage. L'image CFA comporte certes une information de couleur spatialement moins dense que l'image estimée par dématriçage, mais cette information est totalement exempte des artefacts mentionnés précédemment. Nous avons montré que cette image CFA peut en effet constituer une entrée intéressante pour des traitements d'image bas niveau tels que la classification de textures couleur.

Sous réserve de définir des voisinages adaptés à la structure particulière de la mosaïque CFA, les descripteurs de textures classiques peuvent être appliqués avec succès. Les matrices ce co-occurrence chromatiques (Chromatic Co-occurrence Matrices, ou CCM) ont ainsi été adaptées aux images CFA pour classifier des textures couleur, approche validée sur les bases de référence VisTeX et Outex13 [losson_cviu_2013]. Cette approche peut même être appliquée dans d'autres espaces couleurs pour tirer parti d'un espace plus adapté que RGB à la représentation des couleurs, à condition de former au préalable des images pleine couleur de définition réduite au quart [losson_ietip_2012]. Les motifs locaux binaires (Local Binary Patterns, ou LBP) ont également été adaptés aux images CFA pour classifier des textures acquises sous éclairages non-uniformes et d'illuminants différents [losson_jrtip_2015] (base Outex14). Cette approche a été récemment étendus aux images multispectrales dans le travail de thèse de Sofiane Mihoubi. Pour classifier efficacement des images de texturemultispectrales, nous avons conçu un opérateur basé sur les motifs locaux binaires qui extrait conjointement l'information texturale spectrale et spatiale directement à partir de l'image brute MSFA  [mihoubi_josa_2018].

Dans le travail de thèse d'Arezki Aberkane, nous avons également appliqué une détection de contours avec succès directement sur les données de l'image brute [aberkane_these_2017, in French]. Nous estimons les dérivées partielles de l'image au moyen des filtres de Deriche et proposons des approches basées luminance ou couleur pour la détection de contours [aberkane_jei_2018].

Ces études ont toutes mis en évidence que notre approche par analyse d'images CFA fournit des résultats de classification de textures couleur égales ou supérieures aux mêmes approches appliquées sur l'image estimée, même si le dématriçage est performant. Analyser directement l'image CFA permet de plus un gain important en temps de calcul, ce qui rend cette approche particulièrement adaptée aux traitements embarqués.

Par leur conception basée sur un MSFA, les caméras multispectrales instantanées (snapshot) sont limitées en définition spectrale. La technologie à balayage (linescan) permet, elle, d'acquérir des images multispectrales possédant plus de cent canaux, ce qui permet d'estimer la signature spectrale (réflectance) des éléments de surfaces. Mais l'acquisition d'une image peut alors nécessiter plusieurs dizaines de secondes, pendant lesquelles l'éclairage ambiant peut varier sensiblement. Nous avons proposé une méthode d'estimation de la réflectance en conditions extérieures [amziane_ipta_2020] basée sur un modèle de formation d'images adapté à ce type de caméra [amziane_sensors_2021]. En collaboration avec la Chambre d'Agriculture de la Somme, nous l'utilisons pour caractériser les plantes adventices des cultures. Comme les signatures de réflectance, même normalisées, ne permettent pas de discriminer parfaitement les espèces végétales [amziane_qcav_2021], nous étudions actuellement l'apport d'un descripteur de textures multispectrales à notre problème de segmentation.