L’axe de la reconnaissance de l’expression faciale (calcul de l’affectif) consiste en la reconnaissance des expressions faciales en présence d’occultations, la détection des repères faciaux par modélisation des mouvements locaux et globaux [PhD – R. Belmonte], les descripteurs de mouvements pour la modélisation des macro et micro expressions faciales à partir de la vidéo dans un environnement réel (in-the-wild) [PhD – B. Allaert], la reconnaissance dynamique des visages dans des émissions audiovisuelles [PhD – R. Auguste], et la reconnaissance faciale par perceptrons multicouches.

L’axe comprend la reconnaissance d’actions humaines dans un environnement personnel [PhD – Y. Benabbas] et de foules [PhD – M. H. Sharif] (Ex. Détection d’événements anormaux) et la détection et le suivi du regard. Sur ce dernier point, nous avons pris en compte de la contrainte de symétrie du visage pour la détection de la pose basée sur l’apparence globale [PhD – A. Dahmane], l’approche cylindrique du visage [PhD – A. Lablack], la reconnaissance bimodale de visages par fusion de caractéristiques visuelles et de profondeur [PhD - A. Aissaoui], l’estimation de la posture par apprentissage basé sur des descripteurs de Gabor et indépendant des repères faciaux dans un environnement contrôlé. 

L’axe de l’indexation automatique par le contenu comprend la représentation par mots visuels et association des régions pour l'apprentissage dans des bases d'images [PhD – I. Elsayad], le regroupement par projection sur des axes aléatoires, optimisation de l'indexation multidimensionnelle [PhD – T. Urruty], descripteurs de Fourier pour la modélisation des formes à destination de l’indexation et la recherche d'images par le contenu et la combinaison des descripteurs visuels et textuels pour la recherche d’information [PhD – M. Bouet].

L’axe développe des méthodes de regroupement markoviens [S. Mongy], méthodes d’intégration sémantique de métadonnées, basées sur la mise en correspondance linguistique, sémantique et structure des schémas standards de métadonnées multimédia [PhD - Samir Amir], analyse des interactions humaines sur le web par ontologies [PhD - Mehdi Adda], synchronisation temporelle et interactive des documents multimédia sur la base des réseaux de pétri temporels [PhD – K. Hadouda], [PhD - A. Ghomari], l’extraction des modèles de processus métier à partir des journaux d'événements modélisant les interactions humaines dans le cadre de processus métiers [PhD – N. Ihaddadene], prédiction des parcours web dans le cadre du dépôt légal des archives web de l’institut national de l’audiovisuel [PhD – Y. Hafri].

C’est l’axe de recherche en cours, et pour les 5 prochaines années. L’axe bio-inspiré concerne les réseaux de neurones à impulsion ou les réseaux de neurones profonds pour la détection et le suivi spatio-temporel d’objets ou de phénomènes, avec comme application la segmentation sémantique, la reconnaissance d'objets statique et dynamique dans un environnement intérieur, l’analyse de phénomènes atmosphériques et la reconnaissance des actions humaines dans un environnement intérieur via un robot d’assistance de personnes à domicile.