Application à l’extraction de la structure narrative de séries TV

Mots clés : apprentissage, optimisation, traitement du signal et de l’image, multi-modalité

L’augmentation du nombre de documents multimédia disponibles (via les offres de replay, les réseaux sociaux, les sites de partage de vidéo, …) rend nécessaire la mise en place de techniques automatiques permettant l’indexation sémantique de leur contenu. Parmi tous ces contenus, les séries TV sont particulièrement populaires auprès d’un large spectre de la population.

L’un des objectifs de ce stage est l’extraction automatique de la structure narrative d’épisode de séries TV (segmentation en scène, désentrelacement des histoires). Un exemple visuel du résultat attendu est disponible en ligne : http://stoviz.niderb.fr/

En amont de cet objectif applicatif, le stagiaire sera amené à élaborer, analyser et comparer expérimentalement différentes approches de classification non-supervisées (i.e. clustering) dans le cas où plusieurs mesures de similarité sont disponibles :

  • similarité visuelle entre deux lieux de tournage
  • similarité textuelle entre les dialogues de différentes scènes (obtenus à l’aide d’un système de transcription automatique de la parole)
  • similarité entre les communautés de personnages intervenant dans les différentes scènes (obtenues à l’aide d’un système de reconnaissance automatique du locuteur)

Durée et lieux du stage

5 à 6 mois au LIMSI/CNRS à Orsay.

Encadrant

Hervé BREDIN (bredin@limsi.fr) — Chargé de recherche CNRS — LIMSI

Contact

Hervé Bredin - Chercheur CNRS au LIMSI - bredin__at__limsi.fr