Inhaltsbasierte Bild- und Videoanalyse

Beschreibung:

Bei der immer größer werdenden Masse an leicht verfügbaren Multimediadaten werden Methoden zur deren automatischen Analyse, die Benutzern dabei helfen können, gewünschte Inhalte zu finden, immer wichtiger. Hierfür werden verschiedene Technologien benötigt. Zum einen muss der Inhalt der Multimediadaten in einer passenden Form repräsentiert werden, die eine effiziente und erfolgreiche Suche ermöglicht. Außerdem werden entsprechende audio-visuelle Analyseverfahren benötigt. Die folgende Suche kann entweder vollautomatisch erfolgen, oder den Benutzer interaktiv in den Suchprozess einbinden.

In dieser Vorlesung werden verschiedene Themen der inhaltsbasierten Bild- und Videoanalyse in Multimediadaten behandelt werden. Die Vorlesung beinhaltet unter anderem folgende Themen:

• Bildsegmentierung und Deskriptoren
• Maschinelles Lernen für Inhaltsbasierte Bild- und Video-Analyse sowie
• Suche
• Videoschnitterkennung und Klassifikation von TV Genres
• Evaluaierung Inhaltsbasierter Bild- und Videoanalyseverfahren(TrecVid)
• Automatisches "tagging" von Personen in Fotoalben & sozialen Netzen
• Personen-/Gesichtsdetektion und -erkennung in Videos
• Erkennung von Ereignissen
• Detektion von Kopien
• Semantik in Bildern und Videos
• Data mining in sozialen Netzen
• Suche: Automatische und interaktive Suche / Relevanz-Feedback
• Werkzeuge und Softwarebibliotheken zur Bild- und Videoanalyse

Zusätzliche Materialien:

• Carson et al., "Blobworld: Image segmentation using Expectation-Maximization and its application to image querying" [pdf]
• Shi and Malik, "Normalized Cuts and Image Segmentation" [pdf]
• Lienhart: "Reliable Transition Detection in Videos: A Survey and Practitioner’s Guide" [pdf]
• Montagnuolo and Messina, "TV Genre Classification Using Multimodal Information and Multilayer Perceptrons" [pdf]
• Semantic Pathfinder Algorithm (Video) [wmv]
• IBM Research TRECVID-2007 Video Retrieval System [pdf]
• Columbia University/VIREO-CityU/IRIT TRECVID2008 High-Level Feature Extraction and Interactive Video Search [pdf]
• The MediaMill TRECVID 2008 Semantic Video Search Engine [pdf]
• Learning realistic human actions from movies [pdf]
• Retrieving actions in movies [pdf]
• Julien Law-To, Li Chen, Alexis Joly, Ivan Laptev, Olivier Buisson, Valerie Gouet-Brunet, Nozha Boujemaa, Fred Stentiford, “Video Copy Detection: A Comparative Study”, CIVR 2007. [pdf]
• Ondrej Chum, James Philbin, Michael Isard, Andrew Zisserman, “Scalable Near Identical Image and Shot Detection”, CIVR 2007. [pdf]
• Matthijs Douze, Adrien Gaidon, Herve Jegou, Marcin Marszalek, Cordelia Schmid, “INRIA-LEAR’s Video Copy Detection System”, TRECVID’08 [pdf]
• Russell, Torralba, Murphy, "LabelMe: A Database and Web-Based Tool for Image Annotation", International Journal of Computer Vision, vol. 77, issue 1, May 2008. [pdf]
• von Ahn, Dabbish, "Labeling images with a computer game", Proceedings of the SIGCHI conference on Human factors in computing systems, 2004 [pdf]
• von Ahn, Liu, Blum, "Peekaboom: a game for locating objects in images", Proceedings of the SIGCHI conference on Human Factors in computing systems, 2006 [pdf]