Home | Legals | Sitemap | KIT

Content-Based Image and Video Retrieval

Content-Based Image and Video Retrieval
Type: Vorlesung (V) Links:
Semester: SS 2017
Time: 2017-04-24
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten


2017-05-08
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-05-15
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-05-22
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-05-29
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-06-12
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-06-19
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-06-26
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-07-03
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-07-10
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-07-17
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

2017-07-24
11:30 - 13:00 wöchentlich
50.34 Raum -101 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten


Lecturer: Dr.-Ing. Muhammad Saquib Sarfraz
Prof.Dr.Ing. Rainer Stiefelhagen
SWS: 2
Lv-No.: 24628
PrerequisitesKenntnisse zu Grundlagen der Mustererkennung, wie sie im Stammmodul Kognitive Systeme [IN3INKS / IN4INKS] vermittelt werden, werden vorausgesetzt.
DescriptionBei der immer größer werdenden Masse an leicht verfügbarenMultimediadaten werden Methoden zur deren automatischen Analyse, dieBenutzern dabei helfen können, gewünschte Inhalte zu finden, immerwichtiger. Hierfür werden verschiedene Technologien benötigt. Zum einenmuss der Inhalt der Multimediadaten in einer passenden Formrepräsentiert werden, die eine effiziente und erfolgreiche Sucheermöglicht. Außerdem werden entsprechende audio-visuelleAnalyseverfahren benötigt. Die folgende Suche kann entwedervollautomatisch erfolgen, oder den Benutzer interaktiv in denSuchprozess einbinden.

In dieser Vorlesung werden verschiedene Themen der inhaltsbasiertenBild- und Videoanalyse in Multimediadaten behandelt werden. DieVorlesung beinhaltet unter anderem folgende Themen:

  • Bildsegmentierung und Deskriptoren
  • Maschinelles Lernen für Inhaltsbasierte Bild- und Video-Analyse sowie
  • Suche
  • Videoschnitterkennung und Klassifikation von TV Genres
  • Evaluaierung Inhaltsbasierter Bild- und Videoanalyseverfahren(TrecVid)
  • Automatisches "tagging" von Personen in Fotoalben & sozialen Netzen
  • Personen-/Gesichtsdetektion und -erkennung in Videos
  • Erkennung von Ereignissen
  • Detektion von Kopien
  • Semantik in Bildern und Videos
  • Data mining in sozialen Netzen
  • Suche: Automatische und interaktive Suche / Relevanz-Feedback
  • Werkzeuge und Softwarebibliotheken zur Bild- und Videoanalyse
Content of teachingBei der immer größer werdenden Masse an leicht verfügbaren Multimediadaten werden Methoden zur deren automatischen Analyse, die Benutzern dabei helfen können, gewünschte Inhalte zu finden, immer wichtiger. Hierfür werden verschiedene Verfahren benötigt. Zum einen muss der Inhalt der Multimediadaten in einer passenden Form repräsentiert werden, die eine effiziente und erfolgreiche Suche ermöglicht. Außerdem werden entsprechende audio-visuelle Analyseverfahren benötigt. Die folgende Suche kann entweder vollautomatisch erfolgen, oder den Benutzer interaktiv in den Suchprozess einbinden.

Das Modul vermittelt Studierenden einen Überblick über wichtige Verfahren zur inhaltsbasierten Bild- und Videoanalyse. Im Einzelnen werden folgende Themen besprochen:

• Bildsegmentierung und Deskriptoren
• Maschinelles Lernen für Inhaltsbasierte Bild- und Video-Analyse
• Videoschnitterkennung und Klassifikation von TV Genres
• Evaluierung Inhaltsbasierter Bild- und Videoanalyseverfahren(TrecVid)
• Automatisches "Tagging" von Personen in Fotoalben & sozialen Netzen
• Personen-/Gesichtsdetektion und -erkennung in Videos
• Erkennung von Ereignissen
• Detektion von Kopien
• Semantik in Bildern und Videos
• Data mining in sozialen Netzen
• Suche: Automatische und interaktive Suche / Relevanz-Feedback
• Werkzeuge und Softwarebibliotheken zur Bild- und Videoanalyse

AnnotationDie Lehrveranstaltung findet in Deutsch und Englisch statt.
ShortdescriptionThe number of easily accessible multimedia is increasing drastically. Therefore methods of automatic analysis, which support the users to find the contents requested, are becoming more and more important. For this purpose different technologies are required. On the one hand, the content of the multimedia data is to be modelled in an adequate way, which allows an efficient and successful search, and on the other hand appropriate audio-visual analysis procedures are required. The search can then be either done fully automatically or involve the user interactively in the search process.

This lecture deals with various topics of content-based image and video analysis and includes the following topics:
• Image segmentation and descriptors
• Basic knowledge of machine learning for content-based image and video analysis as well as video cut detection
• Classification of TV genres
• Evaluation of content-based image and video analysis methods
• Automated tagging of persons in photo albums and social networks
• Detection of duplicates (copy detection)
• Semantics in images and videos
• Automatic and interactive search / relevance feedback
• Tools and libraries for image and video analysis

WorkloadBesuch der Vorlesungen: ca. 20 Stunden

Vor- und Nachbereitung der Vorlesung: ca. 30 Stunden

Klausurvorbereitung: ca. 40 h

Summe: ca. 90 Stunden

AimIn dieser Vorlesung werden verschiedene Themen der inhaltsbasierten Bild- und Videoanalyse in Multimediadaten behandelt werden. Die Vorlesung beinhaltet unter anderem folgende Themen:
• Bildsegmentierung und Deskriptoren
• Grundlagen des Maschinelles Lernen für Inhaltsbasierte Bild- und Video-Analyse sowie• Videoschnitterkennung
• Klassifikation von TV Genres
• Evaluierung Inhaltsbasierter Bild- und Videoanalyseverfahren
• Automatisches "Tagging" von Personen in Fotoalben & sozialen Netzen
• Detektion von Duplikaten (copy detection)
• Semantik in Bildern und Videos
• Automatische und interaktive Suche / Relevanz-Feedback
• Werkzeuge und Softwarebibliotheken zur Bild- und Videoanalyse
Exam descriptionDie Erfolgskontrolle erfolgt in Form einer mündlichen Prüfung im Umfang von i.d.R. 20 Minuten nach § 4 Abs. 2 Nr. 2 SPO.

Vorlesungsfolien

24.04.2017      Introduction [pdf]

01.05.2017      Feiertag (no lecture)

08.05.2017      Machine Learning for CBIR, Classifiers [pdf]

15.05.2017      Image and Video Descriptors [pdf]

22.05.2017      Deep Networks: Background [pdf]

29.05.2017      Deep Networks: Object Recognition [pdf]

05.06.2017      Feiertag (no lecture)

12.06.2017      Scene Segmentation [pdf]

19.06.2017      Recurrent Neural Networks (RNN) and Embeddings [pdf]

26.06.2017      RNN for Image Caption / Tagging [pdf]

03.07.2017      Action and Activity Recognition [pdf]

10.07.2017      Question Answering [pdf]

17.07.2017      Summary [pdf]

24.07.2017      Software Tools [pdf]

 

Oral exams will take place from 7th to 11th August 2017.


 

Archiv