Computer Vision für Mensch-Maschine-Schnittstellen

  • Type: Vorlesung (V)
  • Chair: Fakultät für Informatik
  • Time: 2013-10-21
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten


    2013-10-25
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-10-28
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-11-04
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-11-08
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-11-11
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-11-15
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-11-18
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-11-22
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-11-25
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-11-29
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-12-02
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-12-06
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-12-09
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-12-13
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-12-16
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-12-20
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2013-12-23
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-01-10
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-01-13
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-01-17
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-01-20
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-01-24
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-01-27
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-01-31
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-02-03
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-02-07
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-02-10
    14:00:00 - 15:30:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten

    2014-02-14
    09:45:00 - 11:15:00 wöchentlich
    50.34 Raum -120 INFORMATIK, Kollegiengebäude am Fasanengarten
  • Lecturer: Prof.Dr.Ing. Rainer Stiefelhagen
    Dr.-Ing. Muhammad Saquib Sarfraz
  • SWS: 4
  • Lv-No.: 24180
Vortragsspracheunbekannt
Beschreibung In dieser Vorlesung werden aktuelle Arbeiten aus dem Bereich der Bildverarbeitung vorgestellt, die sich mit der visuellen Perzeption von Personen für die Mensch-Maschine Interaktion befassen. In den einzelnen Themengebieten werden verschiedene Methoden und Algorithmen, deren Vor- und Nachteile, sowie der State of the Art diskutiert:
  • Lokalisierung und Erkennung von Gesichtern
  • Erkennung der Mimik (facial expressions)
  • Schätzen von Kopfdrehung und Blickrichtung
  • Lokalisation und Tracking von Personen
  • Tracking und Modellierung von Körpermodellen ('articulated body tracking')
  • Gestenerkennung
  • Audio-visuelle Spracherkennung
  • Multi-Kamera Umgebungen
  • Tools und Bibliotheken
Literaturhinweise Weiterführende Literatur

Wissenschaftliche Veröffentlichungen zum Thema, werden auf der VL-Website bereitgestellt.

Lehrinhalt
  • Der Student soll einen Überblick über Themen des Maschinensehens (Computer Vision) für die Mensch-Maschine Interaktion bekommen.
  • Der Student soll grundlegende Konzepte aus dem Bereich Maschinensehen im Kontext der Mensch-Maschine Interaktion verstehen und anwenden lernen

Beschreibung

Derzeitige Mensch-Maschine Schnittstellen sind immer noch weitgehend "blind", was die Wahrnehmung Ihrer Benutzer betrifft. Sie sind daher weder in der Lage, die natürlichen menschlichen Kommunikationskanäle wie Mimik, Blickrichtung, Gestik, Körpersprache etc. für die Mensch-Maschine Interaktion zu nutzen, noch um ausreichendes Wissen über Ihre Nutzer, deren Zustand und Absichten zu gewinnen. Aktuelle Forschungsarbeiten beschäftigen sich damit dies zu verbessern und bessere Mensch-Maschine Schnittstellen zu entwickeln, welche ihre Benutzer und deren Handlungen wahrnehmen, und die gewonnene Kontextinformation dazu nutzen um angemessen mit den Nutzern zu interagieren.

In dieser Vorlesung werden aktuelle Arbeiten aus dem Bereich der Bildverarbeitung vorgestellt, die sich mit der visuellen Perzeption von Personen für die Mensch-Maschine Interaktion befassen. In den einzelnen Themengebieten werden verschiedene Methoden und Algorithmen, deren Vor- und Nachteile, sowie der Stand der Technik diskutiert.

Themen:

  • Lokalisierung und Erkennung von Gesichtern
  • Erkennung der Mimik (facial expressions)
  • Schätzen von Kopfdrehung und Blickrichtung
  • Lokalisation und Tracking von Personen
  • Tracking und Modellierung von Körpermodellen ("articulated body tracking")
  • Gestenerkennung
  • Audio-visuelle Spracherkennung
  • Multi-Kamera Umgebungen
  • Tools und Bibliotheken

Ergänzende Literatur

  • Face Detection
  • Phung et al., Skin Segmentation Using Color Pixel Classification: Analysis and Comparison, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 1, January 2005. [pdf]
  • H. A. Rowley, S. Baluja, and T. Kanade, Neural Network-Based Face Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, January 1998. [pdf]
  • Paul Viola and Michael Jones, Rapid Object Detection Using a boosted cascade of simple features, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2001 [pdf]
  • Paul Viola and Michael Jones. Robust real-time object detection, Cambridge Research Laboratory, Technical Report, February 2001, CRL 2001/01 [pdf]

  • Face Recognition

  • Yaniv Taigman Ming Yang Marc’Aurelio Ranzato, DeepFace: Closing the Gap to Human-Level Performance in Face Verification, Facebook AI Research, Menlo Park, CA, USA [pdf]

  • Parkhi et al.: Deep Face Recognition, Visual Geometry Group, Department of Engineering Science, University of Oxford, 2015 [pdf]

  • Florian Schroff, Dmitry Kalenichenko, James Philbin, FaceNet: A Unified Embedding for Face Recognition and Clustering, June 2015 [pdf]

  • Person Detection

  • Person Detection I

  • N. Dalal, B. Triggs, Histogram Of Oriented Gradients for Human Detection, CVPR 2005 [pdf].
  • N. Dalal, B. Triggs, C. Schmid, Human Detection Using Oriented Histograms of Flow and Appearance, ECCV 2006 [pdf].
  • D. Gavrila, Multi-feature Hierarchical Template Matching Using Distance Transforms, ICPR 1998 [pdf].
  • D. Gavrila, Real-Time Object Detection for Smart Vehicles, ICCV 1999 [pdf].
  • D. Gavrila (2000), Pedestrian Detection from a Moving Vehicle, ECCV 2000 [pdf].

  • Person Detection II

  • A. Mohan, C. Papageorgiu, T. Poggio, Example-Based Object Detection in Images by Componentes, PAMI 2001 [pdf].
  • K. Mikolajczyk, C. Schmid, A Performance Evaluation of Local Descriptors, PAMI 2005 [pdf].
  • E. Seemann, B. Leibe, K. Mikolajczyk, B. Schiele, An Evaluation of Local Shape-Based Features for Pedestrian Detection, BMVC 2005 [pdf].
  • B. Leibe, A. Leonardis, B. Schiele, Combined Object Categorization and Segmentation with an Implicit Shape Model, ECCV 2004 [pdf].
  • B. Leibe, A. Leonardis, B. Schiele, Robust Object Detection with Interleaved Categorization and Segmentation, IJCV [pdf].

  • Person Detection III

  • R. Benenson, M. Mathias, R. Timofte, L. van Gool, Pedestrian Detection at 100 Frames per Second, CVPR 2012 [pdf]
  • P. Dollar, Z. Tu, P. Perona, S. Belonige, Integral Channel Features, BMVC 2009 [pdf]
  • L. Bourdev, J. Brandt, Robust Object Detection via Soft Cascades, CVPR 2005 [pdf]
  • P. Dollar, S. Belongie, P. Perona, The Fastest Pedestrian Detector in the West, BMVC 2010 [pdf]
  • A. Angelova, A. Krizhevsky, V. Vanhoucke, A. Ogale, D. Ferguson, Real-Time Pedestrian Detection With Deep Network Cascades, BMVC 2015 [pdf]
  • N. Srivastava et al., Dropout: A Simple Way to Prevent Neural Networks from Overfitting, Journal of Machine Learning Research, 2014 [pdf]
  • R. Benenson, R.Timofte, L. van Gool, Stixels Estimation Without Depth Map Computation, ICCV Workshop 2011 [pdf]
  • R. Benenson, M. Omran, J. Hosang, B. Schiele, Ten Years of Pedestrian Detection, What Have We Learned?, ECCV 2014 [pdf]
  • J. Hosang, M.Omran, R. Benenson, B. Schiele, Taking a Deeper Look at Pedestrians, CVPR 2015 [pdf]