Home | Legals | Sitemap | KIT

Ongoing Projects

  • PAKOS (BMBF), 01.2017 - 12.2019
  • PLUMCOT (DFG), 01.2017 - 12.2019
  • TERRAIN (BMBF), 07.2016 - 06.2019
  • PERFORMANCE (BMBF), 05.2016 - 04.2019
  • KonsensOP (BMBF), 03.2015 - 02.2018
  • Text-to-Video Alignment (DFG), 05.2014 - 04.2017

Past Projects

  • AVVIS (BMBF), 02.2014 - 01.2017
  • SPHERE (BMBF), 01.2014 - 12.2016
  • AKTIV (BW-Stiftung), 01.2014 - 12.2016
  • MisPel (BMBF), 01.2012 - 04.2015
  • Quaero (OSEO), 2008 - 12.2013
  • VIPSAFE (BMBF) 02.2010 - 02.2013
  • PaGeVi (BMBF) 10.2010 - 09.2012
  • SFB 588 (DFG), 07.2001 - 06.2012

PAKoS

Das Projekt PAKoS (Personalisierte, adaptive kooperative Systeme für automatisierte Fahrzeuge) wird durch das Bundeministerium für Bildung und Forschung (BMBF)  gefördert.

Ziel im Projekt PAKoS ist ein Adaptionskonzept für die Fahrzeugautomatisierung. Dazu wird aus der Beobachtung des Fahrzeuginnenraums der Fahrerzustand identifiziert und mit einem personalisierten Nutzerprofil kombiniert, um das aktuelle Leistungsvermögen des Fahrers zu beurteilen. Darauf basierend wird die Automatisierung im Fahrzeug personalisiert und angepasst. Das Nutzerprofil ist auf verschiedene Fahrzeuge übertragbar, die Datenhoheit bleibt jedoch immer beim Nutzer. Des Weiteren sollen Informationen und Handlungsanweisungen zwischen Fahrer und Fahrzeug als Kooperationspartner über verschiedene Kanäle ausgetauscht werden, um die Übergabe der Fahrzeugkontrolle optimal zu unterstützen.

Projektlaufzeit:
01.01.17 - 31.12.19

Interne Partner:
Institut für Regelungs- und Steuersysteme

Externe Partner:
Sondervermögen Großforschung beim Karlsruher Institut für Technologie (KIT), Karlsruhe
Technische Universität München
Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung (IOSB), Karlsruhe
Robert Bosch GmbH, Gerlingen-Schillerhöhe
Bayerische Motoren Werke AG, München
Spiegel Institut Mannheim GmbH & Co. KG, Mannheim
Videmo Intelligente Videoanalyse GmbH & Co. KG, Karlsruhe
mVISE AG, Düsseldorf
FZI Forschungszentrum Informatik am Karlsruher Institut für Technologie, Karlsruhe
b.i.g. security, Karlsruhe

 

PLUMCOT

Das Projekt PLUMCOT (Unüberwachte Multimodale Personenerkennung in TV Serien und Spielfilmen) wird durch die Deutsche Forschungsgemeinschaft (DFG gefördert.

Automatische Schauspieler-Identifikation in Multimediadaten ist ein umfangreiches und herausforderndes Problem. Personen-Identitäten können als Basis und Baustein für viele weitergehende Video-Analyse-Aufgaben dienen, z.B. semantisches Indizieren, Suche und Video-Zusammenfassungen.Das Ziel dieses Projekts ist es, Audio- und Video-Information zu nutzen um Schauspieler automatisch in TV-Serien und Filmen zu identifizieren, ohne dafür manuelle Annotationen zum Trainieren von Gesichts-/Sprachmodellen zu benötigen. Ein vollautomatischer Ansatz ist insbesondere von Vorteil, wenn man die große Menge an vorhandenen Multimediadaten betrachtet. Audio und Video stellen zur Personen-Identifizierung komplementäre Informationen bereit, und erlauben durch gemeinsame Betrachtung eine bessere Identifizierung als durch jeweils eine der beiden Modalitäten allein.Wir werden uns insbesondere mit den folgenden Forschungsfragen beschäftigen: unüberwachtes Clustering von abwechselnden Sprechern (speaker diarization) und Gesichtstracks um ähnliche Daten der gleichen Person ohne manuelle Information zu gruppieren; unüberwachte Identifikation durch Propagieren von automatisch generierten Labels aus verschiedenen Informationsquellen (z.B. Untertitel und Drehbücher); und multimodale Fusion von akustischen, visuellen und textuellen Merkmalen auf verschiedenen Ebenen der Identifikations-Pipeline.Obwohl viele generische Ansätze zu unüberwachtem Clustering existieren, sind diese nicht an heterogene audio-visuelle Daten (Gesichtstracks und abwechselnde Sprecher) aus TV-Serien und Filmen angepasst. Wir über-clustern daher zunächst die Daten, um sicherzustellen, dass die Cluster möglichst homogen bleiben, bevor wir den Clustern Namen zuweisen. Wir erwarten, dass ein multimodales Clustering durch die Ausnutzung beider Modalitäten deutlich bessere Ergebnisse erzielt. Gleichzeitig können wir domänenspezifische Elemente ausnutzen.Das Ziel von unüberwachter Identifikation ist dann ein vollautomatisches Zuweisen von Namen zu Clustern, nur durch Ausnutzung von Informationen, die schon in der Sprache oder im Video vorhanden sind. In Filmen werden Namen von Charakteren typischerweise eingeführt und regelmäßig genannt. Wir werden Adressat-Empfänger-Beziehungen sowohl in der Sprache als auch im Video (z.B. durch Bestimmung der Kopfdrehung/Aufmerksamkeit) bestimmen. Durch die im entsprechenden Dialog enthaltenen Namen können wir Identitäten zu einigen Clustern zuweisen, diskriminative Modelle lernen und darüber schließlich alle Cluster identifizieren.Für die Evaluation werden wir einen existierenden Korpus von drei TV-Serien (49 Episoden) und einer Film-Serien (8 Filme) erweitern und annotieren. Diese Daten decken verschiedenen Filmstile, Erzählweisen und Herausforderungen sowohl für Audio als auch Video ab. Wir werden die verschiedenen Schritte dieses Projekts auf diesem Korpus evaluieren, und die Annotationen für andere Forscher auf diesem Gebiet öffentlich verfügbar machen.

Projektlaufzeit:
01.03.17 - 29.02.20

Partner:
LIMSI, Frankreich
 

TERRAIN

Das Projekt TERRAIN (Selbständige Mobilität blinder und sehbehinderter Menschen im urbanen Raum durch audio-taktile Navigation) wird durch das Bundeministerium für Bildung und Forschung (BMBF) gefördert.

Ziel des Verbundprojekts TERRAIN ist die Generierung von „Ermöglichungsstrukturen“, die auf die Bedürfnisse und Belange von blinden und sehbehinderten Menschen bei der Orientierung im urbanen Raum abzielen. TERRAIN entwickelt dabei ein intelligentes Unterstützungs- und Leitsystem zur Orientierung und Navigation und stärkt die Freizügigkeit, Unabhängigkeit sowie die Begegnungsmöglichkeiten und damit die soziale Teilhabe. Hierzu werden Risiken im Kontext von Desorientierung und Zurechtfinden, aber besonders in Bezug auf gefährliche Barrieren (wie z.B. Straßenverkehr und Hindernisse in Brust-­ oder Kopfhöhe) signifikant gemindert. Bei alledem werden die Progredienz und die individuellen Ausprägungen der Erkrankung hinsichtlich der erforderlichen Adaption und Systemdurchlässigkeit bei der Technikentwicklung berücksichtigt.

Ziel des Teilvorhabens des KIT (Forschungsgruppe Stiefelhagen cv:hci und Studienzentrum für Sehgeschädigte) ist die Entwicklung und Verbesserung von Bildverarbeitungskomponenten für die dynamische Umfelderfassung der im Projekt anvisierten umfassenden Mobilitätsunterstützung. Im Projekt werden Lösungen zur Hinderniserkennung, Erkennung von Ampeln und Fußgängerübergängen, Landmarken und Objekten entwickelt. Gleichzeitig wird ein barrierefreies Bedienkonzept für die Gestaltung der Benutzerschnittstelle erstellt, indem unter anderem verschiedene audio-haptische Ausgabevarianten für die Darstellung reichhaltiger Information über die Umgebung untersucht wird. Die im Rahmen des Teilvorhabens entwickelten Verfahren sowie das Bedienkonzept werden in einer Smartphone-Applikation auf iOS-Basis mit Smartwatch-Anbindung und audio-taktiler Ausgabe integriert.

Projektlaufzeit:
01.07.2016 - 30.06.2019

Interne Partner:
ITAS

Externe Partner:
iXpoint Informationssysteme GmbH
F.H. Papenmeier GmbH & Co. KG

PERFORMANCE

Das Projekt PERFORMANCE (Kooperative Systemplattform für Videoupload, Bewertung, teilautomatisierte Analyse und Archivierung) wird durch das Bundeministerium für Bildung und Forschung (BMBF) gefördert.

Ziel des Verbundprojekts PERFORMANCE ist es, dem drohenden Vertrauensverlust in die Arbeit behördlicher Ermittler vorzubeugen. Hierzu sollen Geschäftsmodelle erforscht werden, welche es erlauben, bei Bedarf privatwirtschaftliche Ressourcen für die Bild- und Videoanalyse einzusetzen, um die Ermittlungsarbeit zu beschleunigen. Dabei sollen rechtliche und soziale Rahmenbedingungen bei der Entwicklung entsprechender technisch-organisatorischer Umsetzungsmodelle eingehalten werden. Zur Evaluierung der Geschäftsmodelle soll eine kooperative Systemplattform für Video-Upload, Bewertung, teilautomatisierte Analyse und Archivierung realisiert werden. Das erste Projektziel besteht folglich darin, eine skalierbare Fähigkeit zur zeitnahen forensischen Analyse von Bild- und Video-Massendaten für behördliche Ermittler aufzubauen. Diese soll die bereits in Teilen vorhandenen technischen Lösungen für die teilautomatische Analyse von Bild- und Videodaten integrieren.

Ziel des Teilvorhabens des KIT ist die Entwicklung und Bereitstellung neuer Verfahren für die Personenwiedererkennung im Projekt PERFORMANCE. Hierbei sollen einerseits Verfahren entwickelt werden, welche eine Suchanfrage mittels bestimmter Personen-Attribute, wie Größe, Geschlecht, Ethnizität, Haar- oder Kleidungstil bzw. -farbe, ermöglichen. Andererseits sollen auch Verfahren untersucht werden, mit denen Suchanfragen mittels Beispielbildern von Personen unterstützt werden können. Die im Rahmen des Teilvorhabens entwickelten Verfahren werden in im Hinblick auf einen Einsatz auf realen Anwendungsdaten evaluiert und in den Demonstrator des Gesamtprojektes integriert.

Projektlaufzeit:
01.05.2016 - 30.04.2019

Externe Partner:
Fraunhofer IOSB
Digivod GmbH
Sopra Steria GmbH
Hochschule Fresenius für Management, Wirtschaft und Medien GmbH
Universität Kassel
Videmo Intelligente Videoanalyse GmbH & Co. KG
Polizeipräsidium Einsatz, Karlsruhe
LKA Baden-Württemberg
Bundeskriminalamt, BKA
LKA Bayern
Polizei Hamburg
LKA Niedersachsen

 

 

KonsensOP

Das Projekt KonsensOp wird durch das Bundeministerium für Bildung und Forschung (BMBF) gefördert.

Operationen sind sowohl für Patientinnen und Patienten als auch für das Operationsteam sehr beanspruchend. Die Operationsdauer ist möglichst kurz zu halten und die Arbeitsabläufe sind so auszulegen, dass Komplikationen entgegengewirkt wird. Für ausgewählte Arbeitsabschnitte bieten Assistenzsysteme bereits heute eine Anleitung. Die Bedienung der Geräte belastet das Operationsteam jedoch parallel zur eigentlichen Aufgabe.

Im Projekt soll eine technische Assistenz für einen „aufmerksamen Operationssaal“ entwickelt werden, die – abhängig vom Stand des Arbeitsablaufs sowie vom Zustand der Mitglieder des Operationsteams – gezielt unterstützt. Dazu wird das OP-Team unter Beachtung datenschutzrechtlicher Aspekte multisensorisch erfasst (Video- und Vitalsensoren, chirurgisches Instrument mit integrierten Druck- und Inertialsensoren). Die aus den Daten gewonnenen Informationen umfassen u. a. die Position der Personen, deren Körperhaltung und Gesten bis hin zu ihren Blicken und der Bewegung von OP-Instrumenten. Hieraus können Rückschlüsse auf Belastung, Stress und Emotionen gezogen werden. Zudem wird der aktuelle Stand der Operation ermittelt und mit einer formalen Beschreibung des Arbeitsablaufs abgeglichen. Durch eine gesten- und blickbasierte Interaktion kann sich das Assistenzsystem in die natürliche Kommunikation des Teams integrieren und die Arbeitsabläufe im OP durch Aufzeigen von Handlungsoptionen optimieren. Das Projekt schafft die Grundlagen für künftige Unterstützungssysteme, die Operationen formalisierbar, modellierbar, planbar und vergleichbar machen.

Projektlaufzeit:
01.03.2015 - 28.02.2018

Interne Partner:
ifab
IES
IPR

Externe Partner:
Fraunhofer IOSB
Ruprechts-Karl-Universität
 

 

Text-to-Video Alignment

In this project, we aim to explore rich descriptions of video data (TV series and movies) which opens myriad possibilities for multimedia analysis, understanding and obtaining weak labels for popular computer vision tasks. We wish to focus on two forms of text -- plot synopses and books. The former, plots are obtained via crowdsourcing and describe the episode or movie in a summarized way. In contrast books (from which the video is adapted) provide detailed descriptions of the story and visual world the author wishes to portray. While text in the form of subtitles and transcripts has been successfully used to automate person identification or obtain samples for action recognition, those text sources are limited in their potential for understanding or obtaining rich descriptions of the story.
See also DFG (funding agency) Gepris
Project duration:
  • 01.05.2014 - 30.04.2017

AVVIS

Das Projekt ''Maschinelles Sehen zur Unterstützung von Menschen mit Sehschädigung'' (Artificial Vision for Assisting Visually Impaired in Social Interaction'') wird durch das Bundeministerium für Bildung und Forschung (BMBF) gefördert.

Ziel:
Menschen mit Blindheit oder starker Sehbehinderung leider oft unter Einschränkungen bei der sozialen Interaktion, da ihnen einige für die Interaktion wichtige Informationen aufgrund der Sehbeeinträchtigung nicht zur Verfügung stehen. Diese soziale Benachteiligung kann durch Technologie abgemildert werden. In diesem Projekt planen wir die Realisierung eines Assistenzsystems für Sehgeschädigte, welches mittels speziell angepasster Bildverarbeitungsalgorithmen verschiedene für die soziale Interaktion wichtige Merkmale wie die Identität, die Mimik und die Blickrichtung von Personen erfasst und dem sehgeschädigten Nutzer über geeignete Mensch-Maschine-Schnittstellen übermittelt.

Projektlaufzeit:
01.02.2014 - 31.01.2017

Partner:
Istanbul Teknik Üniversitesi (ITU), Türkei

SPHERE

SPHERE - Schlafüberwachung im Pflege- und Heimbereich mittels Remotesensorik - ist ein Verbundprojekt, das durch das Bundesministerium für Bildung und Forschung (BMBF) im Rahmen der Förderrichtlinie "KMU-innovativ" gefördert wird. Ziel des Verbundvorhabens ist es, ein System zu entwickeln, das geeignet ist, das Schlafverhalten Pflegebedürftiger sensorisch zu erfassen, differenziert auszuwerten und bei Bedarf entsprechende Reaktionen auszulösen. Dabei sollen nicht nur grobe Anomalien, wie z.B. das Verlassen des Betts, heftige Bewegungen oder Schreie erkannt werden, sondern auch feinere Störungen wie Insomnien, Schlafapnoen, usw., die z.T. erhebliche Auswirkungen auf die Gesundheit haben können. Bisher können solche Effekte nur unter Einsatz spezieller Sensorik und unter umfassender Verkabelung (in Schlaflaboren) erfasst werden. Im Gegensatz dazu sollen hier die zur Erkennung nötigen Körpersignale (Atemfrequenz, Schnarchen/Husten/Geräusche, Rücken/Seitenlage, Gliederbewegungen) während des Schlafs allein basierend auf entfernten Sensoren, wie z.B. 3D-Kameras, gewonnen werden. Durch einen einfachen, kompakten Sensoraufbau soll zudem der wirtschaftliche und praktische Einsatz im häuslichen Umfeld, ohne aufwendige technische oder fachliche Betreuung (wie z.B. in Schlaflaboren oder im Pflegeheimbereich), ermöglicht werden.

Projektlaufzeit:
01.01.2014 - 31.12.2016

Partner:
Videmo Intelligente Videoanalyse GmbH und Co. KG
Evangelische Heimstiftung GmbH
Thoraxklinik Heidelberg

Assoziierte Partner:
MRC Systems GmbH
KUKA Laboratories GmbH

 

AKTIV

Das zu entwickelnde „Autarke Kognitive Technische System zur Interaktion und Validation (AKTIV)“ soll die Möglichkeiten der Anthropomatik dazu nutzen, Personen mit dementiellen Erkrankungen individuell kognitiv, motorisch und sozial zu aktivieren, ohne dabei die knappen Zeitressourcen des betreuenden Personals zu belasten. Gefördert wird das Projekt durch die Baden-Württemberg Stiftung gGmbH, Partner am KIT ist das Cognitive Systems Lab von Prof. Dr.-Ing. Tanja Schultz

Projektlaufzeit:
01.01.2014 - 31.12.2016

MisPel

Videokameras sind heute an vielen sicherheitsrelevanten Orten Standard. Mehr Bilder bedeuten aber nicht gleichzeitig mehr Sicherheit. Gerade bei der Aufklärung von Straftaten, für die zur Ermittlung der Täteridentität Videobilder herangezogen werden sollen, stehen die Ermittlungsbehörden vor erheblichen Herausforderungen. Derzeit am Markt befindliche unterstützende Softwarekomponenten und Videomanagementsysteme fokussieren primär auf effiziente und elaborierte Visualisierungsmöglichkeiten der Bilddaten und kaum auf die Bildinhaltsanalyse. Ziel des Projekts MisPel ist es, eine unterstützende Softwarelösung für die zeitnahe Erkennung von ermittlungstechnisch relevanten Personen zu erarbeiten. Der Schwerpunkt der juristischen Forschungsarbeiten im Projekt liegt auf der Analyse der rechtlichen Voraussetzungen für die Erhebung, die Filterung und Übermittlung der Daten sowie der Gerichtsverwertbarkeit ausgewerteter Bilddaten. Ein geeignetes ganzheitliches Datenschutz- und Sicherheitskonzept soll erarbeitet werden. Im Rahmen der sozialwissenschaftlichen Forschung werden deshalb Musterkriterien für die Einhaltung der Privatsphäre sowie Strategien für nachhaltige Einsatzszenarien erforscht.

Projektlaufzeit:
01.01.2012 - 31.12.2014

Partner:

Weitere Information auf den Seiten des BMBF:
(Achtung, teilweise veraltet)

Quaero

We are a member of the Franco-German research project Quaero, where we contribute to video-based and multimodal multimedia analysis, in particular the detection and recognition of people, events and genres in images and video.

VIPSAFE

VIPSAFE is a R&D Project fruit of a collaboration between two research centers: Sabanci University and Karlsruhe Institut of Technology, and two companies: Videmo and Vistek. This 36 month long project is co-funded by Tübitak and BMBF with the main goal of improving patients’ safety by means of automated visual monitoring.

Population ageing is taking place in every country and region across the globe due to the rising life expectancy and the declining of birth rates. At the same time, the nations are facing an explosion of costs in the health-care sector as threating elderly people is 3 to 5 times more expensive than for those under 65. The dramatic increase of the elderly population along with the explosion of costs poses extreme challenges to society.

Thus under VIPSAFE we develop novel techniques for automated visual monitoring of patients and elder people living in nursing homes or in their (assisted) home environments. We are developing vision-based sensors to determine if someone has fallen, if someone has not arisen from bed, whether a patient in the intensive care unit is showing unusual behavior or whether a patient is about to hurt himself by removing life-keeping devices or cables from his body.

Such automated techniques to detect critical and possibly life-threatening situations can then be used to automatically alert clinical personnel or care providers. This systems will thus have a direct impact in improving patient safety in hospitals and nursing homes...

Please, visit VIPSAFE homepage for more information:

http://cvhci.anthropomatik.kit.edu/vipsafe/

PaGeVi

In the BMBF-funded project PaGeVi (Parallel Gesichtserkennung in Videoströmen, parallel face recognition in videos) the goal is to improve face detection, tracking and recognition by means of parallelization and make it real-time capable for realistic scenarios.

Face tracking and recognition in real-work scenarios are very challenging due to many different factors. In the project, we supply the core computer vision components and algorithms. We are working on improving the state-of-the-art for meeting the challenges presented in realistic settings.

For more information visit the project webpage http://www.pagevi-projekt.de/ .

Project duration:

  • 01.10.2010 - 30.09.2012

Partners:

SFB 588

We are a member of the German Collaborative Research Center 588 on “Humanoid Robots”. In this project we contribute key components for the visual perception of people and their activities to the Karlsruhe humanoid robot.

For a humanoid robot, the perception of the users, their locations, identities, gestures, and other communicative cues is an essential necessity for efficient and safe interaction. It allows the robot to understand what users want, and to generate an appropriate response. We are working on the visual perception capabilities of the humanoid robot Armar-III with respect to the user and his activities.