Komo3D

Im Rahmen des Vorhabens soll ein innovatives mobiles 3D-Multisensorsystem erforscht und realisiert werden, das durch die Auswertung von Kontextinformationen situationsgerecht Bilddaten erfassen und auswerten kann. Wesentliches Kennzeichen ist eine 3D-Multissensorik zur Erfassung der Bilddaten in Verbindung mit einer verteilten Systemarchitektur bestehend aus Komponenten mit unterschiedlichem Leistungsvermögen in Bezug auf Echtzeitfähigkeit und Rechenleistung. Die Gewinnung der 3D-Daten erfolgt durch eine Multisensorik-Bilderfassung auf einem mobilen System bestehend aus einer passiv arbeitenden Lichtfeldkamera (LF) und einer aktiv arbeitenden Time-of-Flight-Kamera (TOF) in Verbindung mit einem Field-Programmable-Array (FPGA) zur echtzeitfähigen Bildauswertung und -klassifikation. LF-Kamera und TOF-Kamera ergänzen sich ideal: Während die LF-Kamera Tiefenmesswerte in hoher Auflösung, aber nur in kontrastreichen Bildbereichen (z.B. an Kanten) liefern kann, ermöglich es die TOF-Kamera, Tiefenwerte, allerdings bei kleiner Bildauflösung, auch in homogenen Bereichen zu erhalten. Die Sensorik bleibt dabei klein und kompakt. Ebenso ergeben sich durch die Verbindung eines aktiven mit einem passiven Bildsensorsystem Vorteile bei nicht ausreichender Beleuchtung. Um der begrenzten Rechenleistung der mobilen Einheit Rechnung zu tragen, wird diese durch ein abgestuftes Edge-/Cloud-Computing-System unterstützt. In einer Verarbeitungskette werden die Bilddaten vorverarbeitet (mit Low-Level-Verarbeitung), fusioniert, analysiert und durch High-Level-Verfahren des Maschinellen Lernens (ML) klassifiziert Mit diesem Konzept wird eine vertiefte Datenanalyse und Datenfusion sowie Klassifikation durch das Edge-System in Verbindung mit einer skalierbaren und leistungsintensiven Verarbeitung in der Cloud möglich. Die Teilsysteme kommunizieren hierbei über drahtlose Kommunikationsschnittstellen miteinander. Zur Klassifikation werden Verfahren des Maschinellen Lernens auf Basis von Convolutional Neural Networks (CNN) eingesetzt. Das Klassifikationsnetz wird hierbei direkt auf der mobilen Einheit implementiert, während die Konfiguration bzw. Rekonfiguration des Netzes („das Lernen“) über Edge- und Cloud Computing erfolgt. Um auf unterschiedliche Situationen reagieren zu können, werden kontextabhängig die Sensordaten fusioniert und jeweils passend trainierte Netze zur Klassifikation eingesetzt. Als Anwendungsfall wird Ambient Assisted Living betrachtet. Konkret soll das Konzept für einen mit einer mobilen Energieversorgung ausgestatteten Rollator entworfen und erprobt werden. Damit kann sowohl die Orientierung in unterschiedlichen Räumen ermöglicht werden als auch auf sich abzeichnende Gefahrensituationen aus der Umgebung reagiert werden.

Further Information

Komo3D

Project Coordinator:
Prof. Dr. Franz Quint

Funding: Baden-Württemberg Stiftung

Duration: 2019 - 2020