Project HMD Eyes

In this project, we will allow collocated HMD users to see themselves and each other inside shared virtual environments as 3D video avatars using lightweight 3D capturing technology.

Prof. Dr. Bernd Fröhlich
M.Sc. Tim Weißker
M.Sc. Adrian Kreskowski
M.Sc. Carl-Feofan Matthes
Dipl.-Mediensys.wiss. André Kunert
Dr. Stephan Beck
Dr. Alexander Kulik


15 Credits Medieninformatik (B.Sc.)
15 Credits Computer Science and Media (M.Sc.)
15 Credits Computer Science for Digital Media (M.Sc.)

Beschreibung:

Virtuelle Realität wird heutzutage oft mit Head Mounted Displays (HMD) in Verbindung gebracht. Wenn man HMD-Anwender beobachtet, fragt man sich oft, was sie wahrnehmen. Was erforschen sie gerade? Durch welche virtuelle Welt navigieren sie? Um wirklich zu verstehen was sie wahrnehmen, bietet es sich an, sich mit ihnen in derselben virtuellen Umgebung zu treffen.

Wir sind überzeugt, dass Virtual Reality ein soziales Medium ist. Ein Medium, welches Menschen ermöglicht, sich in gemeinsamen virtuellen Welten zu treffen und zusammenzuarbeiten. Um sich dabei gegenseitig zu sehen, werden HMD-Anwender oft als stilisierte oder computergenerierte (CG) Avatare dargestellt. In einigen Anwendungen sind solche Darstellungen sicherlich ausreichend. Allerdings können CG-Avatare die Körpersprache und Mimik einer Person nicht besonders gut vermitteln. Im Gegensatz dazu, werden die Anwender moderner Telepresence-Systeme dreidimensional in Echtzeit erfasst, rekonstruiert und als realistische 3D-Video-Avatare live dargestellt. Tatsächlich fühlt sich die Begegnung mit dem 3D-Video-Avatar einer Person in einem Telepresence-System fast so an als würde man die Person real treffen.

In diesem Projekt ermöglichen wir es HMD-Anwendern, sich selbst und einander als 3D-Video-Avatare zu sehen. Um dies zu erreichen, werden wir HMDs mit Farb- und Tiefensensoren (RGBD-Sensoren) ausstatten. Die RGBD-Sensoren werden somit zu zusätzlichen Augen des HMD-Anwenders, und ermöglichen es ihm andere Personen oder seinen eigenen Körper, live zu erfassen und in seine virtuelle Sicht zu integrieren.

Wir beginnen mit einer Literaturrecherche und Präsentationen und werden wir die vorhandenen Virtual-Reality-Technologien in unseren Laboren kennenlernen und verstehen. Anschließend werden wir RGBD-Sensoren an Head-Mounted-Displays anbringen und als System kalibrieren. Im Kern des Projektes werden wir werden eine 3D-Rekonstruktions-Pipeline implementieren mit der wir konsistent verortete 3D-Rekonstruktionen der Umgebung in Echtzeit erstellen können. Außerdem werden wir unsere Pipeline an ein Geometrie-Streaming-Modul anbinden, welches die 3D-Video-Avatare an unser Virtual-Reality-Framework Avango/Guacamole sendet. In Avango/Guacamole werden die 3D-Video-Avatare dann automatisch in die virtuelle Szene integriert und im HMD dargestellt.

Lerninhalte:

  • Kollaborative virtuelle Realität und Telepresence-Technologie

  • Aufbau und Kalibrierung von 3D-Sensor-Systemen mit quelloffenen Softwarewerkzeugen

  • Entwurf und Implementierung einer echtzeitfähigen Processing-Pipeline für die Rekonstruktion von 3D-Video-Avataren aus RGBD-Bildströmen

  • Entwurf und Implementierung eines Server-Modules welches 3D-Video-Avatar-Geometrien an Avango/Guacamole sendet

Anforderungen:

  • Erfahrung in der Softwareentwicklung mit C++ und Python

  • Grundlagen der Computergrafik

Voraussetzungen:

  • Erfolgreicher Abschluss der Vorlesung Computergrafik (oder einer vergleichbaren Veranstaltung)
  • nachweisbare Kenntnisse in C++
  • hilfreich sind grundlegende Kenntnisse in OpenGL und OpenCV

Leistungsnachweis:

  • aktive Mitarbeit im Projekt
  • aktive Beteiligung an der Softwareentwicklung
  • Entwicklung eines funktionsfähigen Prototypen
  • zwei Vorträge, Abschlusspräsentation, schriftliche Dokumentation

Richtet sich an:

  • Bachelor/Master CS4M & HCI

Description:

Virtual reality is nowadays often associated with users wearing head mounted displays (HMDs). When observing such fully immersed HMD users, one often wonders what they perceive. What do they explore? Which virtual world are they navigating through? To really understand their experience, the best way is to meet them in the same virtual environment.

We are convinced, that virtual reality is a social medium that enables people to meet and collaborate in shared virtual worlds. In collocated settings, HMD users are often represented as stylized or computer generated (CG) avatars in order to see each other. Being represented as CG avatar might be sufficient in some applications. However, such representations cannot convey body language or facial expressions well. Instead of representing users as CG avatars, modern telepresence systems use real-time 3D capturing and reconstruction technology and represent the users as realistic 3D video avatars. In fact, meeting a user's 3D video avatar inside a telepresence system almost feels like meeting the person in reality. Consequently, HMD users should be represented using similar technology in collaborative applications.

In this project, we will allow collocated HMD users to see themselves and each other inside shared virtual environments as 3D video avatars using lightweight 3D capturing technology. To achieve this, we will equip HMDs with color and depth (RGBD) sensors. Thus, letting the RGBD-sensors become a user’s additional eyes that enable other users standing next them to be captured and integrated into his vision.

We will start with a literature research and presentations. Next, we will learn about virtual reality technology available in our labs. Eventually, we will get to the implementation. We will mount RGBD-sensors for 3D capturing onto the HMDs and calibrate them using our open source calibration frameworks. These lightweight 3D capturing systems will allow us to create spatially consistent 3D reconstructions of the physical environment in real-time. In particular, we will design and implement a novel 3D reconstruction processing pipeline that creates 3D video avatars of the captured collocated persons using our 3D capturing setups. We will then connect our pipeline to our existing geometry streaming module which sends the 3D video avatars to our virtual reality software Avango/Guacamole. In Avango/Guacamole, the 3D video avatars will then be automatically integrated into the virtual scene and displayed in stereoscopic 3D on the HMD.

You will learn about and work on the following topics:

  • Collaborative virtual reality and telepresence technology

  • Setup and calibration of 3D capturing systems using open source frameworks

  • Design and implementation of a real-time 3D reconstruction pipeline that creates 3D video avatars from RGBD-sensor streams

  • Design and implementation of a streaming server which interfaces our existing geometry streaming module

Requirements:

  • Proficient programming skills in C++ (e.g. successful completion of the course on programming languages)

  • Solid understanding of computer graphics (e.g. successful completion of the course on computer graphics)

Assessment:

  • active participation in the project
  • active participation in software development and development of a functional prototype
  • two presentations, final presentation, written documentation