BAUHAUS.INSIGHTS: Metaverse made in Weimar
Man stelle sich vor, man besucht Weimar, besichtigt das Gropiuszimmer und kann seine Hamburger Verwandten virtuell dazuholen. Nicht bloß als Videotelefonie, sondern als 3D-Avatare erleben sie gleichzeitig den Raum. Man kann sich sogar live mit ihnen und – dank KI – sogar mit den Objekten im Raum unterhalten.
Es klingt nach Science Fiction, ist aber schon jetzt und bislang nur in Weimar möglich. Das Projekt MetaReal bringt KI-gestützte Wissensvermittlung auf ein völlig neues Niveau. Es kombiniert Virtual Reality (VR) und Augmented Reality (AR) mit verkörperten KI-Sprachagenten, um für physische und virtuelle Besucher*innen des Gropiuszimmers ein gemeinsames interaktives Erlebnis zu schaffen.
Wie in einer begehbaren Wikipedia können beide Besucher*innen-Gruppen das historische Büro von Walter Gropius in der Bauhaus-Universität Weimar gleichzeitig erkunden. In VR führt die Besucher*innen ein menschenähnlicher Tourguide, dessen Erscheinung von Oskar Schlemmers Arbeiten inspiriert ist, durch eine realitätsgetreu in 3D nachgebaute digitale Kopie. Der Tourguide erzählt von der Geschichte des Gropiuszimmers und beantwortet Fragen. Gleichzeitig können die Besucher*innen auch die ikonischen Objekte im Raum, wie die Wagenfeld-Lampe oder den F51 Sessel, selbst ansprechen: Diese erwachen zum Leben, antworten mit eigenen Stimmen und reflektieren sogar ihre Persönlichkeit. Der Tourguide und die Objekte im Raum verkörpern KI-Sprachagenten, die mit spezifischen Informationen zum Gropiuszimmer angereichert wurden.
Hinzu kommt die Integration von AR-Technologie: Physische Besucher*innen des Gropiuszimmers können über ihr Smartphone mit dem Tourguide oder den interaktiven Objekten sprechen. Aber auch mit den virtuellen Besucher*innen können sie kommunizieren, die im gleichen Augenblick das Gropiuszimmers in VR erleben. Dabei tauchen die virtuellen Gäste als Avatare an ihrer Raumposition im Kamerabild des Smartphones auf.
MetaReal lässt somit die Grenzen zwischen virtuellen und realen Räumen verschwimmen und ersetzt klassische museale Wissensvermittlung durch ein verbindendes, interaktives Erlebnis.
Prof. Dr. Bernd Fröhlich, Professur Virtuelle Realität und Visualisierung, ist Sprecher des interdisziplinären Teams, das hinter MetaReal steht. Wir haben ihn zu dem Projekt befragt.
Prof. Fröhlich, man kennt 360°-Rundgänge auf Museumswebseiten schon recht lange, spätestens seit Corona. Worin liegt jetzt der Mehrwert einer digitalen Kopie wie der von MetaReal und was macht MetaReal selbst so besonders?
Digitale Kopien sind realitätsgetreue digitale 3D-Rekonstruktionen realer Orte. Im Gegensatz zu den üblichen 360°-Rundgängen, die aus Panoramabildern bestehen, ermöglichen digitale Kopien über Virtual Reality (VR) echte räumliche Interaktion: Sie sind zu jeder Zeit, von jedem Ort und durch mehrere Besucher*innen in Lebensgröße begehbar.
room360
Klicken Sie auf den Play-Button, um externe Inhalte von Vimeo.com zu laden und anzuzeigen.
Externe Inhalte von Vimeo.com zukünftig automatisch laden und anzeigen (Sie können diese Einstellung jederzeit über unsere »Datenschutzerklärung« ändern.)
Außerdem können auch Bereiche von Museen zugänglich gemacht werden, die sonst nur schwer oder gar nicht zugänglich sind, wie eben das Gropiuszimmer in der Bauhaus-Universität Weimar. Solche virtuellen Räume ermöglichen zudem Besucher*innen mit Bewegungseinschränkungen das Museumserlebnis zu teilen, gemeinsam mit ihren Gruppenmitgliedern – physisch vor Ort via Augmented Reality (AR) oder ebenfalls virtuell.
Zusätzlich zur freien Begehbarkeit erlaubt die digitale Kopie auch beliebige Interaktionen mit den Objekten im Raum. Bei unserem innovativen Animismus-Ansatz erwachen beispielsweise die Objekte im virtuellen Raum zum Leben, wenn sie angesprochen werden. Besucher*innen können dann mit diesen Objekten in Dialog treten und dabei nicht nur Wissen, sondern auch – wenn ich das so sagen darf – die unterschiedlichen Persönlichkeiten der Objekte kennenlernen.
Genau in dieser Verbindung zwischen AR-Nutzer*innen, VR-Nutzer*innen und intelligenten Sprachagenten setzt MetaReal neue Maßstäbe, weil es weltweit bislang kein System gab, das mehrere AR- und VR-Nutzer*innen gleichzeitig einen realen Ort und dessen digitale Kopie erkunden lässt, während es eine natürlichsprachliche Kommunikation zwischen diesen Gruppen und mit Objekten im Raum ermöglicht. MetaReal schafft so ein völlig neues Erlebnis im Bereich der interaktiven Wissensvermittlung.
MetaReal – Guide
Klicken Sie auf den Play-Button, um externe Inhalte von Vimeo.com zu laden und anzuzeigen.
Externe Inhalte von Vimeo.com zukünftig automatisch laden und anzeigen (Sie können diese Einstellung jederzeit über unsere »Datenschutzerklärung« ändern.)
Wie und wo kann man die MetaReal-Version von Gropius’ Büro erleben? Wird MetaReal bereits in anderen Museen eingesetzt?
Aktuell kann man die MetaReal-Version des Gropiuszimmers nur in unserem VR-Labor in Weimar erleben. Der dort verfügbare Demonstrator erlaubt es mehreren Personen gleichzeitig, in sozialer VR zusammenzukommen – und wir stellen ihn natürlich auch zu Veranstaltungen wie beispielsweise der summaery aus.
Im Rahmen des Projekts wird der Demonstrator stetig weiterentwickelt. Neben Gropius’ Büro kann man inzwischen auch Goethes Wohnhaus in Weimar virtuell erkunden. Zukünftig ist auch eine Integration des Haus am Horn geplant.
Das Projekt MetaReal wird von mehreren Partnern bearbeitet. An der Bauhaus-Universität Weimar forscht die Professur Virtuelle Realität und Visualisierung zur räumlichen Interaktion zwischen VR- und AR-Nutzenden in gemischten sozialen virtuellen und realen Umgebungen. Sie leitet zudem das Projekt und integriert die Beiträge aller anderen Partner. Die Professur für Computer Vision in Engineering erstellt digitale Kopien für u.a. das Gropiuszimmer und das Haus am Horn und forscht zu der automatisierten Objekterkennung in diesen Modellen. Die Professur für Intelligente Informationssysteme forscht zu natürlichsprachlichen Wissensabfragen und der Genauigkeit der Antworten, während die Professur für Medientheorie und Wissenschaftsgeschichte das Wissen rund um das Bauhaus aufbereitet und wissenschaftlich einordnet. Ergänzt wird das Team durch das Fachgebiet Virtuelle Welten und Digitale Spiele der TU Ilmenau, das sich mit der Repräsentation von AR-Nutzern und der Verbindung von AR- und VR-Technologien befasst.
Wie können Besucher*innen das im virtuellen Raum platzierte Wissen abrufen? Gibt es dabei Unterschiede für die AR- und die VR-Nutzer*innen?
Tatsächlich gar nicht so viele. Zunächst einmal haben AR- und VR-Besucher*innen durch MetaReal eine sehr ähnliche räumliche Erfahrung. Das heißt, sie erleben das Gropiuszimmer dreidimensional und im echten Maßstab. Allein dadurch wird ja viel Kontext vermittelt, der für beide Gruppen identisch ist. Der zweite gemeinsame Punkt – und auch ein großer Vorteil im Vergleich zur klassischen Wikipedia, 360°-Rundgängen oder zu Audioguides, etc. – ist der natürlichsprachliche Dialog: Ein KI-Sprachagent, als Tourguide verkörpert, übernimmt von sich aus die Führung durch das Gropiuszimmer. Aber die Besucher*innen können ihm ganz einfach Fragen über Mikrofon stellen, ebenso den Objekten oder auch sich gegenseitig. Damit können sie gezielt ihre eigenen Interessen in die Wissensvermittlung einbringen.
Der wesentliche Unterschied für physische Besucher*innen vor Ort besteht im Grunde nur darin, dass sie über ihr Smartphone durch AR auf das platzierte Wissen im Raum zugreifen. Das heißt, sie können ebenfalls mit den Sprachagenten und den virtuellen Besucher*innen interagieren, aber sehen diese nicht in 3D.
Wie genau sehen sich die physischen und virtuellen Besucher*innen denn im Raum und auf welche Weise können sie interagieren?
Virtuelle Besucher*innen sehen sich gegenseitig sowie die realen Besucher*innen als menschenähnliche Avatare. Diese Avatare repräsentieren die physischen Besucher*innen genau an den Stellen, an denen sie sich im echten Gropiuszimmer befinden. Umgekehrt sehen die physischen Besucher*innen die virtuellen Besucher*innen über ihr Smartphone eingeblendet in die reale Umgebung. Die virtuellen Besucher*innen erscheinen an denselben Positionen, die sie in der digitalen Kopie einnehmen. So entsteht eine nahtlose Verbindung zwischen realem und virtuellem Raum, die Interaktion in beiden Welten ermöglicht.
Sprechen können sie miteinander genauso wie mit dem Tourguide und den Objekten einfach via Mikrofon und Kopfhörer bzw. Headset. Auch eine Verständigung über Körpersprache wie Gesten ist möglich.
Ein Beispiel wäre, dass Großeltern vor Ort im Gropiuszimmer sind und ihre Enkel virtuell dazustoßen. Ebenso könnte ein Freundeskreis, der über die ganze Welt verteilt ist, sich gemischt virtuell und vor Ort im Museum treffen. Der physische Besuch wird dabei zum Anlass für ein gemeinsames Erlebnis, bei dem Wissen auf interaktive Weise geteilt wird.
Wie verhindern Sie bei hohem Besucher*innen-Aufkommen, dass die Leute vor lauter Avataren den Raum nicht mehr sehen?
In VR haben wir viele Möglichkeiten, mit hohem Besucher*innen-Aufkommen und den damit verbundenen Herausforderungen wie Sichtverdeckung umzugehen. Eine Option besteht darin, nicht alle Nutzer*innen anzuzeigen oder Personen, die die Sicht auf wichtige Exponate verdecken, teilweise transparent zu schalten. Allerdings kann dies das gemeinsame Erlebnis beeinträchtigen, weshalb wir vorsichtig mit solchen Eingriffen umgehen.
In unserem Demonstrator haben wir verschiedene Ansätze untersucht. Beispielsweise können VR-Besucher*innen mit einer Art Röntgenblick durch andere Personen hindurchsehen oder Personen, die im Weg stehen, werden automatisch leicht zur Seite bewegt. Potenziell kann VR auch dafür genutzt werden, dass alle Teilnehmer*innen stets in der »ersten Reihe« stehen, wodurch sie jederzeit die beste Sicht auf den Raum und die Objekte haben. Diese Variante bringt aber Einschränkungen bei der sozialen Interaktion von Besuchenden untereinander mit sich.
Hier muss man flexibel die passende Variante auswählen können, um das Erlebnis auch bei hohem Besucher*innen-Aufkommen angenehm und funktional zu gestalten.
Welche Einsatzmöglichkeiten sehen Sie für MetaReal-Technologien auch außerhalb des Museumskontextes?
Die Einsatzmöglichkeiten von MetaReal gehen in der Tat weit über den Museumskontext hinaus. Besonders auf Messen, Ausstellungen oder bei anderen Veranstaltungen können digitale Kopien genutzt werden, um gemeinsame Erlebnisse für Personen vor Ort und virtuelle Teilnehmende zu ermöglichen. Personen, die sich physisch an einem anderen Ort befinden, könnten spontan eingeladen werden, virtuell dazustoßen – eine Art »3D-Instant-Sharing«, als Pendant zum herkömmlichen Teilen, das den Austausch auf eine neue Ebene hebt.
Mit der zunehmenden Verfügbarkeit von 3D-Modellen, die sich dank moderner Computer-Vision-Technologien mit Hilfe von Smartphones immer einfacher erstellen lassen, entstehen digitale Kopien von immer mehr Orten. Wir erwarten, dass diese zu Grundbausteinen des Metaverses werden – einer vernetzten digitalen dreidimensionalen Welt, die manchmal als »3D-Internet« bezeichnet wird. Das Metaverse soll Nutzer*innen, unabhängig von ihrem Standort und zu jeder Zeit, erlauben, sich in beliebigen virtuellen Welten zu treffen.
Hier werden zukünftig auch KI-basierte Sprachagenten omnipräsent sein. Sich durch Videos neue Fertigkeiten oder Wissen anzueignen, ist ja inzwischen Gang und Gäbe. Ich bin mir sicher, dass verkörperte Sprachagenten in virtuellen Umgebungen diesen autodidaktischen Lernprozess noch effektiver gestalten werden.
Prof. Fröhlich, wir danken Ihnen sehr für dieses spannende Gespräch.
Die BAUHAUS.INSIGHTS-Fragen zum Projekt »MetaReal« stellte der freischaffende Redakteur Franz Löbling. Bilder und Videos: Irene Lopez Garcia / Ephraim Schott
Das Projekt MetaReal wurde von 2020 bis 2024 durch das Thüringer Ministerium für Wirtschaft, Wissenschaft und Digitale Gesellschaft im Rahmen des Landesprogramms ProDigital (5575/10-5) gefördert.
Metareal – Demonstrationsvideo zum Gropiuszimmer
Klicken Sie auf den Play-Button, um externe Inhalte von Vimeo.com zu laden und anzuzeigen.
Externe Inhalte von Vimeo.com zukünftig automatisch laden und anzeigen (Sie können diese Einstellung jederzeit über unsere »Datenschutzerklärung« ändern.)