Mixed Reality mit Unreal Engine 4

Virtual Reality ermöglicht unseren Kunden mit unseren Produkten tief in andere Welten einzutauchen.

Damit dieses Gefühl der Faszination nun auch mit Außenstehenden geteilt werden kann, haben wir uns mit dem Mixed Reality Capturing Framework, dem neusten Feature von Unreal Engine 4 beschäftigt.

Dabei ist das Prinzip ganz einfach: Eine echte Kamera wird vor einem Greenscreen platziert, diese ist für den User oder Spieler zuständig. Eine zweite „virtuelle“ Kamera wird in der Anwendung platziert, diese ist für alles was um den Spieler in der virtuellen Welt passiert zuständig. Nun werden beide Kameras miteinander verbunden. Dabei wird die grüne Farbe des Greenscreens durch die virtuelle Umgebung ersetzt. Damit sind Aufnahmen möglich, die den Spieler in die virtuelle Welt setzen und zeigen wie er damit interagiert.

Damit der User zusätzlich noch stärker in die virtuelle Realität eintauchen kann, haben wir den neu erschienenen Wireless Adapter für die HTC Vive und HTC Vive Pro ausprobiert. Dadurch kann sich der User frei bewegen, ohne ein störendes Kabel zu spüren.

Für unsere Demonstration haben wir folgende Hardware verwendet.

  • HTC Vive Pro
  • HTC Wireless Adapter
  • Magewell USB Capture HDMI Gen 2
  • Panasonic HC-V777

Das Aufrüsten der Vive gestaltete sich als sehr einfach:

Der PC bekam eine neue PCIe-Karte und daran wurde der Empfänger angeschlossen. Das Kabel der Vive wurde entfernt und dafür der Adapter angeschlossen, der als Sender dient. Der Greenscreen wurde möglichst faltenfrei in unserem Ausstellungsraum aufgebaut. Auch die Lichtverhältnisse wurden mit künstlichem Licht angepasst, damit später keine Artefakte im Ergebnis entstehen.

Im nächsten Schritt wurde die Kamera vorbereitet. Der Auto Fokus wurde dabei deaktiviert damit die Kalibrierung nicht gestört wird. Durch den „Magewell USB Capture HDMI Gen 2“ Adapter wurde die Kamera an den Rechner angeschlossen. Technisch war somit alles vorbereitet für die Kalibrierung der virtuellen Kamera. Die Kalibrierung ist deshalb nötig damit Unreal in der virtuellen Realität eine Kamera platzieren kann die sich exakt an der gleichen Stelle befindet wie unsere Panasonic XY-0000. Dies ist vergleichbar mit den Vive Controllern. Diese befinden sich sowohl in der virtuellen als auch in der echten Realität an der exakt gleichen Stelle. Hierfür liefert Unreal ein kleines Tool, in dem in mehreren Schritten die Kalibrierung durchgeführt werden kann.

  1.  Input wählen
  2. Linse kalibrieren
  3. Position kalibrieren
  4. Chroma Key einstellen

Die Kalibrierung ist an sich nicht schwer. Man sollte aber doch ein wenig Geduld und Feingefühl mitbringen. Um später eine glaubhafte Komposition zu ermöglichen sind genaue Werte nötig.

Nachdem das ganze Setup aufgebaut, kalibriert und in eines unserer Produkte integriert wurde, konnten wir uns selbst in der virtuellen Realität betrachten.

By | 2018-12-18T10:19:00+00:00 Dezember 18th, 2018|Anwendungen, Concepts, HTC Vive, Mixed Reality, News|0 Comments