Was ist Inside-Out-Tracking in der virtuellen Realität?


Ein Junge, der ein Virtual-Reality-Headset von Oculus Quest 2 trägt.
Boumen Japet / Shutterstock.com

Damit die virtuelle Realität funktioniert, ist die Position des Headsets im 3D-Raum eine entscheidende Information. Inside-Out-VR-Tracking verwendet integrierte Kameras und maschinelles Lernen, um diese Messung durchzuführen, und es wird schnell zum Goldstandard für VR-Head-Tracking.

Konventionelle Positionsverfolgung

Ein original Oculus Rift-Headset mit Touch-Controllern und Tracking-Sensoren.
Alberto García Guillén / Shutterstock.com

Es gab viele verschiedene Ansätze zur Positionsverfolgung in der virtuellen Realität , aber wenn wir von „herkömmlicher“ Positionsverfolgung sprechen, beziehen wir uns auf die moderne Revolution der virtuellen Realität , die Mitte der 2010er Jahre begann, und nicht auf die Anfänge der virtuellen Realität Ende der 80er oder Anfang der 90er Jahre.

Die ursprüngliche Oculus Rift stand an der Spitze dieser neuen Generation von Virtual-Reality-Headsets. Basierend auf Technologien, die für Smartphones entwickelt wurden, enthielt der Rift Sensoren, die eine feine Erkennung von Drehungen und seitlichen Bewegungen ermöglichen. Mit anderen Worten, das Headset kann mithilfe interner Sensoren Rotationen und Bewegungen nach vorne, hinten oder von einer Seite zur anderen melden. Was Sie nicht tun können, ist die Berichtstiefe . Das heißt, wo es innerhalb des 3D-Raums relativ zu anderen Punkten ist.

Die ursprüngliche Rift-Lösung bestand darin, eine externe Tracking-Kamera zu verwenden. Die Kamera sieht im Infrarotspektrum und auf der Oberfläche des Kopfhörers befinden sich eine Reihe von Infrarotlichtern. Die Kamera verfolgt diese Lichter, und da sie ihren genauen Maßstab und ihr Muster kennt, kann sie genau herausfinden, wo sich die Hörmuschel im Verhältnis zur Kamera selbst befindet.

Zusammengenommen bieten all diese Sensordaten eine präzise Positionierung überall im 3D-Raum, zumindest soweit der externe Tracker das Headset sehen kann. Später würden Produkte wie das HTC Vive laserbasierte Raumwaage-Tracker einführen. Diese wurden an den Wänden eines Raumes montiert und ermöglichten es, die Position der Kopfhörer überall in Reichweite zu verfolgen.

Tracking von innen nach außen

Ein Oculus Quest 2-Headset.
Boumen Japet / Shutterstock.com

Inside-Out-Tracking kehrt das Skript in der gerade beschriebenen traditionellen Methode um. Das Headset verwendet immer noch Kameratechnologie, um herauszufinden, wo es sich im 3D-Raum befindet, aber alle Kameras befinden sich am Headset selbst.

Es sind keine externen Trackingmarker, sondern anspruchsvolle MachineVisionSoftware sucht nach Sehenswürdigkeiten in den Raum um sich herum. Die Software beobachtet die Bewegung dieser Referenzpunkte und leitet daraus die Bewegung der Hörmuschel ab.

Onboard-Kameras können noch mehr. Dank dieses räumlichen Bewusstseins ist es möglich, softwarebasiert eine virtuelle Barriere zu erstellen, damit Sie nicht versehentlich über eine Wand stolpern. Dies ist auch mit Tracking-Systemen im Raummaßstab möglich, jedoch nicht mit dem herkömmlichen externen Tracking mit einer einzigen Kamera.

Die eingebauten Kameras können auch die Position Ihrer VR-Controller relativ zum Headset genau verfolgen. In einer genialen Weiterentwicklung ist es nun auch möglich, mit diesen eingebauten Kameras Ihre bloßen Hände für die Interaktion in der virtuellen Realität direkt zu verfolgen. Keine Treiber erforderlich!

Auch Inside-Out-Tracking kann eine Form von » Mixed Reality « bieten. Das heißt, wo virtuelle und reale Objekte zu einem einzigen Erlebnis kombiniert werden. Die Kameras der integrierten Headsets können Sie beispielsweise Ihre reale Tastatur anzeigen lassen, wenn Sie eine App wie Virtual Desktop verwenden, oder Ihren Stuhl von der realen Welt in den virtuellen Raum bringen, um das Sitzen oder Aufstehen zu erleichtern.

Die Vorteile des Inside-Out-Trackings

Inside-Out-Tracking wird bei VR-Headsets schnell zur Norm und es ist nicht schwer zu verstehen, warum. Dieser Ansatz hat zahlreiche Vorteile, aber der prominenteste ist Eleganz und Einfachheit.

In einem Headset wie der Oculus Quest 2 gibt es nur das Headset und die beiden Controller. Wenn Sie das Quest 2 als angeschlossenes Headset verwenden, benötigen Sie nur ein USB-Kabel. Der Einstieg in die virtuelle Realität ist schnell und einfach. Sie müssen keine Ausrüstung vorbereiten, setzen Sie einfach Ihre Kopfhörer auf und spielen Sie. Auch die Bewegung von einem Ort zum anderen wird vereinfacht. Es gibt kein Durcheinander oder Ärger mit Kabeln, Kameras oder Trackern, die montiert werden müssen. (Selbst wenn Sie Oculus Quest 2 als Virtual-Reality- Headset für den PC verwenden möchten, können Sie dies mit einem einzigen USB-Kabel oder drahtlos tun.)

Wie bereits erwähnt, bietet Inside-Out-Tracking auch neue Möglichkeiten zur Verbesserung der virtuellen Realität, die über das Positionstracking hinausgehen. Was als Lösung begann, um eine echte eigenständige virtuelle Realität zu ermöglichen, hat sich zu einer scheinbaren Zukunft aller Virtual-Reality-Headsets entwickelt.

Inside-Out-Tracking löste auch das Okklusionsproblem, bei dem die externe Tracking-Kamera Ihre Kopfhörer oder Treiber nicht sehen kann, weil sie versteckt sind. Einer der Gründe, warum es mindestens zwei wandmontierte Tracker mit raummaßstäblichen Einstellungen gibt, besteht darin, zu verhindern, dass irgendein Sensor verdeckt wird.

Die Kehrseite des Inside-Out-Trackings

Inside-Out-Tracking ist eine beeindruckende Technologie, aber einige der hochwertigeren VR-Produkte wie Valve Index verwenden immer noch extern montierte Tracker. Wenn Inside-Out-Tracking so gut ist, warum ist es dann nicht universell? Der Hauptgrund liegt in der Präzision und Genauigkeit. Die Software, die das Tracking von innen nach außen steuert, muss viel "raten", da kein Algorithmus zu 100% genau ist. Dies wird durch die Rechenleistung der Onboard-Kopfhörer begrenzt, da eine präzisere und ausgefeiltere Bildverarbeitungstechnologie mehr Rechenleistung erfordert. Im Laufe der Zeit wird dieses Problem einfach dadurch gelöst, dass die Leistung Ihres Computers ausgeführt wird.

Infolgedessen ist das Inside-Out-Tracking bei VR- Headsets nicht so genau oder schnell wie das Outside-In-Tracking, aber es holt schnell auf und ist bereits gut genug, dass Sie wahrscheinlich keine Probleme bemerken werden herum oder versuchen, einen virtuellen Boxkampf zu gewinnen.

Der Input Was ist Inside-Out-Tracking in der virtuellen Realität? wurde zuerst in ResponTodo veröffentlicht .