Apples AR/VR-Headset soll keinen Controller benötigen, um in Virtual und Augmented Reality zu navigieren, was bei modernen Head-Mounted-Displays eher selten vorkommt. Einige ältere Systeme, wie Google Cardboard, setzen Bedienelemente direkt auf das Gerät, andere werden mit einem Gamecontroller geliefert, der die Erwartung setzt, dass es sich um ein Spielgerät handelt. Das Mixed-Reality-Headset von Apple ist möglicherweise mit einem Controller kompatibel, wird jedoch nach bisherigem Kenntnisstand wahrscheinlich nicht benötigt.
Apple-Chef Tim Cook bezeichnet Augmented Reality oft als eine der wichtigsten Technologien der Zukunft. Obwohl der iPhone-Hersteller nie öffentlich erklärt hat, dass ein AR- oder VR-Headset entwickelt wird, braucht es keinen Vertrauensvorschuss, um zu erkennen, dass Apple viel Zeit in ein solches Projekt investiert hat. Ein kurzer Blick auf die Website des US-Patent- und Handelsamts zeigt 142 Dokumente, die “Augmented Reality” und 237 für “Virtual Reality” erwähnen. Apple hat eifrig eine große Anzahl von Patentanmeldungen ausgefüllt, die sich auf Head-Mounted-Displays beziehen und die Benutzeroberfläche dieser fortschrittlichen Geräte beschreiben.
nach a Patent Anwendung, die Anfang dieses Jahres eingereicht wurde, wird das Mixed-Reality-Headset von Apple in der Lage sein, Handgesten zu erkennen, Standorte und Objekte zu identifizieren, sodass das Gerät vom Benutzer ohne weitere Geräte gesteuert werden kann. Neben einer großen Anzahl von Patentdokumenten untermauern mehrere Leaks aus zuverlässigen Quellen die Vorstellung, dass 2022 ein Apple AR- und VR-Wearable auf den Markt kommt. MacRumors teilte kürzlich eine Notiz des Apple-Analysten Ming-Chi Kuo mit, in der ein System beschrieben wird, das dem im Patentdokument erwähnten ähnelt. Kuo erklärte, dass das Headset ähnliche Sensoren wie die im iPhone verwendete TrueDepth-Kamera enthalten könnte, um die Hände und Finger des Benutzers zu erkennen, was die Verwendung von Gesten zur Steuerung des Geräts und zur Interaktion in einer dreidimensionalen Umgebung ermöglicht.
Das Mixed-Reality-Headset von Apple benötigt keine Controller zur Verwendung. Es könnte jedoch mit Controllern kompatibel sein und Apple erwähnt im Patentdokument, dass Handgesten dies sein könnten physische Controller entweder ersetzen oder erweitern. Der Blick des Benutzers, der unter Verwendung von Eye-Tracking-Sensoren berechnet wird, könnte dazu dienen, virtuelle Bedienelemente zu manipulieren und virtuelle Objekte auszuwählen. Die Spracheingabe reduziert auch den Bedarf an physischen Eingabegeräten. Auch wenn das alles sehr futuristisch klingt, sind die verschiedenen Komponenten dieser Technologie bereits vorhanden und müssen nur noch zu einer brauchbaren Lösung zusammengebaut und verfeinert werden. Das Patentdokument geht zurück auf die feineren Details und beschreibt das Umklammern der Hand und das Berühren verschiedener Teile der Finger mit den Daumen, um verschiedene Befehle darzustellen.
Ein virtuelles Overlay könnte eine Benutzeroberfläche erzeugen, die sich an der Hand ausrichtet, um eine visuelle Referenz dafür bereitzustellen, wo mit dem Daumen für eine bestimmte Funktion zu tippen ist. Das Bewegen des Daumens nach vorne, hinten, links und rechts kann die Bewegung eines virtuellen Objekts steuern, eine Änderung der Benutzeroberfläche ähnlich einer Wischbewegung auf einem iPhone auslösen oder Steuerelemente für ein Spiel bereitstellen. Das 84-seitige Patentdokument von Apple beschreibt viele weitere Szenarien, die ein hohes Maß an Steuerung von virtuellen Objekten und Benutzeroberflächenelementen sowie virtuelle Darstellungen von realen Objekten ermöglichen, die einfach durch eine Kombination von Handgesten, Sprachsteuerung und Blick gesteuert werden können -Verfolgung. Dies macht deutlich, dass ein separater Controller sinnvoll sein kann, aber nicht notwendig ist mit Äpfel zukünftiges AR/VR-Headset.