Unity, OpenXR und WebXR bieten ein vielseitiges Toolkit zum Erstellen vielfältiger Interaktionen in immersiven Erlebnissen. Ziel ist es, immersive Apps zu entwickeln, mit denen Nutzer auf Grundlage ihrer bisherigen Erfahrungen interagieren können. Sie können alles entwerfen, von einfachen Gesten bis hin zu komplexen physikbasierten Simulationen.
Unity-, OpenXR- und WebXR-Apps funktionieren nur im Vollraum.
Weitere Informationen zu den Designprinzipien von Android XR
Eingänge
XR-Apps können Interaktionen mit Hand-, Augen- und Gesichts-Tracking, Gesten, Sprachbefehlen und herkömmlichen Eingabegeräten wie Tastaturen, Mäusen und Controllern umfassen. Überlegen Sie, welche Eingaben Ihre App benötigt, um eine natürliche und barrierefreie Nutzererfahrung zu bieten.
- Unterstützen Sie vertraute Touch-Gesten, um die Lernkurve Ihrer App zu verkürzen. Verwenden Sie bei der Interaktion mit der 2D-Benutzeroberfläche Standardsystemgesten wie das Zusammenziehen. Bei 3D-Interaktionen wie dem Aufheben und Werfen eines Balls sollten Sie Gesten entwerfen, die die Interaktion in der realen Welt nachahmen. So bauen Sie auf dem vorhandenen Wissen der Nutzer auf und verringern die Notwendigkeit von Anleitungen.
- Wenn zusätzliche Touch-Gesten erforderlich sind, sollten sie leicht zu erlernen, zu merken und auszuführen sein. Vermeiden Sie komplexe, mehrstufige Gesten oder unnatürliche Positionen, die zu Unbehagen und Ermüdung führen können. Sie können Nutzern auch Anleitungen zur Verwendung von Handgesten zur Verfügung stellen.
- Achten Sie darauf, dass die App sowohl mit der linken als auch mit der rechten Hand bedient werden kann. Wenn das nicht möglich ist, folgen Sie der Einstellung für die bevorzugte Hand des Systems.
- Interaktionen mit zwei Händen können zwar immersiv sein, aber für Nutzer mit eingeschränkter Mobilität eine Herausforderung darstellen. Priorisieren Sie Interaktionen mit einer Hand für wichtige Aktionen. Wenn Gesten mit zwei Händen erforderlich sind, sollten Sie alternative Methoden mit nur einer Hand anbieten, um dasselbe Ergebnis zu erzielen.
- Unity-, OpenXR- und WebXR-Apps profitieren nicht automatisch vom Back-Stack von Android. Sie können einen Rückstapel implementieren, damit Nutzer auf die Zurück-Geste von Android XR zugreifen können, um Aktionen rückgängig zu machen oder mithilfe der Bedienung per Geste zurückzugehen.
UI
Elemente der Benutzeroberfläche wie Schaltflächen, Bereiche und Text sind für natürliche Interaktionen in XR-Apps unerlässlich. Das Design sollte eine nahtlose, intuitive Nutzererfahrung priorisieren. Die spezifischen Entscheidungen für das UI-Design hängen von den individuellen Anforderungen Ihrer App ab.
- Platzieren Sie primäre interaktive Elemente und wichtige Inhalte in der natürlichen Blickrichtung und im Sichtfeld des Nutzers. Das verbessert die Sichtbarkeit und sorgt für eine angenehme Nutzung. Überlegen Sie, wie Nutzer mit der Benutzeroberfläche interagieren sollen, um zu bestimmen, in welcher Entfernung sie platziert werden soll. Richtet er beispielsweise mit einem Laserpointer oder tippt er direkt mit den Fingern auf die Schaltflächen? Konfigurieren Sie die Größe der Benutzeroberfläche entsprechend der vorgesehenen Entfernung vom Nutzer. Weitere Informationen finden Sie im Leitfaden für Größe und Skalierung von Android XR.
- Berücksichtigen Sie beim Entwerfen interaktiver UI-Elemente wie Schaltflächen, wie Nutzer mit ihnen interagieren sollen, und die für jede Eingabemethode erforderliche Präzision – Handtracking im Vergleich zur Maus. Passen Sie Faktoren wie Zielgröße und Abstand entsprechend an. Achten Sie darauf, dass die Positionen der UI für eine angenehme Interaktion sorgen. Bieten Sie visuelles Feedback zu Nutzeraktionen. Weitere Informationen finden Sie im Android XR-Styleguide.
- 2D-UIs wie Steuerfelder eignen sich gut für menübasierte Interaktionen. Eine 3D-Benutzeroberfläche mit physischen Tasten, Hebeln und Schaltern kann bei der Interaktion mit räumlichen Umgebungen ein immersiveres Erlebnis bieten. Eine sorgfältige Balance zwischen bereichsbasierten Interaktionen für eine gute Lesbarkeit und 3D-Objekten für weltbezogene Interaktionen kann eine wirkungsvolle, immersive Umgebung schaffen.
- Achten Sie darauf, dass der Text lesbar ist. Verwenden Sie hierzu die richtige Schriftgröße, die richtige Schriftart und den richtigen Kontrast. Positionieren Sie die Benutzeroberfläche entsprechend der Entfernung, aus der Nutzer den Text sehen. Verwenden Sie Signed Distance Field-Schriftarten für eine flüssige Textdarstellung in verschiedenen Schriftgrößen. Weitere Informationen finden Sie im Typografieleitfaden für Android XR.
Räumliche Interaktionen
Zu den reichhaltigsten Interaktionen in XR gehört die Möglichkeit, direkt mit 3D-Objekten zu interagieren. Das kann so einfach sein wie ein Objekt aufheben, begutachten und wegwerfen. Dazu gehören auch komplexere Interaktionen wie das Ziehen von Hebeln, das Drücken von Schaltflächen und die Interaktion mit Elementen, die der Nutzer bereits in der Hand hält, z. B. das Sprühen einer Sprühflasche. Für intuitive Interaktionen mit 3D-Objekten sollten Sie auf dem Vorwissen der Nutzer über die Welt basieren.
- Wenn Sie realistische Aktionen erstellen möchten, sollten Sie eine Physik-Engine einbinden. Wenn Sie mit Unity arbeiten, ist eine integrierte Physik-Engine verfügbar. Achten Sie darauf, wie viel Rechenleistung die Physik-Engines verbrauchen, und optimieren Sie die Leistung.
- Glaubwürdigkeit ist wichtiger als Realismus. Wenn ein Nutzer beispielsweise der Meinung ist, dass er einen Ball hart geworfen hat, sollte die App dem Ball zusätzliche Kraft verleihen, die über die von den Sensoren des Geräts gemessene hinausgeht.
- Objekte sollten so gestaltet sein, dass sie ihren Angeboten entsprechen. Das bedeutet, dass in Ihrer App jede mögliche Aktion berücksichtigt werden sollte, die ein Nutzer an oder mit einem Objekt ausführen könnte. Ein Donut kann beispielsweise aufgehoben, weggeworfen und gegessen werden. Anstatt den Donut zu essen, könnte die App ein Voiceover verwenden, das sagt: „Ich habe gerade keinen Hunger.“ Diese Lösungen decken die Aktionen ab, die Nutzer mit einem Donut ausführen möchten.
- Objekte können mit verschiedenen Techniken gehalten werden, darunter Eltern-Kind-Beziehungen, physikalische Gelenke, das Folgen und physikalische Kräfte. Jede Methode hat Vor- und Nachteile. Bevor Sie eine benutzerdefinierte Grab-Methode implementieren, sollten Sie verschiedene Ansätze recherchieren und testen, um den am besten geeigneten zu ermitteln.
- Ergonomie ist beim Design in einer 3D-Umgebung wichtig. Aus Gründen der Barrierefreiheit sollten Sie an flachen Oberflächen einen Griff anbringen, damit Nutzer das Gerät auf eine angenehme Höhe einstellen können. Testen Sie jedes Objekt im Raum mit verschiedenen Nutzern, da jeder Körper anders ist.
Szenendesign
Szenen können von vollständig immersiven virtuellen Welten bis hin zu Augmented-Reality-Erlebnissen reichen, bei denen virtuelle Elemente mit der realen Umgebung eines Nutzers verschmelzen. Entwerfen Sie Szenen, die komfortabel, funktional sind und die einzigartigen Funktionen von XR nutzen.
- Begrenzen Sie Szenen, in denen sich die Kamera um den Nutzer bewegt, z. B. Flugaufnahmen. Das kann zu Unbehagen führen, insbesondere wenn der Körper eines Nutzers stillsteht. Einige Fortbewegungstechniken wie der Tunnelblick (im nächsten Abschnitt beschrieben) können das Unbehagen verringern.
- Wenn Sie Mixed-Reality-Inhalte erstellen möchten, können Sie die Funktionen zur Szenenerkennung von Android XR verwenden, um virtuelle Objekte in die physische Umgebung eines Nutzers einzubinden.
- Bei Virtual-Reality-Anwendungen können Sie eingeschränkte Ansichten der realen Welt in den virtuellen Raum einbinden. So können Nutzer ihre Umgebung im Blick behalten und mit physischen Objekten interagieren, ohne die immersive Erfahrung zu verlassen.
Locomotion
Bei Android XR-Erlebnissen sollten sich Nutzer frei in ihrem physischen Raum bewegen können, der durch eine konfigurierte Begrenzung definiert ist. Einige Nutzer finden beispielsweise, dass virtuelle Erlebnisse immersiver sind, wenn sie um einen nicht beweglichen, erstellten Raum herum gestaltet sind. Wenn Sie davon ausgehen, dass sich Nutzer in einem größeren virtuellen Raum bewegen, als die Begrenzung zulässt, sollten Sie Fortbewegungstechniken verwenden, die die Bewegung verstärken, z. B. Teleportation.
Bei der Teleportation zeigt der Nutzer auf einen Bereich und wählt ihn aus oder verwendet einen Controller, um sofort zu einem neuen Ort zu springen. Sie eignet sich hervorragend, um große Entfernungen schnell zurückzulegen, und ist oft die Fortbewegungsmethode, die am wenigsten Reiseübelkeit verursacht. Wenn Sie den Bildschirm während des Übergangs kurz verdunkeln, können Sie die Unruhe weiter minimieren.
Andere Fortbewegungsmethoden
Wenn Sie andere Fortbewegungsmethoden verwenden, sollten Sie auch die Teleportation als Alternative anbieten.
- Laufen vor Ort mit Armschwingen: Simulieren Sie das Gehen, indem Sie Ihre Arme schwingen oder den Controller nach oben und unten bewegen. Einige Nutzer finden das möglicherweise anstrengend oder weniger intuitiv.
- Kontinuierliche Bewegung: Mit dem Joystick oder dem Steuerkreuz eines Controllers können Sie sich durch die Umgebung bewegen. In den meisten Fällen sollten Sie diese Methode vermeiden, da sie eine häufige Ursache für Reiseübelkeit ist.
Wenn Sie die Fortbewegung in Ihrem Erlebnis verwenden, bieten Sie mehrere Optionen an, um individuellen Vorlieben gerecht zu werden und die Nutzerfreundlichkeit zu verbessern.
Die Reisekrankheit kann auftreten, wenn es eine Diskrepanz zwischen der physischen Bewegung eines Nutzers und seiner virtuellen Erfahrung gibt. So optimieren Sie den Komfort der Nutzer während der Fortbewegung:
- Achten Sie darauf, dass der virtuelle Horizont stabil und eben bleibt.
- Wenn eine kontinuierliche Bewegung erforderlich ist, vermeiden Sie eine progressive Beschleunigung oder Verzögerung. Halten Sie die Geschwindigkeit konstant.
- Tunnelblick kann dazu beitragen, die Reisekrankheit zu reduzieren, indem das Sichtfeld des Nutzers während der Bewegung verengt wird. Durch einen Vignettierungseffekt wird die wahrgenommene Bewegung in den peripheren Bereichen eingeschränkt.
- Bei der Drehung können Sie den Blickwinkel eines Nutzers an bestimmte Winkel anpinnen. Das kann zu etwas Orientierungslosigkeit führen, aber die Reiseübelkeit verringern.
- Nutzer haben unterschiedliche Toleranzschwellen. Sie können die Komforteinstellungen nach Belieben anpassen, z. B. die Fortbewegungsmethode auswählen, die Tunnelsicht ein- oder ausschalten oder die Bewegungsgeschwindigkeit anpassen.
Spatial Audio
Mit Sound können Sie immersive Klanglandschaften schaffen, die Nutzer in eine andere Welt entführen und bestimmte Emotionen hervorrufen. Mit Spatial Audio werden Töne in der virtuellen Umgebung genau positioniert.
- Ambisonics ist wie eine Skybox für Audio, die Nutzern eine immersive Klanglandschaft bietet. Verwenden Sie Ambisonics für Hintergrundgeräusche oder andere Szenarien, in denen Sie ein vollkugelförmiges Klangfeld nachbilden möchten, das den Hörer umgibt.
- Mithilfe von ortsbezogenen Audiohinweisen lässt sich die Aufmerksamkeit der Nutzer lenken.
- Soundeffekte räumlich platzieren, um die Immersion zu erhöhen.
- Wenn Sprachaudio an den Standort eines Sprechers geortet wird, erhalten Nutzer ein Gefühl der Präsenz, auch wenn sie nicht direkt auf den Sprecher blicken.
- Nutzern erlauben, die Audioeinstellungen anzupassen. So können sie beispielsweise die Hintergrundmusik, die Soundeffekte oder die Voiceovers deaktivieren oder die Lautstärke ändern.
- Du kannst Untertitel für gehörlose oder schwerhörige Personen hinzufügen.
Weitere Aspekte für mehr Komfort
Um die Barrierefreiheit zu priorisieren, sollten Sie anpassbare Optionen anbieten, die auf unterschiedliche Fähigkeiten und Vorlieben eingehen. So können viele Nutzer die immersive Erfahrung genießen.
- Achten Sie darauf, dass Ihre Anwendung mit 72 Frames pro Sekunde ausgeführt wird: So lässt sich das Ruckeln minimieren und Übelkeit vermeiden.
- Nutzer die Kontrolle geben: Damit Ihre App für Nutzer mit unterschiedlichem Erfahrungsstand mit XR nutzerfreundlich ist, sollten Sie ihnen die Möglichkeit geben, die App mit anpassbaren Einstellungen individuell zu gestalten. Sie können Nutzern erlauben, Controllertasten und -Gesten neu zuzuordnen, um sie an ihre körperlichen Bedürfnisse oder Vorlieben anzupassen. Nutzer mit eingeschränkter Handbeweglichkeit können beispielsweise von einem anderen Schaltflächenlayout oder größeren, einfacheren Eingabesteuerelementen profitieren.