Mit Unreal Engine für Android XR entwickeln

XR‑Geräte, für die der Leitfaden gilt

Dieser Leitfaden hilft Ihnen dabei, Erlebnisse für die folgenden Arten von XR-Geräten zu entwickeln.

Informationen zu XR‑Gerätetypen

XR‑Headsets

Kabelgebundene XR‑Brillen

Informationen zu XR‑Gerätetypen

Die Unreal Engine-Unterstützung für die XR-Entwicklung basiert auf dem OpenXR-Standard. So werden OpenXR-Funktionen, die für Android XR unterstützt werden, nativ in Unreal unterstützt.

In diesem Leitfaden erfahren Sie mehr zu folgenden Themen:

• Unreal Engine-Unterstützung für Android XR
  • Grundlagen von Unreal Engine XR
  • Apps für Android XR entwickeln und veröffentlichen
  • Unreal Engine-Plug-ins für Android XR
  • Support
• Eingabe und Interaktion
• Unterstützte Erweiterungen

Unreal Engine-Unterstützung für Android XR

Wenn Sie Unreal-Apps für Android XR entwickeln, können Sie die räumlichen Computing-Funktionen der neuesten Versionen von Unreal Engine 5 nutzen. Unreal Engine 5 unterstützt die OpenXR-Kernspezifikation, während die Android XR-Erweiterungen für Unreal Unterstützung für Android XR und andere spezifische Erweiterungen bieten, damit Sie schnell loslegen können.

Grundlagen von Unreal Engine XR

Wenn Sie noch keine Erfahrung mit Unreal oder der XR-Entwicklung haben, finden Sie in der Unreal-Dokumentation zur XR Entwicklung grundlegende Konzepte und Arbeitsabläufe. Hier sind einige wichtige Bereiche, die Sie sich ansehen sollten:

• XR-Framework: Informationen zum Erstellen eines VR-Pawn, indem Sie eine Kamerakomponente (die das Headset darstellt) und eine Handeingabe (die die Hände darstellt) an einen gemeinsamen Szenenstamm anhängen.
• OpenXR-Plug-in: Die Kernschnittstelle für die Unterstützung von Android XR-Geräten.
• XR-Architektur: Informationen dazu, wie Unreal den Technologie-Stack und die XR-Subsysteme verarbeitet.
• Projekteinrichtung: Informationen zum Konfigurieren von .uproject für das räumliche Rendering.
• Grafikrichtlinien: Informationen zur Verwendung von Foveated Rendering, Multiview und Variable Rate Shading (VRS).
• Leistung und Profilerstellung: Informationen zu Tools und Techniken zum Optimieren Ihrer XR Anwendung.
• Best Practices: Richtlinien für Design und Entwicklung zur Erstellung komfortabler und immersiver XR-Erlebnisse.

Apps für Android entwickeln und veröffentlichen

Unreal Engine bietet eine umfassende Dokumentation zum Entwickeln, Erstellen, und Veröffentlichen für Android. Diese Dokumentation umfasst das Verwalten von Android-Berechtigungen in der Engine, das Konfigurieren von Android-Build-Einstellungen (über „Projekteinstellungen“ > „Plattformen“ > „Android“) und die Verwendung des Unreal Automation Tool (UAT).

Weitere Informationen finden Sie in der Dokumentation zum Verpacken und Verteilen von Apps für Android XR. Dort finden Sie spezifische Anforderungen für räumliche Apps, die im Google Play Store vertrieben werden. Ihre App muss außerdem den Qualitätsrichtlinien für immersive Erlebnisse entsprechen, um auf Android XR eine einheitliche und komfortable Nutzererfahrung zu bieten.

Unreal Engine-Plug-ins für Android XR

Es gibt zwei Kern-Plug-ins, die Unterstützung für die Entwicklung von Unreal-Apps für Android XR bieten. Diese Plug-ins werden über das Menü „Plug-ins“ („Bearbeiten“ > „Plug-ins“) verwaltet.

Android XR OpenXR-Plug-in

Das Android XR OpenXR-Plug-in ist die primäre Engine-Schnittstelle, die Unreal Android XR-Unterstützung hinzufügt. Es implementiert die OpenXR-Erweiterungen, die für räumliches Tracking, Umgebungsverständnis und Wahrnehmung erforderlich sind. Informationen zum Hinzufügen und Konfigurieren dieses Plug-ins finden Sie in der Unreal Engine OpenXR Dokumentation.

Android XR-Erweiterungen für Unreal

Die Android XR-Erweiterungen für Unreal ergänzen die grundlegende OpenXR-Unterstützung und bieten zusätzliche Funktionen, mit denen Sie immersive Erlebnisse erstellen können, z. B. erweiterte Hand-Mesh-Daten und spezifische Hardwareoptimierungen. Informationen zum Importieren und Konfigurieren dieses Pakets finden Sie im Schnellstart für Android XR-Erweiterungen.

Support

Wenn Probleme auftreten, besuchen Sie unsere Supportseite für Unreal Engine.

Eingabe und Interaktion

Um interaktive räumliche Erlebnisse zu schaffen, müssen physische Bewegungen digitalen Aktionen zugeordnet werden. Unreal Engine verwendet das erweiterte Eingabesystem in Kombination mit OpenXR, um sowohl Bewegungscontroller als auch Handtracking zu verarbeiten. Durch das Einrichten von Eingabeaktionen und Eingabezuordnungskontexten können Sie flexible Interaktionen wie Greifen, Zeigen und UI-Navigation erstellen, die nahtlos mit verschiedenen Android XR-Eingabemethoden funktionieren.

Eine umfassende Anleitung zum Erstellen dieser Mechanismen finden Sie in der Unreal Engine-Dokumentation zu interaktiven XR-Erlebnissen.

Android XR unterstützt die folgenden spezifischen Interaktionsmethoden in Unreal Engine:

Interaktionsprofile

Sie können Interaktionsprofile in den Projekteinstellungen im Bereich „OpenXR“ konfigurieren. So kann Ihre App eine konsistente Eingabezuordnung für verschiedene Controller und Tracking-Methoden beibehalten.

Handinteraktion

Die Handinteraktion wird über die OpenXR-Erweiterung für Handtracking bereitgestellt. Sie können über die XR-Tracking-Komponenten in Blueprints oder C++ auf Daten und Posen von Handgelenken zugreifen.

Blickinteraktion

Blickdaten können als Standardeingabepose abgerufen werden, sodass Sie den UI-Fokus oder Funktionen für die soziale Präsenz steuern können. Dazu ist die Berechtigung android.permission.EYE_TRACKING_FINE erforderlich.

Mimik-Erkennung

Sie können in Echtzeit auf Daten zu Gesichtsausdrücken zugreifen, um Avatare zu animieren oder soziale Interaktionen zu steuern. Dazu wird die XR_ANDROID_face_tracking Erweiterung verwendet.

Unterstützte Erweiterungen

Die folgenden OpenXR-Erweiterungen werden bei der Entwicklung für Android XR in Unreal unterstützt:

Funktion oder Möglichkeit	OpenXR-Erweiterungsstring	Bereitgestellt von
Geräteankerpersistenz	XR_ANDROID_device_anchor_persistence	Android XR-Erweiterungen für Unreal
Raycast	XR_ANDROID_raycast	Android XR-Erweiterungen für Unreal
Trackables (Ebenen/Tiefe)	XR_ANDROID_trackables	Android XR-Erweiterungen für Unreal
Objekt-Tracking	XR_ANDROID_trackables_object	Android XR-Erweiterungen für Unreal
Szenen-Meshing	XR_ANDROID_scene_meshing	Android XR-Erweiterungen für Unreal
Mimik-Erkennung	XR_ANDROID_face_tracking	Android XR-Erweiterungen für Unreal
Eye-Tracking	XR_ANDROID_eye_tracking	Android XR-Erweiterungen für Unreal
Passthrough-Kamerastatus	XR_ANDROID_passthrough_camera_state	Android XR-Erweiterungen für Unreal
Passthrough-Mesh-Ebene	XR_ANDROID_composition_layer_passthrough_mesh	Android XR-Erweiterungen für Unreal
Tiefentextur	XR_ANDROID_depth_texture	Android XR-Erweiterungen für Unreal
Lichtschätzung	XR_ANDROID_light_estimation	Android XR-Erweiterungen für Unreal
Leistungsmesswerte	XR_ANDROID_performance_metrics	Android XR-Erweiterungen für Unreal
Empfohlene Auflösung	XR_ANDROID_recommended_resolution	Android XR-Erweiterungen für Unreal
Handinteraktion	XR_EXT_hand_interaction	Android XR-Erweiterungen für Unreal
Debug-Dienstprogramme	XR_EXT_debug_utils	Unreal Native OpenXR
Leistungseinstellungen	XR_EXT_performance_settings	Unreal Native OpenXR
Displayaktualisierungsrate	XR_FB_display_refresh_rate	Unreal Native OpenXR
Handtracking-Mesh	XR_FB_hand_tracking_mesh	Android XR-Erweiterungen für Unreal
Space Warp	XR_FB_space_warp	Unreal Native OpenXR
Equirect2-Kompositionsebene	XR_KHR_composition_layer_equirect2	Unreal Native OpenXR
Android-Thread-Einstellungen	XR_KHR_android_thread_settings	Unreal Native OpenXR
Globales Passthrough-Dimmen	XR_ANDROID_global_passthrough_dimming	Android XR-Erweiterungen für Unreal (v1.0.0 Stable)
Systemerweiterungseigenschaften	XR_ANDROID_enumerate_system_extension_properties	Android XR-Erweiterungen für Unreal (v1.0.0 Stable)
Räumliche Entitäten und Marker-Tracking	XR_ANDROID_trackables_marker	Android XR-Erweiterungen für Unreal (v1.0.0 Stable)

Erweiterungen werden von einer der folgenden Quellen bereitgestellt:

• Android XR-Erweiterungen für Unreal: Dies sind Google-spezifische Erweiterungen (ANDROID), die für die Android XR-Plattform entwickelt wurden. Wenn Sie diese räumlichen Funktionen nutzen möchten, müssen Sie das Plug-in für Android XR-Erweiterungen in Ihrem .uproject installieren und aktivieren.
• Unreal Native OpenXR: Diese Funktionen nutzen die Standarderweiterungen von Khronos (KHR), Extension (EXT) und Meta (FB), die bereits direkt in das OpenXR-Kern-Plug-in von Unreal Engine integriert und verwaltet werden.