Desenvolver com o Unreal Engine para Android XR

Dispositivos XR relevantes

Estas orientações ajudam você a criar experiências para esses tipos de dispositivos XR.

Saiba mais sobre tipos de dispositivos XR →

Headsets XR

Óculos XR com fio

Saiba mais sobre tipos de dispositivos XR →

O suporte do Unreal Engine para desenvolvimento de XR é baseado no padrão OpenXR, garantindo que os recursos do OpenXR com suporte para Android XR também tenham suporte nativo no Unreal.

Siga este guia para saber mais sobre:

• Suporte do Unreal Engine para Android XR
  • Noções básicas do Unreal Engine XR
  • Desenvolvimento e publicação de apps para Android XR
  • Plug-ins do Unreal Engine para Android XR
  • Como receber suporte
• Entrada e interação
• Extensões compatíveis

Suporte do Unreal Engine para Android XR

Ao criar apps do Unreal para Android XR, você pode aproveitar os recursos de computação espacial das versões mais recentes do Unreal Engine 5. O Unreal Engine 5 oferece suporte à especificação principal do OpenXR, enquanto as extensões do Android XR para Unreal oferecem suporte ao Android XR e outras extensões específicas para ajudar você a começar rapidamente.

Noções básicas do Unreal Engine XR

Se você não conhece o Unreal ou o desenvolvimento de XR, consulte a documentação de desenvolvimento de XR do Unreal para entender os conceitos e fluxos de trabalho básicos. Confira algumas áreas principais para explorar:

• Estrutura de XR: aprenda a construir um peão de RV anexando um componente de câmera (que representa o headset) e uma entrada de mão (que representa as mãos) a uma raiz de cena compartilhada.
• Plug-in OpenXR: a interface principal para suporte a dispositivos Android XR.
• Arquitetura de XR: como o Unreal processa a pilha de tecnologia e os subsistemas de XR.
• Configuração do projeto: como configurar o .uproject para renderização espacial.
• Orientação de gráficos: como usar a renderização foveada, a visualização múltipla e o sombreamento de taxa variável (VRS).
• Desempenho e criação de perfil: ferramentas e técnicas para otimizar seu aplicativo XR.
• Práticas recomendadas: diretrizes de design e desenvolvimento para criar experiências de XR confortáveis e imersivas.

Desenvolver e publicar apps para Android

O Unreal Engine oferece documentação abrangente para desenvolver, criar, e publicar para Android. Essa documentação aborda o gerenciamento de permissões do Android no mecanismo, a configuração das configurações de build do Android (em Configurações do projeto > Plataformas > Android) e o uso da Unreal Automation Tool (UAT).

Além disso, consulte a documentação sobre como empacotar e distribuir apps para Android XR para requisitos específicos que se aplicam a apps espaciais que são distribuídos na Google Play Store. Verifique se o app também obedece às diretrizes de qualidade para experiências imersivas, a fim de oferecer uma experiência do usuário consistente e confortável no Android XR.

Plug-ins do Unreal Engine para Android XR

Há dois plug-ins principais que oferecem suporte à criação de apps do Unreal para Android XR. Esses plug-ins são gerenciados pelo menu "Plug-ins" (Editar > Plug-ins).

Plug-in OpenXR do Android XR

O plug-in OpenXR do Android XR é a interface principal do mecanismo que adiciona suporte ao Android XR no Unreal. Ele implementa as extensões OpenXR necessárias para rastreamento espacial, compreensão ambiental e percepção. Para saber como adicionar e configurar esse plug-in, consulte a documentação do Unreal Engine OpenXR.

Extensões do Android XR para Unreal

As extensões do Android XR para Unreal complementam o suporte básico do OpenXR, incluindo recursos adicionais para ajudar você a criar experiências imersivas, como dados avançados de malha de mão e otimizações de hardware específicas. Para saber como importar e configurar esse pacote, siga o guia de início rápido das extensões do Android XR.

Receber suporte

Se você encontrar problemas, consulte a seção de suporte do Unreal Engine na nossa página de suporte para receber ajuda.

Entrada e interação

A criação de experiências espaciais interativas exige o mapeamento de movimentos físicos para ações digitais. O Unreal Engine usa o sistema de entrada aprimorada combinado com o OpenXR para processar controladores de movimento e captura de movimentos das mãos. Ao configurar ações de entrada e contextos de mapeamento de entrada, você pode criar interações flexíveis, como agarrar, apontar e navegar na interface, que funcionam perfeitamente em diferentes métodos de entrada do Android XR.

Para um guia abrangente sobre como criar esses mecanismos, consulte a documentação do Unreal Engine's sobre como criar experiências de XR interativas.

O Android XR oferece suporte aos seguintes métodos de interação específicos no Unreal Engine:

Perfis de interação

É possível configurar perfis de interação nas configurações do projeto na seção OpenXR. Isso permite que o app mantenha o mapeamento de entrada consistente em diferentes controladores e métodos de rastreamento.

Interação manual

A interação manual é fornecida pela extensão de rastreamento de mãos do OpenXR. É possível acessar dados e poses de articulações das mãos pelos componentes de rastreamento de XR em Blueprints ou C++.

Interação de olhar

Os dados de olhar podem ser recuperados como uma pose de entrada padrão, permitindo que você conduza o foco da interface ou recursos de presença social. Isso exige a permissão android.permission.EYE_TRACKING_FINE.

Captura de expressões faciais

Acesse dados de expressão facial em tempo real para animar avatares ou conduzir interações sociais. Isso usa a XR_ANDROID_face_tracking extensão.

Extensões compatíveis

As seguintes extensões OpenXR têm suporte ao desenvolver para Android XR no Unreal:

Recurso ou capacidade	String de extensão OpenXR	Fornecido por
Persistência de âncora do dispositivo	XR_ANDROID_device_anchor_persistence	Extensões do Android XR para Unreal
Raycast	XR_ANDROID_raycast	Extensões do Android XR para Unreal
Rastreáveis (planos/profundidade)	XR_ANDROID_trackables	Extensões do Android XR para Unreal
Rastreamento de objetos	XR_ANDROID_trackables_object	Extensões do Android XR para Unreal
Malha de cena	XR_ANDROID_scene_meshing	Extensões do Android XR para Unreal
Rastreamento de rostos	XR_ANDROID_face_tracking	Extensões do Android XR para Unreal
Rastreamento ocular	XR_ANDROID_eye_tracking	Extensões do Android XR para Unreal
Estado da câmera de passagem	XR_ANDROID_passthrough_camera_state	Extensões do Android XR para Unreal
Camada de malha de passagem	XR_ANDROID_composition_layer_passthrough_mesh	Extensões do Android XR para Unreal
Textura de profundidade	XR_ANDROID_depth_texture	Extensões do Android XR para Unreal
Estimativa de luz	XR_ANDROID_light_estimation	Extensões do Android XR para Unreal
Métricas de desempenho	XR_ANDROID_performance_metrics	Extensões do Android XR para Unreal
Resolução recomendada	XR_ANDROID_recommended_resolution	Extensões do Android XR para Unreal
Interação manual	XR_EXT_hand_interaction	Extensões do Android XR para Unreal
Utilitários de depuração	XR_EXT_debug_utils	OpenXR nativo do Unreal
Configurações de desempenho	XR_EXT_performance_settings	OpenXR nativo do Unreal
Taxa de atualização da tela	XR_FB_display_refresh_rate	OpenXR nativo do Unreal
Malha de rastreamento de mãos	XR_FB_hand_tracking_mesh	Extensões do Android XR para Unreal
Space Warp	XR_FB_space_warp	OpenXR nativo do Unreal
Camada de composição Equirect2	XR_KHR_composition_layer_equirect2	OpenXR nativo do Unreal
Configurações de thread do Android	XR_KHR_android_thread_settings	OpenXR nativo do Unreal

As extensões são fornecidas por uma destas fontes:

• Extensões do Android XR para Unreal: são extensões específicas do Google (ANDROID) desenvolvidas para a plataforma Android XR. Para usar esses recursos espaciais, você deve instalar e ativar o plug-in de extensões do Android XR no seu .uproject.
• OpenXR nativo do Unreal: esses recursos aproveitam as extensões padrão Khronos (KHR), Extension (EXT) e Meta (FB) que já estão integradas e mantidas diretamente no plug-in OpenXR principal do Unreal Engine.