XR_ANDROID_depth_texture

Name String

XR_ANDROID_depth_texture

Typ rozszerzenia

Rozszerzenie instancji

Zarejestrowany numer wewnętrzny

703

Wersja

1

Stan ratyfikacji

Nie ratyfikowano

Zależności rozszerzeń i wersji

OpenXR 1.0

Data ostatniej modyfikacji

2024-09-11

Stan IP

Brak znanych roszczeń dotyczących własności intelektualnej.

Twórcy

Sushant Kulkarni, Google
Cairn Overturf, Google
Spencer Quin, Google
Levana Chen, Google

Przegląd

To rozszerzenie umożliwia aplikacji żądanie map głębi rzeczywistego środowiska wokół gogli i wysyłanie zapytań o obsługiwane rozdzielczości głębi podczas tworzenia.

To rozszerzenie ma na celu udostępnianie nieprzetworzonej i wygładzonej głębi na potrzeby okluzji, testów pozycji wskaźnika i innych konkretnych zadań, które wykorzystują dokładną geometrię sceny, np. wykrywanie fałszywych twarzy.

Uwaga

Mapy głębi są generowane przez środowisko wykonawcze i udostępniane aplikacji za pomocą XrDepthSwapchainANDROID . Środowisko wykonawcze nie może zmieniać rozdzielczości obrazu głębi zwracanych przez xrEnumerateDepthResolutionsANDROID przez cały okres działania aplikacji.

Uprawnienia

To rozszerzenie udostępnia teksturę głębi o zmniejszonym próbkowaniu, aby ograniczyć obawy związane z informacjami umożliwiającymi identyfikację. Aplikacje na Androida muszą mieć w pliku manifestu uprawnienie android.permission.SCENE_UNDERSTANDING_FINE, ponieważ to rozszerzenie ujawnia geometrię środowiska. Uprawnienie android.permission.SCENE_UNDERSTANDING_FINE jest uznawane za niebezpieczne. Aby korzystać z tych funkcji, aplikacja musi prosić o uprawnienia w czasie działania:

(poziom ochrony: niebezpieczne)

Sprawdzanie możliwości systemu

Struktura XrSystemDepthTrackingPropertiesANDROID jest zdefiniowana w ten sposób:

typedef struct XrSystemDepthTrackingPropertiesANDROID {
    XrStructureType    type;
    void*              next;
    XrBool32           supportsDepthTracking;
} XrSystemDepthTrackingPropertiesANDROID;

Opisy członków

  • type to XrStructureType tej struktury.
  • next to NULL lub wskaźnik do następnej struktury w łańcuchu struktur. W podstawowym interfejsie OpenXR ani w tym rozszerzeniu nie zdefiniowano takich struktur.
  • supportsDepthTracking to XrBool32 wskazujący, czy bieżący system obsługuje śledzenie głębi.

Aplikacja może sprawdzić, czy system jest w stanie śledzić głębię, rozszerzając XrSystemProperties o strukturę XrSystemDepthTrackingPropertiesANDROID podczas wywoływania xrGetSystemProperties .

Jeśli i tylko wtedy, gdy środowisko wykonawcze zwraca XR_FALSE dla supportsDepthTracking, środowisko wykonawcze musi zwracać XR_ERROR_FEATURE_UNSUPPORTED z xrCreateDepthSwapchainANDROID .

Prawidłowe użycie (pośrednie)

Rozwiązania dotyczące głębokości zapytań

Funkcja xrEnumerateDepthResolutionsANDROID jest zdefiniowana w ten sposób:

XrResult xrEnumerateDepthResolutionsANDROID(
    XrSession                                   session,
    uint32_t                                    resolutionCapacityInput,
    uint32_t*                                   resolutionCountOutput,
    XrDepthCameraResolutionANDROID*             resolutions);

Opisy parametrów

  • session to XrSession, który wylicza obsługiwane rozdzielczości głębi.
  • resolutionCapacityInput to pojemność resolutions lub 0, aby pobrać wymaganą pojemność.
  • resolutionCountOutput to wskaźnik liczby zapisanych uint64_t resolutions lub wskaźnik wymaganej pojemności, jeśli resolutionCapacityInput jest niewystarczająca.
  • resolutions jest wskaźnikiem do tablicy XrDepthCameraResolutionANDROID, ale może być NULL, jeśli resolutionCapacityInput jest 0 .
  • Szczegółowy opis pobierania wymaganego rozmiaru resolutions znajdziesz w sekcji Parametry rozmiaru bufora.

xrEnumerateDepthResolutionsANDROID wylicza rozdzielczości głębi obsługiwane przez bieżącą sesję. Rozdzielczości głębi powinny być uporządkowane od najwyższej do najniższej preferencji środowiska wykonawczego. Aby zapewnić optymalną wydajność i jakość, aplikacja powinna używać najwyższego obsługiwanego ustawienia.

Środowiska wykonawcze muszą zawsze zwracać identyczną zawartość bufora z tego wyliczenia przez cały czas trwania sesji.

Prawidłowe użycie (pośrednie)

  • Rozszerzenie XR_ANDROID_depth_texture musi być włączone przed wywołaniem xrEnumerateDepthResolutionsANDROID.
  • session musi być prawidłowym uchwytem XrSession
  • resolutionCountOutput musi być wskaźnikiem do wartości uint32_t
  • Jeśli resolutionCapacityInput nie jest równe 0 , resolutions musi być wskaźnikiem do tablicy wartości resolutionCapacityInput XrDepthCameraResolutionANDROID.

Kody zwrotu

Sukces

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Błąd

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_SIZE_INSUFFICIENT
  • XR_ERROR_VALIDATION_FAILURE

Typ wyliczeniowy XrDepthCameraResolutionANDROID opisuje obsługiwane rozdzielczości głębi podczas tworzenia XrDepthSwapchainANDROID .

typedef enum XrDepthCameraResolutionANDROID {
    XR_DEPTH_CAMERA_RESOLUTION_80x80_ANDROID = 0,
    XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID = 1,
    XR_DEPTH_CAMERA_RESOLUTION_320x320_ANDROID = 2,
    XR_DEPTH_CAMERA_RESOLUTION_MAX_ENUM_ANDROID = 0x7FFFFFFF
} XrDepthCameraResolutionANDROID;

Opisy elementów wyliczenia

  • XR_DEPTH_CAMERA_RESOLUTION_80x80_ANDROID – rozdzielczość obrazów głębi i ufności wynosi 80 x 80.
  • XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID – rozdzielczość obrazów głębi i pewności wynosi 160 × 160.
  • XR_DEPTH_CAMERA_RESOLUTION_320x320_ANDROID – rozdzielczość obrazów głębi i ufności wynosi 320 x 320.

Tworzenie łańcucha wymiany głębi

XR_DEFINE_HANDLE(XrDepthSwapchainANDROID)

XrDepthSwapchainANDROID to uchwyt łańcucha wymiany głębi.

Funkcja xrCreateDepthSwapchainANDROID jest zdefiniowana w ten sposób:

XrResult xrCreateDepthSwapchainANDROID(
    XrSession                                   session,
    const XrDepthSwapchainCreateInfoANDROID*    createInfo,
    XrDepthSwapchainANDROID*                    swapchain);

Opisy parametrów

Aplikacja może używać funkcji xrCreateDepthSwapchainANDROID do tworzenia łańcucha wymiany głębi, który zarządza obrazami głębi i pewności.

  • Środowisko wykonawcze musi zwracać wartość XR_ERROR_FEATURE_UNSUPPORTED, jeśli system nie obsługuje śledzenia głębi.
  • Środowisko wykonawcze musi zwracać XR_ERROR_PERMISSION_INSUFFICIENT, jeśli aplikacja wywołująca nie ma wymaganych uprawnień.
  • Środowisko wykonawcze musi zwracać XR_ERROR_VALIDATION_FAILURE, jeśli rozdzielczość głębi określona w XrDepthSwapchainCreateInfoANDROID nie jest obsługiwana.
  • Środowisko wykonawcze powinno tworzyć obrazy zaufania głębi tylko wtedy, gdy odpowiednie bity są ustawione dla createInfo podczas tworzenia łańcucha wymiany.

Zwrócony uchwyt łańcucha wymiany głębi może być następnie używany w wywołaniach interfejsu API. Uchwyt XrDepthSwapchainANDROID musi zostać ostatecznie zwolniony za pomocą funkcji xrDestroyDepthSwapchainANDROID.

Prawidłowe użycie (pośrednie)

Kody zwrotu

Sukces

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Błąd

  • XR_ERROR_FEATURE_UNSUPPORTED
  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_OUT_OF_MEMORY
  • XR_ERROR_PERMISSION_INSUFFICIENT
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST

Struktura XrDepthSwapchainCreateInfoANDROID jest zdefiniowana w ten sposób:

typedef struct XrDepthSwapchainCreateInfoANDROID {
    XrStructureType                       type;
    const void*                           next;
    XrDepthCameraResolutionANDROID        resolution;
    XrDepthSwapchainCreateFlagsANDROID    createFlags;
} XrDepthSwapchainCreateInfoANDROID;

Opisy członków

Struktura XrDepthSwapchainCreateInfoANDROID udostępnia opcje tworzenia XrDepthSwapchainANDROID, gdy jest przekazywana do xrCreateDepthSwapchainANDROID .

Prawidłowe użycie (pośrednie)

XrDepthSwapchainCreateFlagsANDROID określa opcje tworzenia XrDepthSwapchainANDROID .

typedef XrFlags64 XrDepthSwapchainCreateFlagsANDROID;

Prawidłowe bity dla XrDepthSwapchainCreateFlagsANDROID są definiowane przez XrDepthSwapchainCreateFlagBitsANDROID , który jest określony jako:

// Flag bits for XrDepthSwapchainCreateFlagsANDROID
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID = 0x00000001;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID = 0x00000002;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID = 0x00000004;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID = 0x00000008;

Opisy flag

  • XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID – wskazuje, że łańcuch wymiany będzie dostarczać płynne obrazy głębi.
  • XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID – wskazuje, że łańcuch wymiany będzie dostarczać płynne obrazy zaufania głębi.
  • XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID – wskazuje, że łańcuch wymiany będzie dostarczać nieprzetworzone obrazy głębi.
  • XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID – wskazuje, że łańcuch wymiany będzie dostarczać nieprzetworzone obrazy zaufania głębi.

Funkcja xrDestroyDepthSwapchainANDROID jest zdefiniowana w ten sposób:

XrResult xrDestroyDepthSwapchainANDROID(
    XrDepthSwapchainANDROID                     swapchain);

Opisy parametrów

Funkcja xrDestroyDepthSwapchainANDROID niszczy łańcuch wymiany głębi. Po tym wywołaniu środowisko wykonawcze może zwolnić całą powiązaną pamięć i zasoby.

Prawidłowe użycie (pośrednie)

Bezpieczeństwo wątków

  • Dostęp do swapchain i wszystkich uchwytów podrzędnych musi być synchronizowany zewnętrznie.

Kody zwrotu

Sukces

  • XR_SUCCESS

Błąd

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_RUNTIME_FAILURE

Dostęp do tekstur głębi

Funkcja xrEnumerateDepthSwapchainImagesANDROID jest zdefiniowana w ten sposób:

XrResult xrEnumerateDepthSwapchainImagesANDROID(
    XrDepthSwapchainANDROID                     depthSwapchain,
    uint32_t                                    depthImageCapacityInput,
    uint32_t*                                   depthImageCountOutput,
    XrDepthSwapchainImageANDROID*               depthImages);

Opisy parametrów

  • depthSwapchain to XrDepthSwapchainANDROID, z którego mają być pobierane obrazy.
  • depthImageCapacityInput to pojemność tablicy depthImages lub 0, co oznacza prośbę o pobranie wymaganej pojemności.
  • depthImageCountOutput to wskaźnik liczby zapisanych depthImages lub wskaźnik wymaganej pojemności, jeśli depthImageCapacityInput jest niewystarczająca.
  • depthImages to wskaźnik do tablicy struktur XrDepthSwapchainImageANDROID. Może mieć wartość NULL, jeśli depthImageCapacityInput wynosi 0.
  • Szczegółowy opis pobierania wymaganego rozmiaru depthImages znajdziesz w sekcji Parametry rozmiaru bufora.

Funkcja xrEnumerateDepthSwapchainImagesANDROID wypełnia tablicę struktur XrDepthSwapchainImageANDROID. Zasoby muszą być stałe i prawidłowe przez cały okres ważności XrDepthSwapchainANDROID . Ta funkcja działa analogicznie do xrEnumerateSwapchainImages .

Środowisko wykonawcze musi zawsze zwracać identyczną zawartość bufora z tego wyliczenia przez cały okres istnienia łańcucha wymiany.

Prawidłowe użycie (pośrednie)

Kody zwrotu

Sukces

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Błąd

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_SIZE_INSUFFICIENT
  • XR_ERROR_VALIDATION_FAILURE

Struktura XrDepthSwapchainImageANDROID jest zdefiniowana w ten sposób:

typedef struct XrDepthSwapchainImageANDROID {
    XrStructureType    type;
    void*              next;
    const float*       rawDepthImage;
    const uint8_t*     rawDepthConfidenceImage;
    const float*       smoothDepthImage;
    const uint8_t*     smoothDepthConfidenceImage;
} XrDepthSwapchainImageANDROID;

Opisy członków

  • type to XrStructureType tej struktury.
  • next to NULL lub wskaźnik do następnej struktury w łańcuchu struktur. W podstawowym interfejsie OpenXR ani w tym rozszerzeniu nie zdefiniowano takich struktur.
  • rawDepthImage to NULL lub wskaźnik do nieprzetworzonych obrazów głębi dla widoków z lewej i prawej strony przydzielonych przez środowisko wykonawcze. Wartości są podawane w metrach. Wartości specjalne: 0.0 oznacza nieprawidłowy lub pusty piksel głębi w surowej głębi, Inf oznacza znaną głębię, która jest efektywnie nieskończenie daleko,
  • rawDepthConfidenceImage to NULL lub wskaźnik do obrazów nieprzetworzonej głębi dla widoku lewego i prawego przydzielonych przez środowisko wykonawcze.
  • smoothDepthImage to NULL lub wskaźnik do wygładzonych obrazów głębi dla widoków po lewej i prawej stronie przydzielonych przez środowisko wykonawcze. Wartości są podawane w metrach. Wartości specjalne: 0.0 oznacza nieprawidłowy lub pusty piksel głębi w wygładzonej głębi, Inf oznacza znaną głębię, która jest efektywnie nieskończenie daleko.
  • smoothDepthConfidenceImage to NULL lub wskaźnik do obrazów zaufania głębi wygładzania dla widoków lewego i prawego przydzielonych przez środowisko wykonawcze.

Wskaźniki bufora obrazu będą prawidłowe tylko przez cały okres istnienia łańcucha wymiany. Po zniszczeniu łańcucha wymiany wskaźniki będą uznawane za wiszące.

XrDepthSwapchainImageANDROID reprezentuje obrazy głębi z odczytywalnego XrDepthSwapchainANDROID , przydzielone zgodnie z opisem w XrDepthSwapchainCreateInfoANDROID :: resolution i XrDepthSwapchainCreateInfoANDROID :: createFlags podczas wywoływania xrCreateDepthSwapchainANDROID . W przypadku każdego obrazu głębi:

Prawidłowe użycie (pośrednie)

Funkcja xrAcquireDepthSwapchainImagesANDROID jest zdefiniowana w ten sposób:

XrResult xrAcquireDepthSwapchainImagesANDROID(
    XrDepthSwapchainANDROID                     depthSwapchain,
    const XrDepthAcquireInfoANDROID*            acquireInfo,
    XrDepthAcquireResultANDROID*                acquireResult);

Opisy parametrów

Aplikacje mogą używać funkcji xrAcquireDepthSwapchainImagesANDROID, aby uzyskać najnowszy dostępny indeks obrazu swapchain, czyli XrDepthAcquireResultANDROID :: acquiredIndex , do tablicy XrDepthSwapchainImageANDROID wyliczonej przez xrEnumerateDepthSwapchainImagesANDROID . Zwrócony obiekt XrDepthAcquireResultANDROID zawiera też inne informacje, takie jak pole widzenia i pozycja, które są niezbędne do interpretacji danych o głębi. Można bezpiecznie odczytywać dane z uzyskanego miejsca w tablicy obrazów do następnego wywołania funkcji xrAcquireDepthSwapchainImagesANDROID .

Nie może być więcej niż 1 wywołanie funkcji xrAcquireDepthSwapchainImagesANDROID między każdą parą odpowiadających sobie wywołań funkcji xrBeginFrame i xrEndFrame w sesji.

  • Środowisko wykonawcze może zostać zablokowane, jeśli wcześniej pozyskane obrazy łańcucha wymiany są nadal używane przez środowisko wykonawcze.
  • Środowisko wykonawcze musi zwracać XR_ERROR_CALL_ORDER_INVALID, jeśli funkcja xrAcquireDepthSwapchainImagesANDROID zostanie wywołana przed xrBeginFrame lub po xrEndFrame .
  • Środowisko wykonawcze musi zwracać XR_ERROR_LIMIT_REACHED, jeśli funkcja xrAcquireDepthSwapchainImagesANDROID jest wywoływana więcej niż raz na klatkę, czyli w trakcie sesji po wywołaniu funkcji xrBeginFrame, która nie ma powiązanej funkcji xrEndFrame.
  • Środowisko wykonawcze może zwrócić XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID, jeśli dane o głębi otoczenia nie są jeszcze dostępne. W takim przypadku aplikacja powinna ponownie wywołać funkcję xrAcquireDepthSwapchainImagesANDROID w późniejszej klatce.

Prawidłowe użycie (pośrednie)

Kody zwrotu

Sukces

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Błąd

  • XR_ERROR_CALL_ORDER_INVALID
  • XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID
  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_TIME_INVALID
  • XR_ERROR_VALIDATION_FAILURE

Struktura XrDepthAcquireInfoANDROID jest zdefiniowana w ten sposób:

typedef struct XrDepthAcquireInfoANDROID {
    XrStructureType    type;
    const void*        next;
    XrSpace            space;
    XrTime             displayTime;
} XrDepthAcquireInfoANDROID;

Opisy członków

  • type to XrStructureType tej struktury.
  • next to NULL lub wskaźnik do następnej struktury w łańcuchu struktur. W podstawowym interfejsie OpenXR ani w tym rozszerzeniu nie zdefiniowano takich struktur.
  • space to XrSpace definiujący układ odniesienia zwracanej pozycji w XrDepthAcquireResultANDROID :: views .
  • displayTime to XrTime określający czas użyty do obliczenia pozycji zwracanej w XrDepthAcquireResultANDROID :: views . Aplikacje powinny przekazywać przewidywany czas wyświetlania bieżącej klatki.

Prawidłowe użycie (pośrednie)

Struktura XrDepthAcquireResultANDROID jest zdefiniowana w ten sposób:

typedef struct XrDepthAcquireResultANDROID {
    XrStructureType       type;
    const void*           next;
    uint32_t              acquiredIndex;
    XrTime                exposureTimestamp;
    XrDepthViewANDROID    views[2];
} XrDepthAcquireResultANDROID;

Opisy członków

  • type to XrStructureType tej struktury.
  • next to NULL lub wskaźnik do następnej struktury w łańcuchu struktur. W podstawowym interfejsie OpenXR ani w tym rozszerzeniu nie zdefiniowano takich struktur.
  • acquiredIndex to indeks pozyskanej tekstury w tablicy XrDepthSwapchainImageANDROID wyliczonej przez xrEnumerateDepthSwapchainImagesANDROID .
  • exposureTimestamp to XrTime określający czas, w którym została zarejestrowana mapa głębi.
  • views to tablica 2 obiektów XrDepthViewANDROID, po jednym dla każdego oka, gdzie indeks 0 to lewe oko, a indeks 1 to prawe oko.

Prawidłowe użycie (pośrednie)

Struktura XrDepthViewANDROID jest zdefiniowana w ten sposób:

typedef struct XrDepthViewANDROID {
    XrStructureType    type;
    const void*        next;
    XrFovf             fov;
    XrPosef            pose;
} XrDepthViewANDROID;

Opisy członków

  • type to XrStructureType tej struktury.
  • next to NULL lub wskaźnik do następnej struktury w łańcuchu struktur. W podstawowym interfejsie OpenXR ani w tym rozszerzeniu nie zdefiniowano takich struktur.
  • fov to XrFovf określający pole widzenia użyte do wygenerowania tego widoku. Widok nigdy nie jest odwracany w poziomie ani w pionie.
  • pose to XrPosef określający pozę, z której wyrenderowano mapę głębi. Układ odniesienia jest określony w XrDepthAcquireInfoANDROID .

Prawidłowe użycie (pośrednie)

Przykładowy kod do śledzenia głębokości

Poniższy przykładowy kod pokazuje, jak uzyskać obrazy głębi i użyć wartości głębi do zmapowania współrzędnych obrazu głębi na przestrzeń sceny.

XrInstance instance;  // previously initialized
XrSystemId systemId;  // previously initialized
XrSession session; // previously initialized
XrSpace stageSpace; // space created for XR_REFERENCE_SPACE_TYPE_STAGE.

// The function pointers are previously initialized using xrGetInstanceProcAddr.
PFN_xrCreateDepthSwapchainANDROID xrCreateDepthSwapchainANDROID; // previously initialized
PFN_xrDestroyDepthSwapchainANDROID xrDestroyDepthSwapchainANDROID; // previously initialized
PFN_xrEnumerateDepthSwapchainImagesANDROID xrEnumerateDepthSwapchainImagesANDROID; // previously initialized
PFN_xrEnumerateDepthResolutionsANDROID xrEnumerateDepthResolutionsANDROID; // previously initialized
PFN_xrAcquireDepthSwapchainImagesANDROID xrAcquireDepthSwapchainImagesANDROID; // previously initialized

float tanf(float);

// Inspect system capability
XrSystemProperties properties{XR_TYPE_SYSTEM_PROPERTIES};
XrSystemDepthTrackingPropertiesANDROID depthTrackingProperties{XR_TYPE_SYSTEM_DEPTH_TRACKING_PROPERTIES_ANDROID};
properties.next = &depthTrackingProperties;
CHK_XR(xrGetSystemProperties(instance, systemId, &properties));
if (!depthTrackingProperties.supportsDepthTracking) {
  // depth tracking is not supported.
  return;
}

// Query the supported depth resolution.
XrDepthCameraResolutionANDROID supportedDepthResolution;
uint32_t supportedResolutionCount = 0;
CHK_XR(xrEnumerateDepthResolutionsANDROID(
    session, 1, &supportedResolutionCount, &supportedDepthResolution));

// Define metadata to access the raw and smooth depth along with confidences.
XrDepthSwapchainCreateInfoANDROID swapchainCreateInfo = {
  .type = XR_TYPE_DEPTH_SWAPCHAIN_CREATE_INFO_ANDROID,
  .next = nullptr,
  // Use the resolution supported by the runtime.
  .resolution = supportedDepthResolution,
  .createFlags =
    XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID,
};

XrDepthSwapchainANDROID depthSwapchain;
CHK_XR(xrCreateDepthSwapchainANDROID(
    session, &swapchainCreateInfo, &depthSwapchain));

// Enumerate depth images.
uint32_t imageCountOutput = 0;
CHK_XR(xrEnumerateDepthSwapchainImagesANDROID(
    depthSwapchain, 0, &imageCountOutput, nullptr));
std::vector<XrDepthSwapchainImageANDROID> depthImages(imageCountOutput);
for (int i = 0; i < imageCountOutput; i++) {
  depthImages[i].type = XR_TYPE_DEPTH_SWAPCHAIN_IMAGE_ANDROID;
}
CHK_XR(xrEnumerateDepthSwapchainImagesANDROID(
  depthSwapchain, imageCountOutput, &imageCountOutput, depthImages.data()));

while (1) {
    // ...
    // For every frame in frame loop
    // ...

    XrFrameState frameState;  // previously returned from xrWaitFrame
    const XrTime time = frameState.predictedDisplayTime;

    XrDepthAcquireInfoANDROID acquireInfo = {
        .type = XR_TYPE_DEPTH_ACQUIRE_INFO_ANDROID,
        .space = stageSpace,
        .displayTime = time
    };
    XrDepthAcquireResultANDROID acquireResult = {
        .type = XR_TYPE_DEPTH_ACQUIRE_RESULT_ANDROID,
    };
    CHK_XR(xrAcquireDepthSwapchainImagesANDROID(
        depthSwapchain, &acquireInfo, &acquireResult));

    // Each value in a depth image corresponds to a point in the real world.
    // The sample code below shows how to find the stageSpace position of
    // the point corresponding to a particular value in the depth image.

    // For this sample code, assume we are using a right handed coordinate system
    // with +X to the right, +Y up and -Z forward.

    XrDepthSwapchainImageANDROID *image =
        &depthImages[acquireResult.acquiredIndex];

    // Assume supported resolution is XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID.
    const int imageResolution = 160;
    int imageY = 80; // value in [0, imageResolution)
    int imageX = 80; // value in [0, imageResolution)

    // Get depth value from left eye.
    // A right depth value is obtained with the following expression:
    // depthR = image->rawDepthImage[imageResolution*imageResolution+i*imageResolution+j]
    float depthL = image->rawDepthImage[imageY*imageResolution + imageX];
    XrDepthViewANDROID viewL = acquireResult.views[0];

    float tanL = tanf(viewL.fov.angleLeft);
    float tanR = tanf(viewL.fov.angleRight);
    float tanU = tanf(viewL.fov.angleUp);
    float tanD = tanf(viewL.fov.angleDown);

    float s = (imageX + 0.5f) / (float)imageResolution;
    float t = (imageY + 0.5f) / (float)imageResolution;

    // Calculate the depth camera space position of the point
    // corresponding to this depth value.
    XrVector3f posInCameraSpace;
    posInCameraSpace.z = -depthL;
    posInCameraSpace.x = (tanL + (tanR - tanL)*s)*depthL;
    posInCameraSpace.y = (tanD + (tanU - tanD)*t)*depthL;

    XrPosef depthCameraPoseL = viewL.pose;
    // Transform posInCameraSpace by depthCameraPoseL

    // ...
    // Finish frame loop
    // ...
}

Nowe typy obiektów

Nowe polecenia

Nowe domy

Nowe wartości w polu enum

Nowe maski bitowe

Nowe stałe typu wyliczeniowego

  • XR_ANDROID_DEPTH_TEXTURE_EXTENSION_NAME
  • XR_ANDROID_depth_texture_SPEC_VERSION

  • Rozszerzanie XrObjectType :

    • XR_OBJECT_TYPE_DEPTH_SWAPCHAIN_ANDROID

  • Rozszerzenie XrResult :

    • XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID

  • Rozszerzanie XrStructureType :

    • XR_TYPE_DEPTH_ACQUIRE_INFO_ANDROID
    • XR_TYPE_DEPTH_ACQUIRE_RESULT_ANDROID
    • XR_TYPE_DEPTH_SWAPCHAIN_CREATE_INFO_ANDROID
    • XR_TYPE_DEPTH_SWAPCHAIN_IMAGE_ANDROID
    • XR_TYPE_DEPTH_VIEW_ANDROID
    • XR_TYPE_SYSTEM_DEPTH_TRACKING_PROPERTIES_ANDROID

Problemy

Historia zmian

  • Wersja 1, 9 września 2024 r. (Levana Chen)

    • Początkowy opis rozszerzenia