XR_ANDROID_depth_texture

Name String

XR_ANDROID_depth_texture

Тип расширения

Расширение экземпляра

Зарегистрированный добавочный номер

703

Revision

1

Статус ратификации

Не ратифицировано

Зависимости расширений и версий

OpenXR 1.0

Дата последнего изменения

2024-09-11

Статус IP-адреса

Нет известных претензий в отношении интеллектуальной собственности.

Авторы

Сушант Кулкарни (Sushant Kulkarni), Google
Кэрн Овертурф (Cairn Overturf), Google
Спенсер Куин (Spencer Quin), Google
Леван Чен (Levana Chen), Google

Обзор

Это расширение позволяет приложению запрашивать карты глубины реального окружения вокруг гарнитуры и поддерживаемые разрешения глубины при создании.

Это расширение предназначено для получения необработанных и сглаженных данных о глубине, которые используются для перекрытия, проверки нажатия и других задач, связанных с точной геометрией сцены, например для обнаружения поддельных лиц.

Примечание

Карты глубины генерируются средой выполнения и передаются приложению с помощью XrDepthSwapchainANDROID . Среда выполнения не должна менять разрешения изображений глубины, возвращаемые через xrEnumerateDepthResolutionsANDROID, на протяжении всего жизненного цикла приложения.

Разрешения

Это расширение предоставляет текстуру глубины с пониженной дискретизацией, чтобы снизить риски, связанные с информацией, позволяющей идентифицировать личность. В манифесте приложений для Android должно быть указано разрешение android.permission.SCENE_UNDERSTANDING_FINE, поскольку это расширение раскрывает геометрию среды. Разрешение android.permission.SCENE_UNDERSTANDING_FINE считается опасным. Приложение должно запрашивать разрешение на использование следующих функций:

(уровень защиты: опасный)

Проверка возможностей системы

Структура XrSystemDepthTrackingPropertiesANDROID определяется следующим образом:

typedef struct XrSystemDepthTrackingPropertiesANDROID {
    XrStructureType    type;
    void*              next;
    XrBool32           supportsDepthTracking;
} XrSystemDepthTrackingPropertiesANDROID;

Описания участников

  • type – это XrStructureType этой структуры.
  • next – это NULL или указатель на следующую структуру в цепочке. Такие структуры не определены в ядре OpenXR или этом расширении.
  • supportsDepthTracking – это XrBool32, указывающий, поддерживает ли текущая система отслеживание глубины.

Приложение может проверить, поддерживает ли система отслеживание глубины. Для этого нужно расширить XrSystemProperties с помощью структуры XrSystemDepthTrackingPropertiesANDROID при вызове xrGetSystemProperties.

Если и только если среда выполнения возвращает XR_FALSE для supportsDepthTracking , она должна возвращать XR_ERROR_FEATURE_UNSUPPORTED из xrCreateDepthSwapchainANDROID .

Допустимое использование (неявное)

Разрешения глубины запроса

Функция xrEnumerateDepthResolutionsANDROID определяется следующим образом:

XrResult xrEnumerateDepthResolutionsANDROID(
    XrSession                                   session,
    uint32_t                                    resolutionCapacityInput,
    uint32_t*                                   resolutionCountOutput,
    XrDepthCameraResolutionANDROID*             resolutions);

Описание параметров

  • session – это XrSession, который перечисляет поддерживаемые разрешения глубины.
  • resolutionCapacityInput – емкость resolutions или 0, чтобы получить требуемую емкость.
  • resolutionCountOutput – указатель на количество записанных uint64_t resolutions или указатель на требуемую емкость, если resolutionCapacityInput недостаточно.
  • resolutions – указатель на массив XrDepthCameraResolutionANDROID, но может быть NULL, если resolutionCapacityInput – 0 .
  • Подробное описание того, как получить нужный размер resolutions, приведено в разделе Параметры размера буфера.

xrEnumerateDepthResolutionsANDROID перечисляет разрешения глубины, поддерживаемые текущим сеансом. Разрешения глубины должны быть упорядочены от наиболее до наименее предпочтительного. Для оптимальной производительности и качества приложение должно использовать наивысший поддерживаемый приоритет.

Среды выполнения должны всегда возвращать идентичное содержимое буфера из этого перечисления в течение всего времени существования сеанса.

Допустимое использование (неявное)

  • Расширение XR_ANDROID_depth_texture должно быть включено до вызова xrEnumerateDepthResolutionsANDROID.
  • session должен быть действительным дескриптором XrSession.
  • resolutionCountOutput должен быть указателем на значение uint32_t.
  • Если resolutionCapacityInput не равно 0 , resolutions должен быть указателем на массив значений resolutionCapacityInput XrDepthCameraResolutionANDROID.

Коды возврата

Выполнено

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Сбой

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_SIZE_INSUFFICIENT
  • XR_ERROR_VALIDATION_FAILURE

Перечисление XrDepthCameraResolutionANDROID описывает поддерживаемые разрешения глубины при создании XrDepthSwapchainANDROID .

typedef enum XrDepthCameraResolutionANDROID {
    XR_DEPTH_CAMERA_RESOLUTION_80x80_ANDROID = 0,
    XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID = 1,
    XR_DEPTH_CAMERA_RESOLUTION_320x320_ANDROID = 2,
    XR_DEPTH_CAMERA_RESOLUTION_MAX_ENUM_ANDROID = 0x7FFFFFFF
} XrDepthCameraResolutionANDROID;

Описания перечислений

  • XR_DEPTH_CAMERA_RESOLUTION_80x80_ANDROID – разрешение изображений глубины и достоверности составляет 80 x 80.
  • XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID – разрешение изображений глубины и достоверности составляет 160 x 160.
  • XR_DEPTH_CAMERA_RESOLUTION_320x320_ANDROID – разрешение изображений глубины и достоверности составляет 320 x 320.

Создание цепочки буферов глубины

XR_DEFINE_HANDLE(XrDepthSwapchainANDROID)

XrDepthSwapchainANDROID – это дескриптор цепочки буферов глубины.

Функция xrCreateDepthSwapchainANDROID определяется следующим образом:

XrResult xrCreateDepthSwapchainANDROID(
    XrSession                                   session,
    const XrDepthSwapchainCreateInfoANDROID*    createInfo,
    XrDepthSwapchainANDROID*                    swapchain);

Описание параметров

  • session – это XrSession, который создает цепочку буферов глубины.
  • createInfo – указатель на структуру XrDepthSwapchainCreateInfoANDROID, содержащую параметры, которые будут использоваться для создания цепочки буферов.
  • swapchain – указатель на дескриптор, в котором возвращается созданный XrDepthSwapchainANDROID.

Приложение может использовать функцию xrCreateDepthSwapchainANDROID, чтобы создать цепочку буферов глубины, которая управляет изображениями глубины и достоверности.

  • Среда выполнения должна возвращать XR_ERROR_FEATURE_UNSUPPORTED, если система не поддерживает отслеживание глубины.
  • Среда выполнения должна возвращать XR_ERROR_PERMISSION_INSUFFICIENT, если вызывающему приложению не предоставлены необходимые разрешения.
  • Среда выполнения должна возвращать XR_ERROR_VALIDATION_FAILURE, если разрешение глубины, указанное в XrDepthSwapchainCreateInfoANDROID, не поддерживается.
  • Среда выполнения должна создавать изображения достоверности глубины, только если при создании цепочки буферов для createInfo заданы соответствующие биты.

Возвращенный дескриптор цепочки буферов глубины может впоследствии использоваться в вызовах API. Дескриптор XrDepthSwapchainANDROID должен быть в конечном итоге освобожден с помощью функции xrDestroyDepthSwapchainANDROID.

Допустимое использование (неявное)

  • Расширение XR_ANDROID_depth_texture должно быть включено до вызова xrCreateDepthSwapchainANDROID.
  • session должен быть действительным дескриптором XrSession.
  • createInfo должен быть указателем на действительную структуру XrDepthSwapchainCreateInfoANDROID.
  • swapchain должен быть указателем на дескриптор XrDepthSwapchainANDROID.

Коды возврата

Выполнено

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Сбой

  • XR_ERROR_FEATURE_UNSUPPORTED
  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_OUT_OF_MEMORY
  • XR_ERROR_PERMISSION_INSUFFICIENT
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST

Структура XrDepthSwapchainCreateInfoANDROID определяется следующим образом:

typedef struct XrDepthSwapchainCreateInfoANDROID {
    XrStructureType                       type;
    const void*                           next;
    XrDepthCameraResolutionANDROID        resolution;
    XrDepthSwapchainCreateFlagsANDROID    createFlags;
} XrDepthSwapchainCreateInfoANDROID;

Описания участников

  • type – это XrStructureType этой структуры.
  • next – это NULL или указатель на следующую структуру в цепочке. Такие структуры не определены в ядре OpenXR или этом расширении.
  • resolution – это XrDepthCameraResolutionANDROID, с помощью которого создаются текстуры глубины и достоверности.
  • createFlags – один или несколько флагов XrDepthSwapchainCreateFlagsANDROID .

Структура XrDepthSwapchainCreateInfoANDROID предоставляет параметры создания для XrDepthSwapchainANDROID при передаче в xrCreateDepthSwapchainANDROID .

Допустимое использование (неявное)

XrDepthSwapchainCreateFlagsANDROID указывает параметры создания для XrDepthSwapchainANDROID .

typedef XrFlags64 XrDepthSwapchainCreateFlagsANDROID;

Допустимые биты для XrDepthSwapchainCreateFlagsANDROID определяются XrDepthSwapchainCreateFlagBitsANDROID , который указывается следующим образом:

// Flag bits for XrDepthSwapchainCreateFlagsANDROID
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID = 0x00000001;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID = 0x00000002;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID = 0x00000004;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID = 0x00000008;

Описания флагов

  • XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID – указывает, что цепочка буферов будет предоставлять плавные изображения глубины.
  • XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID – указывает, что цепочка буферов будет предоставлять сглаженные изображения достоверности глубины.
  • XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID – указывает, что цепочка обмена будет предоставлять необработанные изображения глубины.
  • XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID – указывает, что цепочка буферов будет предоставлять необработанные изображения достоверности глубины.

Функция xrDestroyDepthSwapchainANDROID определяется следующим образом:

XrResult xrDestroyDepthSwapchainANDROID(
    XrDepthSwapchainANDROID                     swapchain);

Описание параметров

Функция xrDestroyDepthSwapchainANDROID удаляет цепочку буферов глубины. После этого вызова среда выполнения может освободить всю связанную память и ресурсы.

Допустимое использование (неявное)

Потокобезопасность

  • Доступ к swapchain и любым дочерним дескрипторам должен быть синхронизирован извне.

Коды возврата

Выполнено

  • XR_SUCCESS

Сбой

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_RUNTIME_FAILURE

Доступ к текстурам глубины

Функция xrEnumerateDepthSwapchainImagesANDROID определяется следующим образом:

XrResult xrEnumerateDepthSwapchainImagesANDROID(
    XrDepthSwapchainANDROID                     depthSwapchain,
    uint32_t                                    depthImageCapacityInput,
    uint32_t*                                   depthImageCountOutput,
    XrDepthSwapchainImageANDROID*               depthImages);

Описание параметров

  • depthSwapchain – XrDepthSwapchainANDROID, из которого нужно получить изображения.
  • depthImageCapacityInput – емкость массива depthImages или 0, если нужно получить требуемую емкость.
  • depthImageCountOutput – указатель на количество записанных depthImages или указатель на требуемую емкость, если depthImageCapacityInput недостаточно.
  • depthImages – указатель на массив структур XrDepthSwapchainImageANDROID. Может быть NULL, если depthImageCapacityInput равно 0.
  • Подробное описание того, как получить нужный размер depthImages, приведено в разделе Параметры размера буфера.

xrEnumerateDepthSwapchainImagesANDROID заполняет массив структур XrDepthSwapchainImageANDROID. Ресурсы должны быть постоянными и действительными в течение всего времени существования XrDepthSwapchainANDROID . Эта функция работает аналогично xrEnumerateSwapchainImages .

Среда выполнения должна всегда возвращать идентичное содержимое буфера из этого перечисления в течение всего времени существования цепочки буферов.

Допустимое использование (неявное)

  • Расширение XR_ANDROID_depth_texture должно быть включено до вызова xrEnumerateDepthSwapchainImagesANDROID.
  • depthSwapchain должен быть действительным дескриптором XrDepthSwapchainANDROID.
  • depthImageCountOutput должен быть указателем на значение uint32_t.
  • Если depthImageCapacityInput не равно 0 , depthImages должен быть указателем на массив структур depthImageCapacityInput XrDepthSwapchainImageANDROID.

Коды возврата

Выполнено

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Сбой

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_SIZE_INSUFFICIENT
  • XR_ERROR_VALIDATION_FAILURE

Структура XrDepthSwapchainImageANDROID определяется следующим образом:

typedef struct XrDepthSwapchainImageANDROID {
    XrStructureType    type;
    void*              next;
    const float*       rawDepthImage;
    const uint8_t*     rawDepthConfidenceImage;
    const float*       smoothDepthImage;
    const uint8_t*     smoothDepthConfidenceImage;
} XrDepthSwapchainImageANDROID;

Описания участников

  • type – это XrStructureType этой структуры.
  • next – это NULL или указатель на следующую структуру в цепочке. Такие структуры не определены в ядре OpenXR или этом расширении.
  • rawDepthImage – это NULL или указатель на необработанные изображения глубины для левого и правого представлений, выделенных средой выполнения. Значения указываются в метрах. Специальные значения: 0.0 указывает на недопустимый или пустой пиксель глубины в необработанной глубине, Inf указывает на известную глубину, которая фактически бесконечно далека,
  • rawDepthConfidenceImage – это NULL или указатель на необработанные изображения достоверности глубины для левого и правого представлений, выделенных средой выполнения.
  • smoothDepthImage – это NULL или указатель на сглаженные изображения глубины для левого и правого представлений, выделенных средой выполнения. Значения указываются в метрах. Специальные значения: 0.0 указывает на недопустимый или пустой пиксель глубины в сглаженной глубине, Inf указывает на известную глубину, которая фактически бесконечно далека.
  • smoothDepthConfidenceImage – это NULL или указатель на сглаженные изображения достоверности глубины для левого и правого представлений, выделенных средой выполнения.

Указатели буфера изображений будут действительны только в течение срока действия цепочки буферов. После уничтожения цепочки буферов указатели будут считаться висячими.

XrDepthSwapchainImageANDROID представляет изображения глубины из доступной для чтения цепочки XrDepthSwapchainANDROID, выделенной, как описано в XrDepthSwapchainCreateInfoANDROID :: resolution и XrDepthSwapchainCreateInfoANDROID :: createFlags при вызове xrCreateDepthSwapchainANDROID . Для каждого изображения глубины:

  • Значения изображения размещаются в памяти в порядке строк, без отступов между строками.
  • Первое значение – верхний левый угол, последнее – нижний правый.
  • Размер памяти, на которую указывает указатель, определяется значением xrEnumerateDepthSwapchainImagesANDROID и задается XrDepthSwapchainCreateInfoANDROID :: resolution при вызове xrCreateDepthSwapchainANDROID . Например, если XrDepthSwapchainCreateInfoANDROID :: resolution – это XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID , то размер изображений глубины будет 2*160*160*sizeof(float) .
  • Значение rawDepthImage должно быть NULL, если XrDepthSwapchainCreateInfoANDROID :: createFlags не включает XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID .
  • Значение rawDepthConfidenceImage должно быть NULL, если XrDepthSwapchainCreateInfoANDROID :: createFlags не включает XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID .
  • Значение smoothDepthImage должно быть NULL, если XrDepthSwapchainCreateInfoANDROID :: createFlags не включает XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID .
  • Значение smoothDepthImage должно быть NULL, если XrDepthSwapchainCreateInfoANDROID :: createFlags не включает XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID .

Допустимое использование (неявное)

Функция xrAcquireDepthSwapchainImagesANDROID определяется следующим образом:

XrResult xrAcquireDepthSwapchainImagesANDROID(
    XrDepthSwapchainANDROID                     depthSwapchain,
    const XrDepthAcquireInfoANDROID*            acquireInfo,
    XrDepthAcquireResultANDROID*                acquireResult);

Описание параметров

  • depthSwapchain – дескриптор XrDepthSwapchainANDROID для изображения глубины.
  • acquireInfo – это XrDepthAcquireInfoANDROID, содержащий информацию о том, как получить изображение глубины.
  • acquireResult – возвращенный объект XrDepthAcquireResultANDROID, содержащий информацию о полученном изображении глубины.

Приложения могут использовать функцию xrAcquireDepthSwapchainImagesANDROID, чтобы получить последний доступный индекс изображения в цепочке буферов, то есть XrDepthAcquireResultANDROID :: acquiredIndex , в массив XrDepthSwapchainImageANDROID, перечисленный функцией xrEnumerateDepthSwapchainImagesANDROID . Возвращаемый объект XrDepthAcquireResultANDROID также содержит другую информацию, например зону обзора и позу, которые необходимы для интерпретации данных о глубине. Считывать данные из полученного слота в массиве изображений можно до следующего вызова xrAcquireDepthSwapchainImagesANDROID .

Между любой парой соответствующих вызовов xrBeginFrame и xrEndFrame в сеансе должно быть не более одного вызова xrAcquireDepthSwapchainImagesANDROID.

  • Среда выполнения может заблокировать, если ранее полученные изображения цепочки обмена все ещё используются средой выполнения.
  • Среда выполнения должна возвращать XR_ERROR_CALL_ORDER_INVALID, если xrAcquireDepthSwapchainImagesANDROID вызывается до xrBeginFrame или после xrEndFrame .
  • Среда выполнения должна возвращать XR_ERROR_LIMIT_REACHED, если xrAcquireDepthSwapchainImagesANDROID вызывается более одного раза за кадр, то есть в текущем сеансе после вызова xrBeginFrame, у которого нет связанного xrEndFrame.
  • Среда выполнения может возвращать XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID, если данные о глубине среды пока недоступны. В этом случае приложение должно вызвать xrAcquireDepthSwapchainImagesANDROID снова в более позднем кадре.

Допустимое использование (неявное)

Коды возврата

Выполнено

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Сбой

  • XR_ERROR_CALL_ORDER_INVALID
  • XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID
  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_TIME_INVALID
  • XR_ERROR_VALIDATION_FAILURE

Структура XrDepthAcquireInfoANDROID определяется следующим образом:

typedef struct XrDepthAcquireInfoANDROID {
    XrStructureType    type;
    const void*        next;
    XrSpace            space;
    XrTime             displayTime;
} XrDepthAcquireInfoANDROID;

Описания участников

  • type – это XrStructureType этой структуры.
  • next – это NULL или указатель на следующую структуру в цепочке. Такие структуры не определены в ядре OpenXR или этом расширении.
  • space – это XrSpace, определяющий систему отсчета возвращенной позы в XrDepthAcquireResultANDROID :: views .
  • displayTime – это XrTime, указывающий время, используемое для вычисления позы для возвращенной позы в XrDepthAcquireResultANDROID :: views . Приложения должны передавать прогнозируемое время показа текущего кадра.

Допустимое использование (неявное)

Структура XrDepthAcquireResultANDROID определяется следующим образом:

typedef struct XrDepthAcquireResultANDROID {
    XrStructureType       type;
    const void*           next;
    uint32_t              acquiredIndex;
    XrTime                exposureTimestamp;
    XrDepthViewANDROID    views[2];
} XrDepthAcquireResultANDROID;

Описания участников

  • type – это XrStructureType этой структуры.
  • next – это NULL или указатель на следующую структуру в цепочке. Такие структуры не определены в ядре OpenXR или этом расширении.
  • acquiredIndex – индекс полученной текстуры в массиве XrDepthSwapchainImageANDROID, перечисленном в xrEnumerateDepthSwapchainImagesANDROID .
  • exposureTimestamp – это XrTime, указывающий время, когда была сделана карта глубины.
  • views – это массив из двух объектов XrDepthViewANDROID, по одному для каждого глаза, где индекс 0 – левый глаз, а индекс 1 – правый глаз.

Допустимое использование (неявное)

Структура XrDepthViewANDROID определяется следующим образом:

typedef struct XrDepthViewANDROID {
    XrStructureType    type;
    const void*        next;
    XrFovf             fov;
    XrPosef            pose;
} XrDepthViewANDROID;

Описания участников

  • type – это XrStructureType этой структуры.
  • next – это NULL или указатель на следующую структуру в цепочке. Такие структуры не определены в ядре OpenXR или этом расширении.
  • fov – это XrFovf, указывающий зону обзора, используемую для создания этого представления. Изображение никогда не переворачивается по горизонтали или вертикали.
  • pose – это XrPosef, указывающий позу, из которой была отрисована карта глубины. Система отсчета указана в XrDepthAcquireInfoANDROID .

Допустимое использование (неявное)

Пример кода для отслеживания глубины

В следующем примере кода показано, как получить изображения глубины и использовать значения глубины для сопоставления координат изображения глубины с пространством сцены.

XrInstance instance;  // previously initialized
XrSystemId systemId;  // previously initialized
XrSession session; // previously initialized
XrSpace stageSpace; // space created for XR_REFERENCE_SPACE_TYPE_STAGE.

// The function pointers are previously initialized using xrGetInstanceProcAddr.
PFN_xrCreateDepthSwapchainANDROID xrCreateDepthSwapchainANDROID; // previously initialized
PFN_xrDestroyDepthSwapchainANDROID xrDestroyDepthSwapchainANDROID; // previously initialized
PFN_xrEnumerateDepthSwapchainImagesANDROID xrEnumerateDepthSwapchainImagesANDROID; // previously initialized
PFN_xrEnumerateDepthResolutionsANDROID xrEnumerateDepthResolutionsANDROID; // previously initialized
PFN_xrAcquireDepthSwapchainImagesANDROID xrAcquireDepthSwapchainImagesANDROID; // previously initialized

float tanf(float);

// Inspect system capability
XrSystemProperties properties{XR_TYPE_SYSTEM_PROPERTIES};
XrSystemDepthTrackingPropertiesANDROID depthTrackingProperties{XR_TYPE_SYSTEM_DEPTH_TRACKING_PROPERTIES_ANDROID};
properties.next = &depthTrackingProperties;
CHK_XR(xrGetSystemProperties(instance, systemId, &properties));
if (!depthTrackingProperties.supportsDepthTracking) {
  // depth tracking is not supported.
  return;
}

// Query the supported depth resolution.
XrDepthCameraResolutionANDROID supportedDepthResolution;
uint32_t supportedResolutionCount = 0;
CHK_XR(xrEnumerateDepthResolutionsANDROID(
    session, 1, &supportedResolutionCount, &supportedDepthResolution));

// Define metadata to access the raw and smooth depth along with confidences.
XrDepthSwapchainCreateInfoANDROID swapchainCreateInfo = {
  .type = XR_TYPE_DEPTH_SWAPCHAIN_CREATE_INFO_ANDROID,
  .next = nullptr,
  // Use the resolution supported by the runtime.
  .resolution = supportedDepthResolution,
  .createFlags =
    XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID,
};

XrDepthSwapchainANDROID depthSwapchain;
CHK_XR(xrCreateDepthSwapchainANDROID(
    session, &swapchainCreateInfo, &depthSwapchain));

// Enumerate depth images.
uint32_t imageCountOutput = 0;
CHK_XR(xrEnumerateDepthSwapchainImagesANDROID(
    depthSwapchain, 0, &imageCountOutput, nullptr));
std::vector<XrDepthSwapchainImageANDROID> depthImages(imageCountOutput);
for (int i = 0; i < imageCountOutput; i++) {
  depthImages[i].type = XR_TYPE_DEPTH_SWAPCHAIN_IMAGE_ANDROID;
}
CHK_XR(xrEnumerateDepthSwapchainImagesANDROID(
  depthSwapchain, imageCountOutput, &imageCountOutput, depthImages.data()));

while (1) {
    // ...
    // For every frame in frame loop
    // ...

    XrFrameState frameState;  // previously returned from xrWaitFrame
    const XrTime time = frameState.predictedDisplayTime;

    XrDepthAcquireInfoANDROID acquireInfo = {
        .type = XR_TYPE_DEPTH_ACQUIRE_INFO_ANDROID,
        .space = stageSpace,
        .displayTime = time
    };
    XrDepthAcquireResultANDROID acquireResult = {
        .type = XR_TYPE_DEPTH_ACQUIRE_RESULT_ANDROID,
    };
    CHK_XR(xrAcquireDepthSwapchainImagesANDROID(
        depthSwapchain, &acquireInfo, &acquireResult));

    // Each value in a depth image corresponds to a point in the real world.
    // The sample code below shows how to find the stageSpace position of
    // the point corresponding to a particular value in the depth image.

    // For this sample code, assume we are using a right handed coordinate system
    // with +X to the right, +Y up and -Z forward.

    XrDepthSwapchainImageANDROID *image =
        &depthImages[acquireResult.acquiredIndex];

    // Assume supported resolution is XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID.
    const int imageResolution = 160;
    int imageY = 80; // value in [0, imageResolution)
    int imageX = 80; // value in [0, imageResolution)

    // Get depth value from left eye.
    // A right depth value is obtained with the following expression:
    // depthR = image->rawDepthImage[imageResolution*imageResolution+i*imageResolution+j]
    float depthL = image->rawDepthImage[imageY*imageResolution + imageX];
    XrDepthViewANDROID viewL = acquireResult.views[0];

    float tanL = tanf(viewL.fov.angleLeft);
    float tanR = tanf(viewL.fov.angleRight);
    float tanU = tanf(viewL.fov.angleUp);
    float tanD = tanf(viewL.fov.angleDown);

    float s = (imageX + 0.5f) / (float)imageResolution;
    float t = (imageY + 0.5f) / (float)imageResolution;

    // Calculate the depth camera space position of the point
    // corresponding to this depth value.
    XrVector3f posInCameraSpace;
    posInCameraSpace.z = -depthL;
    posInCameraSpace.x = (tanL + (tanR - tanL)*s)*depthL;
    posInCameraSpace.y = (tanD + (tanU - tanD)*t)*depthL;

    XrPosef depthCameraPoseL = viewL.pose;
    // Transform posInCameraSpace by depthCameraPoseL

    // ...
    // Finish frame loop
    // ...
}

Новые типы объектов

Новые команды

Новые структуры

Новые перечисления

Новые битовые маски

Новые константы перечисления

  • XR_ANDROID_DEPTH_TEXTURE_EXTENSION_NAME
  • XR_ANDROID_depth_texture_SPEC_VERSION

  • Расширение XrObjectType :

    • XR_OBJECT_TYPE_DEPTH_SWAPCHAIN_ANDROID

  • Расширение XrResult :

    • XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID

  • Расширение XrStructureType :

    • XR_TYPE_DEPTH_ACQUIRE_INFO_ANDROID
    • XR_TYPE_DEPTH_ACQUIRE_RESULT_ANDROID
    • XR_TYPE_DEPTH_SWAPCHAIN_CREATE_INFO_ANDROID
    • XR_TYPE_DEPTH_SWAPCHAIN_IMAGE_ANDROID
    • XR_TYPE_DEPTH_VIEW_ANDROID
    • XR_TYPE_SYSTEM_DEPTH_TRACKING_PROPERTIES_ANDROID

Проблемы

История версий

  • Версия 1, 9 сентября 2024 г. (Левана Чэнь)

    • Описание расширения