Extension OpenXR XR_ANDROID_depth_texture

Chaîne de nom

XR_ANDROID_depth_texture

Type d'extension

Extension d'instance

Numéro d'extension enregistré

703

Révision

1

Dépendances d'extension et de version

OpenXR 1.0

Date de dernière modification

2024-09-11

État de l'adresse IP

Aucune revendication d'adresse IP connue.

Contributeurs

Sushant Kulkarni, Google

Cairn Overturf, Google

Spencer Quin, Google

Levana Chen, Google

Présentation

Cette extension permet à l'application de demander des cartes de profondeur de l'environnement réel autour du casque et d'interroger les résolutions de profondeur compatibles lors de la création.

Cette extension est destinée à exposer une profondeur brute et lisse pour l'occlusion, les tests de détection de collision et d'autres tâches spécifiques qui utilisent une géométrie de scène précise, par exemple la détection de faux visages.

Inspecter les fonctionnalités du système

La structure XrSystemDepthTrackingPropertiesANDROID est définie comme suit:

typedef struct XrSystemDepthTrackingPropertiesANDROID {
    XrStructureType    type;
    const void*        next;
    XrBool32           supportsDepthTracking;
} XrSystemDepthTrackingPropertiesANDROID;

Descriptions des membres

  • type est le XrStructureType de cette structure.
  • next est NULL ou un pointeur vers la structure suivante d'une chaîne de structures. Aucune de ces structures n'est définie dans OpenXR de base ni dans cette extension.
  • supportsDepthTracking est un XrBool32 qui indique si le système actuel est compatible avec le suivi de la profondeur.

Une application peut vérifier si le système est capable de suivre la profondeur en étendant XrSystemProperties avec la structure XrSystemDepthTrackingPropertiesANDROID lors de l'appel de xrGetSystemProperties.

Utilisation valide (implicite)

Résolutions de profondeur de requête

La fonction xrEnumerateDepthResolutionsANDROID est définie comme suit:

XrResult xrEnumerateDepthResolutionsANDROID(
    XrSession                                   session,
    uint32_t                                    resolutionCapacityInput,
    uint32_t*                                   resolutionCountOutput,
    XrDepthCameraResolutionANDROID*             resolutions);

Descriptions des paramètres

  • session est la XrSession qui énumère les résolutions de profondeur compatibles.
  • resolutionCapacityInput est la capacité de resolutions, ou 0 pour récupérer la capacité requise.
  • resolutionCountOutput est un pointeur vers le nombre d'resolutions uint64_t écrits, ou un pointeur vers la capacité requise si resolutionCapacityInput est insuffisant.
  • resolutions est un pointeur vers un tableau de XrDepthCameraResolutionANDROID, mais peut être NULL si resolutionCapacityInput est égal à 0.
  • Pour obtenir une description détaillée de la récupération de la taille resolutions requise, consultez la section Paramètres de taille de la mémoire tampon.

xrEnumerateDepthResolutionsANDROID énumère les résolutions de profondeur compatibles avec la session en cours. Les résolutions de profondeur doivent être triées de la préférence d'exécution la plus élevée à la plus faible. L'application doit utiliser la préférence la plus élevée qu'elle accepte pour des performances et une qualité optimales.

Utilisation valide (implicite)

Codes de retour

Réussite

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Échec

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_VALIDATION_FAILURE
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_SIZE_INSUFFICIENT

L'énumération XrDepthCameraResolutionANDROID décrit les résolutions de profondeur compatibles lors de la création d'un XrDepthSwapchainANDROID. 

typedef enum XrDepthCameraResolutionANDROID {
    XR_DEPTH_CAMERA_RESOLUTION_80x80_ANDROID = 0,
    XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID = 1,
    XR_DEPTH_CAMERA_RESOLUTION_320x320_ANDROID = 2
    } XrDepthCameraResolutionANDROID;

Descriptions des énumérateurs

  • XR_DEPTH_CAMERA_RESOLUTION_80x80_ANDROID : la résolution des images de profondeur et de confiance est de 80 x 80.
  • XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID : la résolution des images de profondeur et de confiance est de 160 x 160.
  • XR_DEPTH_CAMERA_RESOLUTION_320x320_ANDROID : la résolution des images de profondeur et de confiance est de 320 x 320.

Créer un swapchain de profondeur

XR_DEFINE_HANDLE(XrDepthSwapchainANDROID)

Un XrDepthSwapchainANDROID est un gestionnaire de swapchain de profondeur.

La fonction xrCreateDepthSwapchainANDROID est définie comme suit: 

XrResult xrCreateDepthSwapchainANDROID(
    XrSession                                   session,
    const XrDepthSwapchainCreateInfoANDROID*    createInfo,
    XrDepthSwapchainANDROID*                    swapchain);

Descriptions des paramètres

L'application peut utiliser la fonction xrCreateDepthSwapchainANDROID pour créer un swapchain de profondeur qui gère à la fois les images de profondeur et de confiance.

Le handle de la chaîne de remplacement de profondeur renvoyé peut être utilisé ultérieurement dans les appels d'API. Le doit être libéré à terme à l'aide de la fonction xrDestroyDepthSwapchainANDROID.

Utilisation valide (implicite)

Codes de retour

Réussite

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Échec

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_OUT_OF_MEMORY
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_LIMIT_REACHED

La structure XrDepthSwapchainCreateInfoANDROID est définie comme suit: 

typedef struct XrDepthSwapchainCreateInfoANDROID {
    XrStructureType                       type;
    const void*                           next;
    XrDepthCameraResolutionANDROID        resolution;
    XrDepthSwapchainCreateFlagsANDROID    createFlags;
} XrDepthSwapchainCreateInfoANDROID;

Descriptions des membres

  • type est le XrStructureType de cette structure.
  • next est NULL ou un pointeur vers la structure suivante d'une chaîne de structures. Aucune de ces structures n'est définie dans OpenXR de base ni dans cette extension.
  • resolution correspond à la XrDepthCameraResolutionANDROID dans laquelle les textures de profondeur et de confiance doivent être créées.
  • createFlags correspond à un ou plusieurs XrDepthSwapchainCreateFlagsANDROID.

La structure XrDepthSwapchainCreateInfoANDROID fournit des options de création pour XrDepthSwapchainANDROID lorsqu'elle est transmise à xrCreateDepthSwapchainANDROID.

Utilisation valide (implicite)

XrDepthSwapchainCreateFlagsANDROID spécifie les options de création pour XrDepthSwapchainANDROID. 

typedef XrFlags64 XrDepthSwapchainCreateFlagsANDROID;

Les bits valides pour XrDepthSwapchainCreateFlagsANDROID sont définis par XrDepthSwapchainCreateFlagBitsANDROID, qui est spécifié comme suit: 

// Flag bits for XrDepthSwapchainCreateFlagsANDROID
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID = 0x00000001;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID = 0x00000002;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID = 0x00000004;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID = 0x00000008;

La fonction xrDestroyDepthSwapchainANDROID est définie comme suit: 

XrResult xrDestroyDepthSwapchainANDROID(
    XrDepthSwapchainANDROID                     swapchain);

Descriptions des paramètres

La fonction xrDestroyDepthSwapchainANDROID détruit le swapchain de profondeur.

Utilisation valide (implicite)

Sécurité des threads

  • L'accès à swapchain et à tous les gestionnaires enfants doit être synchronisé en externe.

Codes de retour

Réussite

  • XR_SUCCESS

Échec

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID

Accéder aux textures de profondeur

La fonction xrEnumerateDepthSwapchainImagesANDROID est définie comme suit: 

XrResult xrEnumerateDepthSwapchainImagesANDROID(
    XrDepthSwapchainANDROID                     depthSwapchain,
    uint32_t                                    depthImageCapacityInput,
    uint32_t*                                   depthImageCountOutput,
    XrDepthSwapchainImageANDROID*               depthImages);

Descriptions des paramètres

  • depthSwapchain est le XrDepthSwapchainANDROID à partir duquel obtenir des images.
  • depthImageCapacityInput correspond à la capacité du tableau depthImages, ou à 0 pour indiquer une requête visant à récupérer la capacité requise.
  • depthImageCountOutput est un pointeur vers le nombre d'depthImages écrits, ou un pointeur vers la capacité requise si depthImageCapacityInput est insuffisant.
  • depthImages est un pointeur vers un tableau de structures XrDepthSwapchainImageANDROID. Il peut être NULL si depthImageCapacityInput est défini sur 0.
  • Pour obtenir une description détaillée de la récupération de la taille depthImages requise, consultez la section Paramètres de taille de la mémoire tampon.

xrEnumerateDepthSwapchainImagesANDROID remplit un tableau de structures XrDepthSwapchainImageANDROID. Les ressources seront constantes et valides pendant toute la durée de vie du XrDepthSwapchainANDROID. Cette fonction se comporte de manière analogue à xrEnumerateSwapchainImages.

Utilisation valide (implicite)

Codes de retour

Réussite

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Échec

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_VALIDATION_FAILURE
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_SIZE_INSUFFICIENT

La structure XrDepthSwapchainImageANDROID est définie comme suit: 

typedef struct XrDepthSwapchainImageANDROID {
    XrStructureType    type;
    void*              next;
    const float*       rawDepthImage;
    const uint8_t*     rawDepthConfidenceImage;
    const float*       smoothDepthImage;
    const uint8_t*     smoothDepthConfidenceImage;
} XrDepthSwapchainImageANDROID;

Descriptions des membres

  • type est le XrStructureType de cette structure.
  • next est NULL ou un pointeur vers la structure suivante d'une chaîne de structures. Aucune de ces structures n'est définie dans OpenXR de base ni dans cette extension.
  • rawDepthImage est NULL ou le pointeur vers les images de profondeur brutes pour les vues de gauche et de droite. Les valeurs sont exprimées en mètres. Valeurs spéciales: 0.0 indique un pixel de profondeur non valide ou vide dans la profondeur brute, Inf indique une profondeur connue qui est effectivement infiniment éloignée,
  • rawDepthConfidenceImage est NULL ou le pointeur vers les images de confiance de profondeur brutes pour les vues de gauche et de droite.
  • smoothDepthImage correspond à NULL ou au pointeur pour lissage des images de profondeur pour les vues de gauche et de droite. Les valeurs sont exprimées en mètres. Valeurs spéciales: 0.0 indique un pixel de profondeur non valide ou vide dans la profondeur lisse, Inf indique une profondeur connue qui est effectivement infiniment éloignée.
  • smoothDepthConfidenceImage est NULL ou le pointeur pour lisser les images de confiance de la profondeur pour les vues de gauche et de droite.

XrDepthSwapchainImageANDROID représente les images de profondeur d'un XrDepthSwapchainANDROID lisible, alloué comme décrit dans XrDepthSwapchainCreateInfoANDROID::resolution et XrDepthSwapchainCreateInfoANDROID::createFlags lors de l'appel de xrCreateDepthSwapchainANDROID. Pour chaque image de profondeur:

Utilisation valide (implicite)

La fonction xrAcquireDepthSwapchainImagesANDROID est définie comme suit: 

XrResult xrAcquireDepthSwapchainImagesANDROID(
    XrDepthSwapchainANDROID                     depthSwapchain,
    const XrDepthAcquireInfoANDROID*            acquireInfo,
    XrDepthAcquireResultANDROID*                acquireResult);

Descriptions des paramètres

Les applications peuvent utiliser la fonction xrAcquireDepthSwapchainImagesANDROID pour acquérir le dernier index d'image de swapchain disponible, tel que XrDepthAcquireResultANDROID::acquiredIndex, dans le tableau XrDepthSwapchainImageANDROID énuméré par xrEnumerateDepthSwapchainImagesANDROID. Le XrDepthAcquireResultANDROID renvoyé contient également d'autres informations telles que le champ de vision et la position qui sont nécessaires pour interpréter les données de profondeur. Vous pouvez lire à partir de l'emplacement acquis dans le tableau d'images jusqu'au prochain appel de xrAcquireDepthSwapchainImagesANDROID.

Il ne doit pas y avoir plus d'un appel à xrAcquireDepthSwapchainImagesANDROID entre chaque paire d'appels xrBeginFrame et xrEndFrame correspondants dans une session.

Utilisation valide (implicite)

Codes de retour

Réussite

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Échec

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_VALIDATION_FAILURE
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID
  • XR_ERROR_CALL_ORDER_INVALID
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_TIME_INVALID

La structure XrDepthAcquireInfoANDROID est définie comme suit: 

typedef struct XrDepthAcquireInfoANDROID {
    XrStructureType    type;
    const void*        next;
    XrSpace            space;
    XrTime             displayTime;
} XrDepthAcquireInfoANDROID;

Descriptions des membres

  • type est le XrStructureType de cette structure.
  • next est NULL ou un pointeur vers la structure suivante d'une chaîne de structures. Aucune de ces structures n'est définie dans OpenXR de base ni dans cette extension.
  • space est un XrSpace qui définit le frame de référence de la pose renvoyée dans XrDepthAcquireResultANDROID::views.
  • displayTime est un XrTime spécifiant le temps utilisé pour calculer la pose pour la pose renvoyée dans XrDepthAcquireResultANDROID::views. Les applications doivent transmettre leur durée d'affichage prévue pour le frame actuel.

Utilisation valide (implicite)

La structure XrDepthAcquireResultANDROID est définie comme suit: 

typedef struct XrDepthAcquireResultANDROID {
    XrStructureType       type;
    const void*           next;
    uint32_t              acquiredIndex;
    XrTime                exposureTimestamp;
    XrDepthViewANDROID    views[2];
} XrDepthAcquireResultANDROID;

Descriptions des membres

  • type est le XrStructureType de cette structure.
  • next est NULL ou un pointeur vers la structure suivante d'une chaîne de structures. Aucune de ces structures n'est définie dans OpenXR de base ni dans cette extension.
  • acquiredIndex est l'index de la texture acquise dans le tableau XrDepthSwapchainImageANDROID énuméré par xrEnumerateDepthSwapchainImagesANDROID.
  • exposureTimestamp est l'XrTime qui spécifie l'heure à laquelle la carte de profondeur a été capturée.
  • views est un tableau de deux XrDepthViewANDROID, un pour chaque œil, où l'index 0 correspond à l'œil gauche et l'index 1 à l'œil droit.

Utilisation valide (implicite)

La structure XrDepthViewANDROID est définie comme suit: 

typedef struct XrDepthViewANDROID {
    XrStructureType    type;
    const void*        next;
    XrFovf             fov;
    XrPosef            pose;
} XrDepthViewANDROID;

Descriptions des membres

  • type est le XrStructureType de cette structure.
  • next est NULL ou un pointeur vers la structure suivante d'une chaîne de structures. Aucune de ces structures n'est définie dans OpenXR de base ni dans cette extension.
  • fov est un XrFovf qui spécifie le champ de vision utilisé pour générer cette vue. La vue n'est jamais inversée horizontalement ni verticalement.
  • pose est un XrPosef qui spécifie la pose à partir de laquelle la carte de profondeur a été affichée. Le frame de référence est spécifié dans XrDepthAcquireInfoANDROID.

Utilisation valide (implicite)

Exemple de code pour le suivi de la profondeur

L'exemple de code suivant montre comment acquérir des images de profondeur.

XrInstance instance;  // previously initialized
XrSystemId systemId;  // previously initialized
XrSession session; // previously initialized
XrSpace stageSpace; // space created for XR_REFERENCE_SPACE_TYPE_STAGE.

// The function pointers are previously initialized using xrGetInstanceProcAddr.
PFN_xrCreateDepthSwapchainANDROID xrCreateDepthSwapchainANDROID; // previously initialized
PFN_xrDestroyDepthSwapchainANDROID xrDestroyDepthSwapchainANDROID; // previously initialized
PFN_xrEnumerateDepthSwapchainImagesANDROID xrEnumerateDepthSwapchainImagesANDROID; // previously initialized
PFN_xrEnumerateDepthResolutionsANDROID xrEnumerateDepthResolutionsANDROID; // previously initialized
PFN_xrAcquireDepthSwapchainImagesANDROID xrAcquireDepthSwapchainImagesANDROID; // previously initialized

// Inspect system capability
XrSystemProperties properties{XR_TYPE_SYSTEM_PROPERTIES};
XrSystemDepthTrackingPropertiesANDROID depthTrackingProperties{XR_TYPE_SYSTEM_DEPTH_TRACKING_PROPERTIES_ANDROID};
properties.next = &depthTrackingProperties;
CHK_XR(xrGetSystemProperties(instance, systemId, &properties));
if (!depthTrackingProperties.supportsDepthTracking) {
  // depth tracking is not supported.
  return;
}

// Query the supported depth resolution.
XrDepthCameraResolutionANDROID supportedDepthResolution;
uint32_t supportedResolutionCount = 0;
CHK_XR(xrEnumerateDepthResolutionsANDROID(
    session, 1, &supportedResolutionCount, &supportedDepthResolution));

// Define metadata to access the raw and smooth depth along with confidences.
XrDepthSwapchainCreateInfoANDROID swapchainCreateInfo = {
  .type = XR_TYPE_DEPTH_SWAPCHAIN_CREATE_INFO_ANDROID,
  .next = nullptr,
  .createFlags =
    XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID,

  // Use the resolution supported by the runtime.
  .resolution = supportedDepthResolution,
};

XrDepthSwapchainANDROID depthSwapchain;
CHK_XR(xrCreateDepthSwapchainANDROID(
    session, &swapchainCreateInfo, &depthSwapchain));

// Enumerate depth images.
uint32_t imageCountOutput = 0;
CHK_XR(xrEnumerateDepthSwapchainImagesANDROID(
    depthSwapchain, 0, &imageCountOutput, nullptr));
std::vector<XrDepthSwapchainImageANDROID> depthImages(imageCountOutput);
for (int i = 0; i < imageCountOutput; i++) {
  depthImages[i].type = XR_TYPE_DEPTH_SWAPCHAIN_IMAGE_ANDROID;
}
CHK_XR(xrEnumerateDepthSwapchainImagesANDROID(
  depthSwapchain, imageCountOutput, &imageCountOutput, depthImages.data()));

while (1) {
    // ...
    // For every frame in frame loop
    // ...

    XrFrameState frameState;  // previously returned from xrWaitFrame
    const XrTime time = frameState.predictedDisplayTime;

    XrDepthAcquireInfoANDROID acquireInfo = {
        .type = XR_TYPE_DEPTH_ACQUIRE_INFO_ANDROID,
        .space = stageSpace,
        .time = time};
    XrDepthAcquireResultANDROID acquireResult = {
        .type = XR_TYPE_DEPTH_ACQUIRE_RESULT_ANDROID,
    };
    CHK_XR(xrAcquireDepthImagesANDROID(
        depthSwapchain, &acquireInfo, &acquireResult));

    // Each value in a depth image corresponds to a point in the real world.
    // The sample code in this section shows how to find the stageSpace position
    // of the point corresponding to a particular value in the depth image.

    // For this sample code, assume we are using a right handed coordinate system
    // with +X to the right, +Y up and -Z forward.

    XrDepthSwapchainImageANDROID *image =
        &depthImages[acquireResult.acquireIndex];

    // Assume supported resolution is XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID.
    const int imageResolution = 160;
    int imageY = // value in [0, imageResolution)
    int imageX = // value in [0, imageResolution)

    // Get depth value from left eye.
    // A right depth value would be obtained with the following expression:
    // depthR = image->rawDepthImage[imageResolution*imageResolution+i*imageResolution+j]
    float depthL = image->rawDepthImage[imageY*imageResolution + imageX];
    XrDepthViewANDROID viewL = acquireResult.views[0];

    float tanL = tanf(viewL.fov.angleLeft);
    float tanR = tanf(viewL.fov.angleRight);
    float tanU = tanf(viewL.fov.angleUp);
    float tanD = tanf(viewL.fov.angleDown);

    float s = (imageX + 0.5f) / (float)imageResolution;
    float t = (imageY + 0.5f) / (float)imageResolution;

    // Calculate the depth camera space position of the point
    // corresponding to this depth value.
    XrVector3f posInCameraSpace;
    posInCameraSpace.z = -depthL;
    posInCameraSpace.x = (tanL + (tanR - tanL)*s)*depthL;
    posInCameraSpace.y = (tanB + (tanU - tanB)*t)*depthL;

    XrPosef depthCameraPoseL = viewL.pose;
    // Transform posInCameraSpace by depthCameraPoseL

    // ...
    // Finish frame loop
    // ...
}

Nouveaux types d'objets

Nouvelles constantes d'énumération

L'énumération XrObjectType est étendue avec:

  • XR_OBJECT_TYPE_DEPTH_SWAPCHAIN_ANDROID

L'énumération XrResult est étendue avec:

  • XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID

L'énumération XrStructureType est étendue avec:

  • XR_TYPE_DEPTH_SWAPCHAIN_CREATE_INFO_ANDROID
  • XR_TYPE_DEPTH_VIEW_ANDROID
  • XR_TYPE_DEPTH_ACQUIRE_INFO_ANDROID
  • XR_TYPE_DEPTH_ACQUIRE_RESULT_ANDROID
  • XR_TYPE_SYSTEM_DEPTH_TRACKING_PROPERTIES_ANDROID
  • XR_TYPE_DEPTH_SWAPCHAIN_IMAGE_ANDROID

Nouveaux énumérations

Nouvelles structures

Nouvelles fonctions

Problèmes

Historique des versions

  • Révision 1, 09/09/2024 (Levana Chen)
    • Description initiale de l'extension