XR_ANDROID_depth_texture

Name String

XR_ANDROID_depth_texture

Erweiterungstyp

Instanzerweiterung

Registrierte Durchwahl

703

Revision

1

Ratification Status

Nicht ratifiziert

Erweiterungs- und Versionsabhängigkeiten

OpenXR 1.0

Datum der letzten Änderung

2024-09-11

IP-Status

Keine bekannten Ansprüche auf geistiges Eigentum.

Mitwirkende

Sushant Kulkarni, Google
Cairn Overturf, Google
Spencer Quin, Google
Levana Chen, Google

Übersicht

Mit dieser Erweiterung kann die Anwendung Tiefenkarten der realen Umgebung um das Headset herum anfordern und unterstützte Tiefenauflösungen bei der Erstellung abfragen.

Diese Erweiterung soll Roh- und geglättete Tiefen für Verdeckungen, Trefferprüfungen und andere spezifische Aufgaben bereitstellen, die eine genaue Szenengeometrie erfordern, z. B. die Gesichtserkennung von Fälschungen.

Hinweis

Die Tiefenkarten werden von der Laufzeit generiert und über XrDepthSwapchainANDROID mit der Anwendung geteilt. Die Laufzeit darf die über xrEnumerateDepthResolutionsANDROID zurückgegebenen Tiefenbildauflösungen während der Lebensdauer der Anwendung nicht ändern.

Berechtigungen

Diese Erweiterung stellt eine heruntergerechnete Tiefentextur bereit, um Bedenken hinsichtlich personenidentifizierbarer Informationen zu minimieren. Android-Apps müssen die Berechtigung „android.permission.SCENE_UNDERSTANDING_FINE“ in ihrem Manifest enthalten, da diese Erweiterung die Geometrie der Umgebung offenlegt. Die Berechtigung „android.permission.SCENE_UNDERSTANDING_FINE“ gilt als gefährliche Berechtigung. Die Anwendung muss die Berechtigung zur Laufzeit anfordern, um diese Funktionen zu verwenden:

(Schutzebene: gefährlich)

Systemkapazität prüfen

Die Struktur XrSystemDepthTrackingPropertiesANDROID ist so definiert:

typedef struct XrSystemDepthTrackingPropertiesANDROID {
    XrStructureType    type;
    void*              next;
    XrBool32           supportsDepthTracking;
} XrSystemDepthTrackingPropertiesANDROID;

Mitgliederbeschreibungen

  • type ist der XrStructureType dieser Struktur.
  • next ist NULL oder ein Zeiger auf die nächste Struktur in einer Strukturkette. Solche Strukturen sind weder in OpenXR noch in dieser Erweiterung definiert.
  • supportsDepthTracking ist ein XrBool32, der angibt, ob das aktuelle System die Tiefenerkennung unterstützt.

Eine Anwendung kann prüfen, ob das System die Tiefenerkennung unterstützt, indem sie die XrSystemProperties beim Aufruf von xrGetSystemProperties um die Struktur XrSystemDepthTrackingPropertiesANDROID erweitert.

Wenn und nur wenn eine Laufzeit XR_FALSE für supportsDepthTracking zurückgibt, muss die Laufzeit XR_ERROR_FEATURE_UNSUPPORTED von xrCreateDepthSwapchainANDROID zurückgeben.

Gültige Verwendung (implizit)

Abfragetiefenauflösungen

Die Funktion xrEnumerateDepthResolutionsANDROID ist so definiert:

XrResult xrEnumerateDepthResolutionsANDROID(
    XrSession                                   session,
    uint32_t                                    resolutionCapacityInput,
    uint32_t*                                   resolutionCountOutput,
    XrDepthCameraResolutionANDROID*             resolutions);

Parameterbeschreibungen

  • session ist die XrSession, die die unterstützten Tiefenauflösungen auflistet.
  • resolutionCapacityInput ist die Kapazität von resolutions oder 0, um die erforderliche Kapazität abzurufen.
  • resolutionCountOutput ist ein Zeiger auf die Anzahl der geschriebenen uint64_t-resolutions oder ein Zeiger auf die erforderliche Kapazität, falls resolutionCapacityInput nicht ausreicht.
  • resolutions ist ein Zeiger auf ein Array von XrDepthCameraResolutionANDROID, kann aber NULL sein, wenn resolutionCapacityInput 0 ist.
  • Eine detaillierte Beschreibung zum Abrufen der erforderlichen resolutions-Größe finden Sie im Abschnitt Parameter für die Puffergröße.

xrEnumerateDepthResolutionsANDROID listet die von der aktuellen Sitzung unterstützten Tiefenauflösungen auf. Die Tiefenauflösungen sollten in der Reihenfolge von der höchsten zur niedrigsten Laufzeitpräferenz angegeben werden. Die Anwendung sollte die höchste unterstützte Einstellung verwenden, um eine optimale Leistung und Qualität zu erzielen.

Laufzeiten müssen für die Dauer der Sitzung immer identische Pufferinhalte aus dieser Aufzählung zurückgeben.

Gültige Verwendung (implizit)

  • Die Erweiterung XR_ANDROID_depth_texture muss aktiviert werden, bevor xrEnumerateDepthResolutionsANDROID aufgerufen wird.
  • session muss ein gültiges XrSession-Handle sein
  • resolutionCountOutput muss ein Zeiger auf einen uint32_t-Wert sein
  • Wenn resolutionCapacityInput nicht 0 ist, muss resolutions ein Zeiger auf ein Array von resolutionCapacityInput XrDepthCameraResolutionANDROID-Werten sein.

Rückgabecodes

Erfolg

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Fehler

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_SIZE_INSUFFICIENT
  • XR_ERROR_VALIDATION_FAILURE

Das Enum XrDepthCameraResolutionANDROID beschreibt die unterstützten Tiefenauflösungen beim Erstellen einer XrDepthSwapchainANDROID .

typedef enum XrDepthCameraResolutionANDROID {
    XR_DEPTH_CAMERA_RESOLUTION_80x80_ANDROID = 0,
    XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID = 1,
    XR_DEPTH_CAMERA_RESOLUTION_320x320_ANDROID = 2,
    XR_DEPTH_CAMERA_RESOLUTION_MAX_ENUM_ANDROID = 0x7FFFFFFF
} XrDepthCameraResolutionANDROID;

Beschreibungen der Enumeranten

  • XR_DEPTH_CAMERA_RESOLUTION_80x80_ANDROID: Die Auflösung der Tiefen- und Konfidenzbilder beträgt 80 × 80.
  • XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID: Die Auflösung der Tiefen- und Konfidenzbilder beträgt 160 × 160.
  • XR_DEPTH_CAMERA_RESOLUTION_320x320_ANDROID: Die Auflösung der Tiefen- und Konfidenzbilder beträgt 320 × 320.

Tiefen-Swapchain erstellen

XR_DEFINE_HANDLE(XrDepthSwapchainANDROID)

Eine XrDepthSwapchainANDROID ist ein Handle für eine Tiefen-Swapchain.

Die Funktion xrCreateDepthSwapchainANDROID ist so definiert:

XrResult xrCreateDepthSwapchainANDROID(
    XrSession                                   session,
    const XrDepthSwapchainCreateInfoANDROID*    createInfo,
    XrDepthSwapchainANDROID*                    swapchain);

Parameterbeschreibungen

Die Anwendung kann die Funktion xrCreateDepthSwapchainANDROID verwenden, um eine Tiefen-Swapchain zu erstellen, die sowohl Tiefen- als auch Konfidenzbilder verwaltet.

  • Die Laufzeit muss XR_ERROR_FEATURE_UNSUPPORTED zurückgeben, wenn das System kein Tiefen-Tracking unterstützt.
  • Die Laufzeit muss XR_ERROR_PERMISSION_INSUFFICIENT zurückgeben, wenn der Anruf-App die erforderlichen Berechtigungen nicht gewährt wurden.
  • Die Laufzeit muss XR_ERROR_VALIDATION_FAILURE zurückgeben, wenn die in XrDepthSwapchainCreateInfoANDROID angegebene Tiefenauflösung nicht unterstützt wird.
  • Die Laufzeit sollte nur dann Bilder mit Tiefenkonfidenz erstellen, wenn die entsprechenden Bits für die createInfo bei der Erstellung der Swapchain festgelegt sind.

Das zurückgegebene Handle der Tiefen-Swapchain kann anschließend in API-Aufrufen verwendet werden. Das XrDepthSwapchainANDROID-Handle muss schließlich über die Funktion xrDestroyDepthSwapchainANDROID freigegeben werden.

Gültige Verwendung (implizit)

Rückgabecodes

Erfolg

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Fehler

  • XR_ERROR_FEATURE_UNSUPPORTED
  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_OUT_OF_MEMORY
  • XR_ERROR_PERMISSION_INSUFFICIENT
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST

Die Struktur XrDepthSwapchainCreateInfoANDROID ist so definiert:

typedef struct XrDepthSwapchainCreateInfoANDROID {
    XrStructureType                       type;
    const void*                           next;
    XrDepthCameraResolutionANDROID        resolution;
    XrDepthSwapchainCreateFlagsANDROID    createFlags;
} XrDepthSwapchainCreateInfoANDROID;

Mitgliederbeschreibungen

Die Struktur XrDepthSwapchainCreateInfoANDROID bietet Erstellungsoptionen für die XrDepthSwapchainANDROID, wenn sie an xrCreateDepthSwapchainANDROID übergeben wird.

Gültige Verwendung (implizit)

XrDepthSwapchainCreateFlagsANDROID gibt Erstellungsoptionen für XrDepthSwapchainANDROID an.

typedef XrFlags64 XrDepthSwapchainCreateFlagsANDROID;

Gültige Bits für XrDepthSwapchainCreateFlagsANDROID werden durch XrDepthSwapchainCreateFlagBitsANDROID definiert, was so angegeben wird:

// Flag bits for XrDepthSwapchainCreateFlagsANDROID
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID = 0x00000001;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID = 0x00000002;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID = 0x00000004;
static const XrDepthSwapchainCreateFlagsANDROID XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID = 0x00000008;

Flag-Beschreibungen

  • XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID: Gibt an, dass die Swapchain flüssige Tiefenbilder liefert.
  • XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID: Gibt an, dass die Swapchain Bilder mit gleichmäßiger Tiefenkonfidenz liefert.
  • XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID: Gibt an, dass die Swapchain Roh-Tiefenbilder bereitstellt.
  • XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID: Gibt an, dass die Swapchain Bilder mit Rohdaten zur Tiefenkonfidenz bereitstellt.

Die Funktion xrDestroyDepthSwapchainANDROID ist so definiert:

XrResult xrDestroyDepthSwapchainANDROID(
    XrDepthSwapchainANDROID                     swapchain);

Parameterbeschreibungen

Mit der Funktion xrDestroyDepthSwapchainANDROID wird die Tiefen-Swapchain gelöscht. Nach diesem Aufruf kann die Laufzeit den gesamten zugehörigen Arbeitsspeicher und alle zugehörigen Ressourcen freigeben.

Gültige Verwendung (implizit)

Threadsicherheit

  • Der Zugriff auf swapchain und alle untergeordneten Handles muss extern synchronisiert werden.

Rückgabecodes

Erfolg

  • XR_SUCCESS

Fehler

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_RUNTIME_FAILURE

Auf Tiefentexturen zugreifen

Die Funktion xrEnumerateDepthSwapchainImagesANDROID ist so definiert:

XrResult xrEnumerateDepthSwapchainImagesANDROID(
    XrDepthSwapchainANDROID                     depthSwapchain,
    uint32_t                                    depthImageCapacityInput,
    uint32_t*                                   depthImageCountOutput,
    XrDepthSwapchainImageANDROID*               depthImages);

Parameterbeschreibungen

  • depthSwapchain ist die XrDepthSwapchainANDROID, aus der Bilder abgerufen werden sollen.
  • depthImageCapacityInput ist die Kapazität des depthImages-Arrays oder 0, um eine Anfrage zum Abrufen der erforderlichen Kapazität anzugeben.
  • depthImageCountOutput ist ein Zeiger auf die Anzahl der geschriebenen depthImages oder ein Zeiger auf die erforderliche Kapazität, falls depthImageCapacityInput nicht ausreicht.
  • depthImages ist ein Zeiger auf ein Array von XrDepthSwapchainImageANDROID-Strukturen. Er kann NULL sein, wenn depthImageCapacityInput 0 ist.
  • Eine detaillierte Beschreibung zum Abrufen der erforderlichen depthImages-Größe finden Sie im Abschnitt Parameter für die Puffergröße.

xrEnumerateDepthSwapchainImagesANDROID füllt ein Array von XrDepthSwapchainImageANDROID-Strukturen. Die Ressourcen müssen konstant und für die Lebensdauer der XrDepthSwapchainANDROID gültig sein. Diese Funktion verhält sich analog zu xrEnumerateSwapchainImages .

Die Laufzeit muss während der Lebensdauer der Swapchain immer identische Pufferinhalte aus dieser Aufzählung zurückgeben.

Gültige Verwendung (implizit)

Rückgabecodes

Erfolg

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Fehler

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_SIZE_INSUFFICIENT
  • XR_ERROR_VALIDATION_FAILURE

Die Struktur XrDepthSwapchainImageANDROID ist so definiert:

typedef struct XrDepthSwapchainImageANDROID {
    XrStructureType    type;
    void*              next;
    const float*       rawDepthImage;
    const uint8_t*     rawDepthConfidenceImage;
    const float*       smoothDepthImage;
    const uint8_t*     smoothDepthConfidenceImage;
} XrDepthSwapchainImageANDROID;

Mitgliederbeschreibungen

  • type ist der XrStructureType dieser Struktur.
  • next ist NULL oder ein Zeiger auf die nächste Struktur in einer Strukturkette. Solche Strukturen sind weder in OpenXR noch in dieser Erweiterung definiert.
  • rawDepthImage ist NULL oder der Zeiger auf die von der Laufzeit zugewiesenen Roh-Tiefenbilder für die linke und rechte Ansicht. Die Werte werden in Metern angegeben. Spezielle Werte: 0.0 gibt ein ungültiges oder leeres Tiefenpixel in der Rohtiefe an, Inf gibt eine bekannte Tiefe an, die effektiv unendlich weit entfernt ist,
  • rawDepthConfidenceImage ist NULL oder der Zeiger auf die von der Laufzeit zugewiesenen Bilder mit der Konfidenz der Roh-Tiefenwerte für die linke und rechte Ansicht.
  • smoothDepthImage ist NULL oder der Zeiger auf geglättete Tiefenbilder für die linke und rechte Ansicht, die von der Laufzeit zugewiesen werden. Die Werte werden in Metern angegeben. Spezielle Werte: 0.0 gibt ein ungültiges oder leeres Tiefenpixel in der geglätteten Tiefe an, Inf gibt eine bekannte Tiefe an, die effektiv unendlich weit entfernt ist.
  • smoothDepthConfidenceImage ist NULL oder der Zeiger auf die von der Laufzeit zugewiesenen Bilder mit geglätteter Tiefenkonfidenz für die linke und rechte Ansicht.

Die Zeiger auf den Bildpuffer sind nur während der Lebensdauer der Swapchain gültig. Sobald die Swapchain gelöscht wurde, gelten die Zeiger als hängend.

XrDepthSwapchainImageANDROID stellt die Tiefenbilder aus einer lesbaren XrDepthSwapchainANDROID dar, die wie in XrDepthSwapchainCreateInfoANDROID :: resolution und XrDepthSwapchainCreateInfoANDROID :: createFlags beschrieben beim Aufruf von xrCreateDepthSwapchainANDROID zugewiesen werden. Für jedes Tiefenbild:

Gültige Verwendung (implizit)

Die Funktion xrAcquireDepthSwapchainImagesANDROID ist so definiert:

XrResult xrAcquireDepthSwapchainImagesANDROID(
    XrDepthSwapchainANDROID                     depthSwapchain,
    const XrDepthAcquireInfoANDROID*            acquireInfo,
    XrDepthAcquireResultANDROID*                acquireResult);

Parameterbeschreibungen

Anwendungen können die Funktion xrAcquireDepthSwapchainImagesANDROID verwenden, um den neuesten verfügbaren Swapchain-Bildindex, d.h. XrDepthAcquireResultANDROID :: acquiredIndex , in das Array XrDepthSwapchainImageANDROID zu übernehmen, das von xrEnumerateDepthSwapchainImagesANDROID aufgezählt wird. Das zurückgegebene XrDepthAcquireResultANDROID enthält auch andere Informationen wie das Sichtfeld und die Position, die für die Interpretation der Tiefendaten erforderlich sind. Es ist sicher, aus dem erworbenen Slot im Bildarray zu lesen, bis der nächste Aufruf von xrAcquireDepthSwapchainImagesANDROID erfolgt.

Es darf nicht mehr als ein Aufruf von xrAcquireDepthSwapchainImagesANDROID zwischen einem Paar entsprechender xrBeginFrame- und xrEndFrame-Aufrufe in einer Sitzung erfolgen.

  • Die Laufzeit kann blockieren, wenn zuvor abgerufene Swapchain-Bilder noch von der Laufzeit verwendet werden.
  • Die Laufzeit muss XR_ERROR_CALL_ORDER_INVALID zurückgeben, wenn xrAcquireDepthSwapchainImagesANDROID vor xrBeginFrame oder nach xrEndFrame aufgerufen wird.
  • Die Laufzeit muss XR_ERROR_LIMIT_REACHED zurückgeben, wenn xrAcquireDepthSwapchainImagesANDROID mehr als einmal pro Frame aufgerufen wird, d.h. in einer laufenden Sitzung nach einem Aufruf von xrBeginFrame, der kein zugehöriges xrEndFrame hatte.
  • Die Laufzeit kann XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID zurückgeben, wenn noch keine Tiefendaten für die Umgebung verfügbar sind. In diesem Fall sollte die Anwendung xrAcquireDepthSwapchainImagesANDROID bei einem späteren Frame noch einmal aufrufen.

Gültige Verwendung (implizit)

Rückgabecodes

Erfolg

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

Fehler

  • XR_ERROR_CALL_ORDER_INVALID
  • XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID
  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_TIME_INVALID
  • XR_ERROR_VALIDATION_FAILURE

Die Struktur XrDepthAcquireInfoANDROID ist so definiert:

typedef struct XrDepthAcquireInfoANDROID {
    XrStructureType    type;
    const void*        next;
    XrSpace            space;
    XrTime             displayTime;
} XrDepthAcquireInfoANDROID;

Mitgliederbeschreibungen

  • type ist der XrStructureType dieser Struktur.
  • next ist NULL oder ein Zeiger auf die nächste Struktur in einer Strukturkette. Solche Strukturen sind weder in OpenXR noch in dieser Erweiterung definiert.
  • space ist ein XrSpace, der den Referenzrahmen der zurückgegebenen Pose in XrDepthAcquireResultANDROID :: views definiert.
  • displayTime ist ein XrTime, der die Zeit angibt, die zur Berechnung der Pose für die zurückgegebene Pose in XrDepthAcquireResultANDROID :: views verwendet wird. Anwendungen sollten die vorhergesagte Anzeigezeit für den aktuellen Frame übergeben.

Gültige Verwendung (implizit)

Die Struktur XrDepthAcquireResultANDROID ist so definiert:

typedef struct XrDepthAcquireResultANDROID {
    XrStructureType       type;
    const void*           next;
    uint32_t              acquiredIndex;
    XrTime                exposureTimestamp;
    XrDepthViewANDROID    views[2];
} XrDepthAcquireResultANDROID;

Mitgliederbeschreibungen

  • type ist der XrStructureType dieser Struktur.
  • next ist NULL oder ein Zeiger auf die nächste Struktur in einer Strukturkette. Solche Strukturen sind weder in OpenXR noch in dieser Erweiterung definiert.
  • acquiredIndex ist der Index der erfassten Textur im XrDepthSwapchainImageANDROID-Array, das von xrEnumerateDepthSwapchainImagesANDROID aufgezählt wird.
  • exposureTimestamp ist der XrTime, der die Zeit angibt, zu der die Tiefenkarte aufgenommen wurde.
  • views ist ein Array mit zwei XrDepthViewANDROID-Objekten, eines für jedes Auge. Index 0 ist das linke Auge und Index 1 das rechte Auge.

Gültige Verwendung (implizit)

Die XrDepthViewANDROID-Struktur ist so definiert:

typedef struct XrDepthViewANDROID {
    XrStructureType    type;
    const void*        next;
    XrFovf             fov;
    XrPosef            pose;
} XrDepthViewANDROID;

Mitgliederbeschreibungen

  • type ist der XrStructureType dieser Struktur.
  • next ist NULL oder ein Zeiger auf die nächste Struktur in einer Strukturkette. Solche Strukturen sind weder in OpenXR noch in dieser Erweiterung definiert.
  • fov ist ein XrFovf, der das Sichtfeld angibt, das zum Generieren dieser Ansicht verwendet wird. Die Ansicht wird weder horizontal noch vertikal gespiegelt.
  • pose ist ein XrPosef, der die Pose angibt, aus der die Tiefenkarte gerendert wurde. Der Referenzrahmen wird in XrDepthAcquireInfoANDROID angegeben.

Gültige Verwendung (implizit)

Beispielcode für das Tiefen-Tracking

Im folgenden Beispielcode wird gezeigt, wie Sie Tiefenbilder abrufen und Tiefenwerte verwenden, um Tiefenbildkoordinaten dem Bühnenbereich zuzuordnen.

XrInstance instance;  // previously initialized
XrSystemId systemId;  // previously initialized
XrSession session; // previously initialized
XrSpace stageSpace; // space created for XR_REFERENCE_SPACE_TYPE_STAGE.

// The function pointers are previously initialized using xrGetInstanceProcAddr.
PFN_xrCreateDepthSwapchainANDROID xrCreateDepthSwapchainANDROID; // previously initialized
PFN_xrDestroyDepthSwapchainANDROID xrDestroyDepthSwapchainANDROID; // previously initialized
PFN_xrEnumerateDepthSwapchainImagesANDROID xrEnumerateDepthSwapchainImagesANDROID; // previously initialized
PFN_xrEnumerateDepthResolutionsANDROID xrEnumerateDepthResolutionsANDROID; // previously initialized
PFN_xrAcquireDepthSwapchainImagesANDROID xrAcquireDepthSwapchainImagesANDROID; // previously initialized

float tanf(float);

// Inspect system capability
XrSystemProperties properties{XR_TYPE_SYSTEM_PROPERTIES};
XrSystemDepthTrackingPropertiesANDROID depthTrackingProperties{XR_TYPE_SYSTEM_DEPTH_TRACKING_PROPERTIES_ANDROID};
properties.next = &depthTrackingProperties;
CHK_XR(xrGetSystemProperties(instance, systemId, &properties));
if (!depthTrackingProperties.supportsDepthTracking) {
  // depth tracking is not supported.
  return;
}

// Query the supported depth resolution.
XrDepthCameraResolutionANDROID supportedDepthResolution;
uint32_t supportedResolutionCount = 0;
CHK_XR(xrEnumerateDepthResolutionsANDROID(
    session, 1, &supportedResolutionCount, &supportedDepthResolution));

// Define metadata to access the raw and smooth depth along with confidences.
XrDepthSwapchainCreateInfoANDROID swapchainCreateInfo = {
  .type = XR_TYPE_DEPTH_SWAPCHAIN_CREATE_INFO_ANDROID,
  .next = nullptr,
  // Use the resolution supported by the runtime.
  .resolution = supportedDepthResolution,
  .createFlags =
    XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_DEPTH_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_SMOOTH_CONFIDENCE_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_RAW_DEPTH_IMAGE_BIT_ANDROID |
    XR_DEPTH_SWAPCHAIN_CREATE_RAW_CONFIDENCE_IMAGE_BIT_ANDROID,
};

XrDepthSwapchainANDROID depthSwapchain;
CHK_XR(xrCreateDepthSwapchainANDROID(
    session, &swapchainCreateInfo, &depthSwapchain));

// Enumerate depth images.
uint32_t imageCountOutput = 0;
CHK_XR(xrEnumerateDepthSwapchainImagesANDROID(
    depthSwapchain, 0, &imageCountOutput, nullptr));
std::vector<XrDepthSwapchainImageANDROID> depthImages(imageCountOutput);
for (int i = 0; i < imageCountOutput; i++) {
  depthImages[i].type = XR_TYPE_DEPTH_SWAPCHAIN_IMAGE_ANDROID;
}
CHK_XR(xrEnumerateDepthSwapchainImagesANDROID(
  depthSwapchain, imageCountOutput, &imageCountOutput, depthImages.data()));

while (1) {
    // ...
    // For every frame in frame loop
    // ...

    XrFrameState frameState;  // previously returned from xrWaitFrame
    const XrTime time = frameState.predictedDisplayTime;

    XrDepthAcquireInfoANDROID acquireInfo = {
        .type = XR_TYPE_DEPTH_ACQUIRE_INFO_ANDROID,
        .space = stageSpace,
        .displayTime = time
    };
    XrDepthAcquireResultANDROID acquireResult = {
        .type = XR_TYPE_DEPTH_ACQUIRE_RESULT_ANDROID,
    };
    CHK_XR(xrAcquireDepthSwapchainImagesANDROID(
        depthSwapchain, &acquireInfo, &acquireResult));

    // Each value in a depth image corresponds to a point in the real world.
    // The sample code below shows how to find the stageSpace position of
    // the point corresponding to a particular value in the depth image.

    // For this sample code, assume we are using a right handed coordinate system
    // with +X to the right, +Y up and -Z forward.

    XrDepthSwapchainImageANDROID *image =
        &depthImages[acquireResult.acquiredIndex];

    // Assume supported resolution is XR_DEPTH_CAMERA_RESOLUTION_160x160_ANDROID.
    const int imageResolution = 160;
    int imageY = 80; // value in [0, imageResolution)
    int imageX = 80; // value in [0, imageResolution)

    // Get depth value from left eye.
    // A right depth value is obtained with the following expression:
    // depthR = image->rawDepthImage[imageResolution*imageResolution+i*imageResolution+j]
    float depthL = image->rawDepthImage[imageY*imageResolution + imageX];
    XrDepthViewANDROID viewL = acquireResult.views[0];

    float tanL = tanf(viewL.fov.angleLeft);
    float tanR = tanf(viewL.fov.angleRight);
    float tanU = tanf(viewL.fov.angleUp);
    float tanD = tanf(viewL.fov.angleDown);

    float s = (imageX + 0.5f) / (float)imageResolution;
    float t = (imageY + 0.5f) / (float)imageResolution;

    // Calculate the depth camera space position of the point
    // corresponding to this depth value.
    XrVector3f posInCameraSpace;
    posInCameraSpace.z = -depthL;
    posInCameraSpace.x = (tanL + (tanR - tanL)*s)*depthL;
    posInCameraSpace.y = (tanD + (tanU - tanD)*t)*depthL;

    XrPosef depthCameraPoseL = viewL.pose;
    // Transform posInCameraSpace by depthCameraPoseL

    // ...
    // Finish frame loop
    // ...
}

Neue Objekttypen

Neue Befehle

Neue Gebäude

Neue Enums

Neue Bitmasken

Neue Enum-Konstanten

  • XR_ANDROID_DEPTH_TEXTURE_EXTENSION_NAME
  • XR_ANDROID_depth_texture_SPEC_VERSION

  • Erweiterung von XrObjectType :

    • XR_OBJECT_TYPE_DEPTH_SWAPCHAIN_ANDROID

  • Erweiterung von XrResult :

    • XR_ERROR_DEPTH_NOT_AVAILABLE_ANDROID

  • Erweiterung von XrStructureType :

    • XR_TYPE_DEPTH_ACQUIRE_INFO_ANDROID
    • XR_TYPE_DEPTH_ACQUIRE_RESULT_ANDROID
    • XR_TYPE_DEPTH_SWAPCHAIN_CREATE_INFO_ANDROID
    • XR_TYPE_DEPTH_SWAPCHAIN_IMAGE_ANDROID
    • XR_TYPE_DEPTH_VIEW_ANDROID
    • XR_TYPE_SYSTEM_DEPTH_TRACKING_PROPERTIES_ANDROID

Probleme

Versionsverlauf

  • Version 1, 09.09.2024 (Levana Chen)

    • Anfängliche Beschreibung der Erweiterung