XR_ANDROID_eye_tracking

이름 문자열

XR_ANDROID_eye_tracking

확장 프로그램 유형

인스턴스 확장

등록된 내선 번호

457

버전

1

비준 상태

비준되지 않음

확장 프로그램 및 버전 종속 항목

OpenXR 1.0

최종 수정일

2025-01-17

IP 상태

알려진 IP 소유권 주장이 없습니다.

도움을 주신 분들

스펜서 퀸, Google
제러드 파인더, Google
레바나 첸, Google
케니 베르카에머, Google
프라산티 구루무르티, Google
니하브 제인, Google

개요

이 확장 프로그램을 사용하면 애플리케이션이 사용자의 눈 위치와 방향, 눈 추적 상태를 가져올 수 있습니다.

눈 추적 데이터는 대략적인 모드와 세부적인 모드라는 두 가지 모드로 제공됩니다. 대략적인 추적은 사용자의 눈을 대략적으로 추정하는 반면, 세부 추적은 더 정확한 추정치를 제공합니다. 대략적인 추적은 기본 아바타와 같은 표현을 제공하려는 애플리케이션을 위한 것이고, 세부 추적은 더 정확한 애플리케이션을 위한 것입니다.

상호작용에는 XR_EXT_eye_gaze_interaction를 사용해야 합니다.

권한

Android 애플리케이션은 매니페스트에 android.permission.EYE_TRACKING_COARSE 또는 android.permission.EYE_TRACKING_FINE 권한이 나열되어 있어야 합니다. 이러한 권한은 위험한 권한으로 간주됩니다. 애플리케이션은 다음 기능을 사용하기 위해 런타임에 권한을 요청해야 합니다.

(보호 수준: 위험)

시스템 기능 검사

XrSystemEyeTrackingPropertiesANDROID 구조체는 다음과 같이 정의됩니다.

typedef struct XrSystemEyeTrackingPropertiesANDROID {
    XrStructureType    type;
    void*              next;
    XrBool32           supportsEyeTracking;
} XrSystemEyeTrackingPropertiesANDROID;

회원 설명

  • type은 이 구조의 XrStructureType입니다.
  • next는 NULL이거나 구조체 체인의 다음 구조체에 대한 포인터입니다. 이러한 구조는 핵심 OpenXR이나 이 확장 프로그램에 정의되어 있지 않습니다.
  • supportsEyeTracking는 현재 시스템이 눈 추적을 지원하는지 여부를 나타내는 XrBool32입니다.

애플리케이션은 xrGetSystemProperties 호출 시 XrSystemEyeTrackingPropertiesANDROID 구조로 XrSystemProperties를 확장하여 시스템이 눈 추적을 지원하는지 검사할 수 있습니다 .

런타임이 supportsEyeTracking에 대해 XR_FALSE를 반환하는 경우에만 런타임은 xrCreateEyeTrackerANDROID에서 XR_ERROR_FEATURE_UNSUPPORTED를 반환해야 합니다 .

유효한 사용 (암시적)

시선 추적기 핸들 만들기

XR_DEFINE_HANDLE(XrEyeTrackerANDROID)

XrEyeTrackerANDROID 핸들은 눈을 추적하고 사용자가 보고 있는 위치를 정확하게 매핑하는 시선 추적기를 나타냅니다.

눈 추적 데이터는 민감한 개인 정보이며 개인 정보 보호 및 무결성과 밀접하게 관련되어 있습니다. 눈 추적 데이터를 저장하거나 전송하는 애플리케이션은 항상 사용자에게 이를 허용하는 적극적이고 구체적인 동의를 요청하는 것이 좋습니다.

애플리케이션은 이 핸들을 사용하여 이 확장 프로그램의 다른 함수를 통해 눈 추적 데이터에 액세스합니다.

눈 추적은 장면에서 눈 자세와 상태 표현을 제공합니다.

xrCreateEyeTrackerANDROID 함수는 다음과 같이 정의됩니다.

XrResult xrCreateEyeTrackerANDROID(
    XrSession                                   session,
    const XrEyeTrackerCreateInfoANDROID*        createInfo,
    XrEyeTrackerANDROID*                        eyeTracker);

매개변수 설명

애플리케이션은 xrCreateEyeTrackerANDROID 함수를 사용하여 XrEyeTrackerANDROID 핸들을 만듭니다.

시스템이 눈 추적을 지원하지 않으면 런타임은 xrCreateEyeTrackerANDROID에서 XR_ERROR_FEATURE_UNSUPPORTED를 반환해야 합니다 .

유효한 사용 (암시적)

반환 코드

성공

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

실패

  • XR_ERROR_FEATURE_UNSUPPORTED
  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_OUT_OF_MEMORY
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_VALIDATION_FAILURE

XrEyeTrackerCreateInfoANDROID 구조체는 다음과 같이 정의됩니다.

typedef struct XrEyeTrackerCreateInfoANDROID {
    XrStructureType    type;
    const void*        next;
} XrEyeTrackerCreateInfoANDROID;

회원 설명

  • type은 이 구조의 XrStructureType입니다.
  • next는 NULL이거나 구조체 체인의 다음 구조체에 대한 포인터입니다. 이러한 구조는 핵심 OpenXR이나 이 확장 프로그램에 정의되어 있지 않습니다.

XrEyeTrackerCreateInfoANDROID 구조체는 XrEyeTrackerANDROID 핸들을 만드는 정보를 설명합니다.

유효한 사용 (암시적)

  • XrEyeTrackerCreateInfoANDROID를 사용하기 전에 XR_ANDROID_eye_tracking 확장 프로그램을 사용 설정해야 합니다.
  • type은 XR_TYPE_EYE_TRACKER_CREATE_INFO_ANDROID이어야 합니다.
  • next은 NULL이거나 구조 체인의 다음 구조를 가리키는 유효한 포인터여야 합니다.

xrDestroyEyeTrackerANDROID 함수는 다음과 같이 정의됩니다.

XrResult xrDestroyEyeTrackerANDROID(
    XrEyeTrackerANDROID                         eyeTracker);

매개변수 설명

xrDestroyEyeTrackerANDROID 함수는 눈 추적 환경이 완료되면 eyeTracker 및 기본 리소스를 해제합니다.

유효한 사용 (암시적)

스레드 안전

  • eyeTracker 및 모든 하위 핸들에 대한 액세스는 외부에서 동기화해야 합니다.

반환 코드

성공

  • XR_SUCCESS

실패

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID

눈 정보 가져오기

xrGetCoarseTrackingEyesInfoANDROID 함수는 다음과 같이 정의됩니다.

XrResult xrGetCoarseTrackingEyesInfoANDROID(
    XrEyeTrackerANDROID                         eyeTracker,
    const XrEyesGetInfoANDROID*                 getInfo,
    XrEyesANDROID*                              eyesOutput);

매개변수 설명

xrGetCoarseTrackingEyesInfoANDROID 함수는 사용자 개인 정보를 보호하는 방식으로 시선 상태와 포즈에 관한 정보를 가져옵니다.

런타임은 애플리케이션에 android.permission.EYE_TRACKING_COARSE 권한이 없는 경우 XR_ERROR_PERMISSION_INSUFFICIENT를 반환해야 합니다.

눈 포즈는 XrEyesGetInfoANDROID :: baseSpace에서 XrEyesGetInfoANDROID :: time로 표현됩니다 .

언제든지 시선 포즈의 위치와 방향이 추적되거나 추적되지 않습니다. 즉 , 런타임은 제공된 XrEyesANDROID :: eyes에서 XR_SPACE_LOCATION_POSITION_TRACKED_BIT와 XR_SPACE_LOCATION_ORIENTATION_TRACKED_BIT를 모두 설정하거나 XR_SPACE_LOCATION_POSITION_TRACKED_BIT와 XR_SPACE_LOCATION_ORIENTATION_TRACKED_BIT를 모두 지워야 하고(must) XrEyesANDROID :: mode를 설정하여 추적 상태를 나타내야 합니다.

유효한 사용 (암시적)

반환 코드

성공

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

실패

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_OUT_OF_MEMORY
  • XR_ERROR_PERMISSION_INSUFFICIENT
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_TIME_INVALID
  • XR_ERROR_VALIDATION_FAILURE

xrGetFineTrackingEyesInfoANDROID 함수는 다음과 같이 정의됩니다.

XrResult xrGetFineTrackingEyesInfoANDROID(
    XrEyeTrackerANDROID                         eyeTracker,
    const XrEyesGetInfoANDROID*                 getInfo,
    XrEyesANDROID*                              eyesOutput);

매개변수 설명

xrGetFineTrackingEyesInfoANDROID 함수는 xrGetCoarseTrackingEyesInfoANDROID보다 정밀도가 높은 시선 상태 및 포즈 정보를 가져옵니다 .

런타임은 애플리케이션에 android.permission.EYE_TRACKING_FINE 권한이 없는 경우 XR_ERROR_PERMISSION_INSUFFICIENT를 반환해야 합니다.

눈 정보는 XrEyesGetInfoANDROID :: time , XrEyesGetInfoANDROID :: baseSpace를 사용하여 xrGetFineTrackingEyesInfoANDROID 호출 시 기본 공간을 기준으로 확인됩니다 . 런타임은 호출 시 XrEyesGetInfoANDROID :: baseSpace로 정의된 위치를 확인해야 합니다.

언제든지 시선 포즈의 위치와 방향이 추적되거나 추적되지 않습니다. 즉 , 런타임은 제공된 XrEyesANDROID :: eyes에서 XR_SPACE_LOCATION_POSITION_TRACKED_BIT와 XR_SPACE_LOCATION_ORIENTATION_TRACKED_BIT를 모두 설정하거나 XR_SPACE_LOCATION_POSITION_TRACKED_BIT와 XR_SPACE_LOCATION_ORIENTATION_TRACKED_BIT를 모두 지워야 하고(must) XrEyesANDROID :: mode를 설정하여 추적 상태를 나타내야 합니다.

유효한 사용 (암시적)

반환 코드

성공

  • XR_SUCCESS
  • XR_SESSION_LOSS_PENDING

실패

  • XR_ERROR_FUNCTION_UNSUPPORTED
  • XR_ERROR_HANDLE_INVALID
  • XR_ERROR_INSTANCE_LOST
  • XR_ERROR_LIMIT_REACHED
  • XR_ERROR_OUT_OF_MEMORY
  • XR_ERROR_PERMISSION_INSUFFICIENT
  • XR_ERROR_RUNTIME_FAILURE
  • XR_ERROR_SESSION_LOST
  • XR_ERROR_TIME_INVALID
  • XR_ERROR_VALIDATION_FAILURE

XrEyesGetInfoANDROID 구조에는 시선 포즈와 상태를 가져오는 데 필요한 정보가 포함되어 있습니다.

typedef struct XrEyesGetInfoANDROID {
    XrStructureType    type;
    const void*        next;
    XrTime             time;
    XrSpace            baseSpace;
} XrEyesGetInfoANDROID;

회원 설명

  • type은 이 구조의 XrStructureType입니다.
  • next는 NULL이거나 구조체 체인의 다음 구조체에 대한 포인터입니다. 이러한 구조는 핵심 OpenXR이나 이 확장 프로그램에 정의되어 있지 않습니다.
  • time은 baseSpace을 기준으로 좌표를 평가할 XrTime입니다 .
  • baseSpace는 time에서 눈 포즈가 상대적인 XrSpace입니다 .

유효한 사용 (암시적)

  • XrEyesGetInfoANDROID를 사용하기 전에 XR_ANDROID_eye_tracking 확장 프로그램을 사용 설정해야 합니다.
  • type은 XR_TYPE_EYES_GET_INFO_ANDROID이어야 합니다.
  • next은 NULL이거나 구조 체인의 다음 구조를 가리키는 유효한 포인터여야 합니다.
  • baseSpace은 유효한 XrSpace 핸들이어야 합니다(must).

XrEyesANDROID 구조에는 추적된 눈에 관한 정보가 포함됩니다.

typedef struct XrEyesANDROID {
    XrStructureType             type;
    void*                       next;
    XrEyeANDROID                eyes[XR_EYE_MAX_ANDROID];
    XrEyeTrackingModeANDROID    mode;
} XrEyesANDROID;

회원 설명

  • type은 이 구조의 XrStructureType입니다.
  • next는 NULL이거나 구조체 체인의 다음 구조체에 대한 포인터입니다. 이러한 구조는 핵심 OpenXR이나 이 확장 프로그램에 정의되어 있지 않습니다.
  • eyes는 XrEyeIndexANDROID로 색인이 지정된 왼쪽 및 오른쪽 눈의 크기가 XR_EYE_MAX_ANDROID인 XrEyeANDROID 배열입니다 .
  • mode는 현재 추적 중인 눈을 나타내는 XrEyeTrackingModeANDROID입니다.

유효한 사용 (암시적)

  • XrEyesANDROID를 사용하기 전에 XR_ANDROID_eye_tracking 확장 프로그램을 사용 설정해야 합니다.
  • type은 XR_TYPE_EYES_ANDROID이어야 합니다.
  • next은 NULL이거나 구조 체인의 다음 구조를 가리키는 유효한 포인터여야 합니다.
  • eyes의 모든 요소는 유효한 XrEyeANDROID 구조여야 합니다.
  • mode은(는) 유효한 XrEyeTrackingModeANDROID 값이어야 must 합니다.

XrEyeANDROID 구조체는 눈의 상태, 위치, 방향을 설명합니다.

typedef struct XrEyeANDROID {
    XrEyeStateANDROID    eyeState;
    XrPosef              eyePose;
} XrEyeANDROID;

회원 설명

  • eyeState는 눈의 XrEyeStateANDROID입니다.
  • eyePose는 해당 XrEyesGetInfoANDROID :: baseSpace의 참조 프레임 내에서 눈의 동공 위치와 방향을 정의하는 XrPosef입니다 . 여기서 ID 방향은 +Z가 사용자의 눈을 향하고 +X가 오른쪽을 향하며 +Y가 위쪽을 향하는 좌표축을 나타냅니다.

유효한 사용 (암시적)

  • XrEyeANDROID를 사용하기 전에 XR_ANDROID_eye_tracking 확장 프로그램을 사용 설정해야 합니다.
  • eyeState은(는) 유효한 XrEyeStateANDROID 값이어야 합니다.

XrEyeStateANDROID 열거형은 추적된 눈의 다양한 상태를 식별합니다.

typedef enum XrEyeStateANDROID {
    XR_EYE_STATE_INVALID_ANDROID = 0,
    XR_EYE_STATE_GAZING_ANDROID = 1,
    XR_EYE_STATE_SHUT_ANDROID = 2,
    XR_EYE_STATE_MAX_ENUM_ANDROID = 0x7FFFFFFF
} XrEyeStateANDROID;

열거형은 다음과 같은 의미를 갖습니다.

열거형 설명

XR_EYE_STATE_INVALID_ANDROID

눈이 오류 상태이거나 존재하지 않음을 나타냅니다.

XR_EYE_STATE_GAZING_ANDROID

눈이 현재 응시하고 있음을 나타냅니다.

XR_EYE_STATE_SHUT_ANDROID

눈이 윙크 또는 깜박임으로 인해 현재 감겨 있음을 나타냅니다.

XrEyeIndexANDROID 열거형은 왼쪽 또는 오른쪽 눈의 색인을 식별합니다.

typedef enum XrEyeIndexANDROID {
    XR_EYE_INDEX_LEFT_ANDROID = 0,
    XR_EYE_INDEX_RIGHT_ANDROID = 1,
    XR_EYE_INDEX_MAX_ENUM_ANDROID = 0x7FFFFFFF
} XrEyeIndexANDROID;

열거형은 다음과 같은 의미를 갖습니다.

열거형 설명

XR_EYE_INDEX_LEFT_ANDROID

왼쪽 눈입니다.

XR_EYE_INDEX_RIGHT_ANDROID

오른쪽 눈입니다.

XrEyeTrackingModeANDROID 열거형은 추적된 눈의 다양한 상태를 식별합니다.

typedef enum XrEyeTrackingModeANDROID {
    XR_EYE_TRACKING_MODE_NOT_TRACKING_ANDROID = 0,
    XR_EYE_TRACKING_MODE_RIGHT_ANDROID = 1,
    XR_EYE_TRACKING_MODE_LEFT_ANDROID = 2,
    XR_EYE_TRACKING_MODE_BOTH_ANDROID = 3,
    XR_EYE_TRACKING_MODE_MAX_ENUM_ANDROID = 0x7FFFFFFF
} XrEyeTrackingModeANDROID;

열거형은 다음과 같은 의미를 갖습니다.

열거형 설명

XR_EYE_TRACKING_MODE_NOT_TRACKING_ANDROID

눈 추적이 현재 활성화되어 있지 않음을 나타냅니다.

XR_EYE_TRACKING_MODE_RIGHT_ANDROID

오른쪽 눈만 추적 중임을 나타냅니다.

XR_EYE_TRACKING_MODE_LEFT_ANDROID

왼쪽 눈만 추적하고 있음을 나타냅니다.

XR_EYE_TRACKING_MODE_BOTH_ANDROID

왼쪽 눈과 오른쪽 눈이 모두 추적되고 있음을 나타냅니다.

눈 추적 예시 코드

다음 예시 코드는 뷰 공간과 관련된 눈 정보를 가져오는 방법을 보여줍니다.

XrSession session; // previously initialized, e.g. created at app startup.
XrSpace viewSpace; // space created for XR_REFERENCE_SPACE_TYPE_VIEW.

// The function pointers are previously initialized using xrGetInstanceProcAddr.
PFN_xrCreateEyeTrackerANDROID xrCreateEyeTrackerANDROID; // previously initialized
PFN_xrDestroyEyeTrackerANDROID xrDestroyEyeTrackerANDROID; // previously initialized
PFN_xrGetCoarseTrackingEyesInfoANDROID xrGetCoarseTrackingEyesInfoANDROID; // previously initialized
PFN_xrGetFineTrackingEyesInfoANDROID xrGetFineTrackingEyesInfoANDROID; // previously initialized

// This will use the XrSession that is bound to the eye tracker done at time of creation.
XrEyeTrackerANDROID eyeTracker;
XrEyeTrackerCreateInfoANDROID createInfo{
    .type = XR_TYPE_EYE_TRACKER_CREATE_INFO_ANDROID,
    .next = nullptr};
CHK_XR(xrCreateEyeTrackerANDROID(session, &createInfo, &eyeTracker));

while (1) {
    // ...
    // For every frame in frame loop
    // ...

    XrFrameState frameState;  // previously returned from xrWaitFrame
    const XrTime time = frameState.predictedDisplayTime;
    XrEyesANDROID fineEyesInfo{.type = XR_TYPE_EYES_ANDROID,
                               .next = nullptr,
                               .mode = XR_EYE_TRACKING_MODE_BOTH_ANDROID};
    XrEyesANDROID coarseEyesInfo{.type = XR_TYPE_EYES_ANDROID,
                                 .next = nullptr,
                                 .mode = XR_EYE_TRACKING_MODE_BOTH_ANDROID};
    XrEyesGetInfoANDROID eyesGetInfo{.type = XR_TYPE_EYES_GET_INFO_ANDROID,
                                     .next = nullptr,
                                     .time = time,
                                     .baseSpace = viewSpace};
    CHK_XR(xrGetCoarseTrackingEyesInfoANDROID(eyeTracker, &eyesGetInfo, &coarseEyesInfo));
    CHK_XR(xrGetFineTrackingEyesInfoANDROID(eyeTracker, &eyesGetInfo, &fineEyesInfo));

    // eyes tracking information is now available:
    // drawLeftEye(eyesInfo.eyes[XR_EYE_INDEX_LEFT_ANDROID].eyePose);
    // drawRightEye(eyesInfo.eyes[XR_EYE_INDEX_RIGHT_ANDROID].eyePose);

    // ...
    // Finish frame loop
    // ...
}

// after usage
CHK_XR(xrDestroyEyeTrackerANDROID(eyeTracker));

새 객체 유형

새 명령어

새 구조

새 열거형

새 열거형 상수

  • XR_ANDROID_EYE_TRACKING_EXTENSION_NAME
  • XR_ANDROID_eye_tracking_SPEC_VERSION
  • XR_EYE_MAX_ANDROID

  • XrObjectType 확장 :

    • XR_OBJECT_TYPE_EYE_TRACKER_ANDROID

  • XrStructureType 확장 :

    • XR_TYPE_EYES_ANDROID
    • XR_TYPE_EYES_GET_INFO_ANDROID
    • XR_TYPE_EYE_TRACKER_CREATE_INFO_ANDROID
    • XR_TYPE_SYSTEM_EYE_TRACKING_PROPERTIES_ANDROID

문제

버전 기록

  • 버전 1, 2025년 1월 17일 (케니 베르카에머)

    • 초기 확장 프로그램 설명