Android XR SDK 现已推出开发者预览版。我们期望收到您的反馈！请访问我们的支持页面与我们联系。

此页面由 Cloud Translation API 翻译。

XR_ANDROID_face_tracking OpenXR 扩展

名称字符串

XR_ANDROID_face_tracking

扩展程序类型

实例扩展

已注册的扩展号码

459

修订版本

扩展程序和版本依赖项

OpenXR 1.0

上次修改日期

2024-09-06

IP 状态

没有已知的 IP 版权主张。

创作贡献者

Spencer Quin，Google

Jared Finder，Google

Levana Chen，Google

概览

借助此扩展程序，应用可以在 XR 体验中获取混合形状的权重并渲染面部表情。

此扩展程序旨在提供创建逼真的头像以及在虚拟空间中生动呈现用户所需的信息。应用可以在获取混合形状的权重之前检查面部校准激活情况。

面部跟踪器

面部跟踪器是一种感知设备，可通过面向用户的图像流和摄像头校准来跟踪面部表情。此扩展程序的主要用途是在虚拟场景中将用户的面部表情映射到其头像。

人脸跟踪数据属于敏感个人信息，与个人隐私和人身完整性密切相关。强烈建议存储或传输人脸跟踪数据的应用始终征求用户的积极且明确的同意。

在应用创建有效的面部追踪器时，系统会向应用发送 XR_ERROR_PERMISSION_INSUFFICIENT，直到应用获得对面部追踪器的访问权限。
使用 xrGetFaceStateANDROID 获取人脸状态时，除非已允许应用访问，否则 XrFaceStateANDROID::isValid 不会返回 XR_TRUE

创建人脸跟踪器句柄

XR_DEFINE_HANDLE(XrFaceTrackerANDROID)

XrFaceTrackerANDROID 句柄表示用于人脸跟踪的人脸跟踪器。

您可以使用此扩展程序中的其他函数通过此句柄访问人脸跟踪数据。

xrCreateFaceTrackerANDROID 函数的定义如下：

XrResult xrCreateFaceTrackerANDROID(
    XrSession                                   session,
    const XrFaceTrackerCreateInfoANDROID*       createInfo,
    XrFaceTrackerANDROID*                       faceTracker);

参数说明

session 是一个 XrSession 句柄，其中包含处于活动状态的面部跟踪器。
createInfo 是用于指定人脸跟踪器的 XrFaceTrackerCreateInfoANDROID。
faceTracker 是返回的 XrFaceTrackerANDROID 句柄。

应用可以使用 xrCreateFaceTrackerANDROID 函数创建 XrFaceTrackerANDROID 句柄。

如果系统不支持人脸跟踪，xrCreateFaceTrackerANDROID 将返回 XR_ERROR_FEATURE_UNSUPPORTED。

有效用法（隐式）

必须先启用 XR_ANDROID_face_tracking 扩展程序，然后才能调用 xrCreateFaceTrackerANDROID
session 必须是有效的 XrSession 句柄
createInfo 必须是指向有效 XrFaceTrackerCreateInfoANDROID 结构的指针
faceTracker 必须是指向 XrFaceTrackerANDROID 句柄的指针

返回代码

成功

XR_SUCCESS
XR_SESSION_LOSS_PENDING

失败

XR_ERROR_FUNCTION_UNSUPPORTED
XR_ERROR_VALIDATION_FAILURE
XR_ERROR_RUNTIME_FAILURE
XR_ERROR_HANDLE_INVALID
XR_ERROR_INSTANCE_LOST
XR_ERROR_SESSION_LOST
XR_ERROR_OUT_OF_MEMORY
XR_ERROR_LIMIT_REACHED

XrFaceTrackerCreateInfoANDROID 结构如下所述：

typedef struct XrFaceTrackerCreateInfoANDROID {
    XrStructureType    type;
    void*              next;
} XrFaceTrackerCreateInfoANDROID;

成员说明

type 是此结构的 XrStructureType。
next 是 NULL 或指向结构链中下一个结构的指针。核心 OpenXR 或此扩展中未定义任何此类结构。

XrFaceTrackerCreateInfoANDROID 结构描述了创建 XrFaceTrackerANDROID 句柄的信息。

有效用法（隐式）

必须先启用 XR_ANDROID_face_tracking 扩展程序，然后才能使用 XrFaceTrackerCreateInfoANDROID
type 必须为 XR_TYPE_FACE_TRACKER_CREATE_INFO_ANDROID
next 必须为 NULL，或指向结构链中的下一个结构的有效指针

xrDestroyFaceTrackerANDROID 函数的定义如下：

XrResult xrDestroyFaceTrackerANDROID(
    XrFaceTrackerANDROID                        faceTracker);

参数说明

faceTracker 是之前通过 xrCreateFaceTrackerANDROID 创建的 XrFaceTrackerANDROID。

xrDestroyFaceTrackerANDROID 函数会在人脸跟踪体验结束时释放 faceTracker 和底层资源。

有效用法（隐式）

必须先启用 XR_ANDROID_face_tracking 扩展程序，然后才能调用 xrDestroyFaceTrackerANDROID
faceTracker 必须是有效的 XrFaceTrackerANDROID 句柄

线程安全

对 faceTracker 和任何子句柄的访问必须在外部进行同步

返回代码

成功

XR_SUCCESS

失败

XR_ERROR_FUNCTION_UNSUPPORTED
XR_ERROR_HANDLE_INVALID

检查表盘校准

xrGetFaceCalibrationStateANDROID 函数的定义如下：

XrResult xrGetFaceCalibrationStateANDROID(
    XrFaceTrackerANDROID                        faceTracker,
    XrBool32*                                   faceIsCalibratedOutput);

参数说明

faceTracker 是之前通过 xrCreateFaceTrackerANDROID 创建的 XrFaceTrackerANDROID。
faceIsCalibratedOutput 指示人脸追踪器是否已校准。

应用可以使用 xrGetFaceCalibrationStateANDROID 函数检查人脸校准状态。

如果系统不支持人脸校准，xrGetFaceCalibrationStateANDROID 将返回 XR_ERROR_FEATURE_UNSUPPORTED。否则，faceIsCalibratedOutput 可能会设为 XR_TRUE 以反映表盘校准状态。

有效用法（隐式）

必须先启用 XR_ANDROID_face_tracking 扩展程序，然后才能调用 xrGetFaceCalibrationStateANDROID
faceTracker 必须是有效的 XrFaceTrackerANDROID 句柄
faceIsCalibratedOutput 必须是指向 XrBool32 值的指针

返回代码

成功

XR_SUCCESS
XR_SESSION_LOSS_PENDING

失败

XR_ERROR_FUNCTION_UNSUPPORTED
XR_ERROR_VALIDATION_FAILURE
XR_ERROR_RUNTIME_FAILURE
XR_ERROR_HANDLE_INVALID
XR_ERROR_INSTANCE_LOST
XR_ERROR_SESSION_LOST
XR_ERROR_OUT_OF_MEMORY
XR_ERROR_LIMIT_REACHED

获取面部表情

xrGetFaceStateANDROID 函数会返回给定时间的面部表情的混合形状。

XrResult xrGetFaceStateANDROID(
    XrFaceTrackerANDROID                        faceTracker,
    const XrFaceStateGetInfoANDROID*            getInfo,
    XrFaceStateANDROID*                         faceStateOutput);

参数说明

faceTracker 是之前通过 xrCreateFaceTrackerANDROID 创建的 XrFaceTrackerANDROID。
getInfo 是指向 XrFaceStateGetInfoANDROID 的指针，用于描述用于获取面部表情的信息。
faceStateOutput 是指向 XrFaceStateANDROID 的指针，用于接收返回的面部跟踪状态和面部表情。

有效用法（隐式）

必须先启用 XR_ANDROID_face_tracking 扩展程序，然后才能调用 xrGetFaceStateANDROID
faceTracker 必须是有效的 XrFaceTrackerANDROID 句柄
getInfo 必须是指向有效 XrFaceStateGetInfoANDROID 结构的指针
faceStateOutput 必须是指向 XrFaceStateANDROID 结构的指针

返回代码

成功

XR_SUCCESS
XR_SESSION_LOSS_PENDING

失败

XR_ERROR_FUNCTION_UNSUPPORTED
XR_ERROR_VALIDATION_FAILURE
XR_ERROR_RUNTIME_FAILURE
XR_ERROR_HANDLE_INVALID
XR_ERROR_INSTANCE_LOST
XR_ERROR_SESSION_LOST
XR_ERROR_OUT_OF_MEMORY
XR_ERROR_LIMIT_REACHED
XR_ERROR_TIME_INVALID

XrFaceStateGetInfoANDROID 结构描述了用于获取面部表情的信息。

typedef struct XrFaceStateGetInfoANDROID {
    XrStructureType    type;
    void*              next;
    XrTime             time;
} XrFaceStateGetInfoANDROID;

成员说明

type 是此结构的 XrStructureType。
next 是 NULL 或指向结构链中下一个结构的指针。核心 OpenXR 或此扩展中未定义任何此类结构。
time 是请求面部表情的 XrTime。

应用应请求等于所渲染帧的预测显示时间的时间。

有效用法（隐式）

必须先启用 XR_ANDROID_face_tracking 扩展程序，然后才能使用 XrFaceStateGetInfoANDROID
type 必须为 XR_TYPE_FACE_STATE_GET_INFO_ANDROID
next 必须为 NULL，或指向结构链中的下一个结构的有效指针

XrFaceStateANDROID 结构会返回面部跟踪状态和面部表情。

typedef struct XrFaceStateANDROID {
    XrStructureType               type;
    void*                         next;
    uint32_t                      parametersCapacityInput;
    uint32_t                      parametersCountOutput;
    float*                        parameters;
    XrFaceTrackingStateANDROID    faceTrackingState;
    XrTime                        sampleTime;
    XrBool32                      isValid;
} XrFaceStateANDROID;

成员说明

type 是此结构的 XrStructureType。
next 是 NULL 或指向结构链中下一个结构的指针。核心 OpenXR 或此扩展中未定义任何此类结构。
parametersCapacityInput 是一个 uint32_t，用于描述 parameters 数组的容量；如果为 0，则表示请求检索所需的容量。
parametersCountOutput 是一个 uint32_t，用于描述 parameters 的数量，或者在 parametersCapacityInput 不足时所需的容量。
parameters 是指向应用分配的 float 数组的指针，该数组将填充面部表情混合形状的权重。
faceTrackingState 是人脸跟踪有效性状态的 XrFaceTrackingStateANDROID。
sampleTime 是返回的表达式被跟踪或外推到的 XrTime 时间。如果当时的外推成功，则等于请求表达式权重的时间。
isValid 用于指明数据是否有效，即使数据不是来自当前帧也是如此。
如需详细了解如何检索所需的 parameters 大小，请参阅缓冲区大小参数部分。

应用可以将 parametersCapacityInput 设置为 XR_FACE_PARAMETER_COUNT_ANDROID，以获取由 XrFaceParameterIndicesANDROID 编入索引的面部表情。

返回的 parameters 表示当前面部表情的混合形状的权重。

parameters 数组更新将按顺序进行，以便应用可以使用相应的面部表情枚举（例如 XrFaceParameterIndicesANDROID）为元素编入索引。

有效用法（隐式）

必须先启用 XR_ANDROID_face_tracking 扩展程序，然后才能使用 XrFaceStateANDROID
type 必须为 XR_TYPE_FACE_STATE_ANDROID
next 必须为 NULL，或指向结构链中的下一个结构的有效指针
如果 parametersCapacityInput 不是 0, parameters，则必须是指向 parametersCapacityInput float 值数组的指针
faceTrackingState 必须是有效的 XrFaceTrackingStateANDROID 值

XrFaceTrackingStateANDROID 枚举用于标识面部跟踪器的不同状态。

typedef enum XrFaceTrackingStateANDROID {
    XR_FACE_TRACKING_STATE_PAUSED_ANDROID = 0,
    XR_FACE_TRACKING_STATE_STOPPED_ANDROID = 1,
    XR_FACE_TRACKING_STATE_TRACKING_ANDROID = 2
} XrFaceTrackingStateANDROID;

枚举的含义如下：

枚举	说明
`XR_FACE_TRACKING_STATE_PAUSED_ANDROID`	表示人脸跟踪已暂停，但未来可能会恢复。
`XR_FACE_TRACKING_STATE_STOPPED_ANDROID`	跟踪已停止，但客户端仍有有效的面部跟踪器。
`XR_FACE_TRACKING_STATE_TRACKING_ANDROID`	系统会跟踪面部，并显示其当前姿势。

混合形状的惯例

此扩展通过 XR_FACE_PARAMETER_COUNT_ANDROID 为经过缩减的 G-Nome 格式定义了 63 种混合形状。此枚举中的每个参数都是混合形状数组中的索引，其值的类型为 float，并且运行时会将其归一化为 1 - 0。

typedef enum XrFaceParameterIndicesANDROID {
    XR_FACE_PARAMETER_INDICES_BROW_LOWERER_L_ANDROID = 0,
    XR_FACE_PARAMETER_INDICES_BROW_LOWERER_R_ANDROID = 1,
    XR_FACE_PARAMETER_INDICES_CHEEK_PUFF_L_ANDROID = 2,
    XR_FACE_PARAMETER_INDICES_CHEEK_PUFF_R_ANDROID = 3,
    XR_FACE_PARAMETER_INDICES_CHEEK_RAISER_L_ANDROID = 4,
    XR_FACE_PARAMETER_INDICES_CHEEK_RAISER_R_ANDROID = 5,
    XR_FACE_PARAMETER_INDICES_CHEEK_SUCK_L_ANDROID = 6,
    XR_FACE_PARAMETER_INDICES_CHEEK_SUCK_R_ANDROID = 7,
    XR_FACE_PARAMETER_INDICES_CHIN_RAISER_B_ANDROID = 8,
    XR_FACE_PARAMETER_INDICES_CHIN_RAISER_T_ANDROID = 9,
    XR_FACE_PARAMETER_INDICES_DIMPLER_L_ANDROID = 10,
    XR_FACE_PARAMETER_INDICES_DIMPLER_R_ANDROID = 11,
    XR_FACE_PARAMETER_INDICES_EYES_CLOSED_L_ANDROID = 12,
    XR_FACE_PARAMETER_INDICES_EYES_CLOSED_R_ANDROID = 13,
    XR_FACE_PARAMETER_INDICES_EYES_LOOK_DOWN_L_ANDROID = 14,
    XR_FACE_PARAMETER_INDICES_EYES_LOOK_DOWN_R_ANDROID = 15,
    XR_FACE_PARAMETER_INDICES_EYES_LOOK_LEFT_L_ANDROID = 16,
    XR_FACE_PARAMETER_INDICES_EYES_LOOK_LEFT_R_ANDROID = 17,
    XR_FACE_PARAMETER_INDICES_EYES_LOOK_RIGHT_L_ANDROID = 18,
    XR_FACE_PARAMETER_INDICES_EYES_LOOK_RIGHT_R_ANDROID = 19,
    XR_FACE_PARAMETER_INDICES_EYES_LOOK_UP_L_ANDROID = 20,
    XR_FACE_PARAMETER_INDICES_EYES_LOOK_UP_R_ANDROID = 21,
    XR_FACE_PARAMETER_INDICES_INNER_BROW_RAISER_L_ANDROID = 22,
    XR_FACE_PARAMETER_INDICES_INNER_BROW_RAISER_R_ANDROID = 23,
    XR_FACE_PARAMETER_INDICES_JAW_DROP_ANDROID = 24,
    XR_FACE_PARAMETER_INDICES_JAW_SIDEWAYS_LEFT_ANDROID = 25,
    XR_FACE_PARAMETER_INDICES_JAW_SIDEWAYS_RIGHT_ANDROID = 26,
    XR_FACE_PARAMETER_INDICES_JAW_THRUST_ANDROID = 27,
    XR_FACE_PARAMETER_INDICES_LID_TIGHTENER_L_ANDROID = 28,
    XR_FACE_PARAMETER_INDICES_LID_TIGHTENER_R_ANDROID = 29,
    XR_FACE_PARAMETER_INDICES_LIP_CORNER_DEPRESSOR_L_ANDROID = 30,
    XR_FACE_PARAMETER_INDICES_LIP_CORNER_DEPRESSOR_R_ANDROID = 31,
    XR_FACE_PARAMETER_INDICES_LIP_CORNER_PULLER_L_ANDROID = 32,
    XR_FACE_PARAMETER_INDICES_LIP_CORNER_PULLER_R_ANDROID = 33,
    XR_FACE_PARAMETER_INDICES_LIP_FUNNELER_LB_ANDROID = 34,
    XR_FACE_PARAMETER_INDICES_LIP_FUNNELER_LT_ANDROID = 35,
    XR_FACE_PARAMETER_INDICES_LIP_FUNNELER_RB_ANDROID = 36,
    XR_FACE_PARAMETER_INDICES_LIP_FUNNELER_RT_ANDROID = 37,
    XR_FACE_PARAMETER_INDICES_LIP_PRESSOR_L_ANDROID = 38,
    XR_FACE_PARAMETER_INDICES_LIP_PRESSOR_R_ANDROID = 39,
    XR_FACE_PARAMETER_INDICES_LIP_PUCKER_L_ANDROID = 40,
    XR_FACE_PARAMETER_INDICES_LIP_PUCKER_R_ANDROID = 41,
    XR_FACE_PARAMETER_INDICES_LIP_STRETCHER_L_ANDROID = 42,
    XR_FACE_PARAMETER_INDICES_LIP_STRETCHER_R_ANDROID = 43,
    XR_FACE_PARAMETER_INDICES_LIP_SUCK_LB_ANDROID = 44,
    XR_FACE_PARAMETER_INDICES_LIP_SUCK_LT_ANDROID = 45,
    XR_FACE_PARAMETER_INDICES_LIP_SUCK_RB_ANDROID = 46,
    XR_FACE_PARAMETER_INDICES_LIP_SUCK_RT_ANDROID = 47,
    XR_FACE_PARAMETER_INDICES_LIP_TIGHTENER_L_ANDROID = 48,
    XR_FACE_PARAMETER_INDICES_LIP_TIGHTENER_R_ANDROID = 49,
    XR_FACE_PARAMETER_INDICES_LIPS_TOWARD_ANDROID = 50,
    XR_FACE_PARAMETER_INDICES_LOWER_LIP_DEPRESSOR_L_ANDROID = 51,
    XR_FACE_PARAMETER_INDICES_LOWER_LIP_DEPRESSOR_R_ANDROID = 52,
    XR_FACE_PARAMETER_INDICES_MOUTH_LEFT_ANDROID = 53,
    XR_FACE_PARAMETER_INDICES_MOUTH_RIGHT_ANDROID = 54,
    XR_FACE_PARAMETER_INDICES_NOSE_WRINKLER_L_ANDROID = 55,
    XR_FACE_PARAMETER_INDICES_NOSE_WRINKLER_R_ANDROID = 56,
    XR_FACE_PARAMETER_INDICES_OUTER_BROW_RAISER_L_ANDROID = 57,
    XR_FACE_PARAMETER_INDICES_OUTER_BROW_RAISER_R_ANDROID = 58,
    XR_FACE_PARAMETER_INDICES_UPPER_LID_RAISER_L_ANDROID = 59,
    XR_FACE_PARAMETER_INDICES_UPPER_LID_RAISER_R_ANDROID = 60,
    XR_FACE_PARAMETER_INDICES_UPPER_LIP_RAISER_L_ANDROID = 61,
    XR_FACE_PARAMETER_INDICES_UPPER_LIP_RAISER_R_ANDROID = 62
} XrFaceParameterIndicesANDROID;

索引	名称	参考图片
0	BROW_LOWERER_L	BROW_LOWERER_L = 0.0	BROW_LOWERER_L = 1.0
1	BROW_LOWERER_R	BROW_LOWERER_R = 0.0	BROW_LOWERER_R = 1.0
2	CHEEK_PUFF_L	CHEEK_PUFF_L = 0.0	CHEEK_PUFF_L = 1.0
3	CHEEK_PUFF_R	CHEEK_PUFF_R = 0.0	CHEEK_PUFF_R = 1.0
4	CHEEK_RAISER_L	CHEEK_RAISER_L = 0.0	CHEEK_RAISER_L = 1.0
5	CHEEK_RAISER_R	CHEEK_RAISER_R = 0.0	CHEEK_RAISER_R = 1.0
6	CHEEK_SUCK_L	CHEEK_SUCK_L = 0.0	CHEEK_SUCK_L = 1.0
7	CHEEK_SUCK_R	CHEEK_SUCK_R = 0.0	CHEEK_SUCK_R = 1.0
8	CHIN_RAISER_B	CHIN_RAISER_B = 0.0	CHIN_RAISER_B = 1.0
9	CHIN_RAISER_T	CHIN_RAISER_T = 0.0	CHIN_RAISER_T = 1.0
10	DIMPLER_L	DIMPLER_L = 0.0	DIMPLER_L = 1.0
11	DIMPLER_R	DIMPLER_R = 0.0	DIMPLER_R = 1.0
12	EYES_CLOSED_L	EYES_CLOSED_L = 0.0	EYES_CLOSED_L = 1.0
13	EYES_CLOSED_R	EYES_CLOSED_R = 0.0	EYES_CLOSED_R = 1.0
14	EYES_LOOK_DOWN_L	EYES_LOOK_DOWN_L = 0.0	EYES_LOOK_DOWN_L = 1.0
15	EYES_LOOK_DOWN_R	EYES_LOOK_DOWN_R = 0.0	EYES_LOOK_DOWN_R = 1.0
16	EYES_LOOK_LEFT_L	EYES_LOOK_LEFT_L = 0.0	EYES_LOOK_LEFT_L = 1.0
17	EYES_LOOK_LEFT_R	EYES_LOOK_LEFT_R = 0.0	EYES_LOOK_LEFT_R = 1.0
18	EYES_LOOK_RIGHT_L	EYES_LOOK_RIGHT_L = 0.0	EYES_LOOK_RIGHT_L = 1.0
19	EYES_LOOK_RIGHT_R	EYES_LOOK_RIGHT_R = 0.0	EYES_LOOK_RIGHT_R = 1.0
20	EYES_LOOK_UP_L	EYES_LOOK_UP_L = 0.0	EYES_LOOK_UP_L = 1.0
21	EYES_LOOK_UP_R	EYES_LOOK_UP_R = 0.0	EYES_LOOK_UP_R = 1.0
22	INNER_BROW_RAISER_L	INNER_BROW_RAISER_L = 0.0	INNER_BROW_RAISER_L = 1.0
23	INNER_BROW_RAISER_R	INNER_BROW_RAISER_R = 0.0	INNER_BROW_RAISER_R = 1.0
24	JAW_DROP	JAW_DROP = 0.0	JAW_DROP = 1.0
25	JAW_SIDEWAYS_LEFT	JAW_SIDEWAYS_LEFT = 0.0	JAW_SIDEWAYS_LEFT = 1.0
26	JAW_SIDEWAYS_RIGHT	JAW_SIDEWAYS_RIGHT = 0.0	JAW_SIDEWAYS_RIGHT = 1.0
27	JAW_THRUST	JAW_THRUST = 0.0	JAW_THRUST = 1.0
28	LID_TIGHTENER_L	LID_TIGHTENER_L = 0.0	LID_TIGHTENER_L = 1.0
29	LID_TIGHTENER_R	LID_TIGHTENER_R = 0.0	LID_TIGHTENER_R = 1.0
30	LIP_CORNER_DEPRESSOR_L	LIP_CORNER_DEPRESSOR_L = 0.0	LIP_CORNER_DEPRESSOR_L = 1.0
31	LIP_CORNER_DEPRESSOR_R	LIP_CORNER_DEPRESSOR_R = 0.0	LIP_CORNER_DEPRESSOR_R = 1.0
32	LIP_CORNER_PULLER_L	LIP_CORNER_PULLER_L = 0.0	LIP_CORNER_PULLER_L = 1.0
33	LIP_CORNER_PULLER_R	LIP_CORNER_PULLER_R = 0.0	LIP_CORNER_PULLER_R = 1.0
34	LIP_FUNNELER_LB	LIP_FUNNELER_LB = 0.0	LIP_FUNNELER_LB = 1.0
35	LIP_FUNNELER_LT	LIP_FUNNELER_LT = 0.0	LIP_FUNNELER_LT = 1.0
36	LIP_FUNNELER_RB	LIP_FUNNELER_RB = 0.0	LIP_FUNNELER_RB = 1.0
37	LIP_FUNNELER_RT	LIP_FUNNELER_RT = 0.0	LIP_FUNNELER_RT = 1.0
38	LIP_PRESSOR_L	LIP_PRESSOR_L = 0.0	LIP_PRESSOR_L = 1.0
39	LIP_PRESSOR_R	LIP_PRESSOR_R = 0.0	LIP_PRESSOR_R = 1.0
40	LIP_PUCKER_L	LIP_PUCKER_L = 0.0	LIP_PUCKER_L = 1.0
41	LIP_PUCKER_R	LIP_PUCKER_R = 0.0	LIP_PUCKER_R = 1.0
42	LIP_STRETCHER_L	LIP_STRETCHER_L = 0.0	LIP_STRETCHER_L = 1.0
43	LIP_STRETCHER_R	LIP_STRETCHER_R = 0.0	LIP_STRETCHER_R = 1.0
44	LIP_SUCK_LB	LIP_SUCK_LB = 0.0	LIP_SUCK_LB = 1.0
45	LIP_SUCK_LT	LIP_SUCK_LT = 0.0	LIP_SUCK_LT = 1.0
46	LIP_SUCK_RB	LIP_SUCK_RB = 0.0	LIP_SUCK_RB = 1.0
47	LIP_SUCK_RT	LIP_SUCK_RT = 0.0	LIP_SUCK_RT = 1.0
48	LIP_TIGHTENER_L	LIP_TIGHTENER_L = 0.0	LIP_TIGHTENER_L = 1.0
49	LIP_TIGHTENER_R	LIP_TIGHTENER_R = 0.0	LIP_TIGHTENER_R = 1.0
50	LIPS_TOWARD	LIPS_TOWARD = 0.0	JAW_DROP = 1.0 and LIPS_TOWARD = 1.0
51	LOWER_LIP_DEPRESSOR_L	LOWER_LIP_DEPRESSOR_L = 0.0	LOWER_LIP_DEPRESSOR_L = 1.0
52	LOWER_LIP_DEPRESSOR_R	LOWER_LIP_DEPRESSOR_R = 0.0	LOWER_LIP_DEPRESSOR_R = 1.0
53	MOUTH_LEFT	MOUTH_LEFT = 0.0	MOUTH_LEFT = 1.0
54	MOUTH_RIGHT	MOUTH_RIGHT = 0.0	MOUTH_RIGHT = 1.0
55	NOSE_WRINKLER_L	NOSE_WRINKLER_L = 0.0	NOSE_WRINKLER_L = 1.0
56	NOSE_WRINKLER_R	NOSE_WRINKLER_R = 0.0	NOSE_WRINKLER_R = 1.0
57	OUTER_BROW_RAISER_L	OUTER_BROW_RAISER_L = 0.0	OUTER_BROW_RAISER_L = 1.0
58	OUTER_BROW_RAISER_R	OUTER_BROW_RAISER_R = 0.0	OUTER_BROW_RAISER_R = 1.0
59	UPPER_LID_RAISER_L	UPPER_LID_RAISER_L = 0.0	UPPER_LID_RAISER_L = 1.0
60	UPPER_LID_RAISER_R	UPPER_LID_RAISER_R = 0.0	UPPER_LID_RAISER_R = 1.0
61	UPPER_LIP_RAISER_L	UPPER_LIP_RAISER_L = 0.0	UPPER_LIP_RAISER_L = 1.0
62	UPPER_LIP_RAISER_R	UPPER_LIP_RAISER_R = 0.0	UPPER_LIP_RAISER_R = 1.0

人脸跟踪的示例代码

以下示例代码演示了如何获取面部表情混合形状的所有权重。

XrSession session; // previously initialized, for example created at app startup.

// The function pointers are previously initialized using xrGetInstanceProcAddr.
PFN_xrCreateFaceTrackerANDROID xrCreateFaceTrackerANDROID; // previously initialized
PFN_xrDestroyFaceTrackerANDROID xrDestroyFaceTrackerANDROID; // previously initialized
PFN_xrGetFaceStateANDROID xrGetFaceStateANDROID; // previously initialized
PFN_xrGetFaceCalibrationStateANDROID xrGetFaceCalibrationStateANDROID; // previously initialized

XrFaceTrackerANDROID faceTracker;
XrFaceTrackerCreateInfoANDROID
        createInfo{.type = XR_TYPE_FACE_TRACKER_CREATE_INFO_ANDROID,
                    .next = nullptr};
CHK_XR(xrCreateFaceTrackerANDROID(session, &createInfo, &faceTracker));

// If the system supports face calibration:
bool isCalibrated;
CHK_XR(xrGetFaceCalibrationStateANDROID(faceTracker, &isCalibrated));
if (!isCalibrated) {
    // Redirect the user to system calibration setting.
}

XrFaceStateANDROID faceState;
float faceExpressionParameters[XR_FACE_PARAMETER_COUNT_ANDROID];
faceState.type = XR_TYPE_FACE_STATE_ANDROID;
faceState.next = nullptr;
faceState.parametersCapacityInput = XR_FACE_PARAMETER_COUNT_ANDROID;
faceState.parameters = faceExpressionParameters;

while (1) {
    // ...
    // For every frame in the frame loop
    // ...
    XrFrameState frameState; // previously returned from xrWaitFrame

    XrFaceStateGetInfoANDROID faceGetInfo{
            .type = XR_TYPE_FACE_STATE_GET_INFO_ANDROID,
            .next = nullptr,
            .time = frameState.predictedDisplayTime,
    };

    CHECK_XR(xrGetFaceStateANDROID(faceTracker, &faceGetInfo, &faceState));
    if (faceState.isValid) {
        for (uint32_t i = 0; i < XR_FACE_PARAMETER_COUNT_ANDROID; ++i) {
            // parameters[i] contains a weight of specific blend shape
        }
    }
}

// after usage
CHK_XR(xrDestroyFaceTrackerANDROID(faceTracker));

新的对象类型

XrFaceTrackerANDROID

新的枚举常量

XR_FACE_PARAMETER_COUNT_ANDROID

XrObjectType 枚举已扩展为：

XR_OBJECT_TYPE_FACE_TRACKER_ANDROID

XrStructureType 枚举已扩展为：

XR_TYPE_FACE_TRACKER_CREATE_INFO_ANDROID
XR_TYPE_FACE_STATE_GET_INFO_ANDROID
XR_TYPE_FACE_STATE_ANDROID

新枚举

XrFaceParameterIndicesANDROID
XrFaceTrackingStateANDROID

新结构

XrFaceTrackerCreateInfoANDROID
XrFaceStateGetInfoANDROID
XrFaceStateANDROID

新函数

xrCreateFaceTrackerANDROID
xrDestroyFaceTrackerANDROID
xrGetFaceStateANDROID
xrGetFaceCalibrationStateANDROID

问题

版本历史记录

修订版 1，2024 年 9 月 5 日（Levana Chen）
- 初始扩展程序说明