ทำงานด้วยมือโดยใช้ ARCore สำหรับ Jetpack XR

ARCore สำหรับ Jetpack XR สามารถให้ข้อมูลเกี่ยวกับมือที่ตรวจพบของผู้ใช้ รวมถึงให้ข้อมูลท่าทางของมือและข้อต่อที่เกี่ยวข้อง ข้อมูลมือนี้ใช้เพื่อแนบเอนทิตีและโมเดลกับมือของผู้ใช้ได้ เช่น เมนูเครื่องมือ

สร้างเซสชัน ARCore สำหรับ Jetpack XR

เข้าถึงข้อมูลมือผ่านเซสชัน ARCore สำหรับ Jetpack XR ดูหัวข้อทำความเข้าใจวงจรของเซสชันเพื่อรับ Session

ดึงข้อมูลมือ

ข้อมูลมือจะแสดงแยกกันสำหรับมือซ้ายและมือขวา ใช้ stateของมือแต่ละข้างเพื่อเข้าถึงตำแหน่งท่าทางของข้อต่อแต่ละข้อ โดยทำดังนี้

Hand.left(session).state.collect { // or Hand.right(session)
  // Hand state has been updated.
  // Use the state of hand joints to update an entity's position.
}

มือมีพร็อพเพอร์ตี้ต่อไปนี้

• isActive: มีการติดตามมือหรือไม่

• handJoints: แผนที่ของข้อต่อมือกับท่าทาง ท่าทางของข้อต่อมือจะระบุโดยมาตรฐาน OpenXR

ใช้ข้อมูลมือในแอป

ตำแหน่งข้อต่อของมือผู้ใช้สามารถใช้เพื่อยึดวัตถุ 3 มิติไว้กับมือของผู้ใช้ เช่น ยึดโมเดลไว้กับฝ่ามือซ้าย

Hand.left(session)?.state?.collect { leftHandState ->
  val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return@collect

  // the down direction points in the same direction as the palm
  val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up)
  palmEntity.setHidden(angle > Math.toRadians(40.0))

  val transformedPose =
    session.perceptionSpace.transformPoseTo(
      palmPose,
      session.activitySpace,
    )
  val newPosition = transformedPose.translation + transformedPose.down*0.05f
  palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
}

หรือหากต้องการแนบรูปแบบกับปลายนิ้วชี้ของมือขวา ให้ทำดังนี้

Hand.right(session)?.state?.collect { rightHandState ->
  val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return@collect

  // the forward direction points towards the finger tip.
  val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up)
  indexEntity.setHidden(angle > Math.toRadians(40.0))

  val transformedPose =
    session.perceptionSpace.transformPoseTo(
      tipPose,
      session.activitySpace,
    )
  val position = transformedPose.translation + transformedPose.forward * 0.03f
  val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up)
  indexEntity.setPose(Pose(position, rotation))
}