Android XR SDK がデベロッパープレビュー 3 に到達しました。皆様からのフィードバックをお待ちしております。お試しいただき、ご不明な点がありましたら、サポートページからお問い合わせください。

投影されたコンテキストを使用して AI メガネのハードウェアにアクセスする

対応する XR デバイス

このガイダンスは、次のようなタイプの XR デバイス向けのエクスペリエンスを構築する際に役立ちます。

XR デバイスのタイプについて →

AI グラス

XR デバイスのタイプについて →

必要な権限をリクエストして付与されると、アプリは AI グラスのハードウェアにアクセスできるようになります。グラスのハードウェア（スマートフォンのハードウェアではなく）にアクセスする鍵は、プロジェクションコンテキストを使用することです。

コードの実行場所に応じて、プロジェクションコンテキストを取得する主な方法は 2 つあります。

コードが AI グラスアクティビティで実行されている場合は、プロジェクションコンテキストを取得する

アプリのコードが AI グラスアクティビティ内から実行されている場合、そのアクティビティコンテキスト自体がプロジェクションコンテキストになります。このシナリオでは、そのアクティビティ内で行われた呼び出しは、すでにグラスのハードウェアにアクセスできます。

スマートフォンアプリコンポーネントで実行されているコードのプロジェクションコンテキストを取得する

AI グラスアクティビティ以外のアプリの一部（スマートフォンアクティビティやサービスなど）がグラスのハードウェアにアクセスする必要がある場合は、プロジェクションコンテキストを明示的に取得する必要があります。これを行うには、 createProjectedDeviceContext() メソッドを使用します。

@OptIn(ExperimentalProjectedApi::class)
private fun getGlassesContext(context: Context): Context? {
    return try {
        // From a phone Activity or Service, get a context for the AI glasses.
        ProjectedContext.createProjectedDeviceContext(context)
    } catch (e: IllegalStateException) {
        Log.e(TAG, "Failed to create projected device context", e)
        null
    }
}ProjectedHardware.kt

有効性を確認する

createProjectedDeviceContext 呼び出しを ProjectedContext.isProjectedDeviceConnected 内にラップします。このメソッドが true を返している間、プロジェクションコンテキストは接続されたデバイスに対して有効なままであり、スマートフォンアプリのアクティビティまたはサービス（CameraManager など）は AI グラスのハードウェアにアクセスできます。

切断時にクリーンアップする

プロジェクションコンテキストは接続されたデバイスのライフサイクルに関連付けられているため、デバイスが切断されると破棄されます。デバイスが切断されると、 ProjectedContext.isProjectedDeviceConnected は false を返します。アプリはこの変更をリッスンし、そのプロジェクションコンテキストを使用してアプリが作成したシステムサービス（CameraManager など）またはリソースをクリーンアップする必要があります。

再接続時に再初期化する

AI グラスデバイスが再接続すると、アプリは別のプロジェクションコンテキストインスタンスを createProjectedDeviceContext() を使用して取得し、新しいプロジェクションコンテキストを使用してシステムサービスまたはリソースを再初期化できます。

Bluetooth を使用して音声にアクセスする

現在、AI グラスは標準の Bluetooth オーディオデバイスとしてスマートフォンに接続します。ヘッドセットプロファイルと A2DP（Advanced Audio Distribution Profile）プロファイルの両方がサポートされています。このアプローチを使用すると、グラスをサポートするように意図的に構築されていない場合でも、音声の入出力に対応する Android アプリをグラスで動作させることができます。場合によっては、プロジェクションコンテキストを使用してグラスのハードウェアにアクセスする代わりに、Bluetooth を使用する方がアプリのユースケースに適していることがあります。

標準の Bluetooth オーディオ機器と同様に、 RECORD_AUDIO 権限を付与する権限は、グラスではなくスマートフォンによって制御されます。

AI グラスのカメラで画像をキャプチャする

AI グラスのカメラで画像をキャプチャするには、アプリの正しいコンテキストを使用して、CameraX の ImageCapture ユースケースをグラスのカメラに設定してバインドします。

private fun startCameraOnGlasses(activity: ComponentActivity) {
    // 1. Get the CameraProvider using the projected context.
    // When using the projected context, DEFAULT_BACK_CAMERA maps to the AI glasses' camera.
    val projectedContext = try {
        ProjectedContext.createProjectedDeviceContext(activity)
    } catch (e: IllegalStateException) {
        Log.e(TAG, "AI Glasses context could not be created", e)
        return
    }

    val cameraProviderFuture = ProcessCameraProvider.getInstance(projectedContext)

    cameraProviderFuture.addListener({
        val cameraProvider: ProcessCameraProvider = cameraProviderFuture.get()
        val cameraSelector = CameraSelector.DEFAULT_BACK_CAMERA

        // 2. Check for the presence of a camera.
        if (!cameraProvider.hasCamera(cameraSelector)) {
            Log.w(TAG, "The selected camera is not available.")
            return@addListener
        }

        // 3. Query supported streaming resolutions using Camera2 Interop.
        val cameraInfo = cameraProvider.getCameraInfo(cameraSelector)
        val camera2CameraInfo = Camera2CameraInfo.from(cameraInfo)
        val cameraCharacteristics = camera2CameraInfo.getCameraCharacteristic(
            CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP
        )

        // 4. Define the resolution strategy.
        val targetResolution = Size(1920, 1080)
        val resolutionStrategy = ResolutionStrategy(
            targetResolution,
            ResolutionStrategy.FALLBACK_RULE_CLOSEST_LOWER
        )
        val resolutionSelector = ResolutionSelector.Builder()
            .setResolutionStrategy(resolutionStrategy)
            .build()

        // 5. If you have other continuous use cases bound, such as Preview or ImageAnalysis,
        // you can use  Camera2 Interop's CaptureRequestOptions to set the FPS
        val fpsRange = Range(30, 60)
        val captureRequestOptions = CaptureRequestOptions.Builder()
            .setCaptureRequestOption(CaptureRequest.CONTROL_AE_TARGET_FPS_RANGE, fpsRange)
            .build()

        // 6. Initialize the ImageCapture use case with options.
        val imageCapture = ImageCapture.Builder()
            // Optional: Configure resolution, format, etc.
            .setResolutionSelector(resolutionSelector)
            .build()

        try {
            // Unbind use cases before rebinding.
            cameraProvider.unbindAll()

            // Bind use cases to camera using the Activity as the LifecycleOwner.
            cameraProvider.bindToLifecycle(
                activity,
                cameraSelector,
                imageCapture
            )
        } catch (exc: Exception) {
            Log.e(TAG, "Use case binding failed", exc)
        }
    }, ContextCompat.getMainExecutor(activity))
}ProjectedHardware.kt

コードに関する主なポイント

ProcessCameraProvider を使用して プロジェクションデバイスコンテキスト のインスタンスを取得します。
プロジェクションコンテキストのスコープ内で、カメラを選択すると、AI グラスのプライマリカメラ（外向き）が DEFAULT_BACK_CAMERA にマッピングされます。
プリバインディングチェックでは、cameraProvider.hasCamera(cameraSelector) を使用して、選択したカメラがデバイスで使用可能であることを確認してから処理を進めます。
Camera2CameraInfo で Camera2 Interop を使用して、基盤となる CameraCharacteristics#SCALER_STREAM_CONFIGURATION_MAP を読み取ります。これは、サポートされている解像度に関する高度なチェックに役立ちます。
カスタム ResolutionSelector は、出力画像解像度を正確に制御するために ImageCapture 構築されています。
カスタム ResolutionSelector で構成された ImageCapture ユースケースを作成します。
ImageCapture ユースケースをアクティビティのライフサイクルにバインドします。これにより、アクティビティの状態に基づいてカメラの開閉が自動的に管理されます（たとえば、アクティビティが一時停止するとカメラが停止します）。

AI グラスのカメラを設定したら、CameraX の ImageCapture クラスで画像をキャプチャできます。画像をキャプチャする方法については、CameraX のドキュメントを参照して、takePicture()の使用について学習してください。

AI グラスのカメラで動画をキャプチャする

AI グラスのカメラで画像の代わりに動画をキャプチャするには、 ImageCapture コンポーネントを対応する VideoCapture コンポーネントに置き換え、キャプチャ実行ロジックを変更します。

主な変更点は、別のユースケースを使用し、別の出力ファイルを作成し、適切な動画録画方法を使用してキャプチャを開始することです。 VideoCapture API とその使用方法について詳しくは、 CameraX の動画キャプチャのドキュメントをご覧ください。

次の表に、アプリのユースケースに応じた推奨解像度とフレームレートを示します。

ユースケース	解像度	フレームレート
ビデオ通話	1280 x 720	15 FPS
コンピュータビジョン	640 x 480	10 FPS
AI 動画ストリーミング	640 x 480	1 FPS

AI グラスアクティビティからスマートフォンのハードウェアにアクセスする

AI グラスアクティビティは、スマートフォンのハードウェア（カメラやマイクなど）にアクセスすることもできます。これには、ホストデバイス（スマートフォン）のコンテキストを取得するために createHostDeviceContext(context) を使用します。

@OptIn(ExperimentalProjectedApi::class)
private fun getPhoneContext(activity: ComponentActivity): Context? {
    return try {
        // From an AI glasses Activity, get a context for the phone.
        ProjectedContext.createHostDeviceContext(activity)
    } catch (e: IllegalStateException) {
        Log.e(TAG, "Failed to create host device context", e)
        null
    }
}ProjectedHardware.kt

ハイブリッドアプリ（モバイルと AI グラスの両方のエクスペリエンスを含むアプリ）でホストデバイス（スマートフォン）に固有のハードウェアまたはリソースにアクセスする場合は、アプリが正しいハードウェアにアクセスできるように、正しいコンテキストを明示的に選択する必要があります。

スマートフォンのコンテキストを取得するには、スマートフォンの Activity コンテキストまたは ProjectedContext.createHostDeviceContext() を使用します。Activity
getApplicationContext() は使用しないでください。グラスアクティビティが最後に起動されたコンポーネントである場合、アプリケーションコンテキストが AI グラスのコンテキストを誤って返す可能性があります。

ハードウェアの権限をリクエストする