Die KI-Brillen-Funktionen basieren auf der vorhandenen Android-Activity-Framework-API und umfassen zusätzliche Konzepte, um die besonderen Aspekte von KI-Brillen zu unterstützen. Im Gegensatz zu XR-Headsets, auf denen eine vollständige APK auf dem Gerät ausgeführt wird, verwenden KI-Brillen eine spezielle Aktivität, die in der vorhandenen App auf Ihrem Smartphone ausgeführt wird. Diese Aktivität wird vom Hostgerät auf die KI-Brille projiziert.
Um die KI-Brillen-Funktion Ihrer App zu erstellen, erweitern Sie Ihre vorhandene Smartphone-App, indem Sie eine neue projizierte Activity für KI-Brillen erstellen. Diese Aktivität dient als Haupteinstiegspunkt für den Start Ihrer App auf KI‑Brillen. Dieser Ansatz vereinfacht die Entwicklung, da Sie die Geschäftslogik zwischen Ihren Smartphone- und KI-Brillen-Apps teilen und wiederverwenden können.
Versionskompatibilität
Kompatibilitätsanforderungen für das Android SDK für das Jetpack XR SDK
Abhängigkeiten
Fügen Sie die folgenden Bibliotheksabhängigkeiten für KI-Brillen hinzu:
Groovy
dependencies { implementation "androidx.xr.runtime:runtime:1.0.0-alpha10" implementation "androidx.xr.glimmer:glimmer:1.0.0-alpha06" implementation "androidx.xr.projected:projected:1.0.0-alpha04" implementation "androidx.xr.arcore:arcore:1.0.0-alpha10" }
Kotlin
dependencies { implementation("androidx.xr.runtime:runtime:1.0.0-alpha10") implementation("androidx.xr.glimmer:glimmer:1.0.0-alpha06") implementation("androidx.xr.projected:projected:1.0.0-alpha04") implementation("androidx.xr.arcore:arcore:1.0.0-alpha10") }
Aktivität im Manifest Ihrer App deklarieren
Wie bei anderen Arten von Aktivitäten müssen Sie Ihre Aktivität in der Manifestdatei Ihrer App deklarieren, damit das System sie sehen und ausführen kann.
<application>
<activity
android:name="com.example.xr.projected.GlassesMainActivity"
android:exported="true"
android:requiredDisplayCategory="xr_projected"
android:label="Example AI Glasses activity">
<intent-filter>
<action android:name="android.intent.action.MAIN" />
</intent-filter>
</activity>
</application>
Wichtige Punkte zum Code
- Gibt
xr_projectedfür das Attributandroid:requiredDisplayCategoryan, um dem System mitzuteilen, dass für diese Aktivität ein projizierter Kontext verwendet werden soll, um auf Hardware eines verbundenen Geräts zuzugreifen.
Aktivität erstellen
Als Nächstes erstellen Sie eine kleine Aktivität, die etwas auf der Smartbrille anzeigen kann, wenn das Display eingeschaltet ist.
@OptIn(ExperimentalProjectedApi::class) class GlassesMainActivity : ComponentActivity() { private var displayController: ProjectedDisplayController? = null private var isVisualUiSupported by mutableStateOf(false) private var areVisualsOn by mutableStateOf(true) override fun onCreate(savedInstanceState: Bundle?) { super.onCreate(savedInstanceState) lifecycle.addObserver(object : DefaultLifecycleObserver { override fun onDestroy(owner: LifecycleOwner) { displayController?.close() displayController = null } }) lifecycleScope.launch { // Check device capabilities val projectedDeviceController = ProjectedDeviceController.create(this@GlassesMainActivity) isVisualUiSupported = projectedDeviceController.capabilities.contains(CAPABILITY_VISUAL_UI) val controller = ProjectedDisplayController.create(this@GlassesMainActivity) displayController = controller val observer = GlassesLifecycleObserver( context = this@GlassesMainActivity, controller = controller, onVisualsChanged = { visualsOn -> areVisualsOn = visualsOn } ) lifecycle.addObserver(observer) } setContent { GlimmerTheme { HomeScreen( areVisualsOn = areVisualsOn, isVisualUiSupported = isVisualUiSupported, onClose = { finish() } ) } } } }
Wichtige Punkte zum Code
- Aktiviert die Verwendung von experimentellen APIs aus der Jetpack Projected-Bibliothek.
GlassesMainActivityerweitertComponentActivity, wie Sie es von der mobilen Entwicklung gewohnt sind.- Da nicht alle KI-Brillen ein Display haben, wird mit
ProjectedDeviceControllergeprüft, ob das Gerät ein Display hat. - Der Block
setContentin der FunktiononCreatedefiniert den Stamm des zusammensetzbaren UI-Baums für die Aktivität. Sie implementieren dieHomeScreen-Composable mit Jetpack Compose Glimmer. - Initialisiert die Benutzeroberfläche während der
onCreate-Methode der Aktivität (siehe projizierter Aktivitätslebenszyklus).
Composable implementieren
Die von Ihnen erstellte Aktivität verweist auf eine zusammensetzbare HomeScreen-Funktion, die Sie implementieren müssen. Im folgenden Code wird Jetpack Compose Glimmer verwendet, um eine zusammensetzbare Funktion zu definieren, mit der Text auf dem Display der KI-Brille angezeigt werden kann:
@Composable fun HomeScreen( areVisualsOn: Boolean, isVisualUiSupported: Boolean, onClose: () -> Unit, modifier: Modifier = Modifier ) { Box( modifier = modifier .surface(focusable = false) .fillMaxSize(), contentAlignment = Alignment.Center ) { if (isVisualUiSupported) { Card( title = { Text("Android XR") }, action = { Button(onClick = onClose) { Text("Close") } } ) { if (areVisualsOn) { Text("Hello, AI Glasses!") } else { Text("Display is off. Audio guidance active.") } } } else { Text("Audio Guidance Mode Active") } } }
Wichtige Punkte zum Code
- Wie Sie in Ihrer Aktivität zuvor definiert haben, enthält die Funktion
HomeScreendie zusammensetzbaren Inhalte, die der Nutzer sieht, wenn das Display der KI‑Brille eingeschaltet ist. - Die Jetpack Compose Glimmer-Komponente
Textzeigt den Text „Hallo, KI-Brille!“ auf dem Display der Brille an. - Das Jetpack Compose-Glimmer
Buttonschließt die Aktivität durch Aufrufen vonfinish()überonClosein der Aktivität für KI-Brillen.
Prüfen, ob die KI-Brille verbunden ist
Verwenden Sie die Methode ProjectedContext.isProjectedDeviceConnected, um festzustellen, ob die KI-Brille eines Nutzers mit seinem Smartphone verbunden ist, bevor Sie Ihre Aktivität starten. Diese Methode gibt ein Flow<Boolean> zurück, das Ihre App beobachten kann, um Echtzeit-Updates zum Verbindungsstatus zu erhalten.
Aktivität starten
Nachdem Sie eine einfache Aktivität erstellt haben, können Sie sie auf Ihrer Brille starten. Damit Ihre App auf die Hardware der Brille zugreifen kann, muss sie Ihre Aktivität mit bestimmten Optionen starten, die dem System mitteilen, dass ein projizierter Kontext verwendet werden soll. Das folgende Codebeispiel zeigt, wie das geht:
val options = ProjectedContext.createProjectedActivityOptions(context) val intent = Intent(context, GlassesMainActivity::class.java) context.startActivity(intent, options.toBundle())
Mit der Methode createProjectedActivityOptions in ProjectedContext werden die erforderlichen Optionen zum Starten Ihrer Aktivität in einem projizierten Kontext generiert.
Der Parameter context kann ein Kontext vom Smartphone oder von der Brille sein.
Nächste Schritte
Nachdem Sie Ihre erste Aktivität für die KI-Brille erstellt haben, können Sie die Funktionalität auf folgende Weise erweitern:
- Audioausgabe mit Text-to-Speech verarbeiten
- Audioeingabe mit automatischer Spracherkennung verarbeiten
- Benutzeroberfläche mit Jetpack Compose Glimmer erstellen
- Auf die Hardware der KI‑Brille zugreifen