Mit dem Android Computer Control-Framework können vorinstallierte KI-Assistenten von OEMs Aufgabenautomatisierung für ausgewählte Apps ausführen, die auf dem Gerät installiert sind („Ziel-Apps“). In diesem Leitfaden finden Sie eine Übersicht über das Computer Control-Framework und technische Überlegungen zu Ziel-Apps und KI-Assistenten-Apps.
Übersicht über Android Computer Control
Mit den Computer Control-Funktionen von Android kann eine vorinstallierte Assistenten-App von einem OEM Ziel-Apps in einer kontrollierten Umgebung starten und mit ihnen interagieren.
Wenn das Computer Control-Framework zum ersten Mal versucht, mit einer Ziel-App zu interagieren, wird automatisch ein Berechtigungsdialogfeld angezeigt. Nachdem die Berechtigung erteilt wurde, kann die Assistenten-App mehrstufige Aufgaben in der Ziel-App ausführen, sodass die Assistenten-App die Anfrage eines Nutzers mithilfe der Ziel-App erfüllen kann.
Beispielanwendungsfälle
Um die Aufgabenautomatisierung für eine Reihe von Ziel-Apps auszuführen, die auf dem Gerät installiert sind, kann ein vorinstallierter Assistent eines OEMs iterativ Screenshots dieser Apps aufnehmen, intelligente Entscheidungen treffen, um Aktionen abzuleiten, und Aktionen anwenden, um die Benutzeroberfläche der Apps zu steuern. Die Interaktionen mit den Ziel-Apps basieren auf ihren vorhandenen lokalen Daten und dem Kontext.
Eine Assistenten-App kann so konzipiert sein, dass sie mehrstufige Aufgaben im Namen von Nutzern ausführt. Beispiele für die Verwendung solcher Apps durch Nutzer:
- Essensbestellung: "Bestelle einen kleinen Tee zur Abholung in meinem Lieblingscafé."
- Mitfahrgelegenheit: "Buche eine Fahrt zum Flughafen."
- Lebensmittellieferung: "Bestelle die Lebensmittel nach, die ich letzte Woche gekauft habe."
Funktionsweise von Computer Control
Mit dem Computer Control-Framework können vorinstallierte Assistenten von OEMs Ziel-Apps in einer sicheren virtuellen Hintergrundanzeige starten und bedienen.
Der typische Ablauf sieht so aus:
- Sitzung anfordern: Eine Assistenten-App muss die privilegierte
ACCESS_COMPUTER_CONTROLBerechtigung haben. Die App kann eine Computer Control-Sitzung für bis zu sechs Ziel-Apps zur sequenziellen Ausführung anfordern. Das System lässt jeweils nur eine aktive Sitzung zu. - Nutzerberechtigung einholen: Wenn eine Assistenten-App eine Sitzung anfordert, löst das Framework implizit ein Systemdialogfeld aus. In diesem Dialogfeld wird der Nutzer um die Berechtigung gebeten, dem Assistenten die Automatisierung der angeforderten Ziel-Apps zu erlauben.
- Automatisieren: Wenn der Nutzer die Berechtigung erteilt, führt das System Ziel-Apps auf einem virtuellen Gerät aus, ähnlich wie beim Casting. Die Assistenten-App verwendet die Sitzung, um die Ziel-App zu starten, Bildschirminhalte zu erfassen und Nutzereingabeereignisse zu simulieren, einschließlich Tippen, Wischen und Texteingabe, um die Anfrage des Nutzers zu erfüllen.
- Steuerung übergeben: Der Assistent kann die Steuerung an den Nutzer übergeben, damit dieser manuell eingreifen kann, oder der Nutzer kann manuell anfordern, die Steuerung zu übernehmen. Das ist beispielsweise für die Transaktionsbestätigung oder Inhalte nützlich, für die eine Bestätigung erforderlich ist.
Ziel-App für Computer Control werden
Sie müssen keine zusätzlichen Änderungen vornehmen, um eine Ziel-App über das Computer Control-Framework in die Aufgabenautomatisierung des Assistenten zu integrieren. Solange der Nutzer die Berechtigung erteilt hat, bestimmt die Assistenten-App, wie navigiert werden soll, indem sie Screenshots der Benutzeroberfläche der Ziel-App analysiert. Ihre Ziel-App sollte den bestehenden Best Practices folgen, z. B. adaptivem Design und Lebenszyklus verwaltung.
Ein KI-Assistent kann die Anzahl der Ziel-Apps begrenzen, die er automatisiert.
KI-Assistenten-App erstellen
Vorinstallierte KI-Assistenten-Apps von OEMs können in Computer Control integriert werden. Die Integration folgt dem im Abschnitt "Funktionsweise von Computer Control" beschriebenen Ablauf.