Journeys for Android Studio nutzt die Vision- und Reasoning-Funktionen von KI, um Ihre App basierend auf Ihren Anweisungen in natürlicher Sprache zu testen. Ihre Anweisungen, die als Journey bezeichnet werden, werden in Aktionen umgewandelt, die von KI in Ihrer App ausgeführt werden. Außerdem können Sie komplexere Behauptungen formulieren und beschreiben, die von KI anhand der Informationen auf dem Gerät ausgewertet werden.
Da Gemini überlegt, welche Aktionen ausgeführt werden müssen, um die Ziele zu erreichen, sind Journeys weniger anfällig für subtile Änderungen am Layout oder Verhalten Ihrer App. Das führt zu weniger instabilen Tests, wenn sie für verschiedene Versionen Ihrer App und verschiedene Gerätekonfigurationen ausgeführt werden.
Sie können Journeys direkt in Android Studio oder über die Befehlszeile schreiben und auf jedem lokalen oder Remote-Android-Gerät ausführen. Die IDE bietet eine neue Editor-Oberfläche zum Erstellen von Journeys sowie Rich-Suchergebnisse, mit denen Sie die Argumentation und Ausführung Ihrer Journey durch Gemini besser nachvollziehen können.
Reise schreiben
Android Studio bietet eine Dateivorlage und einen neuen Editor, mit denen sich Journeys einfacher erstellen und bearbeiten lassen. Recherchen werden in XML-Syntax geschrieben, um die Beschreibung und die Schritte zu organisieren.
So erstellen Sie eine Journey und beginnen mit der Bearbeitung:
- Klicken Sie in Android Studio im Bereich Project mit der rechten Maustaste auf das App-Modul, für das Sie eine Journey schreiben möchten.
- Wählen Sie Neu > Test > Journey-Datei aus.
Geben Sie im angezeigten Dialogfeld den Namen und die Beschreibung des Ablaufs ein.
Ein Dialogfeld in Android Studio, mit dem Sie eine Journey-Datei erstellen. Klicken Sie auf Fertig. Android Studio erstellt eine XML-Datei für Ihre Reise mit dem von Ihnen ausgewählten Namen. Sie können entweder die Code-Ansicht verwenden, um das XML direkt zu bearbeiten, oder die Design-Ansicht für eine vereinfachte Bearbeitung.
Wenn Sie sich Ihre Journey in der Designansicht ansehen, können Sie im Textfeld jeden Schritt Ihrer Journey beschreiben. Jeder Schritt kann beschreibende Aktionen enthalten, die Gemini ausführen soll, oder Behauptungen, die Gemini bewerten soll.
Drücken Sie die Eingabetaste, um einen neuen Schritt in derselben Journey zu starten. Sie können diesen Vorgang für jeden Schritt des Ablaufs, den Sie definieren möchten, wiederholen.
Tipps zum Verfassen von Reisen
Die KI kann zwar die meisten Schritte in unterstützten Sprachen verstehen, aber wenn Sie diese Tipps zum Schreiben von Journeys beachten, können Sie genauere und erwartete Ergebnisse erzielen:
- Annahme: Ihre App befindet sich bereits im Vordergrund: Wenn Sie eine Reise starten, wird Ihre App automatisch gestartet. Die Schritte Ihrer Reise sollten nach dem vollständigen Start der App beginnen. Das bedeutet, dass Sie „App starten“ nicht als Schritt angeben müssen.
- Eindeutige Sprache verwenden:Präzise Formulierungen minimieren das Risiko von Fehlinterpretationen und verbessern die Zuverlässigkeit.
| Anstelle von | Ausführen |
|---|---|
| „Wählen Sie die Schaltfläche zum Schließen aus.“ | „Tippe auf ‚Schließen‘“ oder einfach „Schließen“ |
| „Gib ‚Sellerie‘ ein.“ | „Gib oben auf dem Startbildschirm in der Suchleiste ‚Sellerie‘ ein.“ |
| „Wischen, um zu schließen“ | „Wische nach links, um die Karte zu schließen. Sie sollte dann nicht mehr sichtbar sein.“ |
- Erfolgskriterien als Teil des Schritts angeben:So kann Gemini Ihre Absicht besser nachvollziehen und es wird verdeutlicht, wann die Aktion abgeschlossen ist und die nächste Aktion beginnen kann.
| Anstelle von | Ausführen |
|---|---|
| „Wähle die Schaltfläche ‚Senden‘ aus.“ | Tippen Sie auf die Schaltfläche „Senden“, um die E‑Mail zu senden. Dadurch sollte die E-Mail geschlossen und der Posteingang wieder angezeigt werden.“ |
| „Go to the shopping cart“ (Rufe den Einkaufswagen auf) | Tippen Sie auf das Einkaufswagensymbol, um die Seite „Einkaufswagen“ aufzurufen. Prüfen Sie, ob sie keine Elemente enthält.“ |
| „Klicke auf das erste Video.“ | „Klicke auf das erste Video und warte, bis es vollständig geladen ist.“ |
- Journey optimieren:Wenn Ihre Journey nicht wie erwartet ausgeführt wird, können Sie sich die Ergebnisse ansehen und die Spalten „Action Taken“ (Ergriffene Maßnahme) und „Reasoning“ (Begründung) prüfen, um herauszufinden, warum Gemini die Schritte möglicherweise nicht wie erwartet ausgeführt hat. Nutzen Sie diese Informationen, um Ihre Anweisungen zu verdeutlichen.
- Unterteilen Sie Ihre Journey in spezifischere Schritte:Die KI kann zwar Schritte mit mehreren Aktionen interpretieren, aber manchmal können detailliertere einzelne Schritte die Genauigkeit und Reproduzierbarkeit der Journey verbessern.
- Fehler: Die Aktion konnte nicht innerhalb der maximal zulässigen Versuche abgeschlossen werden: Wenn dieser Fehler auftritt, versuchen Sie, die fehlgeschlagenen Schritte in zwei oder mehr kleinere Schritte aufzuteilen. Dieser Fehler tritt auf, wenn die KI die Aktion nicht ausführen kann, nachdem sie eine maximale Anzahl von Interaktionen mit Ihrer App versucht hat.
Unterstützte und nicht unterstützte Funktionen
Hier finden Sie eine Übersicht der unterstützten und noch nicht vollständig unterstützten Funktionen beim Erstellen von Journeys. Die folgenden Listen sind nicht vollständig.
Die folgenden Aktionen werden in Kampagnen unterstützt:
- Tippen Sie auf UI-Elemente.
- Mit Type können Sie Text in Textfelder eingeben.
- Wischen/Scrollen Sie in eine bestimmte Richtung, um in der Benutzeroberfläche zu navigieren.
Die folgenden Funktionen werden derzeit nicht vollständig unterstützt oder funktionieren möglicherweise nicht konsistent:
- Touchgesten mit mehreren Fingern (z. B. zum Zoomen): Interaktionen, für die gleichzeitig zwei oder mehr Berührungspunkte auf dem Display erforderlich sind, z. B. zum Heran- oder Herauszoomen oder zum Wischen mit zwei Fingern.
- Langes Drücken: Ein Finger wird länger als bei einem normalen Tippen auf das Display gedrückt und gehalten.
- Doppeltippen: zweimal schnell hintereinander auf dieselbe Stelle auf dem Display tippen.
- Bildschirmdrehung/Zusammenklappen: Umgang mit Änderungen der Geräteausrichtung (z. B. zwischen Hoch- und Querformat) oder des physischen Zustands von faltbaren Geräten (z. B. Öffnen oder Schließen).
- Speicher: Beibehalten und Abrufen bestimmter Informationen, des Kontexts oder von Nutzereingaben aus früheren Interaktionen oder Schritten.
- Zählen: Mengen, Häufigkeiten oder Fortschritt genau erfassen.
- Bedingte Anweisungen: Aktionen werden ausgeführt, je nachdem, ob andere angegebene Bedingungen erfüllt sind.
Funktionen und Fähigkeiten werden ständig verbessert. Wir empfehlen, diese Seite später noch einmal aufzurufen, um mehr über zusätzliche Funktionen zu erfahren. Geben Sie uns Feedback, damit wir Journeys weiter verbessern können.
Route starten
Sie können Ihre Journey auf jedem verfügbaren lokalen oder Remote-Gerät ausführen, ähnlich wie bei anderen instrumentierten Tests. Android Studio generiert aussagekräftige Ergebnisse, die Ihnen helfen, die Ausführung Ihrer Journey nachzuvollziehen.
So testen Sie einen Ablauf:
- Wählen Sie in der Hauptsymbolleiste ein Zielgerät aus, wie Sie es auch beim Ausführen eines instrumentierten Tests tun würden.
- Rufen Sie die XML-Datei des Ablaufs auf, die Sie testen möchten, und öffnen Sie sie im Editor.
- Führen Sie im Editor einen der folgenden Schritte aus:
- Wenn Sie sich in der Ansicht Design befinden, klicken Sie auf
Journey ausführen. - Wenn Sie sich in der Ansicht Code befinden, klicken Sie in der Spalte neben der Stelle, an der der Name des Ablaufs im XML-Code definiert ist, auf
Test ausführen.
- Wenn Sie sich in der Ansicht Design befinden, klicken Sie auf
Android Studio erstellt für Sie eine Journeys Test-Konfiguration und führt sie auf dem Zielgerät aus. Während der Ausführung erstellt und stellt Android Studio Ihre App bereit und stellt eine Verbindung zu Gemini her, um zu ermitteln, welche Aktionen für die einzelnen Schritte des Ablaufs ausgeführt werden sollen.
Abläufe für vorinstallierte Apps ausführen
Sie können einen Ablauf auf einer vorinstallierten App auf Ihrem Testgerät ausführen. Das ist nützlich, wenn Sie eine Produktionsversion Ihrer App testen möchten oder Ihre App noch nicht auf Android Gradle-Plug-in 9.0.0 oder höher aktualisiert haben.
- Öffnen Sie ein Projekt, das auf Android-Gradle-Plug-in 9.0.0 oder höher aktualisiert wurde, oder erstellen Sie ein neues Projekt.
- Reise schreiben
- Bearbeiten Sie die Laufzeitkonfiguration für den Ablauf und fügen Sie die folgenden Umgebungsvariablen hinzu. Eine Laufzeitkonfiguration wird automatisch erstellt, wenn Sie versuchen, einen Ablauf in Android Studio auszuführen.
- Mit
JOURNEYS_CUSTOM_APP_IDwird die Paket-ID der Ziel-App festgelegt.
- Mit
- Führen Sie die bearbeitete Journey aus. Android Studio sollte die Schritte des Ablaufs in der von Ihnen angegebenen Ziel-App ausführen.
Journey über die Befehlszeile ausführen
Sie können einen Journey auch über die Befehlszeile als Gradle-Aufgabe ausführen.
Einrichten
Sie müssen sich bei Google Cloud authentifizieren, um Journeys über die Befehlszeile verwenden zu können.
Hinweis:In diesen Schritten werden Nutzeranmeldedaten über die gcloud CLI bereitgestellt. Das ist möglicherweise nicht für alle Entwicklungsumgebungen möglich. Weitere Informationen dazu, welches Authentifizierungsverfahren Sie für Ihre Anforderungen verwenden sollten, finden Sie unter Funktionsweise von Standardanmeldedaten für Anwendungen.
Folgen Sie der Anleitung unter gcloud CLI installieren, um die Google Cloud CLI zu installieren.
Für Nutzeranmeldedaten
Sie können die Autorisierung manuell mit dem folgenden Terminalbefehl durchführen:
gcloud auth application-default login
Für Dienstkonto-Anmeldedaten
Wenn Sie das noch nicht getan haben, folgen Sie der Anleitung zum Erstellen von Dienstkontoanmeldedaten für Ihr Projekt.
- Achten Sie darauf, dass die IAM Service Account Credentials API für das Projekt aktiviert ist, in dem Sie die Dienstkontoschlüssel erstellt haben.
- Prüfen Sie, ob Ihrem Administratornutzer und Ihrem Dienstkonto die Berechtigung
Service Account Token Creatorgewährt wurde.
Führen Sie zur Authentifizierung den folgenden Befehl aus:
gcloud auth application-default login --impersonate-service-account SERVICE_ACCOUNT_EMAIL
Als Gradle-Aufgabe ausführen
Führen Sie Journeys aus, indem Sie die Gradle-Aufgabe direkt in der Befehlszeile ausführen. Nachdem Sie die Aufgabe ausgeführt haben, werden die Testergebnisse in den Logs angezeigt und HTML- und XML-Testresultatdateien werden generiert.
Alle Journeys ausführen Mit dem folgenden Befehl können Sie alle Journeys in der Testsuite ausführen.
./gradlew :app:testJourneysTestDefaultDebugTestSuite
Einzelnen Ablauf ausführen
Verwenden Sie JOURNEYS_FILTER, um den Namen des Ablaufs anzugeben, den Sie ausführen möchten:
JOURNEYS_FILTER=your_journey_name.journey.xml ./gradlew :app:testJourneysTestDefaultDebugTestSuite
Alle Abläufe in einem Unterverzeichnis ausführen
Legen Sie JOURNEYS_FILTER auf den Namen des Unterverzeichnisses fest. Mit dem folgenden Befehl werden beispielsweise alle Journeys im Unterverzeichnis home im Stammverzeichnis der Testsuite ausgeführt.
JOURNEYS_FILTER=home ./gradlew :app:testJourneysTestDefaultDebugTestSuite
Ergebnisse ansehen
Wenn Android Studio den Test Ihres Ablaufs abgeschlossen hat, wird automatisch der Bereich mit den Testergebnissen angezeigt.
Im Vergleich zu anderen instrumentierten Tests, die Sie möglicherweise in Android Studio ausführen, gibt es einige Unterschiede bei der Darstellung der Ergebnisse für Journeys.
- Im Bereich Tests wird der Ablauf in die einzelnen Schritte unterteilt. Sie können auf die einzelnen Schritte klicken, um weitere Informationen dazu zu erhalten, wie Gemini sie ausgeführt hat.
- Im Bereich Ergebnisse finden Sie detaillierte Informationen dazu, wie Gemini Ihre Journey verstanden und begründet hat und wie sie ausgeführt wurde.
- Die Screenshots, die an Gemini gesendet wurden, werden zur visuellen Unterstützung bei jeder Aktion im Schritt angezeigt.
- Neben jedem Screenshot werden die jeweils ergriffenen Maßnahmen und die Begründung von Gemini dafür beschrieben.
- Jede Aktion im Schritt ist nummeriert.
Bekannte Probleme
- Beim Testen eines Ablaufs werden standardmäßig alle Berechtigungen für Ihre App erteilt.
- Wenn Sie einen Ablauf auf einem Gerät mit Android 15 (API-Level 35) testen, wird auf dem Gerät möglicherweise die Warnung Unsichere App blockiert für AndroidX Crawler angezeigt. Sie können auf Trotzdem installieren klicken, um diese Prüfung zu umgehen. Alternativ können Sie Entwickleroptionen auf dem Gerät konfigurieren und die Option Über USB installierte Apps prüfen deaktivieren.