Journeys per Android Studio sfrutta le funzionalità di visione e ragionamento dell'AI per navigare e testare la tua app in base alle tue istruzioni in linguaggio naturale. Il tuo insieme di istruzioni, chiamato percorso, viene convertito in azioni che l'AI esegue sulla tua app. Inoltre, puoi scrivere e descrivere asserzioni più complesse, che l'AI valuta in base a ciò che vede sul dispositivo.
Poiché Gemini ragiona su quali azioni eseguire per soddisfare gli obiettivi, i percorsi sono più resilienti ai cambiamenti sottili nel layout o nel comportamento dell'app, il che si traduce in un minor numero di test instabili quando vengono eseguiti su versioni diverse dell'app e su configurazioni diverse dei dispositivi.
Puoi scrivere ed eseguire i percorsi direttamente da Android Studio o dalla riga di comando su qualsiasi dispositivo locale o remoto basato su Android. L'IDE offre una nuova esperienza di editor per creare viaggi, nonché risultati avanzati che ti aiutano a seguire meglio il ragionamento e l'esecuzione del tuo viaggio da parte di Gemini.
Scrivere un viaggio
Android Studio fornisce un modello di file e una nuova esperienza di editor che semplificano la creazione e la modifica dei percorsi. I percorsi vengono scritti utilizzando la sintassi XML per organizzare la descrizione e i passaggi del percorso.
Per creare e iniziare a modificare un percorso:
- Nel riquadro Progetto di Android Studio, fai clic con il tasto destro del mouse sul modulo dell'app per cui vuoi scrivere un percorso.
- Seleziona Nuovo > Test > File del percorso.
Nella finestra di dialogo visualizzata, inserisci il nome e la descrizione del percorso.
Una finestra di dialogo in Android Studio che utilizzi per creare un file di percorso. Fai clic su Fine. Android Studio crea un file XML per il tuo viaggio con il nome che hai scelto. Puoi utilizzare la visualizzazione Codice per modificare direttamente l'XML o la visualizzazione Progettazione per un'esperienza di modifica semplificata.
Quando visualizzi il percorso nella visualizzazione Progettazione, utilizza il campo di testo per descrivere ogni passaggio del percorso. Ogni passaggio può includere azioni descrittive che vuoi che Gemini esegua o asserzioni che vuoi che Gemini valuti.
Premi Invio sulla tastiera per iniziare un nuovo passaggio nello stesso percorso. Puoi ripetere questa operazione in base alle tue esigenze per ogni passaggio del percorso che vuoi definire.
Suggerimenti per scrivere i viaggi
Sebbene l'AI sia in grado di comprendere la maggior parte dei passaggi scritti nelle lingue supportate, seguire questi suggerimenti per scrivere i viaggi può portare a risultati più accurati e previsti:
- Supponiamo che la tua app sia già in primo piano:l'esecuzione di un viaggio avvia automaticamente l'app. I passaggi del viaggio dovrebbero iniziare dopo l'avvio completo dell'app. ovvero non è necessario includere "avvia app" come passaggio.
- Utilizza un linguaggio inequivocabile:la precisione riduce al minimo le interpretazioni errate e migliora l'affidabilità.
| Anziché | Esegui questa azione |
|---|---|
| "Seleziona il pulsante di chiusura" | "Tocca "Ignora"" o semplicemente "Ignora". |
| "Digita "sedano"" | "Digita "sedano" nella barra di ricerca nella parte superiore della schermata Home" |
| "Scorri per chiudere" | "Scorri verso sinistra per chiudere la scheda, che non dovrebbe più essere visibile" |
- Includi i criteri di successo nel passaggio:in questo modo Gemini può comprendere meglio la tua intenzione e chiarisce quando l'azione è completata e quando può iniziare l'azione successiva.
| Anziché | Esegui questa azione |
|---|---|
| "Seleziona il pulsante Invia" | "Invia l'email toccando il pulsante Invia. L'email dovrebbe chiudersi e dovresti tornare alla posta in arrivo." |
| "Vai al carrello" | "Tocca l'icona del carrello degli acquisti per accedere alla pagina del carrello. Verifica che contenga zero elementi" |
| "Fai clic sul primo video" | "Fai clic sul primo video e attendi che venga caricato completamente" |
- Perfeziona il tuo viaggio:se il tuo viaggio non viene eseguito come previsto, puoi visualizzare i risultati e controllare "Azione intrapresa" e il relativo "Motivazione" per capire perché Gemini potrebbe non aver eseguito i passaggi come previsto. Utilizza queste informazioni per fornire maggiore chiarezza alle tue istruzioni.
- Suddividi il percorso in passaggi più specifici: anche se l'AI può interpretare passaggi con più azioni, a volte passaggi discreti più granulari possono migliorare l'accuratezza e la riproducibilità del percorso.
- "Errore: impossibile completare l'azione nel numero massimo consentito di tentativi": Se riscontri questo errore, prova a dividere i passaggi non riusciti in due o più passaggi più piccoli. Questo errore si verifica se l'AI non è in grado di completare l'azione dopo aver tentato un numero massimo di interazioni con la tua app.
Funzionalità supportate e non supportate
Ecco una panoramica delle funzionalità supportate e non ancora completamente supportate quando scrivi i viaggi. I seguenti elenchi non sono esaustivi.
Le seguenti azioni sono supportate all'interno dei percorsi:
- Tocca gli elementi dell'interfaccia utente.
- Digita per inserire il testo nei campi di testo.
- Scorri in una determinata direzione per navigare nell'interfaccia utente.
Le seguenti funzionalità non sono completamente supportate al momento o potrebbero funzionare in modo non uniforme:
- Gesti con più dita (ad esempio, pizzicare per ingrandire): interazioni che richiedono due o più punti di contatto sullo schermo contemporaneamente, ad esempio pizzicare per ingrandire o diminuire lo zoom oppure scorrere con due dita.
- Pressione prolungata: premere e tenere premuto un dito per un periodo di tempo più lungo di un tocco standard.
- Doppio tocco: toccare rapidamente due volte la stessa posizione sullo schermo.
- Rotazione/piegatura dello schermo: gestione delle modifiche all'orientamento del dispositivo (ad esempio, tra verticale e orizzontale) o dello stato fisico dei dispositivi pieghevoli (ad esempio, apertura o chiusura).
- Memoria: conservazione e recupero di informazioni, contesto o input dell'utente specifici in interazioni o passaggi precedenti.
- Conteggio: monitoraggio accurato di quantità, frequenze o progressi.
- Istruzioni condizionali: esecuzione di azioni in base al soddisfacimento di altre condizioni specificate.
Le funzionalità sono in costante miglioramento. Ti consigliamo di controllare questa pagina in un secondo momento per scoprire funzionalità aggiuntive. Per aiutarci a migliorare Itinerari, condividi il tuo feedback.
Esegui il tuo percorso
Puoi eseguire il percorso su qualsiasi dispositivo locale o remoto disponibile, in modo simile a qualsiasi altro test strumentato, e Android Studio genera risultati avanzati che ti aiutano a comprendere l'esecuzione del percorso.
Per testare un percorso:
- Seleziona un dispositivo di destinazione dalla barra degli strumenti principale, come faresti quando esegui un test strumentato.
- Vai al file XML del percorso che vuoi testare e aprilo nell'editor.
- Nell'editor, esegui una delle seguenti operazioni:
- Se ti trovi nella visualizzazione Progettazione, fai clic su
Esegui percorso. - Se ti trovi nella visualizzazione Codice, fai clic su
Esegui "test" nel margine
accanto a dove è definito il nome del percorso nell'XML.
- Se ti trovi nella visualizzazione Progettazione, fai clic su
Android Studio crea una configurazione Journeys Test e la esegue sul dispositivo di destinazione. Durante l'esecuzione, Android Studio crea e implementa l'app e si connette a Gemini per determinare quali azioni intraprendere per ogni passaggio del percorso.
Esegui percorsi su qualsiasi app preinstallata
Puoi eseguire un percorso su un'app preinstallata sul tuo dispositivo di test. Questa opzione è utile se vuoi testare una versione di produzione della tua app o se non hai ancora aggiornato l'app ad Android Gradle Plugin 9.0.0 o versioni successive.
- Apri o crea un nuovo progetto aggiornato al plug-in Android per Gradle 9.0.0 o versioni successive.
- Scrivi un viaggio.
- Modifica la configurazione di esecuzione per il
viaggio e aggiungi le seguenti variabili di ambiente. Una configurazione di esecuzione viene
creata automaticamente quando tenti di eseguire un percorso da Android Studio.
JOURNEYS_CUSTOM_APP_IDimposta l'ID pacchetto dell'app di destinazione.
- Esegui il viaggio che hai modificato. Android Studio dovrebbe eseguire i passaggi del percorso nell'app di destinazione specificata.
Eseguire un percorso dalla riga di comando
Puoi anche eseguire un percorso dalla riga di comando come attività Gradle.
Configura
Per utilizzare Journeys dalla riga di comando, devi autenticarti su Google Cloud.
Nota:questi passaggi utilizzano gcloud CLI per fornire le credenziali utente, che potrebbero non essere applicabili a tutti gli ambienti di sviluppo. Per ulteriori informazioni su quale procedura di autenticazione utilizzare per le tue esigenze, consulta Come funzionano le credenziali predefinite dell'applicazione.
Per installare Google Cloud CLI, segui i passaggi descritti in Installa gcloud CLI.
Per le credenziali utente
Puoi autorizzare manualmente utilizzando il seguente comando del terminale:
gcloud auth application-default login
Per le credenziali del service account
Se non l'hai ancora fatto, segui la guida per creare le credenziali dell'account di servizio per il tuo progetto.
- Assicurati che l'API IAM Service Account Credentials sia abilitata per il progetto in cui hai creato le chiavi del service account.
- Assicurati che all'utente amministratore e al service account sia stata concessa l'autorizzazione
Service Account Token Creator.
Per l'autenticazione, esegui questo comando:
gcloud auth application-default login --impersonate-service-account SERVICE_ACCOUNT_EMAIL
Esegui come attività Gradle
Esegui Journeys eseguendo direttamente l'attività Gradle dalla riga di comando. Dopo l'esecuzione dell'attività, i risultati del test verranno visualizzati nei log e verranno generati i file di risultati del test HTML e XML.
Per eseguire tutti i percorsi Puoi eseguire tutti i percorsi nella suite di test con il seguente comando.
./gradlew :app:testJourneysTestDefaultDebugTestSuite
Per eseguire un singolo percorso
Utilizza JOURNEYS_FILTER per specificare il nome del percorso che vuoi eseguire,
come segue:
JOURNEYS_FILTER=your_journey_name.journey.xml ./gradlew :app:testJourneysTestDefaultDebugTestSuite
Per eseguire tutti i percorsi in una sottodirectory
Imposta JOURNEYS_FILTER sul nome della sottodirectory. Ad esempio, il seguente comando esegue tutti i test di navigazione nella sottodirectory home all'interno della directory radice della suite di test.
JOURNEYS_FILTER=home ./gradlew :app:testJourneysTestDefaultDebugTestSuite
Visualizza i risultati
Quando Android Studio completa il test del percorso, il riquadro dei risultati del test viene visualizzato automaticamente per mostrare i risultati.
Rispetto ad altri test strumentati che potresti eseguire in Android Studio, ci sono alcune differenze nel modo in cui vengono visualizzati i risultati dei percorsi.
- Il riquadro Test suddivide il percorso in passaggi discreti. Puoi fare clic su ogni passaggio per scoprire di più su come è stato eseguito da Gemini.
- Il riquadro Risultati mostra informazioni dettagliate per aiutarti a capire come Gemini ha compreso e ragionato sul tuo viaggio e come è stato eseguito.
- Gli screenshot inviati a Gemini vengono mostrati come ausilio visivo in ogni azione del passaggio.
- Ogni azione intrapresa e il ragionamento di Gemini alla base di questa azione sono descritti accanto a ogni screenshot.
- Ogni azione nel passaggio è numerata.
Problemi noti
- Quando testi un percorso, tutte le autorizzazioni per la tua app vengono concesse per impostazione predefinita.
- Quando testi un percorso su un dispositivo con Android 15 (livello API 35), potresti visualizzare un avviso sul dispositivo che indica "App non sicura bloccata" per "AndroidX Crawler". Puoi fare clic su Installa comunque per ignorare questo controllo. In alternativa, puoi configurare le opzioni sviluppatore sul dispositivo e disattivare l'opzione per verificare le app tramite USB.