Funkcja Journeys w Android Studio wykorzystuje możliwości AI w zakresie widzenia i rozumowania, aby poruszać się po aplikacji i ją testować na podstawie instrukcji w języku naturalnym. Zestaw instrukcji, zwany ścieżką, jest przekształcany w działania, które AI wykonuje w aplikacji. Możesz też pisać i opisywać bardziej złożone asercje, które AI ocenia na podstawie tego, co widzi na urządzeniu.
A ponieważ Gemini analizuje, jakie działania należy wykonać, aby osiągnąć cele, ścieżki są bardziej odporne na subtelne zmiany w układzie lub działaniu aplikacji, co skutkuje mniejszą liczbą niestabilnych testów podczas uruchamiania ich w różnych wersjach aplikacji i na różnych konfiguracjach urządzeń.
Możesz pisać i uruchamiać testy bezpośrednio w Android Studio lub w wierszu poleceń na dowolnym lokalnym lub zdalnym urządzeniu z Androidem. Środowisko IDE zapewnia nowy edytor do tworzenia ścieżek oraz wyniki z elementami rozszerzonymi, które pomagają lepiej śledzić wnioskowanie i wykonywanie ścieżki przez Gemini.
Napisz relację z podróży
Android Studio udostępnia szablon pliku i nowy edytor, które ułatwiają tworzenie i edytowanie ścieżek. Serie czynności są zapisywane w składni XML, aby uporządkować opis i kroki.
Aby utworzyć ścieżkę i rozpocząć jej edytowanie:
- W panelu Project w Android Studio kliknij prawym przyciskiem myszy moduł aplikacji, dla którego chcesz napisać ścieżkę.
- Kliknij Nowy > Test > Plik ścieżki.
W wyświetlonym oknie podaj nazwę i opis ścieżki.
Okno w Android Studio, w którym tworzysz plik ścieżki. Kliknij Zakończ. Android Studio utworzy plik XML z wybraną przez Ciebie nazwą. Możesz użyć widoku Kod, aby bezpośrednio edytować kod XML, lub widoku Projekt, aby uprościć edycję.
Gdy wyświetlasz ścieżkę w widoku Projekt, użyj pola tekstowego, aby opisać każdy etap ścieżki. Każdy krok może zawierać działania opisowe, które Gemini ma wykonać, lub stwierdzenia, które ma ocenić.
Naciśnij Enter na klawiaturze, aby rozpocząć nowy krok w tej samej ścieżce. W razie potrzeby możesz powtórzyć tę czynność dla każdego kroku ścieżki, który chcesz zdefiniować.
Wskazówki dotyczące pisania artykułów
Chociaż AI potrafi zrozumieć większość kroków napisanych w obsługiwanych językach, stosowanie tych wskazówek dotyczących pisania ścieżek może prowadzić do uzyskania dokładniejszych i bardziej przewidywalnych wyników:
- Załóż, że aplikacja jest już na pierwszym planie: uruchomienie ścieżki automatycznie uruchamia aplikację. Kroki ścieżki powinny się rozpocząć po pełnym uruchomieniu aplikacji. Nie musisz więc uwzględniać kroku „uruchom aplikację”.
- Używaj jednoznacznego języka: precyzyjność minimalizuje ryzyko błędnej interpretacji i zwiększa wiarygodność.
| Zamiast | Zrób to |
|---|---|
| „Kliknij przycisk odrzucania”. | „Kliknij „Odrzuć”” lub po prostu „Odrzuć” |
| „Wpisz „seler”” | „Wpisz „seler” na pasku wyszukiwania u góry ekranu głównego”. |
| „Przesuń, aby zamknąć” | „Przesuń w lewo, aby zamknąć kartę. Nie powinna być już widoczna”. |
- Uwzględnij kryteria sukcesu w ramach kroku: pomoże to Gemini lepiej zrozumieć Twoje intencje i wyjaśnić, kiedy działanie jest zakończone i można rozpocząć kolejne.
| Zamiast | Zrób to |
|---|---|
| „Kliknij przycisk wysyłania” | „Wyślij e-maila, klikając przycisk przesyłania. Spowoduje to zamknięcie e-maila i powrót do skrzynki odbiorczej”. |
| „Przejdź do koszyka” | „Kliknij ikonę koszyka, aby przejść na stronę koszyka. Sprawdź, czy nie zawiera żadnych elementów”. |
| „Kliknij pierwszy film” | „Kliknij pierwszy film i poczekaj, aż się w całości załaduje”. |
- Ulepszanie ścieżki: jeśli ścieżka nie działa zgodnie z oczekiwaniami, możesz wyświetlić wyniki i sprawdzić sekcje „Podjęte działanie” oraz „Uzasadnienie”, aby dowiedzieć się, dlaczego Gemini nie wykonał kroków zgodnie z Twoimi oczekiwaniami. Wykorzystaj te informacje, aby doprecyzować instrukcje.
- Podziel ścieżkę na bardziej szczegółowe kroki: chociaż AI potrafi interpretować kroki obejmujące wiele działań, czasami bardziej szczegółowe, odrębne kroki mogą zwiększyć dokładność i powtarzalność ścieżki.
- „Błąd: nie udało się wykonać działania w maksymalnej liczbie dozwolonych prób”: jeśli wystąpi ten błąd, spróbuj podzielić nieudane kroki na 2 lub więcej mniejszych kroków. Ten błąd występuje, gdy AI nie może wykonać działania po osiągnięciu maksymalnej liczby interakcji z aplikacją.
Funkcje obsługiwane i nieobsługiwane
Oto przegląd obsługiwanych i nie w pełni obsługiwanych funkcji podczas tworzenia ścieżek. Poniższe listy nie są wyczerpujące.
W przypadku ścieżek obsługiwane są te działania:
- Klikaj elementy interfejsu.
- Wpisz tekst w polach tekstowych.
- Przesuń palcem w określonym kierunku, aby poruszać się po interfejsie.
Te funkcje nie są obecnie w pełni obsługiwane lub mogą działać w sposób niejednolity:
- Gesty z użyciem wielu palców (np. szczypanie w celu powiększenia) – interakcje wymagające jednoczesnego dotykania ekranu w co najmniej 2 miejscach, np. szczypanie w celu powiększenia lub pomniejszenia albo przesuwanie dwoma palcami.
- Przytrzymanie – naciśnięcie i przytrzymanie palca przez czas dłuższy niż standardowe kliknięcie.
- Kliknięcie dwukrotne – szybkie dwukrotne kliknięcie tego samego miejsca na ekranie w krótkim odstępie czasu.
- Obracanie/składanie ekranu – obsługa zmian orientacji urządzenia (np. z pionowej na poziomą) lub stanu fizycznego urządzeń składanych (np. otwieranie lub zamykanie).
- Pamięć – przechowywanie i przywoływanie konkretnych informacji, kontekstu lub danych wprowadzonych przez użytkownika w poprzednich interakcjach lub krokach.
- Liczenie – dokładne śledzenie ilości, częstotliwości lub postępów.
- Instrukcje warunkowe – wykonywanie działań w zależności od tego, czy inne określone warunki są spełnione.
Funkcje i możliwości są stale ulepszane. Więcej informacji o dodatkowych funkcjach i możliwościach znajdziesz na tej stronie w późniejszym terminie. Aby pomóc nam ulepszać sekcję Podróże, podziel się swoją opinią.
Uruchamianie ścieżki
Możesz uruchomić test na dowolnym dostępnym urządzeniu lokalnym lub zdalnym, podobnie jak w przypadku innych testów z instrumentacją. Android Studio generuje wyniki z elementami rozszerzonymi, które pomagają zrozumieć przebieg testu.
Aby przetestować ścieżkę:
- Na głównym pasku narzędzi wybierz urządzenie docelowe, tak jak w przypadku przeprowadzania testu z użyciem instrumentacji.
- Przejdź do pliku XML ścieżki, którą chcesz przetestować, i otwórz go w edytorze.
- W edytorze wykonaj jedną z tych czynności:
- Jeśli jesteś w widoku Projekt, kliknij
Uruchom ścieżkę. - Jeśli jesteś w widoku Kod, kliknij
Uruchom „test” w marginesie obok miejsca, w którym w XML-u zdefiniowana jest nazwa ścieżki.
- Jeśli jesteś w widoku Projekt, kliknij
Android Studio utworzy konfigurację Testy ścieżek i uruchomi ją na urządzeniu docelowym. Podczas wykonywania Android Studio tworzy i wdraża aplikację oraz łączy się z Gemini, aby określić, jakie działania należy podjąć na każdym etapie.
Uruchamiaj ścieżki w dowolnej wstępnie zainstalowanej aplikacji
Możesz uruchomić ścieżkę na fabrycznie zainstalowanej aplikacji na urządzeniu testowym. Jest to przydatne, jeśli chcesz przetestować wersję produkcyjną aplikacji lub jeśli nie masz jeszcze zaktualizowanej aplikacji do wtyczki Androida do obsługi Gradle w wersji 9.0.0 lub nowszej.
- Otwórz lub utwórz nowy projekt zaktualizowany do wtyczki Androida do obsługi Gradle w wersji 9.0.0 lub nowszej.
- Tworzenie ścieżki
- Edytuj konfigurację uruchomienia ścieżki i dodaj te zmienne środowiskowe: Konfiguracja uruchomienia jest tworzona automatycznie, gdy próbujesz uruchomić ścieżkę w Android Studio.
JOURNEYS_CUSTOM_APP_IDustawić identyfikator pakietu aplikacji docelowej;
- Uruchom zmodyfikowaną podróż. Android Studio powinno wykonać kroki ścieżki w określonej aplikacji docelowej.
Uruchamianie ścieżki z wiersza poleceń
Możesz też uruchomić Journey z poziomu wiersza poleceń jako zadanie Gradle.
Konfiguracja
Aby korzystać z funkcji Journeys w wierszu poleceń, musisz uwierzytelnić się w Google Cloud.
Uwaga: w tych krokach używany jest interfejs wiersza poleceń gcloud do podawania danych logowania użytkownika, co może nie mieć zastosowania we wszystkich środowiskach programistycznych. Więcej informacji o tym, jakiego procesu uwierzytelniania użyć w swoim przypadku, znajdziesz w artykule Jak działają domyślne dane logowania aplikacji.
Aby zainstalować Google Cloud CLI, wykonaj czynności opisane w artykule Instalowanie interfejsu wiersza poleceń gcloud.
W przypadku danych logowania użytkownika
Możesz autoryzować ręcznie za pomocą tego polecenia terminala:
gcloud auth application-default login
W przypadku danych logowania konta usługi
Jeśli jeszcze tego nie zrobiono, postępuj zgodnie z instrukcjami, aby utworzyć dane logowania konta usługi w projekcie.
- Sprawdź, czy w projekcie, w którym utworzono klucze konta usługi, włączony jest interfejs IAM Service Account Credentials API.
- Sprawdź, czy użytkownik będący administratorem i konto usługi mają przyznane uprawnienie
Service Account Token Creator.
Aby się uwierzytelnić, uruchom to polecenie:
gcloud auth application-default login --impersonate-service-account SERVICE_ACCOUNT_EMAIL
Uruchamianie jako zadania Gradle
Uruchamiaj ścieżki, wykonując bezpośrednio zadanie Gradle w wierszu poleceń. Po uruchomieniu zadania wyniki testu pojawią się w logach, a pliki wyników testu w formatach HTML i XML zostaną wygenerowane.
Aby uruchomić wszystkie ścieżki Wszystkie ścieżki w pakiecie testowym możesz uruchomić za pomocą tego polecenia.
./gradlew :app:testJourneysTestDefaultDebugTestSuite
Aby uruchomić pojedynczą ścieżkę
Użyj parametru JOURNEYS_FILTER, aby określić nazwę ścieżki, którą chcesz uruchomić, w ten sposób:
JOURNEYS_FILTER=your_journey_name.journey.xml ./gradlew :app:testJourneysTestDefaultDebugTestSuite
Aby uruchomić wszystkie ścieżki w podkatalogu: ustaw JOURNEYS_FILTER na nazwę podkatalogu. Na przykład to polecenie uruchamia wszystkie ścieżki w podkatalogu home w katalogu głównym pakietu testowego.
JOURNEYS_FILTER=home ./gradlew :app:testJourneysTestDefaultDebugTestSuite
Pokaż wyniki
Gdy Android Studio zakończy testowanie ścieżki, automatycznie pojawi się panel wyników testu, w którym zobaczysz wyniki.
W porównaniu z innymi testami z instrumentacją, które możesz przeprowadzać w Android Studio, sposób wyświetlania wyników testów ścieżek jest nieco inny.
- Panel Testy dzieli ścieżkę na poszczególne etapy. Możesz kliknąć każdy krok, aby dowiedzieć się więcej o tym, jak Gemini go wykonał.
- Panel Wyniki zawiera szczegółowe informacje, które pomogą Ci zrozumieć, jak Gemini zrozumiał i przeanalizował Twoją podróż oraz jak ją zrealizował.
- Zrzuty ekranu wysłane do Gemini są wyświetlane jako pomoc wizualna przy każdej czynności w kroku.
- Każde podjęte działanie i uzasadnienie Gemini są opisane obok każdego zrzutu ekranu.
- Każde działanie w kroku jest ponumerowane.
Znane problemy
- Podczas testowania ścieżki domyślnie przyznawane są wszystkie uprawnienia do aplikacji.
- Podczas testowania ścieżki na urządzeniu z Androidem 15 (poziom API 35) może się pojawić ostrzeżenie „Zablokowano niebezpieczną aplikację” dotyczące „AndroidX Crawler”. Aby pominąć to sprawdzenie, możesz kliknąć Zainstaluj mimo to. Możesz też skonfigurować na urządzeniu opcje programisty i wyłączyć opcję Weryfikuj aplikacje przez USB.