Porównanie z najlepszymi aplikacjami

Testy porównawcze Hero to zestaw testów porównawczych, które obejmują ogólne ścieżki użytkownika aplikacji, takie jak uruchamianie aplikacji lub przewijanie w aplikacji Pokedex typu open source.

  • Testy porównawcze uruchamiania: śledzenie czasu od otwarcia aplikacji do wyświetlenia treści.
  • Testy porównawcze przewijania: pomiar wydajności przewijania leniwej siatki z obrazami.

Konfiguracja testu

  • Wybór aplikacji: testy przeprowadziliśmy na aplikacji Pokedex typu open source, porównując jej wersje oparte na widokach i oparte na Compose. Aplikacja została wybrana, aby reprezentować rzeczywiste scenariusze, i nie została opracowana przez zespół Compose.
  • Konfiguracja sprzętu: testy porównawcze zostały przeprowadzone na Pixelu 6 z Androidem 17 (poziom interfejsu API 37) z zablokowanymi procesorami i GPU. Przed Compose 1.12 testy porównawcze były przeprowadzane na Pixelu 3a. Od wersji Compose 1.12 Pixel 6 jest używany jako standardowy punkt odniesienia wydajności w przypadku testów porównawczych Hero. Wersja Compose 1.11 również została przetestowana na Pixelu 6 w celu porównania.
  • Konfiguracja kompilacji: testy porównawcze używają aplikacji utworzonej w trybie wersji z włączonym R8. Aplikacja jest w pełni wstępnie skompilowana, aby zmniejszyć niestabilność wynikającą z kompilacji JIT.
  • Wybór wyników: aby zapewnić analizę najgorszego przypadku, z wyników testu porównawczego wykluczono skrajne wartości odstające i niereprezentatywny szum. Następnie ustalono punkt odniesienia, wybierając medianę wartości danych o skuteczności górnej granicy.

Testy porównawcze dotyczące bohaterów startupów

Do pomiaru czasu uruchamiania użyliśmy PokedexStartupBenchmark. PokedexStartupBenchmark mierzy czas, po jakim aplikacja Pokedex staje się widoczna dla użytkownika.

Aplikacja może zostać uruchomiona w jednym z 3 stanów: „na zimno”, „na ciepło” lub „na gorąco”. Każdy stan wpływa na to, jak długo trwa, zanim aplikacja stanie się widoczna dla użytkownika. W przypadku uruchamiania „na zimno” aplikacja uruchamia się od zera. W tym teście porównawczym mierzymy wydajność uruchamiania aplikacji w stanie uruchomienia „na zimno”. Zalecamy, aby zawsze optymalizować aplikację pod kątem uruchamiania na zimno. Może to też poprawić wydajność uruchomień „na ciepło” i „na gorąco”.

Dane, których używamy do pomiaru czasu uruchamiania aplikacji, to czas do wyświetlenia pierwszej klatki i czas do pełnego wyświetlenia.

Czas do początkowego wyświetlania

Czas do pierwszego wyświetlenia (TTID) to czas potrzebny aplikacji na wygenerowanie pierwszej klatki, w tym inicjalizację procesu podczas uruchamiania na zimno, utworzenie aktywności podczas uruchamiania na zimno lub na ciepło oraz wyświetlenie pierwszej klatki.

W aplikacji PokedexStartupBenchmark Compose 1.13 osiąga początkowe wyświetlanie w 147,65 ms przy uruchomieniu „na zimno”. Ten wynik mieści się w zakresie normalnego szumu między uruchomieniami w Compose 1.12.1 (145,51 ms) i Compose 1.11.4 (147,78 ms) i jest o 3,4% szybszy niż w przypadku widoków (152,87 ms).

Czas do początkowego wyświetlenia w milisekundach, testowany na Pixelu 6
WersjaCzas do wyświetlenia pierwszej klatki (ms)
Compose 1.11147,78
Compose 1.12145,51
Compose 1.13147,65
Wyświetlenia152,87
Rysunek 1. Ten wykres porównuje TTID dla Compose 1.11, 1.12 i 1.13 z widokami.

Czas do pełnego wyświetlenia

Czas do pełnego wyświetlenia (TTFD) mierzy czas, po którym aplikacja staje się interaktywna. Oznacza to, że wszystkie dane zostały wczytane i wyświetlone. Więcej informacji o czasie do pełnego wyświetlenia znajdziesz w artykule o czasie uruchamiania aplikacji.

W przypadku PokedexStartupBenchmark Compose 1.13 osiąga pełne wyświetlenie w 202,79 ms przy uruchomieniu „na zimno”. Ten wynik mieści się w normalnym zakresie szumu między uruchomieniami Compose 1.12.1 (201,96 ms) i Compose 1.11.4 (203,33 ms). Widoki osiągają pełne wyświetlenie w 180,32 ms, więc Compose 1.13 jest o 12,5% wolniejszy niż widoki w przypadku TTFD.

Czas do pełnego wyświetlenia w milisekundach, testowany na Pixelu 6
WersjaCzas do pełnego wyświetlenia (ms)
Compose 1.11203,33
Compose 1.12201,96
Compose 1.13202,79
Wyświetlenia180,32
Rysunek 2. Ten wykres porównuje TTFD dla Compose 1.11, 1.12 i 1.13 z widokami.

Analizy porównawcze przewijania banera powitalnego

Do pomiaru wydajności przewijania użyliśmy testu porównawczego PokedexScrollBenchmark. Mierzy wydajność przewijania ekranu aplikacji Pokedex w przypadku leniwej siatki z obrazami. W tym teście porównawczym cały ekran jest wielokrotnie przewijany i przesuwany, a nowe elementy są ładowane. Wydajność przewijania jest mierzona na podstawie wskaźnika zacięć.

Częstotliwość zacięć

Urządzenia z Androidem renderują obraz z szybkością do 60 lub 120 klatek na sekundę (FPS). Oznacza to, że system ma ściśle określony czas (np. 16,6 ms przy 60 kl./s) na wygenerowanie klatki. Jeśli aplikacja wykonuje zadanie zbyt długo, może to powodować widoczne zacinanie się, które nazywamy zacinaniem.

W aplikacji PokedexScrollBenchmark Compose dorównuje widokom pod względem wydajności, osiągając 0 punktów procentowych nadmiernego zacinania od wersji Compose 1.9.0. Na Pixelu 6 widoki i Compose mają 0,00% zacięć w Compose 1.11.4, 1.12.1 i 1.13.

Nadmierne zacinanie się w Compose w porównaniu z widokami w punktach procentowych według wersji Compose (im niższa wartość, tym lepiej)
Wersja ComposeUrządzenieNadmierne zacinanie się w stosunku do wyświetleń (p.p.)
1.3.3Pixel 3a+0,35
1.4.3Pixel 3a+0,41
1.5.4Pixel 3a+0,42
1.6.8Pixel 3a+0,21
1.7.8Pixel 3a+0,36
1.8.0Pixel 3a+0,38
1.9.0Pixel 3a0
1.10.0Pixel 3a0
1.11Pixel 60
1.12Pixel 60
1.13Pixel 60
Rysunek 3. Od wersji Compose 1.9.0 Compose dopasowuje przeskok przewijania widoków.

Uruchamianie testów porównawczych bohaterów

Aby sprawdzić wyniki i uruchomić testy porównawcze lokalnie:

  1. Aby sprawdzić kod źródłowy, postępuj zgodnie z przewodnikiem po AndroidX.
  2. Postępuj zgodnie z instrukcjami w pliku README kodu źródłowego testów porównawczych Hero, aby utworzyć test porównawczy i docelowe pliki APK (pokedex-macrobenchmark i pokedex-macrobenchmark-target), zainstalować je na urządzeniu testowym i uruchomić pakiety PokedexStartupBenchmark i PokedexScrollBenchmark za pomocą adb lub Android Studio.

Możesz przeprowadzić te testy porównawcze na dowolnym obsługiwanym urządzeniu, np. na konkretnym urządzeniu, pod kątem którego optymalizujesz aplikację. Aby jednak zweryfikować oficjalne wyniki, użyj tej samej konfiguracji sprzętowej.