Tolok ukur hero

Benchmark hero adalah serangkaian benchmark yang mencakup perjalanan pengguna aplikasi tingkat tinggi, seperti memulai aplikasi atau men-scroll di aplikasi Pokedex open source.

  • Benchmark hero startup: Melacak waktu dari pembukaan aplikasi hingga konten ditampilkan.
  • Tolok ukur scroll hero: Mengukur performa scroll petak lambat dengan gambar.

Penyiapan pengujian

  • Pemilihan aplikasi: Kami melakukan pengujian ini menggunakan aplikasi Pokedex open source, dengan membandingkan versi berbasis View dan berbasis Compose. Aplikasi ini dipilih untuk mewakili skenario dunia nyata, dan tidak dikembangkan oleh tim Compose.
  • Penyiapan hardware: Tolok ukur dijalankan di Pixel 6 yang menjalankan Android 17 (level API 37) dengan CPU dan GPU terkunci. Sebelum Compose 1.12, benchmark dilakukan di Pixel 3a. Mulai Compose 1.12, Pixel 6 digunakan sebagai dasar pengukuran performa standar untuk tolok ukur utama, dan Compose 1.11 juga diukur di Pixel 6 sebagai perbandingan.
  • Penyiapan build: Benchmark menggunakan aplikasi yang di-build dalam mode rilis dengan R8 diaktifkan. Aplikasi telah dikompilasi sepenuhnya untuk mengurangi ketidakstabilan dari kompilasi tepat waktu (JIT).
  • Pemilihan hasil: Untuk memastikan analisis kasus terburuk, pencilan ekstrem dan derau yang tidak representatif dikecualikan dari hasil tolok ukur. Kemudian, dasar pengukuran ditetapkan dengan memilih nilai median dari data performa batas atas.

Benchmark hero startup

Untuk mengukur startup, kami menggunakan PokedexStartupBenchmark. PokedexStartupBenchmark mengukur waktu yang diperlukan agar aplikasi Pokedex dapat dilihat oleh pengguna.

Peluncuran aplikasi dapat dilakukan dalam salah satu dari tiga status berikut: cold start, warm start, atau hot start. Setiap status memengaruhi waktu yang diperlukan aplikasi untuk terlihat oleh pengguna. Dalam cold start, aplikasi akan dimulai dari awal. Dalam benchmark ini, kita mengukur performa peluncuran aplikasi dalam status cold start. Sebaiknya selalu lakukan pengoptimalan aplikasi berdasarkan asumsi cold start. Tindakan tersebut juga dapat meningkatkan performa warm start dan hot start.

Metrik yang kami gunakan untuk mengukur waktu startup aplikasi adalah waktu hingga tampilan awal dan waktu hingga tampilan penuh.

Waktu hingga tampilan awal

Waktu hingga tampilan awal (TTID) mengukur waktu yang diperlukan aplikasi untuk membuat frame pertamanya, termasuk inisialisasi proses selama cold start, pembuatan aktivitas selama cold start atau warm start, dan menampilkan frame pertama.

Di PokedexStartupBenchmark, Compose 1.13 mencapai tampilan awal dalam 147,65 md pada cold start. Hasil ini berada dalam derau run-to-run normal Compose 1.12.1 (145,51 md) dan Compose 1.11.4 (147,78 md), serta 3,4% lebih cepat daripada View (152,87 md).

Waktu hingga tampilan awal dalam milidetik, diuji di Pixel 6
VersiWaktu hingga tampilan awal (md)
Compose 1.11147,78
Compose 1.12145,51
Compose 1.13147,65
Penayangan152,87
Gambar 1. Diagram ini membandingkan TTID untuk Compose 1.11, 1.12, dan 1.13 dengan View.

Waktu hingga tampilan penuh

Waktu hingga tampilan penuh (TTFD) mengukur waktu hingga aplikasi menjadi interaktif. Artinya, semua data telah dimuat dan digambar. Untuk mengetahui informasi selengkapnya tentang waktu hingga tampilan penuh, lihat Waktu Startup Aplikasi.

Di PokedexStartupBenchmark, Compose 1.13 mencapai tampilan penuh dalam 202,79 md pada cold start. Hasil ini berada dalam derau run-to-run normal Compose 1.12.1 (201,96 md) dan Compose 1.11.4 (203,33 md). Views mencapai tampilan penuh dalam 180,32 md, sehingga Compose 1.13 lebih lambat 12,5% daripada Views untuk TTFD.

Waktu hingga tampilan penuh dalam milidetik, diuji di Pixel 6
VersiWaktu hingga tampilan penuh (md)
Compose 1.11203,33
Compose 1.12201,96
Compose 1.13202,79
Penayangan180,32
Gambar 2. Diagram ini membandingkan TTFD untuk Compose 1.11, 1.12, dan 1.13 dengan View.

Tolok ukur hero scroll

Untuk mengukur performa scroll, kami menggunakan PokedexScrollBenchmark. Pengujian ini mengukur performa scroll layar aplikasi Pokedex untuk petak lambat dengan gambar. Dalam benchmark ini, seluruh layar di-scroll dan di-fling beberapa kali dan item baru dimuat. Performa scroll diukur berdasarkan rasio jank.

Rasio jank

Perangkat Android merender hingga 60 atau 120 frame per detik (fps). Artinya, sistem memiliki batas waktu yang ketat (misalnya, 16,6 md untuk 60 fps) untuk menghasilkan frame. Jika aplikasi memerlukan waktu terlalu lama untuk melakukan tugasnya, hal ini dapat menyebabkan gangguan yang terlihat, yang kami sebut jank.

Di PokedexScrollBenchmark, Compose menyamai performa View dengan 0 poin persentase jank berlebih sejak Compose 1.9.0. Di Pixel 6, View dan Compose sama-sama memiliki jank 0,00% di Compose 1.11.4, 1.12.1, dan 1.13.

Kelebihan jank Compose dibandingkan View dalam poin persentase, menurut versi Compose (lebih rendah lebih baik)
Versi ComposePerangkatJank berlebih di seluruh Tampilan (pp)
1.3.3Pixel 3a+0,35
1.4.3Pixel 3a+0,41
1.5.4Pixel 3a+0,42
1.6.8Pixel 3a+0.21
1.7.8Pixel 3a+0,36
1.8.0Pixel 3a+0,38
1.9.0Pixel 3a0
1.10.0Pixel 3a0
1,11Pixel 60
1.12Pixel 60
1.13Pixel 60
Gambar 3. Sejak Compose 1.9.0, Compose cocok dengan jank scroll View.

Menjalankan tolok ukur hero

Untuk memvalidasi hasil performa dan menjalankan tolok ukur secara lokal:

  1. Ikuti panduan AndroidX untuk melihat kode sumber.
  2. Ikuti petunjuk dalam README kode sumber Hero Benchmark untuk mem-build APK benchmark dan target (pokedex-macrobenchmark dan pokedex-macrobenchmark-target), menginstalnya di perangkat pengujian, dan menjalankan suite PokedexStartupBenchmark dan PokedexScrollBenchmark menggunakan adb atau Android Studio.

Anda dapat menjalankan benchmark ini di perangkat apa pun yang didukung, seperti perangkat tertentu yang Anda optimalkan untuk aplikasi Anda. Namun, untuk memvalidasi hasil resmi, gunakan penyiapan hardware yang sama.