Benchmark hero adalah serangkaian benchmark yang mencakup perjalanan pengguna aplikasi tingkat tinggi, seperti memulai aplikasi atau men-scroll di aplikasi Pokedex open source.
- Benchmark hero startup: Melacak waktu dari pembukaan aplikasi hingga konten ditampilkan.
- Tolok ukur scroll hero: Mengukur performa scroll petak lambat dengan gambar.
Penyiapan pengujian
- Pemilihan aplikasi: Kami melakukan pengujian ini menggunakan aplikasi Pokedex open source, dengan membandingkan versi berbasis View dan berbasis Compose. Aplikasi ini dipilih untuk mewakili skenario dunia nyata, dan tidak dikembangkan oleh tim Compose.
- Penyiapan hardware: Tolok ukur dijalankan di Pixel 6 yang menjalankan Android 17 (level API 37) dengan CPU dan GPU terkunci. Sebelum Compose 1.12, benchmark dilakukan di Pixel 3a. Mulai Compose 1.12, Pixel 6 digunakan sebagai dasar pengukuran performa standar untuk tolok ukur utama, dan Compose 1.11 juga diukur di Pixel 6 sebagai perbandingan.
- Penyiapan build: Benchmark menggunakan aplikasi yang di-build dalam mode rilis dengan R8 diaktifkan. Aplikasi telah dikompilasi sepenuhnya untuk mengurangi ketidakstabilan dari kompilasi tepat waktu (JIT).
- Pemilihan hasil: Untuk memastikan analisis kasus terburuk, pencilan ekstrem dan derau yang tidak representatif dikecualikan dari hasil tolok ukur. Kemudian, dasar pengukuran ditetapkan dengan memilih nilai median dari data performa batas atas.
Benchmark hero startup
Untuk mengukur startup, kami menggunakan PokedexStartupBenchmark. PokedexStartupBenchmark mengukur waktu yang diperlukan agar aplikasi Pokedex dapat dilihat oleh pengguna.
Peluncuran aplikasi dapat dilakukan dalam salah satu dari tiga status berikut: cold start, warm start, atau hot start. Setiap status memengaruhi waktu yang diperlukan aplikasi untuk terlihat oleh pengguna. Dalam cold start, aplikasi akan dimulai dari awal. Dalam benchmark ini, kita mengukur performa peluncuran aplikasi dalam status cold start. Sebaiknya selalu lakukan pengoptimalan aplikasi berdasarkan asumsi cold start. Tindakan tersebut juga dapat meningkatkan performa warm start dan hot start.
Metrik yang kami gunakan untuk mengukur waktu startup aplikasi adalah waktu hingga tampilan awal dan waktu hingga tampilan penuh.
Waktu hingga tampilan awal
Waktu hingga tampilan awal (TTID) mengukur waktu yang diperlukan aplikasi untuk membuat frame pertamanya, termasuk inisialisasi proses selama cold start, pembuatan aktivitas selama cold start atau warm start, dan menampilkan frame pertama.
Di PokedexStartupBenchmark, Compose 1.13 mencapai tampilan awal dalam
147,65 md pada cold start. Hasil ini berada dalam derau run-to-run normal
Compose 1.12.1 (145,51 md) dan Compose 1.11.4 (147,78 md), serta 3,4% lebih cepat daripada
View (152,87 md).
| Versi | Waktu hingga tampilan awal (md) |
|---|---|
| Compose 1.11 | 147,78 |
| Compose 1.12 | 145,51 |
| Compose 1.13 | 147,65 |
| Penayangan | 152,87 |
Waktu hingga tampilan penuh
Waktu hingga tampilan penuh (TTFD) mengukur waktu hingga aplikasi menjadi interaktif. Artinya, semua data telah dimuat dan digambar. Untuk mengetahui informasi selengkapnya tentang waktu hingga tampilan penuh, lihat Waktu Startup Aplikasi.
Di PokedexStartupBenchmark, Compose 1.13 mencapai tampilan penuh dalam
202,79 md pada cold start. Hasil ini berada dalam derau run-to-run normal
Compose 1.12.1 (201,96 md) dan Compose 1.11.4 (203,33 md). Views mencapai tampilan penuh dalam 180,32 md, sehingga Compose 1.13 lebih lambat 12,5% daripada Views untuk TTFD.
| Versi | Waktu hingga tampilan penuh (md) |
|---|---|
| Compose 1.11 | 203,33 |
| Compose 1.12 | 201,96 |
| Compose 1.13 | 202,79 |
| Penayangan | 180,32 |
Tolok ukur hero scroll
Untuk mengukur performa scroll, kami menggunakan PokedexScrollBenchmark. Pengujian ini mengukur performa scroll layar aplikasi Pokedex untuk petak lambat dengan gambar. Dalam benchmark ini, seluruh layar di-scroll dan di-fling beberapa kali dan item baru dimuat. Performa scroll diukur berdasarkan rasio jank.
Rasio jank
Perangkat Android merender hingga 60 atau 120 frame per detik (fps). Artinya, sistem memiliki batas waktu yang ketat (misalnya, 16,6 md untuk 60 fps) untuk menghasilkan frame. Jika aplikasi memerlukan waktu terlalu lama untuk melakukan tugasnya, hal ini dapat menyebabkan gangguan yang terlihat, yang kami sebut jank.
Di PokedexScrollBenchmark, Compose menyamai performa View dengan 0
poin persentase jank berlebih sejak Compose 1.9.0. Di Pixel 6, View dan
Compose sama-sama memiliki jank 0,00% di Compose 1.11.4, 1.12.1, dan 1.13.
| Versi Compose | Perangkat | Jank berlebih di seluruh Tampilan (pp) |
|---|---|---|
| 1.3.3 | Pixel 3a | +0,35 |
| 1.4.3 | Pixel 3a | +0,41 |
| 1.5.4 | Pixel 3a | +0,42 |
| 1.6.8 | Pixel 3a | +0.21 |
| 1.7.8 | Pixel 3a | +0,36 |
| 1.8.0 | Pixel 3a | +0,38 |
| 1.9.0 | Pixel 3a | 0 |
| 1.10.0 | Pixel 3a | 0 |
| 1,11 | Pixel 6 | 0 |
| 1.12 | Pixel 6 | 0 |
| 1.13 | Pixel 6 | 0 |
Menjalankan tolok ukur hero
Untuk memvalidasi hasil performa dan menjalankan tolok ukur secara lokal:
- Ikuti panduan AndroidX untuk melihat kode sumber.
- Ikuti petunjuk dalam README kode sumber Hero Benchmark untuk
mem-build APK benchmark dan target (
pokedex-macrobenchmarkdanpokedex-macrobenchmark-target), menginstalnya di perangkat pengujian, dan menjalankan suitePokedexStartupBenchmarkdanPokedexScrollBenchmarkmenggunakanadbatau Android Studio.
Anda dapat menjalankan benchmark ini di perangkat apa pun yang didukung, seperti perangkat tertentu yang Anda optimalkan untuk aplikasi Anda. Namun, untuk memvalidasi hasil resmi, gunakan penyiapan hardware yang sama.