Les benchmarks Hero sont un ensemble de benchmarks qui couvrent les parcours utilisateur de haut niveau, comme le démarrage de l'application ou le défilement dans l'application Open Source Pokedex.
- Benchmarks de démarrage : suivi du temps écoulé entre l'ouverture de l'application et l'affichage du contenu.
- Benchmarks de défilement de héros : mesure des performances de défilement d'une grille différée avec des images.
Configuration du test
- Sélection de l'application : nous avons effectué ces tests à l'aide de l'application Open Source Pokedex, en comparant ses versions basées sur les vues et basées sur Compose. L'application a été sélectionnée pour représenter des scénarios réels et n'a pas été développée par l'équipe Compose.
- Configuration matérielle : les benchmarks ont été exécutés sur un Pixel 6 équipé d'Android 17 (niveau d'API 37) avec des CPU et des GPU verrouillés. Avant Compose 1.12, les benchmarks étaient effectués sur un Pixel 3a. À partir de Compose 1.12, le Pixel 6 est utilisé comme référence de performances standard pour les benchmarks principaux. Compose 1.11 a également été mesuré sur le Pixel 6 à des fins de comparaison.
- Configuration de la compilation : les benchmarks utilisent l'application compilée en mode version avec R8 activé. L'application est entièrement précompilée pour réduire l'instabilité de la compilation juste à temps (JIT).
- Sélection des résultats : pour garantir une analyse du pire des cas, les anomalies extrêmes et le bruit non représentatif ont été exclus des résultats du benchmark. Une référence a ensuite été établie en sélectionnant les valeurs médianes des données sur les performances de la limite supérieure.
Benchmarks des héros de start-up
Pour mesurer le démarrage, nous avons utilisé PokedexStartupBenchmark. PokedexStartupBenchmark mesure le temps nécessaire pour que l'application Pokédex soit visible par l'utilisateur.
Le lancement d'une application peut avoir l'un des trois états suivants : démarrage à froid, démarrage tiède ou démarrage à chaud. Chaque état a une incidence sur le délai nécessaire pour qu'une application soit visible par l'utilisateur. À froid, l'application part de zéro. Dans ce benchmark, nous mesurons les performances de lancement de l'application à froid. Nous vous recommandons de toujours optimiser l'application comme si elle démarrait d'office à froid. Cela peut également améliorer les performances des démarrages tiède et à chaud.
Les métriques que nous utilisons pour mesurer le temps de démarrage de l'application sont le temps d'affichage initial et le temps d'affichage total.
Délai d'affichage initial
Le délai d'affichage initial (TTID) mesure le temps nécessaire pour qu'une application produise sa première image, y compris l'initialisation du processus à froid, la création d'activités lors d'un démarrage à froid ou tiède, et l'affichage de la première image.
Dans PokedexStartupBenchmark, Compose 1.13 atteint l'affichage initial en 147,65 ms lors d'un démarrage à froid. Ce résultat se situe dans la marge de bruit normale d'une exécution à l'autre de Compose 1.12.1 (145,51 ms) et Compose 1.11.4 (147,78 ms), et est 3,4 % plus rapide que les vues (152,87 ms).
| Version | Délai d'affichage initial (ms) |
|---|---|
| Compose 1.11 | 147,78 |
| Compose 1.12 | 145,51 |
| Compose 1.13 | 147,65 |
| Vues | 152,87 |
Délai d'affichage total
Le délai d'affichage total (TTFD) mesure le temps nécessaire pour que l'application devienne interactive. Cela signifie que toutes les données ont été chargées et dessinées. Pour en savoir plus sur le délai d'affichage complet, consultez Temps de démarrage de l'application.
Dans PokedexStartupBenchmark, Compose 1.13 s'affiche complètement en 202,79 ms lors d'un démarrage à froid. Ce résultat se situe dans la plage de bruit normale d'une exécution à l'autre de Compose 1.12.1 (201,96 ms) et Compose 1.11.4 (203,33 ms). Views atteint l'affichage complet en 180,32 ms. Compose 1.13 est donc 12,5 % plus lent que Views pour le TTFD.
| Version | Délai d'affichage total (ms) |
|---|---|
| Compose 1.11 | 203,33 |
| Compose 1.12 | 201,96 |
| Compose 1.13 | 202,79 |
| Vues | 180,32 |
Benchmarks de défilement de la bannière
Pour mesurer les performances de défilement, nous avons utilisé PokedexScrollBenchmark. Il mesure les performances de défilement de l'écran de l'application Pokédex pour une grille différée avec des images. Dans ce benchmark, l'écran entier défile et est balayé plusieurs fois, et de nouveaux éléments sont chargés. Les performances de défilement sont mesurées par le taux de saccades.
Taux d'à-coups
Les appareils Android effectuent le rendu à une fréquence maximale de 60 ou 120 images par seconde (FPS). Cela signifie que le système dispose d'un délai strict (par exemple, 16,6 ms pour 60 fps) pour produire une image. Si l'application met trop de temps à effectuer son travail, cela peut provoquer un ralentissement visible, que nous appelons "jank".
Dans PokedexScrollBenchmark, Compose offre des performances équivalentes à celles des vues, avec 0 point de pourcentage de saccades excessives depuis Compose 1.9.0. Sur le Pixel 6, Views et Compose n'enregistrent aucun à-coup (0, 00 %) sur Compose 1.11.4, 1.12.1 et 1.13.
| Version de Compose | Appareil | À-coups excessifs par rapport aux vues (pp) |
|---|---|---|
| 1.3.3 | Pixel 3a | +0,35 |
| 1.4.3 | Pixel 3a | +0,41 |
| 1.5.4 | Pixel 3a | +0,42 |
| 1.6.8 | Pixel 3a | +0,21 |
| 1.7.8 | Pixel 3a | +0,36 |
| 1.8.0 | Pixel 3a | +0,38 |
| 1.9.0 | Pixel 3a | 0 |
| 1.10.0 | Pixel 3a | 0 |
| 1.11 | Pixel 6 | 0 |
| 1.12 | Pixel 6 | 0 |
| 1.13 | Pixel 6 | 0 |
Exécuter des benchmarks de héros
Pour valider les résultats de performances et exécuter les benchmarks localement :
- Suivez le guide AndroidX pour consulter le code source.
- Suivez les instructions du fichier README du code source des benchmarks Hero pour compiler les APK de benchmark et cibles (
pokedex-macrobenchmarketpokedex-macrobenchmark-target), les installer sur un appareil de test et exécuter les suitesPokedexStartupBenchmarketPokedexScrollBenchmarkà l'aide d'adbou d'Android Studio.
Vous pouvez exécuter ces analyses comparatives sur n'importe quel appareil compatible, par exemple un appareil spécifique pour lequel vous optimisez votre application. Toutefois, pour valider les résultats officiels, utilisez la même configuration matérielle.