Os benchmarks principais são um conjunto de benchmarks que abrangem jornadas do usuário de alto nível, como a inicialização do app ou a rolagem no app de código aberto Pokedex.
- Comparativos de mercado de heróis de inicialização: rastreamento do tempo entre a abertura do app e a exibição do conteúdo.
- Comparativos de mercado de rolagem: medição da performance de rolagem de uma grade lenta com imagens.
Configuração do teste
- Seleção de apps: realizamos esses testes usando o app Pokedex de código aberto, comparando as versões baseadas em visualização e baseadas no Compose. O app foi selecionado para representar cenários do mundo real e não foi desenvolvido pela equipe do Compose.
- Configuração de hardware: os comparativos de mercado foram executados em um Pixel 6 com o Android 17 (nível 37 da API) com CPUs e GPUs bloqueadas. Antes do Compose 1.12, os comparativos de mercado eram realizados em um Pixel 3a. A partir do Compose 1.12, o Pixel 6 é usado como o valor de referência de desempenho padrão para comparativos de mercado principais, e o Compose 1.11 também foi medido no Pixel 6 para comparação.
- Configuração do build: os comparativos de mercado usam o app criado no modo de lançamento com o R8 ativado. O app é totalmente pré-compilado para reduzir a instabilidade da compilação JIT.
- Seleção de resultados: para garantir a análise do pior cenário, outliers extremos e ruídos não representativos foram excluídos dos resultados do comparativo de mercado. Em seguida, uma referência foi estabelecida selecionando os valores medianos dos dados de performance do limite superior.
Comparativos de mercado de heróis de inicialização
Para medir a inicialização, usamos PokedexStartupBenchmark. O
PokedexStartupBenchmark mede o tempo que leva para o app Pokédex ficar
visível para o usuário.
A inicialização do app pode ocorrer em um destes três estados: inicialização a frio, inicialização com estado salvo ou inicialização a quente. Cada estado afeta o tempo que leva para um app ficar visível para o usuário. Em uma inicialização a frio, o app é iniciado do zero. Nesse comparativo de mercado, medimos o desempenho da inicialização do app no estado de inicialização a frio. Recomendamos que você sempre otimize o app presumindo que se trate de uma inicialização a frio. Ao fazer isso, o desempenho de inicializações a quente e com estado salvo também pode melhorar.
As métricas que usamos para medir o tempo de inicialização do app são o tempo para exibição inicial e o tempo para exibição total.
Tempo para exibição inicial
O tempo para exibição inicial (TTID, na sigla em inglês) mede o tempo que um app leva para produzir o primeiro frame, incluindo a inicialização do processo durante uma inicialização a frio, a criação de atividades durante uma inicialização a frio ou com estado salvo e a exibição do primeiro frame.
No PokedexStartupBenchmark, o Compose 1.13 alcança a exibição inicial em
147,65 ms em uma inicialização a frio. Esse resultado está dentro do ruído normal de execução para execução do
Compose 1.12.1 (145,51 ms) e do Compose 1.11.4 (147,78 ms) e é 3,4% mais rápido que as
visualizações (152,87 ms).
| Versão | Tempo para exibição inicial (ms) |
|---|---|
| Compose 1.11 | 147,78 |
| Compose 1.12 | 145,51 |
| Compose 1.13 | 147,65 |
| Visualizações | 152,87 |
Tempo para exibição total
O tempo para exibição total (TTFD) mede o tempo até que o app se torne interativo. Isso significa que todos os dados foram carregados e desenhados. Para mais informações sobre o tempo até a exibição completa, consulte Tempo de inicialização do app.
No PokedexStartupBenchmark, o Compose 1.13 alcança a exibição completa em
202,79 ms em uma inicialização a frio. Esse resultado está dentro do ruído normal de execução para execução do
Compose 1.12.1 (201,96 ms) e do Compose 1.11.4 (203,33 ms). As visualizações alcançam a exibição
completa em 180,32 ms, então o Compose 1.13 é 12,5% mais lento que as visualizações para TTFD.
| Versão | Tempo para exibição total (ms) |
|---|---|
| Compose 1.11 | 203,33 |
| Compose 1.12 | 201,96 |
| Compose 1.13 | 202,79 |
| Visualizações | 180,32 |
Comparativos de rolagem de destaque
Para medir o desempenho da rolagem, usamos o PokedexScrollBenchmark. Ele mede o desempenho de rolagem da tela do app Pokedex para uma grade lenta com imagens. Nesse comparativo de mercado, a tela inteira é rolada e deslizada várias vezes, e novos itens são carregados. A performance de rolagem é medida pela taxa de instabilidade.
Taxa de instabilidade
Os dispositivos Android renderizam até 60 ou 120 quadros por segundo (QPS). Isso significa que o sistema tem um prazo estrito (por exemplo, 16,6 ms para 60 qps) para produzir um frame. Se o app demorar muito para realizar o trabalho, isso pode causar uma interrupção visível que chamamos de jank.
No PokedexScrollBenchmark, o Compose corresponde à performance das visualizações com 0
ponto percentual de instabilidade em excesso desde o Compose 1.9.0. No Pixel 6, as visualizações e
o Compose mantêm 0, 00% de instabilidade no Compose 1.11.4, 1.12.1 e 1.13.
| Versão do Compose | Dispositivo | Instabilidade excessiva em visualizações (pp) |
|---|---|---|
| 1.3.3 | Pixel 3a | +0,35 |
| 1.4.3 | Pixel 3a | +0,41 |
| 1.5.4 | Pixel 3a | +0,42 |
| 1.6.8 | Pixel 3a | +0,21 |
| 1.7.8 | Pixel 3a | +0,36 |
| 1.8.0 | Pixel 3a | +0,38 |
| 1.9.0 | Pixel 3a | 0 |
| 1.10.0 | Pixel 3a | 0 |
| 1.11 | Pixel 6 | 0 |
| 1.12 | Pixel 6 | 0 |
| 1.13 | Pixel 6 | 0 |
Executar comparativos de heróis
Para validar os resultados de desempenho e executar os comparativos de mercado localmente:
- Siga o guia do AndroidX para conferir o código-fonte.
- Siga as instruções no README do código-fonte dos Hero Benchmarks para
criar os APKs de comparativo de mercado e de destino (
pokedex-macrobenchmarkepokedex-macrobenchmark-target), instalá-los em um dispositivo de teste e executar os pacotesPokedexStartupBenchmarkePokedexScrollBenchmarkusando oadbou o Android Studio.
É possível executar essas comparações em qualquer dispositivo compatível, como um dispositivo específico para o qual você está otimizando o app. No entanto, para validar os resultados oficiais, use a mesma configuração de hardware.