Comparativos de referência de heróis

Os benchmarks principais são um conjunto de benchmarks que abrangem jornadas do usuário de alto nível, como a inicialização do app ou a rolagem no app de código aberto Pokedex.

  • Comparativos de mercado de heróis de inicialização: rastreamento do tempo entre a abertura do app e a exibição do conteúdo.
  • Comparativos de mercado de rolagem: medição da performance de rolagem de uma grade lenta com imagens.

Configuração do teste

  • Seleção de apps: realizamos esses testes usando o app Pokedex de código aberto, comparando as versões baseadas em visualização e baseadas no Compose. O app foi selecionado para representar cenários do mundo real e não foi desenvolvido pela equipe do Compose.
  • Configuração de hardware: os comparativos de mercado foram executados em um Pixel 6 com o Android 17 (nível 37 da API) com CPUs e GPUs bloqueadas. Antes do Compose 1.12, os comparativos de mercado eram realizados em um Pixel 3a. A partir do Compose 1.12, o Pixel 6 é usado como o valor de referência de desempenho padrão para comparativos de mercado principais, e o Compose 1.11 também foi medido no Pixel 6 para comparação.
  • Configuração do build: os comparativos de mercado usam o app criado no modo de lançamento com o R8 ativado. O app é totalmente pré-compilado para reduzir a instabilidade da compilação JIT.
  • Seleção de resultados: para garantir a análise do pior cenário, outliers extremos e ruídos não representativos foram excluídos dos resultados do comparativo de mercado. Em seguida, uma referência foi estabelecida selecionando os valores medianos dos dados de performance do limite superior.

Comparativos de mercado de heróis de inicialização

Para medir a inicialização, usamos PokedexStartupBenchmark. O PokedexStartupBenchmark mede o tempo que leva para o app Pokédex ficar visível para o usuário.

A inicialização do app pode ocorrer em um destes três estados: inicialização a frio, inicialização com estado salvo ou inicialização a quente. Cada estado afeta o tempo que leva para um app ficar visível para o usuário. Em uma inicialização a frio, o app é iniciado do zero. Nesse comparativo de mercado, medimos o desempenho da inicialização do app no estado de inicialização a frio. Recomendamos que você sempre otimize o app presumindo que se trate de uma inicialização a frio. Ao fazer isso, o desempenho de inicializações a quente e com estado salvo também pode melhorar.

As métricas que usamos para medir o tempo de inicialização do app são o tempo para exibição inicial e o tempo para exibição total.

Tempo para exibição inicial

O tempo para exibição inicial (TTID, na sigla em inglês) mede o tempo que um app leva para produzir o primeiro frame, incluindo a inicialização do processo durante uma inicialização a frio, a criação de atividades durante uma inicialização a frio ou com estado salvo e a exibição do primeiro frame.

No PokedexStartupBenchmark, o Compose 1.13 alcança a exibição inicial em 147,65 ms em uma inicialização a frio. Esse resultado está dentro do ruído normal de execução para execução do Compose 1.12.1 (145,51 ms) e do Compose 1.11.4 (147,78 ms) e é 3,4% mais rápido que as visualizações (152,87 ms).

Tempo para exibição inicial em milissegundos, testado no Pixel 6
VersãoTempo para exibição inicial (ms)
Compose 1.11147,78
Compose 1.12145,51
Compose 1.13147,65
Visualizações152,87
Figura 1. Este gráfico compara o TTID do Compose 1.11, 1.12 e 1.13 com as visualizações.

Tempo para exibição total

O tempo para exibição total (TTFD) mede o tempo até que o app se torne interativo. Isso significa que todos os dados foram carregados e desenhados. Para mais informações sobre o tempo até a exibição completa, consulte Tempo de inicialização do app.

No PokedexStartupBenchmark, o Compose 1.13 alcança a exibição completa em 202,79 ms em uma inicialização a frio. Esse resultado está dentro do ruído normal de execução para execução do Compose 1.12.1 (201,96 ms) e do Compose 1.11.4 (203,33 ms). As visualizações alcançam a exibição completa em 180,32 ms, então o Compose 1.13 é 12,5% mais lento que as visualizações para TTFD.

Tempo para exibição total em milissegundos, testado no Pixel 6
VersãoTempo para exibição total (ms)
Compose 1.11203,33
Compose 1.12201,96
Compose 1.13202,79
Visualizações180,32
Figura 2. Este gráfico compara o TTFD do Compose 1.11, 1.12 e 1.13 com as visualizações.

Comparativos de rolagem de destaque

Para medir o desempenho da rolagem, usamos o PokedexScrollBenchmark. Ele mede o desempenho de rolagem da tela do app Pokedex para uma grade lenta com imagens. Nesse comparativo de mercado, a tela inteira é rolada e deslizada várias vezes, e novos itens são carregados. A performance de rolagem é medida pela taxa de instabilidade.

Taxa de instabilidade

Os dispositivos Android renderizam até 60 ou 120 quadros por segundo (QPS). Isso significa que o sistema tem um prazo estrito (por exemplo, 16,6 ms para 60 qps) para produzir um frame. Se o app demorar muito para realizar o trabalho, isso pode causar uma interrupção visível que chamamos de jank.

No PokedexScrollBenchmark, o Compose corresponde à performance das visualizações com 0 ponto percentual de instabilidade em excesso desde o Compose 1.9.0. No Pixel 6, as visualizações e o Compose mantêm 0, 00% de instabilidade no Compose 1.11.4, 1.12.1 e 1.13.

Excesso de instabilidade do Compose em relação às visualizações em pontos percentuais, por versão do Compose (quanto menor, melhor)
Versão do ComposeDispositivoInstabilidade excessiva em visualizações (pp)
1.3.3Pixel 3a+0,35
1.4.3Pixel 3a+0,41
1.5.4Pixel 3a+0,42
1.6.8Pixel 3a+0,21
1.7.8Pixel 3a+0,36
1.8.0Pixel 3a+0,38
1.9.0Pixel 3a0
1.10.0Pixel 3a0
1.11Pixel 60
1.12Pixel 60
1.13Pixel 60
Figura 3. Desde o Compose 1.9.0, o Compose corresponde à instabilidade de rolagem das visualizações.

Executar comparativos de heróis

Para validar os resultados de desempenho e executar os comparativos de mercado localmente:

  1. Siga o guia do AndroidX para conferir o código-fonte.
  2. Siga as instruções no README do código-fonte dos Hero Benchmarks para criar os APKs de comparativo de mercado e de destino (pokedex-macrobenchmark e pokedex-macrobenchmark-target), instalá-los em um dispositivo de teste e executar os pacotes PokedexStartupBenchmark e PokedexScrollBenchmark usando o adb ou o Android Studio.

É possível executar essas comparações em qualquer dispositivo compatível, como um dispositivo específico para o qual você está otimizando o app. No entanto, para validar os resultados oficiais, use a mesma configuração de hardware.