英雄基準

Hero 基準是一組基準,涵蓋高階應用程式使用者歷程,例如應用程式啟動或在開放原始碼 Pokedex 應用程式中捲動。

  • 啟動主打基準:追蹤從開啟應用程式到顯示內容的時間。
  • Scroll hero 基準:評估含有圖片的延遲格線捲動效能。

測試設定

  • 應用程式選擇:我們使用開放原始碼 Pokedex 應用程式進行這些測試,比較以 View 為基礎和以 Compose 為基礎的版本。這個應用程式並非由 Compose 團隊開發,而是用於代表實際情境。
  • 硬體設定:基準測試是在搭載 Android 17 (API 級別 37) 的 Pixel 6 上執行,CPU 和 GPU 鎖定。在 Compose 1.12 之前,基準測試是在 Pixel 3a 上進行。自 Compose 1.12 起,Pixel 6 會做為主要基準測試的標準效能基準,而 Compose 1.11 也會在 Pixel 6 上進行測量,以便比較。
  • 建構設定:基準測試會使用在發布模式下建構的應用程式,並啟用 R8。應用程式會預先完整編譯,減少 JIT 編譯造成的不穩定情形。
  • 結果選取:為確保最壞情況分析,基準測試結果已排除極端離群值和不具代表性的雜訊。接著,選取效能資料上限的中位數,建立基準。

啟動英雄基準

我們使用 PokedexStartupBenchmark 測量啟動時間。PokedexStartupBenchmark 會測量 Pokedex 應用程式向使用者顯示所需的時間。

應用程式啟動可能有三種狀態:冷啟動、暖啟動或熱啟動。每種狀態都會影響顯示應用程式所需的時間長度。冷啟動是指應用程式從頭開始啟動。在這項基準測試中,我們會評估冷啟動狀態下的應用程式啟動效能。建議您一律以冷啟動為假設狀態來最佳化應用程式。這麼做也可以改善暖啟動和熱啟動的效能。

我們用來測量應用程式啟動時間的指標,是初始顯示時間和完整顯示時間。

初始顯示時間

初始顯示時間 (TTID) 可測量應用程式需要多久時間才能產生第一個影格,其中包括在冷啟動期間執行初始化、在冷/暖啟動期間建立活動,以及顯示第一個影格。

在 PokedexStartupBenchmark 中,Compose 1.13 在冷啟動時,會在 147.65 毫秒內達到初始顯示。這個結果在 Compose 1.12.1 (145.51 毫秒) 和 Compose 1.11.4 (147.78 毫秒) 的正常執行間雜訊範圍內,且比 View (152.87 毫秒) 快 3.4%。

顯示啟動畫面所需時間 (以毫秒為單位),在 Pixel 6 上測試
版本初始顯示時間 (毫秒)
Compose 1.11147.78
Compose 1.12145.51
Compose 1.13147.65
觀看次數152.87
圖 1. 這張圖表比較 Compose 1.11、1.12 和 1.13 與 View 的 TTID。

完整顯示時間

完整顯示時間 (TTFD) 則測量應用程式可供互動前的時間。這表示所有資料都已載入並繪製完成。如要進一步瞭解完整顯示所需時間,請參閱「應用程式啟動時間」。

在 PokedexStartupBenchmark 中,Compose 1.13 在冷啟動時,會在 202.79 毫秒內完整顯示。這個結果在 Compose 1.12.1 (201.96 毫秒) 和 Compose 1.11.4 (203.33 毫秒) 的正常執行雜訊範圍內。View 則在 180.32 毫秒內完成完整顯示,因此 Compose 1.13 的 TTFD 比 View 慢 12.5%。

完整顯示所需時間 (毫秒),在 Pixel 6 上測試
版本完整顯示時間 (毫秒)
Compose 1.11203.33
Compose 1.12201.96
Compose 1.13202.79
觀看次數180.32
圖 2. 這張圖表比較 Compose 1.11、1.12 和 1.13 與 View 的 TTFD。

捲動查看英雄基準

為了評估捲動效能,我們使用了 PokedexScrollBenchmark。這項測試會評估 Pokedex 應用程式畫面中,含有圖片的延遲格線捲動效能。在這項基準測試中,整個畫面會捲動並快速滑動多次,並載入新項目。捲動效能是根據卡頓率評估。

卡頓率

Android 裝置的算繪速度最高可達每秒 60 或 120 影格 (fps)。這表示系統有嚴格的期限 (例如 16.6 毫秒,每秒 60 個影格) 來產生影格。如果應用程式執行工作的時間過長,可能會導致明顯的卡頓,我們稱為「卡頓」。

在 PokedexScrollBenchmark 中,自 Compose 1.9.0 起,Compose 的效能與 View 相當,過度卡頓的百分點為 0。在 Pixel 6 上,Compose 1.11.4、1.12.1 和 1.13 的 View 和 Compose 卡頓率皆為 0.00%。

Compose 超過 View 的卡頓百分比,依 Compose 版本區分 (越低越好)
Compose 版本裝置觀看次數占比 (百分比) 超過卡頓門檻
1.3.3Pixel 3a+0.35
1.4.3Pixel 3a+0.41
1.5.4Pixel 3a+0.42
1.6.8Pixel 3a+0.21
1.7.8Pixel 3a+0.36
1.8.0Pixel 3a+0.38
1.9.0Pixel 3a0
1.10.0Pixel 3a0
1.11Pixel 60
1.12Pixel 60
1.13Pixel 60
圖 3. 自 Compose 1.9.0 起,Compose 的捲動卡頓情形與 View 相同。

執行英雄基準測試

如要驗證效能結果,並在本機執行基準測試,請按照下列步驟操作:

  1. 請按照 AndroidX 指南查看原始碼。
  2. 請按照 Hero Benchmarks 原始碼 README 中的操作說明,建構基準測試和目標 APK (pokedex-macrobenchmark 和 pokedex-macrobenchmark-target),並安裝到測試裝置上,然後使用 adb 或 Android Studio 執行 PokedexStartupBenchmark 和 PokedexScrollBenchmark 套件。

您可以在任何支援的裝置上執行這些基準測試,例如您要最佳化應用程式的特定裝置。不過,如要驗證官方結果,請使用相同的硬體設定。