Hero 基準是一組基準,涵蓋高階應用程式使用者歷程,例如應用程式啟動或在開放原始碼 Pokedex 應用程式中捲動。
- 啟動主打基準:追蹤從開啟應用程式到顯示內容的時間。
- Scroll hero 基準:評估含有圖片的延遲格線捲動效能。
測試設定
- 應用程式選擇:我們使用開放原始碼 Pokedex 應用程式進行這些測試,比較以 View 為基礎和以 Compose 為基礎的版本。這個應用程式並非由 Compose 團隊開發,而是用於代表實際情境。
- 硬體設定:基準測試是在搭載 Android 17 (API 級別 37) 的 Pixel 6 上執行,CPU 和 GPU 鎖定。在 Compose 1.12 之前,基準測試是在 Pixel 3a 上進行。自 Compose 1.12 起,Pixel 6 會做為主要基準測試的標準效能基準,而 Compose 1.11 也會在 Pixel 6 上進行測量,以便比較。
- 建構設定:基準測試會使用在發布模式下建構的應用程式,並啟用 R8。應用程式會預先完整編譯,減少 JIT 編譯造成的不穩定情形。
- 結果選取:為確保最壞情況分析,基準測試結果已排除極端離群值和不具代表性的雜訊。接著,選取效能資料上限的中位數,建立基準。
啟動英雄基準
我們使用 PokedexStartupBenchmark 測量啟動時間。PokedexStartupBenchmark 會測量 Pokedex 應用程式向使用者顯示所需的時間。
應用程式啟動可能有三種狀態:冷啟動、暖啟動或熱啟動。每種狀態都會影響顯示應用程式所需的時間長度。冷啟動是指應用程式從頭開始啟動。在這項基準測試中,我們會評估冷啟動狀態下的應用程式啟動效能。建議您一律以冷啟動為假設狀態來最佳化應用程式。這麼做也可以改善暖啟動和熱啟動的效能。
我們用來測量應用程式啟動時間的指標,是初始顯示時間和完整顯示時間。
初始顯示時間
初始顯示時間 (TTID) 可測量應用程式需要多久時間才能產生第一個影格,其中包括在冷啟動期間執行初始化、在冷/暖啟動期間建立活動,以及顯示第一個影格。
在 PokedexStartupBenchmark 中,Compose 1.13 在冷啟動時,會在 147.65 毫秒內達到初始顯示。這個結果在 Compose 1.12.1 (145.51 毫秒) 和 Compose 1.11.4 (147.78 毫秒) 的正常執行間雜訊範圍內,且比 View (152.87 毫秒) 快 3.4%。
| 版本 | 初始顯示時間 (毫秒) |
|---|---|
| Compose 1.11 | 147.78 |
| Compose 1.12 | 145.51 |
| Compose 1.13 | 147.65 |
| 觀看次數 | 152.87 |
完整顯示時間
完整顯示時間 (TTFD) 則測量應用程式可供互動前的時間。這表示所有資料都已載入並繪製完成。如要進一步瞭解完整顯示所需時間,請參閱「應用程式啟動時間」。
在 PokedexStartupBenchmark 中,Compose 1.13 在冷啟動時,會在 202.79 毫秒內完整顯示。這個結果在 Compose 1.12.1 (201.96 毫秒) 和 Compose 1.11.4 (203.33 毫秒) 的正常執行雜訊範圍內。View 則在 180.32 毫秒內完成完整顯示,因此 Compose 1.13 的 TTFD 比 View 慢 12.5%。
| 版本 | 完整顯示時間 (毫秒) |
|---|---|
| Compose 1.11 | 203.33 |
| Compose 1.12 | 201.96 |
| Compose 1.13 | 202.79 |
| 觀看次數 | 180.32 |
捲動查看英雄基準
為了評估捲動效能,我們使用了 PokedexScrollBenchmark。這項測試會評估 Pokedex 應用程式畫面中,含有圖片的延遲格線捲動效能。在這項基準測試中,整個畫面會捲動並快速滑動多次,並載入新項目。捲動效能是根據卡頓率評估。
卡頓率
Android 裝置的算繪速度最高可達每秒 60 或 120 影格 (fps)。這表示系統有嚴格的期限 (例如 16.6 毫秒,每秒 60 個影格) 來產生影格。如果應用程式執行工作的時間過長,可能會導致明顯的卡頓,我們稱為「卡頓」。
在 PokedexScrollBenchmark 中,自 Compose 1.9.0 起,Compose 的效能與 View 相當,過度卡頓的百分點為 0。在 Pixel 6 上,Compose 1.11.4、1.12.1 和 1.13 的 View 和 Compose 卡頓率皆為 0.00%。
| Compose 版本 | 裝置 | 觀看次數占比 (百分比) 超過卡頓門檻 |
|---|---|---|
| 1.3.3 | Pixel 3a | +0.35 |
| 1.4.3 | Pixel 3a | +0.41 |
| 1.5.4 | Pixel 3a | +0.42 |
| 1.6.8 | Pixel 3a | +0.21 |
| 1.7.8 | Pixel 3a | +0.36 |
| 1.8.0 | Pixel 3a | +0.38 |
| 1.9.0 | Pixel 3a | 0 |
| 1.10.0 | Pixel 3a | 0 |
| 1.11 | Pixel 6 | 0 |
| 1.12 | Pixel 6 | 0 |
| 1.13 | Pixel 6 | 0 |
執行英雄基準測試
如要驗證效能結果,並在本機執行基準測試,請按照下列步驟操作:
- 請按照 AndroidX 指南查看原始碼。
- 請按照 Hero Benchmarks 原始碼 README 中的操作說明,建構基準測試和目標 APK (
pokedex-macrobenchmark和pokedex-macrobenchmark-target),並安裝到測試裝置上,然後使用adb或 Android Studio 執行PokedexStartupBenchmark和PokedexScrollBenchmark套件。
您可以在任何支援的裝置上執行這些基準測試,例如您要最佳化應用程式的特定裝置。不過,如要驗證官方結果,請使用相同的硬體設定。