हीरो बेंचमार्क, बेंचमार्क का एक सेट होता है. इसमें ऐप्लिकेशन के उपयोगकर्ता अनुभव के हाई-लेवल की जानकारी शामिल होती है. जैसे, ऐप्लिकेशन का स्टार्टअप या ओपन सोर्स Pokedex ऐप्लिकेशन में स्क्रोल करना.
- स्टार्टअप हीरो बेंचमार्क: ऐप्लिकेशन खोलने से लेकर कॉन्टेंट दिखने तक के समय को ट्रैक करना.
- Scroll hero benchmarks: इस बेंचमार्क का इस्तेमाल, इमेज वाले लेज़ी ग्रिड की स्क्रोलिंग परफ़ॉर्मेंस को मेज़र करने के लिए किया जाता है.
टेस्ट सेटअप
- ऐप्लिकेशन चुनना: हमने ओपन-सोर्स Pokedex ऐप्लिकेशन का इस्तेमाल करके ये टेस्ट किए. साथ ही, इसके व्यू-आधारित और Compose-आधारित वर्शन की तुलना की. इस ऐप्लिकेशन को असल दुनिया की स्थितियों को दिखाने के लिए चुना गया था. इसे Compose टीम ने डेवलप नहीं किया था.
- हार्डवेयर सेटअप: बेंचमार्क, Android 17 (एपीआई लेवल 37) पर चलने वाले Pixel 6 पर चलाए गए थे. इसमें सीपीयू और जीपीयू लॉक थे. Compose 1.12 से पहले, Pixel 3a पर बेंचमार्क टेस्ट किए जाते थे. Compose 1.12 के बाद से, Pixel 6 को हीरो बेंचमार्क के लिए स्टैंडर्ड परफ़ॉर्मेंस बेसलाइन के तौर पर इस्तेमाल किया जाता है. साथ ही, तुलना करने के लिए Compose 1.11 को भी Pixel 6 पर मेज़र किया गया था.
- बिल्ड सेटअप: मानदंड, R8 चालू होने पर रिलीज़ मोड में बनाए गए ऐप्लिकेशन का इस्तेमाल करते हैं. ऐप्लिकेशन को पहले से पूरी तरह से कंपाइल किया गया हो, ताकि जस्ट-इन-टाइम (जेआईटी) कंपाइलेशन की वजह से होने वाली अस्थिरता को कम किया जा सके.
- नतीजों का चुनाव: सबसे खराब स्थिति का विश्लेषण करने के लिए, बेंचमार्क के नतीजों से ऐसे डेटा को हटा दिया गया जो सामान्य से बहुत अलग था और जो सही जानकारी नहीं दे रहा था. इसके बाद, परफ़ॉर्मेंस डेटा की ऊपरी सीमा की मीडियन वैल्यू चुनकर, एक बेसलाइन तय की गई.
स्टार्टअप हीरो के मानदंड
स्टार्टअप को मेज़र करने के लिए, हमने PokedexStartupBenchmark का इस्तेमाल किया. PokedexStartupBenchmark से यह पता चलता है कि उपयोगकर्ता को Pokedex ऐप्लिकेशन दिखने में कितना समय लगता है.
ऐप्लिकेशन को तीन स्थितियों में से किसी एक में लॉन्च किया जा सकता है: कोल्ड स्टार्ट, वॉर्म स्टार्ट या हॉट स्टार्ट. हर स्थिति से यह तय होता है कि उपयोगकर्ता को ऐप्लिकेशन दिखने में कितना समय लगेगा. कोल्ड स्टार्ट में, ऐप्लिकेशन नए सिरे से शुरू होता है. इस बेंचमार्क में, हम कोल्ड स्टार्ट की स्थिति में ऐप्लिकेशन के लॉन्च होने की परफ़ॉर्मेंस को मेज़र करते हैं. हमारा सुझाव है कि आप हमेशा कोल्ड स्टार्ट के हिसाब से ऐप्लिकेशन को ऑप्टिमाइज़ करें. ऐसा करने से, वॉर्म और हॉट स्टार्ट की परफ़ॉर्मेंस भी बेहतर हो सकती है.
ऐप्लिकेशन के स्टार्टअप में लगने वाले समय को मेज़र करने के लिए, हम शुरुआती डिसप्ले में लगने वाले समय और पूरे डिसप्ले में लगने वाले समय की मेट्रिक का इस्तेमाल करते हैं.
शुरुआती डिसप्ले में लगने वाला समय
टाइम टू इनिशियल डिसप्ले (टीटीआईडी) से यह पता चलता है कि किसी ऐप्लिकेशन को अपना पहला फ़्रेम दिखाने में कितना समय लगता है. इसमें, कोल्ड स्टार्ट के दौरान प्रोसेस शुरू करना, कोल्ड या वॉर्म स्टार्ट के दौरान गतिविधि बनाना, और पहला फ़्रेम दिखाना शामिल है.
PokedexStartupBenchmark में, Compose 1.13 को कोल्ड स्टार्ट होने पर, शुरुआती डिसप्ले तक पहुंचने में 147.65 मिलीसेकंड लगते हैं. यह नतीजा, Compose 1.12.1 (145.51 मि॰से॰) और Compose 1.11.4 (147.78 मि॰से॰) के सामान्य रन-टू-रन नॉइज़ के अंदर है. साथ ही, यह व्यू (152.87 मि॰से॰) से 3.4% तेज़ है.
| वर्शन | शुरुआती डिसप्ले में लगने वाला समय (मिलीसेकंड) |
|---|---|
| Compose 1.11 | 147.78 |
| Compose 1.12 | 145.51 |
| Compose 1.13 | 147.65 |
| व्यू | 152.87 |
पूरी तरह से दिखने में लगने वाला समय
टाइम टू फ़ुल डिसप्ले (टीटीएफ़डी) से, ऐप्लिकेशन के इंटरैक्टिव होने में लगने वाले समय का पता चलता है. इसका मतलब है कि पूरा डेटा लोड हो गया है और उसे ड्रॉ कर लिया गया है. पूरी तरह से डिसप्ले होने में लगने वाले समय के बारे में ज़्यादा जानने के लिए, ऐप्लिकेशन के स्टार्टअप में लगने वाला समय देखें.
PokedexStartupBenchmark में, Compose 1.13 को कोल्ड स्टार्ट होने पर, पूरी तरह से डिसप्ले होने में 202.79 मिलीसेकंड लगते हैं. यह नतीजा, Compose 1.12.1 (201.96 मि॰से॰) और Compose 1.11.4 (203.33 मि॰से॰) के सामान्य रन-टू-रन नॉइज़ के अंदर है. व्यू, 180.32 मिलीसेकंड में पूरी तरह से डिसप्ले हो जाता है. इसलिए, टीटीएफ़डी के लिए Compose 1.13, व्यू की तुलना में 12.5% धीमा है.
| वर्शन | पूरा डिसप्ले दिखने में लगा समय (मिलीसेकंड) |
|---|---|
| Compose 1.11 | 203.33 |
| Compose 1.12 | 201.96 |
| Compose 1.13 | 202.79 |
| व्यू | 180.32 |
स्क्रोल हीरो मानदंड
स्क्रोलिंग की परफ़ॉर्मेंस को मेज़र करने के लिए, हमने PokedexScrollBenchmark का इस्तेमाल किया. यह Pokedex ऐप्लिकेशन की स्क्रीन पर, इमेज वाले लेज़ी ग्रिड के लिए स्क्रोल की परफ़ॉर्मेंस को मेज़र करता है. इस मानदंड में, पूरी स्क्रीन को कई बार स्क्रोल और फ़्लिंग किया जाता है. साथ ही, नए आइटम लोड किए जाते हैं. स्क्रोल करने की परफ़ॉर्मेंस को जैंक रेट से मेज़र किया जाता है.
जैंक रेट
Android डिवाइसों पर, 60 या 120 फ़्रेम प्रति सेकंड (एफ़पीएस) तक रेंडर किया जाता है. इसका मतलब है कि सिस्टम के पास फ़्रेम बनाने के लिए, एक तय समयसीमा होती है. जैसे, 60fps के लिए 16.6 मिलीसेकंड. अगर ऐप्लिकेशन को अपना काम करने में बहुत ज़्यादा समय लगता है, तो इससे ऐप्लिकेशन में रुकावट आ सकती है. इसे हम जैंक कहते हैं.
PokedexScrollBenchmark में, Compose 1.9.0 के बाद से, Compose की परफ़ॉर्मेंस व्यू की परफ़ॉर्मेंस से मैच करती है. इसमें 0 प्रतिशत पॉइंट का ज़्यादा जैंक होता है. Pixel 6 पर, Compose 1.11.4, 1.12.1, और 1.13 में व्यू और Compose, दोनों में 0.00% जैंक है.
| Compose का वर्शन | डिवाइस | व्यू के मुकाबले ज़्यादा जैंक (पीपी) |
|---|---|---|
| 1.3.3 | Pixel 3a | +0.35 |
| 1.4.3 | Pixel 3a | +0.41 |
| 1.5.4 | Pixel 3a | +0.42 |
| 1.6.8 | Pixel 3a | +0.21 |
| 1.7.8 | Pixel 3a | +0.36 |
| 1.8.0 | Pixel 3a | +0.38 |
| 1.9.0 | Pixel 3a | 0 |
| 1.10.0 | Pixel 3a | 0 |
| 1.11 | Pixel 6 | 0 |
| 1.12 | Pixel 6 | 0 |
| 1.13 | Pixel 6 | 0 |
हीरो बेंचमार्क टेस्ट रन करना
परफ़ॉर्मेंस के नतीजों की पुष्टि करने और स्थानीय तौर पर मानदंड चलाने के लिए:
- सोर्स कोड देखने के लिए, AndroidX गाइड में दिए गए निर्देशों का पालन करें.
- बेंचमार्क और टारगेट APK (
pokedex-macrobenchmarkऔरpokedex-macrobenchmark-target) बनाने के लिए, Hero Benchmarks के सोर्स कोड की README फ़ाइल में दिए गए निर्देशों का पालन करें. इसके बाद, उन्हें टेस्ट डिवाइस पर इंस्टॉल करें. साथ ही,adbया Android Studio का इस्तेमाल करके,PokedexStartupBenchmarkऔरPokedexScrollBenchmarkसुइट चलाएं.
इन बेंचमार्क को, इस्तेमाल किए जा सकने वाले किसी भी डिवाइस पर चलाया जा सकता है. जैसे, कोई ऐसा डिवाइस जिसके लिए ऐप्लिकेशन को ऑप्टिमाइज़ किया जा रहा है. हालांकि, आधिकारिक नतीजों की पुष्टि करने के लिए, उसी हार्डवेयर सेटअप का इस्तेमाल करें.