Tingkatkan aplikasi Anda dengan menjalankan pengujian A/B dalam aplikasi

Pengujian A/B membantu menguji peningkatan pada aplikasi Anda, pada subkumpulan pengguna agar Anda dapat menggunakan data untuk memilih solusi terbaik bagi seluruh basis pengguna.

Mengapa cara ini berhasil

Pengujian A/B mengambil spekulasi dalam menentukan apakah perubahan pada fitur atau konten aplikasi bermanfaat atau tidak. Dan karena Anda bisa menguji perubahan pada subkumpulan pengguna, ini akan membantu menghindari merilis update ke semua pengguna, jika aplikasi memiliki dampak negatif atau tidak terduga.

Cara melakukannya

• Pilih platform pengujian A/B yang sesuai, seperti penargetan persentil acak Firebase Remote Config dengan Firebase Analytics atau Google Analytics dengan Google Tag Manager, dan integrasikan dengan aplikasi Anda.
• Tentukan variasi fitur atau konten yang ingin diuji dan bagaimana Anda akan mengukur keberhasilannya.
• Siapkan fitur atau konten yang akan ditampilkan pada kontrol dan grup uji sebagai berikut:

• Pilih ukuran populasi uji atau durasi uji, bergantung pada fitur platform pengujian A/B, dengan sasaran meraih populasi uji minimal 1000 pengguna.
• Jalankan pengujian.
• Tinjau hasil pengujian untuk menentukan apakah hasil pengujian signifikan secara statistik dan apakah salah satu variasi yang diuji meningkatkan performa aplikasi Anda.
• Luncurkan perubahan “kemenangan” untuk semua pengguna Anda.

Praktik terbaik

• Pilih platform yang memungkinkan pengujian sesuai skala. Seiring pertumbuhan aplikasi dan bisnis, Anda mungkin ingin menjalankan lebih banyak pengujian A/B dan lebih sering. Pastikan platform pilihan Anda bisa menjalankan beberapa pengujian secara paralel pada populasi pengguna yang sama, idealnya menggunakan populasi bersama (sehingga pengguna bisa berada dalam beberapa pengujian secara bersamaan).
• Uji beberapa atau sebanyak mungkin variasi yang diperlukan untuk membuat pengujian bermanfaat. Sebaiknya uji lebih dari dua varian jika ada beberapa opsi fitur atau konten alternatif yang bermanfaat yang menurut Anda bisa menawarkan peningkatan. Sebaiknya gunakan pendekatan multi-variasi untuk menentukan variasi. Sebagai contoh:

• Jalankan pengujian dengan waktu yang cukup lama untuk menghapus variasi berkala. Perilaku pengguna mungkin bervariasi dengan siklus per jam, harian, mingguan, atau yang serupa. Pertimbangkan hal ini saat menyetel durasi uji. Jika perilaku diketahui bervariasi selama siklus yang lebih lama, mungkin perlu menggunakan periode uji yang lebih singkat dan memperhitungkan hasilnya.
• Pastikan variasi yang diketahui antar segmen pengguna tidak memengaruhi pengujian Anda. Jika menurut Anda perilaku pengguna akan bervariasi antar segmen pengguna, jalankan pengujian dalam satu segmen atau pastikan Anda menggunakan sampel perwakilan dari semua pengguna. Misalnya, jika pendapatan pengguna diketahui bervariasi menurut negara, uji pengguna dari satu negara atau sampel pengguna dari semua negara.
• Uji di beberapa segmen. Jika Anda memiliki segmen pengguna yang dikenal dan bermanfaat — seperti negara, saluran akuisisi, atau yang serupa — sebaiknya jalankan pengujian pada segmen berbeda untuk melihat apakah hasilnya bervariasi di antara mereka. Kemudian Anda dapat meluncurkan perubahan hanya untuk beberapa segmen, atau perubahan berbeda pada segmen berbeda.
• Pertimbangkan potensi keuntungan bisnis saat menyetel durasi uji. Saat menyetel durasi uji atau ukuran grup uji (dan dengan demikian waktu yang dibutuhkan agar varian ditampilkan kepada penguji), pertimbangkan apakah pengujian yang lebih singkat mungkin memiliki keuntungan bisnis (dengan mendapatkan peningkatan yang lebih cepat).
• Pantau pengujian untuk hasil negatif yang tidak terduga dan bersiaplah untuk menghentikan pengujian. Meskipun pengujian mungkin hanya melibatkan sebagian kecil pengguna, hasil yang sangat buruk dapat memengaruhi rating dan ulasan Anda atau berdampak negatif terhadap pengguna lain melalui informasi yang dibagikan di media sosial.
• Jika platform Anda mengizinkan, luncurkan perubahan secara bertahap. Meskipun pengujian mungkin menunjukkan manfaat statistik untuk melakukan perubahan, mungkin ada hasil yang tidak terduga jika semua pengguna mendapatkan perubahan. Melucurkan perubahan secara bertahap memungkinkan Anda memantau efeknya seiring lebih banyak pengguna menerimanya dan menghentikan peluncuran jika perubahan tidak memiliki manfaat yang diharapkan.
• Kecualikan pengguna yang memilih untuk ikut serta dari metrik Anda. Jika Anda menyediakan opsi bagi pengguna untuk memilih ikut serta melihat atau menggunakan fitur baru yang Anda uji, ingatlah untuk mengecualikan pengguna tersebut dari metrik.