Bergabunglah bersama kami di ⁠#Android11: The Beta Launch Show pada tanggal 3 Juni!

Menyempurnakan aplikasi dengan menjalankan pengujian A/B dalam aplikasi

  • Mengembangkan aplikasi
  • Menguji
  • Analisis
  • Menciptakan interaksi
  • Mendorong pertumbuhan

Pengujian A/B membantu Anda menguji penyempurnaan aplikasi pada sekelompok kecil pengguna sehingga Anda dapat menggunakan datanya untuk memilih solusi terbaik bagi seluruh basis pengguna.

Mengapa cara ini berhasil

Pengujian A/B meniadakan spekulasi dalam proses menentukan bermanfaat tidaknya perubahan yang Anda buat pada fitur atau konten aplikasi. Dan karena Anda dapat menguji perubahan pada sekelompok kecil pengguna, Anda akan terhindar dari merilis update ke semua pengguna, baru kemudian mendapati bahwa dampaknya tidak sesuai harapan.

Cara melakukannya

  1. Pilih platform pengujian A/B yang sesuai, misalnya penargetan persentil acak Firebase Remote Config atau Google Analytics for Firebase dengan Google Tag Manager, dan integrasikan dengan aplikasi Anda.
  2. Tentukan variasi fitur atau konten yang ingin diuji dan bagaimana Anda akan mengukur keberhasilannya.
  3. Siapkan fitur atau konten yang akan diperlihatkan pada setiap varian pengujian dan yang akan diperlihatkan kepada pengguna yang tidak terlibat dalam pengujian, misalnya:

    Skenario: Implementasi baru dari fitur yang sudah ada

    Contoh: Menggunakan menu navigasi bawah, bukan tab, untuk meningkatkan interaksi pengguna.

    Grup Yang dilihat pengguna
    Pengguna yang dikecualikan dari pengujian Implementasi yang sudah ada (tab)
    Varian A Implementasi yang sudah ada (tab)
    Varian B Implementasi fitur baru (menu navigasi bawah)
    Varian C, D, dll. (opsional) Implementasi fitur tambahan (misalnya panel navigasi)

    Skenario: Fitur baru yang membuat metrik baru

    Contoh: Mencantumkan item pembelian dalam aplikasi berdasarkan popularitas, bukan harga, untuk menghasilkan pendapatan lebih besar.

    Grup Yang dilihat pengguna
    Pengguna yang dikecualikan dari pengujian Tidak ada fitur baru (pembelian dalam aplikasi tidak diaktifkan)
    Varian A Implementasi fitur baru 1 (item pembelian dalam aplikasi dicantumkan berdasarkan popularitas)
    Varian B Implementasi fitur baru 2 (item pembelian dalam aplikasi dicantumkan berdasarkan harga)
    Varian C, D, dll. (opsional) Implementasi fitur tambahan (misalnya, pembelian item diurutkan sesuai abjad)

    Skenario: Fitur baru diukur dengan metrik yang sudah ada

    Contoh: Mengizinkan pengguna menandai item untuk meningkatkan interaksi pengguna.

    Grup Yang dilihat pengguna
    Pengguna yang dikecualikan dari pengujian Tidak ada fitur baru (penandaan item dinonaktifkan)
    Varian A Tidak ada fitur baru (penandaan item dinonaktifkan)
    Varian B Implementasi fitur baru (misalnya, menandai item menggunakan simbol hati)
    Varian C, D, dll. (opsional) Implementasi fitur tambahan (misalnya, menandai item menggunakan simbol bintang)
  4. Pilih ukuran populasi atau durasi pengujian, bergantung pada fitur platform pengujian A/B, dengan sasaran mencapai populasi uji minimal 1.000 pengguna.
  5. Jalankan pengujian.
  6. Tinjau hasil pengujian untuk menentukan apakah hasil pengujian signifikan secara statistik dan apakah ada varian uji yang meningkatkan performa aplikasi Anda.
  7. Luncurkan perubahan "paling dominan" ke semua pengguna.

Praktik terbaik

  • Pilih platform yang memungkinkan pengujian sesuai kebutuhan. Seiring pertumbuhan aplikasi dan bisnis, Anda perlu menjalankan lebih banyak pengujian A/B dan secara lebih sering. Pastikan platform pilihan Anda bisa menjalankan beberapa pengujian secara paralel pada populasi pengguna yang sama, idealnya menggunakan populasi bersama sehingga seorang pengguna bisa berada dalam beberapa pengujian secara bersamaan.
  • Uji beberapa atau sebanyak mungkin variasi yang diperlukan untuk mendapatkan hasil yang optimal. Sebaiknya uji lebih dari 2 varian jika ada beberapa opsi fitur atau konten alternatif bermanfaat yang menurut Anda bisa memberikan penyempurnaan.

    Sebaiknya gunakan pendekatan multi-variasi untuk menentukan varian. Sebagai contoh:

Teks Tombol (Aspek 2)
Beli Beli
Warna Tombol (Aspek 1) Biru Varian A Varian B
Hijau Varian C Varian D
  • Jalankan pengujian dalam waktu yang cukup lama untuk menghapus variasi berulang. Perilaku pengguna dapat bervariasi untuk siklus per jam, harian, mingguan, atau sejenisnya. Pertimbangkan perilaku berbasis siklus ini saat menentukan durasi pengujian Anda. Jika perilaku terlihat bervariasi dalam siklus yang lebih panjang, Anda mungkin perlu menggunakan periode pengujian yang lebih singkat dan memperluas hasilnya sesuai pola kecenderungan yang ditemukan.
  • Pastikan variasi yang diketahui antarsegmen pengguna tidak memengaruhi pengujian Anda. Jika menurut Anda perilaku pengguna bervariasi antarsegmen pengguna, jalankan pengujian dalam satu segmen, atau pastikan Anda menggunakan sampel perwakilan dari semua pengguna. Misalnya, jika diketahui bahwa pendapatan per pengguna bervariasi menurut negara, jalankan pengujian yang melibatkan pengguna dari 1 negara atau ambil sampel pengguna dari semua negara.
  • Lakukan pengujian pada beberapa segmen. Jika Anda memiliki segmen pengguna yang dikenal dan bermanfaat, misalnya menurut negara atau saluran akuisisi, sebaiknya jalankan pengujian pada beberapa segmen berbeda untuk melihat apakah hasilnya bervariasi di antara segment. Selanjutnya, Anda dapat meluncurkan perubahan hanya untuk beberapa segmen, atau menyediakan perubahan yang berbeda untuk segmen yang berbeda.
  • Pertimbangkan potensi keuntungan bisnis saat menentukan durasi pengujian. Saat menentukan durasi pengujian atau ukuran kelompok pengujian, kemudian waktu yang dibutuhkan hingga varian ditampilkan kepada penguji, pertimbangkan apakah pengujian yang lebih singkat memiliki keuntungan bisnis, misalnya dapat merealisasi keuntungan dengan lebih cepat.
  • Pantau pengujian untuk mendeteksi hasil negatif yang tidak terduga, dan bersiaplah menghentikan pengujian. Sekalipun pengujian hanya melibatkan sebagian kecil pengguna, hasil yang sangat buruk dapat memengaruhi rating dan ulasan Anda atau berdampak negatif terhadap pengguna lain melalui informasi yang tersebar di media sosial.
  • Jika platform Anda mengizinkan, luncurkan perubahan secara bertahap. Meskipun pengujian menunjukkan bahwa secara statistik ada manfaat dari melakukan perubahan, mungkin ada hasil yang tidak terduga saat perubahan tersebut diluncurkan ke semua pengguna. Dengan meluncurkan perubahan secara bertahap, Anda dapat memantau efeknya seiring bertambahnya jumlah pengguna yang menerima perubahan itu, dan menunda peluncuran jika perubahan tersebut tidak memberikan manfaat yang diharapkan.
  • Kecualikan pengguna yang ikut serta dari metrik Anda. Jika Anda menyediakan opsi bagi pengguna untuk melihat atau menggunakan fitur baru yang Anda uji, ingatlah untuk mengecualikan pengguna tersebut dari metrik.