Uygulama içi A/B testleri çalıştırarak uygulamanızı iyileştirme

A/B testi, uygulamanızda yapılan iyileştirmeleri kullanıcılarınızın bir alt grubunda test etmenize yardımcı olur. Böylece elde ettiğiniz verileri kullanarak tüm kullanıcı tabanınız için en iyi çözümü seçebilirsiniz.

Neden işe yarar?

A/B testi sayesinde uygulamanızın özelliklerinde ya da içeriğinde yapılan bir değişikliğin faydalı olup olmayacağı konusunda tereddüt yaşamazsınız. Ayrıca değişiklikleri kullanıcılarınızın bir alt grubunda test edebildiğiniz için bir güncellemeyi tüm kullanıcılarınıza yayınladıktan sonra beklenmedik ya da olumsuz etkisi olduğunu öğrenmek zorunda kalmazsınız.

Nasıl yapabilirsiniz?

  • Firebase Analytics ile Firebase Remote Config rastgele yüzdelik dilim hedefleme veya Google Etiket Yöneticisi ile Google Analytics gibi uygun bir A/B testi platformu seçin ve bunu uygulamanıza entegre edin.
  • Test etmek istediğiniz özelliği veya içerik değişkenlerini belirleyin ve bunların başarısını nasıl ölçeceğinize karar verin.
  • Kontrol ve test gruplarına gösterilecek özellikleri veya içeriği aşağıdaki gibi ayarlayın:
Senaryo Test edilen değişiklik örneği Testin dışında tutulan kullanıcıların gördüğü … A Değişkeni B Değişkeni C, D, vb. Değişkeni (isteğe bağlı)
Mevcut özelliğin yeni uygulanması Sekmeler'den Alt Gezinme'ye geçmek kullanıcı katılımını artırır … mevcut uygulama
ör. Sekmeler
Mevcut uygulama
ör. Sekmeler
Yeni özellik uygulaması
ör. Alt Gezinme
Ek özellik uygulamaları
ör. Gezinme Çekmecesi
Yeni bir metrik oluşturan yeni özellik Uygulama içi satın alma öğelerini fiyattan ziyade popülerliğe göre sıralamak daha fazla gelir getirir ... yeni özellik yok
ör. uygulama içi satın alma etkin değil
Yeni özellik uygulaması 1
ör. popülerliğe göre sıralanan uygulama içi satın alma öğeleri
Yeni özellik uygulaması 2
ör. fiyata göre sıralanan uygulama içi satın alma öğeleri
Ek özellik uygulamaları
ör. alfabetik olarak sıralanan uygulama içi satın alma öğeleri
Mevcut bir metrikle ölçülen yeni özellik Kullanıcıların öğeleri işaretlemesine olanak tanımak kullanıcı katılımını artırır ... yeni özellik yok
ör. öğeleri işaretleme etkin değil
Yeni özellik yok
ör. öğeleri işaretleme etkin değil
Yeni özellik uygulaması
ör. kalp simgesi kullanarak öğeleri işaretlemek etkin
Ek özellik uygulamaları
ör. yıldız simgesi kullanarak öğeleri işaretlemek etkin
  • A/B test platformunuzun özelliklerine göre testinize katılacak kişi sayısını ya da testin süresini seçin. Bunu yaparken en az 1000 kullanıcıdan oluşan bir test grubu oluşturmayı hedefleyin.
  • Testi çalıştırın.
  • Test sonuçlarının istatistiksel olarak önemli olup olmadığını ve test edilen değişkenlerden herhangi birinin uygulamanızın performansını iyileştirip iyileştirmediğini belirlemek için test sonuçlarını inceleyin.
  • "Kazanan" değişikliği tüm kullanıcılarınıza sunun.

En iyi pratikler

  • Geniş ölçekte test gerçekleştirmenizi sağlayan bir platform seçin. Uygulamanız ve işiniz büyüdükçe daha sık olarak daha fazla A/B testi çalıştırmak isteyeceksiniz. Seçtiğiniz platformun aynı kullanıcı sayısı üzerinde, tercihen aynı kullanıcılarla paralel olarak birden fazla test çalıştırabileceğinden emin olun (böylece bir kullanıcı aynı anda birden fazla teste katılabilir).
  • Testin işe yaraması için ihtiyacınız olduğu kadar değişkeni test edin. İyileştirmeye katkıda bulunacağını düşündüğünüz birkaç kullanışlı alternatif özellik veya içerik seçeneği varsa ikiden fazla değişkeni test etmeyi değerlendirebilirsiniz. Değişkenleri tanımlamak için çok değişkenli bir yaklaşım benimseyebilirsiniz. Örneğin:
Düğme Metni (Yön 2)
Satın al Satın al
Düğme Rengi (Yön 1) Mavi A Değişkeni B Değişkeni
Yeşil C Değişkeni D Değişkeni
  • Testi, dönemsel değişkenleri kaldıracak kadar uzun süreyle çalıştırın. Kullanıcı davranışı saatlik, günlük, haftalık, vb. döngülere göre değişebilir. Testinizin süresini belirlerken bunları göz önünde bulundurun. Davranışın uzun döngülerde değişkenlik gösterdiği durumlarda daha kısa bir test süresi kullanmak ve sonuçları tahmin etmek gerekebilir.
  • Kullanıcı segmentleri arasındaki bilinen farklılıkların testinizi etkilemediğinden emin olun. Kullanıcı davranışının kullanıcı segmentlerine göre değişiklik göstereceğini düşünüyorsanız testi sadece bir segment içinde çalıştırın veya tüm kullanıcıları temsil eden bir örnek grup kullandığınızdan emin olun. Örneğin, kullanıcı başına gelirin ülkeye göre değişiklik gösterdiği biliniyorsa, tek bir ülkeden kullanıcılarla veya tüm ülkelerden bir örnek kullanıcı grubuyla testi gerçekleştirin.
  • Birden fazla segment üzerinde test edin. Faydalı, bilinen kullanıcı segmentleriniz varsa (ülke, edinme kanalı, vb.), testi farklı segmentler üzerinde çalıştırarak sonuçların bu segmentler arasında değişiklik gösterip göstermediğine bakın. Ardından değişikliği sadece bazı segmentlere sunabilir ya da farklı değişiklikleri farklı segmentlere sunabilirsiniz.
  • Test süresini belirlerken işinize sağlayabileceği avantajları düşünün. Test süresini veya test grubunun boyutunu, dolayısıyla da değişkenlerin test kullanıcılarına gösterilmesi için ne kadar zaman geçeceğini belirlerken daha kısa bir testin işiniz için avantajlı olup olmayacağını düşünün (olası iyileştirmeleri daha çabuk sağlayacağı için).
  • Beklenmedik olumsuz sonuç ihtimaline karşı testleri izleyin ve testi durdurmaya hazır olun. Kullanıcılarınızın sadece küçük bir yüzdesi teste katılmış olsa da çok kötü bir sonuç puan ve yorumlarınızı etkileyebilir ya da sosyal medya üzerinden paylaşılan bilgiler aracılığıyla diğer kullanıcılarınızı olumsuz yönde etkileyebilir.
  • Platformunuz buna müsaitse değişiklikleri aşamalı olarak kullanıma sunun. Testiniz değişiklik yapmanın istatistiksel olarak avantaj sağlayacağını gösterse de söz konusu değişiklik tüm kullanıcılarınıza ulaştığında beklenmedik sonuçlar ortaya çıkabilir. Değişikliği aşamalı olarak kullanıma sunmak, daha fazla kullanıcıya ulaştıkça değişikliğin etkisini izlemenize ve beklenen avantajları sağlamaması halinde kullanıma sunulmasını durdurmanıza olanak tanır.
  • Kullanmayı tercih eden kullanıcıları metriklerinizin dışında tutun. Kullanıcılara, test ettiğiniz yeni bir özelliği görüntüleme veya kullanma seçeneği sunarsanız, bu kullanıcıları metriklerin dışında tutmayı unutmayın.