Apps mithilfe von In-App-A/B-Tests verbessern

Mithilfe von A/B-Tests kannst du Verbesserungen deiner App an einer Untergruppe von Nutzern testen, um anhand von Daten die beste Lösung für deine gesamte Nutzerbasis auszuwählen.

Warum es funktioniert

Mithilfe von A/B-Tests bleibst du nicht länger im Unklaren, ob eine Änderung an den Funktionen oder Inhalten deiner App vorteilhaft ist oder nicht. Da du die Änderungen außerdem an einer Untergruppe von Nutzern testen kannst, ist es vermeidbar, ein Update für alle Nutzer freizugeben und anschließend festzustellen, dass es unerwartete oder negative Auswirkungen hat.

Vorgehensweise

• Wähle eine geeignete A/B-Testplattform, zum Beispiel die zufallsgesteuerte Firebase Remote Config-Perzentilausrichtung mit Firebase Analytics oder Google Analytics und Google Tag Manager, und integriere diese in deine App.
• Bestimme die funktionalen oder inhaltlichen Varianten, die du testen willst und wie du deren Erfolg messen möchtest.
• Lege die Funktionen oder Inhalte, die du den Kontroll- und Testgruppen vorlegen möchtest, auf folgende Weise fest:

• Wähle die Größe der Testpopulation bzw. den Testzeitraum in Abhängigkeit von den Funktionen deiner A/B-Testplattform mit dem Ziel, eine Testpopulation von mindestens 1.000 Nutzern zu erreichen.
• Führe den Test durch.
• Überprüfe die Testergebnisse, um zu bestimmen, ob sie statistisch signifikant sind und die getesteten Varianten die Leistung deiner App verbesserten.
• Biete die "siegreiche" Änderung allen Nutzern an.

Best Practices

• Wähle eine Plattform aus, die skaliertes Testen gestattet. Wenn sich deine App weiter verbreitet und dein Geschäft wächst, wirst du mehr und häufigere A/B-Tests durchführen wollen. Achte darauf, dass mit der ausgewählten Plattform mehrere Tests parallel mit derselben Nutzerpopulation durchgeführt werden können, idealerweise so, dass ein Nutzer zeitgleich an mehreren Tests teilnehmen kann.
• Teste so wenige oder so viele Varianten, wie nötig sind, damit der Test sinnvoll wird. Ziehe in Betracht, mehr als zwei Varianten zu testen, wenn es mehrere sinnvolle alternative Optionen für Funktionen oder Inhalte gibt, von denen du glaubst, dass sie zu Verbesserungen führen könnten. Erwäge einen multivariaten Ansatz zur Festlegung der Varianten. Beispiel:

• Führe den Test ausreichend lange durch, um vorübergehende Abweichungen auszugleichen. Das Verhalten der Nutzer ändert sich möglicherweise stündlich, täglich, wöchentlich oder in ähnlichen Zyklen. Berücksichtige dies, wenn du die Dauer von Tests festlegst. In Fällen, wo sich das Verhalten bekanntermaßen im Laufe längerer Zyklen ändert, kann es erforderlich sein, einen kürzeren Testzeitraum zu wählen und die Ergebnisse zu extrapolieren.
• Stelle sicher, dass sich bekannte Abweichungen zwischen Nutzersegmenten nicht auf deinen Test auswirken. Wenn du glaubst, dass sich das Nutzerverhalten zwischen einzelnen Nutzersegmenten unterscheiden wird, führe den Test innerhalb eines Segments durch oder ziehe eine repräsentative Auswahl aller Nutzer heran. Wenn es zum Beispiel bekannt ist, dass sich der Umsatz pro Nutzer je nach Land unterscheidet, führe den Test mit Nutzern aus einem Land durch oder mit einer Auswahl von Nutzern aus allen Ländern.
• Teste mit mehreren Segmenten. Wenn du über nützliche bekannte Nutzersegmente verfügst, z. B. Land, Akquisitionskanal oder Ähnliches, empfiehlt es sich, einen Test mit verschiedenen Segmenten durchführen, um festzustellen, ob sich die Ergebnisse zwischen ihnen unterscheiden. Später kannst du die Änderung dann nur für einige Segmente bereitstellen bzw. verschiedene Änderungen für unterschiedliche Segmente.
• Berücksichtige bei der Festlegung des Testzeitraums mögliche geschäftliche Vorteile. Wenn du die Dauer eines Tests oder die Größe der Testgruppe und damit die Zeit festlegst, die benötigt wird, um den Testpersonen die Varianten vorzulegen, überlege, ob ein kürzerer Testzeitraum geschäftliche Vorteile haben könnte, indem Verbesserungen früher umgesetzt werden.
• Überwache Tests auf einen unerwarteten negativen Verlauf und stelle dich darauf ein, einen Test abzubrechen. Auch wenn am Test nur ein kleiner Prozentsatz der Nutzer teilnimmt, könnte sich ein sehr schlechtes Resultat nachteilig auf deine Bewertungen und Rezensionen auswirken oder andere Nutzer über Informationen, die in sozialen Medien geteilt werden, negativ beeinflussen.
• Wenn es die Plattform zulässt, stelle Änderungen schrittweise bereit. Auch wenn sich bei deinen Tests ein statistischer Vorteil für die Durchführung einer Änderung ergibt, kann es zu unerwarteten Ergebnissen kommen, wenn alle Nutzer über die Änderung verfügen. Bei einer schrittweisen Bereitstellung der Änderung kannst du deren Auswirkungen überwachen, wenn sie immer mehr Nutzer erhalten. Sollten die erwarteten Vorteile nicht eintreten, ist es möglich, die Bereitstellung abzubrechen.
• Schließe optional teilnehmende Nutzer von den Messwerten aus. Wenn du Nutzern die Möglichkeit anbietest, eine neue Funktion, die getestet wird, anzusehen oder zu verwenden, schließe diese Nutzer von den Messwerten aus.