ปรับปรุงแอปด้วยการทดสอบ A/B ในแอป

การทดสอบ A/B ช่วยให้คุณสามารถทดสอบการปรับปรุงในแอปกับผู้ใช้กลุ่มย่อย เพื่อให้คุณได้ข้อมูลไปใช้ในการเลือกผลลัพธ์ที่ดีที่สุดสำหรับฐานผู้ใช้ทั้งหมด

เหตุใดจึงใช้งานได้ดี

การทดสอบ A/B ช่วยให้คุณไม่ต้องเดาว่าคุณควรเปลี่ยนแปลงฟีเจอร์หรือเนื้อหาในแอปดีหรือไม่ และเนื่องจากคุณทดสอบการเปลี่ยนแปลงกับผู้ใช้เพียงกลุ่มเล็กๆ คุณก็ไม่ต้องเผยแพร่แอปให้ผู้ใช้ทั้งหมดหากการเปลี่ยนแปลงนั้นส่งผลที่ไม่คาดคิดหรือในเชิงลบ

วิธีทำ

• เลือกแพลตฟอร์มการทดสอบ A/B ที่เหมาะสม เช่น การกำหนดเป้าหมายเปอร์เซ็นไทล์แบบสุ่มของการกำหนดค่าระยะไกลของ Firebas ด้วย Firebase Analytics หรือ Google Analytics ด้วย Google Tag Manager และผสานรวมกับแอปของคุณ
• กำหนดตัวแปรฟีเจอร์หรือเนื้อหาที่คุณต้องการทดสอบและวิธีที่คุณจะวัดความสำเร็จ
• กำหนดฟีเจอร์หรือเนื้อหาที่จะแสดงให้แก่กลุ่มควบคุมและกลุ่มทดสอบดังต่อไปนี้

• เลือกขนาดของกลุ่มผู้ทดสอบหรือระยะเวลาในการทดสอบ โดยตั้งเป้าหมายให้มีจำนวนผู้ทดสอบอย่างน้อย 1,000 คน ทั้งนี้ขึ้นอยู่กับฟีเจอร์ของแพลตฟอร์มการทดสอบ A/B ของคุณ
• ทำการทดสอบ
• ดูผลการทดสอบเพื่อค้นหาว่าได้ผลที่ชัดเจนทางสถิติไหมและตัวแปรใดๆ ที่ทดสอบทำให้ประสิทธิภาพของแอปดีขึ้นไหม
• เปิดตัวการเปลี่ยนแปลง “ที่ได้ผลดีที่สุด” ให้แก่ผู้ใช้ทุกคน

แนวทางปฏิบัติที่ดีที่สุด

• เลือกแพลตฟอร์มที่อนุญาตการทดสอบจำนวนมาก เมื่อแอปและธุรกิจเติบโตขึ้น คุณจะต้องทำการทดสอบ A/B เยอะขึ้นและบ่อยขึ้น ตรวจดูว่าแพลตฟอร์มที่เลือกสามารถทำการทดสอบได้หลายครั้งพร้อมๆ กันสำหรับกลุ่มผู้ใช้เดียวกัน โดยการทดสอบแต่ละครั้งควรใช้กลุ่มผู้ใช้ร่วมกัน (เพื่อให้ผู้ใช้สามารถอยู่ในการทดสอบหลายรายการพร้อมกันได้)
• ทดสอบตัวแปรให้น้อยที่สุดหรือมากที่สุดตามความจำเป็นเพื่อให้ได้การทดสอบที่มีประโยชน์ ลองทดสอบตัวแปรมากกว่า 2 ตัว หากมีตัวเลือกฟีเจอร์หรือเนื้อหาอื่นที่มีประโยชน์หลายรายการที่คุณคิดว่าน่าจะทำให้แอปดีขึ้น ลองใช้วิธีทดสอบแบบหลายตัวแปรเพื่ออธิบายตัวแปรต่างๆ ตัวอย่างเช่น

• ทำการทดสอบให้นานพอที่จะตัดความแตกต่างตามระยะเวลาออกไปได้ พฤติกรรมของผู้ใช้อาจแตกต่างกันไปเป็นรายชั่วโมง รายวัน รายสัปดาห์ หรือรอบเวลาที่คล้ายกัน คำนึงถึงปัจจัยนี้เมื่อกำหนดระยะเวลาในการทดสอบ แต่สำหรับในจุดที่ทราบว่าพฤติกรรมจะเปลี่ยนแปลงไปหลังรอบเวลาที่ยาวนานขึ้น คุณอาจต้องใช้ระยะการทดสอบที่สั้นลงแล้วนำผลที่ได้มาประมาณการ
• ตรวจสอบเพื่อไม่ให้ความแตกต่างที่ทราบระหว่างกลุ่มผู้ใช้มีผลต่อการทดสอบ หากคุณคิดว่าพฤติกรรมของผู้ใช้จะแตกต่างกันไปในแต่ละกลุ่มผู้ใช้ ให้ทำการทดสอบภายใน 1 กลุ่มหรือใช้ตัวอย่างที่เป็นตัวแทนของผู้ใช้ทั้งหมด เช่น หากคุณทราบว่ารายได้ต่อผู้ใช้นั้นแตกต่างกันไปตามประเทศ ให้ทดสอบกับผู้ใช้จากประเทศเดียวหรือใช้กลุ่มตัวอย่างจากทุกประเทศ
• ทดสอบกับกลุ่มผู้ใช้หลายกลุ่ม ในกรณีที่ทราบกลุ่มผู้ใช้ที่มีประโยชน์ เช่น ประเทศ ช่องทางการสร้างฐานผู้ใช้ หรือกลุ่มที่คล้ายคลึง ให้ลองทดสอบในกลุ่มที่หลากหลาย เพื่อดูว่าผลลัพธ์แตกต่างกันไหม คุณอาจเปิดตัวการเปลี่ยนแปลงหนึ่งไปยังบางกลุ่ม หรือการเปลี่ยนแปลงหลายรายการไปยังหลายๆ กลุ่มก็ได้
• คำนึงถึงผลประโยชน์ทางธุรกิจที่เป็นไปได้เมื่อตั้งระยะเวลาของการทดสอบ เมื่อคุณตั้งระยะเวลาของการทดสอบหรือขนาดของกลุ่มทดสอบ (และเวลาที่แสดงตัวแปรต่างๆ แก่ผู้ทดสอบ) ให้พิจารณาว่าการทดสอบที่สั้นลงจะเป็นประโยชน์ต่อธุรกิจหรือไม่ (จากการปรับปรุงได้เร็วขึ้น)
• ติดตามผลการทดสอบเพื่อหาผลลัพธ์ในเชิงลบที่ไม่คาดคิดและเตรียมตัวให้พร้อมสำหรับการหยุดทดสอบ แม้ว่าการทดสอบจะมีผู้ใช้เป็นเปอร์เซ็นต์ไม่มาก ผลลัพธ์ที่แย่มากๆ อาจส่งผลต่อคะแนนและรีวิวหรือส่งผลในเชิงลบต่อผู้ใช้รายอื่นๆ ผ่านข้อมูลที่แชร์ในโซเชียลมีเดีย
• หากแพลตฟอร์มเอื้ออำนวย ให้เปิดตัวการเปลี่ยนแปลงทีละน้อย แม้ว่าการทดสอบจะระบุว่าตามสถิติแล้วการเปลี่ยนแปลงจะส่งผลดี คุณอาจพบผลลัพธ์ที่ไม่คาดคิดเมื่อผู้ใช้ทั้งหมดเห็นการเปลี่ยนแปลงนี้ การเปิดตัวการเปลี่ยนแปลงแบบทีละน้อยช่วยให้คุณสามารถติดตามผลกระทบในระหว่างที่มีผู้ใช้จำนวนมากขึ้นได้รับการเปลี่ยนแปลงนั้นๆ และหยุดการเปิดตัวหากไม่ได้ผลประโยชน์ที่คาดคิดไว้
• นำผู้ใช้ที่เลือกเข้าร่วมออกจากเมตริก หากคุณมีตัวเลือกให้ผู้ใช้เลือกรับการดูหรือใช้ฟีเจอร์ใหม่ที่ทดสอบอยู่ อย่าลืมนำผู้ใช้เหล่านั้นออกจากเมตริก