การวัดผลกระทบของการตรวจสอบที่อยู่โดยใช้การทดสอบ A/B

เอกสารนี้อธิบายเทคนิคที่ควรพิจารณาเมื่อทำการทดสอบ A/B ของ Place Autocomplete และ Address Validation API ของ Google Maps Platform

ประโยชน์ 2 ข้อของการใช้ Autocomplete ของสถานที่และ Address Validation API มีดังนี้

  • ประสบการณ์ของลูกค้าที่ดีขึ้น: การให้คำแนะนำแบบเรียลไทม์เกี่ยวกับที่อยู่และสถานที่แก่ลูกค้าช่วยให้ลูกค้าชำระเงินได้อย่างรวดเร็วและง่ายดายยิ่งขึ้น ซึ่งอาจทําให้ลูกค้าได้รับประสบการณ์การใช้งานที่ดีขึ้น
  • เพิ่มความแม่นยำของข้อมูล: ฟีเจอร์ป้อนข้อความอัตโนมัติของสถานที่และ Address Validation API จะช่วยเพิ่มความแม่นยำของข้อมูลลูกค้า ซึ่งอาจมีความสำคัญอย่างยิ่งในอีคอมเมิร์ซ เนื่องจากต้องใช้ข้อมูลที่อยู่ที่ถูกต้องเพื่อให้การนำส่งพัสดุสำเร็จ

หากต้องการปรับปรุงคุณภาพของที่อยู่ ให้ทำการทดสอบ A/B เพื่อประเมินว่าโซลูชันการตรวจสอบใดที่ตรงกับความต้องการของคุณมากที่สุด ซึ่งจะช่วยให้คุณมีโอกาสตัดสินใจในเชิงปริมาณว่าผลิตภัณฑ์ใดเหมาะกับกรณีการใช้งานของคุณที่สุด

การทดสอบ A/B คือวิธีเปรียบเทียบหน้าเว็บหรือแอป 2 เวอร์ชัน โดยเป็นการทดสอบที่มีการควบคุมประเภทหนึ่งที่ใช้เพื่อระบุผลกระทบที่การเปลี่ยนแปลงตัวแปรมีต่อผลลัพธ์ที่วัดได้
หากต้องการทำการทดสอบ A/B ให้สร้างหน้าเว็บหรือแอป 2 เวอร์ชัน โดยเวอร์ชันหนึ่งเป็นกลุ่มควบคุมและอีกเวอร์ชันมีการเปลี่ยนแปลงที่วัดผลได้ จากนั้นแสดงเวอร์ชันเหล่านี้ต่อผู้ใช้รายต่างๆ และวัดวิธีที่ผู้ใช้โต้ตอบกับเวอร์ชัน เวอร์ชันที่มีประสิทธิภาพดีกว่าจะเป็นผู้ชนะ

ภาพรวมสถาปัตยกรรมของระบบ

มาดูการทดสอบ A/B ของการตรวจสอบที่อยู่ใน Use Case ของอีคอมเมิร์ซกัน แผนภาพสถาปัตยกรรมด้านล่างแสดงวิธีที่ลูกค้าจะโต้ตอบกับประสบการณ์การค้าของคุณ ซึ่งจะช่วยให้คุณกำหนดกลยุทธ์การตรวจสอบที่มีประสิทธิภาพมากขึ้นได้

[System Context] A/B Testing Address Validation

ระบบที่เกี่ยวข้องเมื่อทำการทดสอบ A/B กับค่าของ Address Validation API

แผนภาพสถาปัตยกรรมแสดงลูกค้าในเว็บไซต์อีคอมเมิร์ซที่โต้ตอบกับระบบการทดสอบ A/B ระบบนี้จะตัดสินใจว่าตัวแปรทดสอบใดที่จะแสดงต่อลูกค้าจากระบบซอฟต์แวร์ร้านค้าอีคอมเมิร์ซ ร้านค้าอีคอมเมิร์ซนี้เรียก API ไปยังระบบซอฟต์แวร์ Google Maps Platform นอกจากนี้ ยังรวบรวมข้อมูลวิเคราะห์การทดสอบ A/B ซึ่งระบบซอฟต์แวร์วิเคราะห์จะประมวลผลและรายงานกลับไปยังระบบการทดสอบ A/B

ขั้นตอนการทดสอบ A/B

เมื่อคุณนึกถึงกระบวนการทดสอบ A/B โดยรวม ก็ต้องพิจารณาทั้งหมด 4 ขั้นตอน

  • การเตรียมการ - ระบุข้อกำหนดการทดสอบ ขอบเขต และระยะเวลา
  • สร้าง - ใช้ Place Autocomplete และ Address Validation API ในสภาพแวดล้อมที่จะทำการทดสอบ
  • เรียกใช้ - รวบรวมเมตริกในขณะที่การทดสอบทำงานอยู่จนกว่าจะได้รับผลลัพธ์ที่มีนัยสำคัญหรือหมดเวลา
  • วิเคราะห์ - เปรียบเทียบผลลัพธ์กับสมมติฐานและระบุขั้นตอนถัดไป

เราจะพูดถึงสิ่งเหล่านี้ตามลำดับ

เตรียม

การตัดสินใจเกี่ยวกับข้อกำหนดการทดสอบ A/B

การค้นพบครั้งแรก

ลองถามตัวเองว่าเหตุใดคุณจึงเพิ่มหรือเปลี่ยนผู้ให้บริการตรวจสอบที่อยู่ ตัวอย่างเช่น การใช้การเติมข้อความอัตโนมัติใน Google Maps Places:

  • ประหยัดเวลา: คุณไม่ต้องพิมพ์ชื่อสถานที่ทั้งชื่อเมื่อสามารถเริ่มพิมพ์และดูคำแนะนำที่ปรากฏขึ้น
  • ลดข้อผิดพลาด: หากคุณสะกดชื่อสถานที่ผิด การเติมข้อความอัตโนมัติของ Google Maps Places จะยังคงแนะนำสถานที่ที่ถูกต้อง

การตรวจสอบที่อยู่มีประโยชน์หลายประการ ดังนี้

  • อัตราการนำส่งที่ดีขึ้น: การตรวจสอบที่อยู่จะช่วยปรับปรุงอัตราการนำส่งด้วยการตรวจสอบว่ามีการส่งอีเมลและพัสดุไปยังที่อยู่ที่ถูกต้อง ซึ่งจะช่วยประหยัดเวลาและค่าใช้จ่ายให้กับธุรกิจ รวมถึงปรับปรุงความพึงพอใจของลูกค้า
  • คุณภาพของข้อมูลดีขึ้น: การตรวจสอบที่อยู่จะช่วยปรับปรุงคุณภาพของข้อมูลโดยการระบุและแก้ไขข้อผิดพลาดในที่อยู่ ซึ่งจะช่วยเพิ่มความแม่นยำของแคมเปญการตลาดและโครงการริเริ่มอื่นๆ ที่ได้จากข้อมูล

การตัดสินใจเกี่ยวกับสมมติฐาน

ตัดสินใจเลือกสมมติฐานที่จะทดสอบ ตัวอย่าง 2 ตัวอย่างมีดังนี้

1. อัตรา Conversion

เมื่อคุณเพิ่มโซลูชันการพิมพ์ตามคำที่แนะนำ อัตรา Conversion มักจะเพิ่มขึ้นเล็กน้อย และเมตริกนี้เหมาะสําหรับการติดตาม หากคุณเปลี่ยนโซลูชันการพิมพ์ตามคำที่แนะนำจากผู้ให้บริการรายอื่น คุณควรเห็นอัตรา Conversion แบบคงที่ หากอัตรา Conversion ลดลง สิ่งแรกที่ต้องตรวจสอบคือการติดตั้งใช้งาน

อัตรา Conversion มีความสำคัญ แต่อาจไม่ได้บอกข้อมูลทั้งหมด การเพิ่มโซลูชันการตรวจสอบที่อยู่ออกแบบมาเพื่อป้องกันไม่ให้ผู้ใช้ส่งที่อยู่คุณภาพต่ำ ณ จุดแรกเข้า และอาจเพิ่มการขัดข้องเล็กน้อยในการป้อนที่อยู่ในบางสถานการณ์ ซึ่งอาจทําให้อัตรา Conversion โดยรวมลดลง แต่ก็ไม่ได้หมายความว่าเป็นสิ่งเลวร้ายเสมอไป คำสั่งซื้อที่ดำเนินการไม่เสร็จสมบูรณ์เนื่องจากการเพิ่มการตรวจสอบที่อยู่อาจเชื่อมโยงกับข้อมูลที่อยู่คุณภาพต่ำซึ่งจะส่งผลให้ธุรกิจมีค่าใช้จ่ายผ่านการปฏิเสธการชำระเงินสำหรับการนำส่ง

2. การลดที่อยู่คุณภาพต่ำ

ซึ่งเป็นที่ที่โซลูชันการตรวจสอบที่อยู่ที่ดีสามารถนำมาใช้ได้ เมื่อใช้การตรวจสอบที่อยู่ คุณควรเห็นข้อมูลที่อยู่คุณภาพต่ำลดลง

หากเปรียบเทียบโซลูชันใหม่กับโซลูชันที่มีอยู่ คุณอาจอยากเปรียบเทียบอัตราการจับคู่ "ที่อยู่ที่ดี" และเลือกบริการที่มีอัตราการจับคู่สูงกว่า ซึ่งอาจทำให้เข้าใจผิดได้ เนื่องจากบริการหนึ่งอาจให้ผลบวกลวงมากกว่าอีกบริการหนึ่ง

แต่เมตริกที่มีประสิทธิภาพมากกว่าคือการเปรียบเทียบผลลัพธ์ที่ประสบความสำเร็จของการใช้ข้อมูลที่อยู่ เมื่อใช้อีคอมเมิร์ซเป็นตัวอย่าง ผลลัพธ์ที่ต้องการจากการบันทึกที่อยู่ก็คือการนำส่งแพ็กเกจที่ประสบความสำเร็จในท้ายที่สุด

สร้าง

นี่คือส่วนที่น่าตื่นเต้น! ถึงเวลาสร้างโซลูชันใหม่ให้กับลูกค้าแล้ว เรามีคู่มือที่มีประโยชน์สำหรับการใช้ Place Autocomplete และ Address Validation API ในการชําระเงินของอีคอมเมิร์ซอยู่แล้ว เราขอแนะนำให้คุณตรวจสอบข้อมูลนี้ขณะทำขั้นตอนนี้

แม้ว่าคุณจะไม่ได้สร้างข้อมูลสำหรับอีคอมเมิร์ซโดยเฉพาะ แต่ข้อมูลจำนวนมากก็ยังคงมีความเกี่ยวข้องอยู่ โดยเฉพาะอย่างยิ่งคำแนะนำในการกำหนดคุณภาพที่อยู่จากเอาต์พุตของ Address Validation API

แผนภาพสถาปัตยกรรม

ตัวอย่างคอนเทนเนอร์ที่สามารถใช้สร้างการทดสอบ A/B ในสภาพแวดล้อมอีคอมเมิร์ซมีดังนี้

[Execution Environment] A/B Testing Address Validation

แอปพลิเคชัน บริการ และที่เก็บข้อมูลสําคัญในระบบสําคัญที่ขับเคลื่อนสถาปัตยกรรม (คลิกเพื่อขยาย)

แผนภาพสถาปัตยกรรมแสดงคอนเทนเนอร์ที่ประกอบขึ้นเป็นระบบซอฟต์แวร์การทดสอบ A/B และระบบซอฟต์แวร์แอปอีคอมเมิร์ซ โดยจะแสดงเว็บไซต์อีคอมเมิร์ซต่อลูกค้าเพื่อโต้ตอบกับโหลดบาลานซ์ ซึ่งจะนําลูกค้าไปยังแอปเว็บไซต์อีคอมเมิร์ซ เครื่องมือจัดการการทดสอบ A/B จะสื่อสารกับโหลดบาลานซ์เพื่อเลือกตัวแปรการทดสอบ A/B เพื่อแสดงต่อลูกค้า ระบบการทดสอบ A/B นี้จะบันทึกผลลัพธ์และการกําหนดค่าของการทดสอบ A/B ในฐานข้อมูลที่เลือกด้วย เว็บแอปอีคอมเมิร์ซจะเรียก API ไปยังระบบซอฟต์แวร์ของแพลตฟอร์ม Google Maps และรายงานเหตุการณ์การวิเคราะห์ไปยังระบบซอฟต์แวร์ Analytics ซึ่งจะบันทึกเหตุการณ์ทดสอบลงในฐานข้อมูลผลลัพธ์การทดสอบ A/B

การตรวจสอบการติดตั้งใช้งาน

โซลูชันที่ติดตั้งใช้งานไม่ดีจะให้ผลการทดสอบที่ไม่เชื่อถือได้ ก่อนจะทำการทดสอบ A/B คุณต้องตรวจสอบโซลูชันกับกลุ่มผู้ใช้ขนาดเล็กก่อนเพื่อให้แน่ใจว่าโซลูชันทำงานได้ตามที่คาดไว้ ซึ่งอาจเป็นผู้ทดสอบ QA ภายใน และ/หรือผู้ทดสอบภายนอกกลุ่มที่คุณเลือกไว้ ซึ่งคุณไว้วางใจว่าจะให้ความคิดเห็นที่เป็นประโยชน์

เรียกใช้

เพิ่มปริมาณอย่างช้าๆ

แม้ว่าโซลูชันจะได้รับการตรวจสอบความถูกต้องแล้ว แต่ก็ยังเป็นความคิดที่ดีที่จะค่อยๆ เพิ่มการทดสอบโดยเริ่มจากผู้ใช้กลุ่มเล็กๆ วิธีนี้จะช่วยให้พบข้อบกพร่องหรือปัญหาอื่นๆ ได้ตั้งแต่เนิ่นๆ และแก้ไขได้อย่างรวดเร็วโดยไม่ส่งผลกระทบต่อผู้ใช้จำนวนมาก

การทดสอบแบบเต็ม

เมื่อผู้ใช้กลุ่มเล็กๆ ทดสอบโซลูชันและแก้ไขปัญหาแล้ว เราจะเพิ่มการทดสอบ A/B เต็มรูปแบบได้ ซึ่งไม่จำเป็นต้องเป็นการแยกการเข้าชมแบบ 50/50 จริง แต่ควรมีขนาดเทียบเคียงกับชุดการใช้งานจริงที่เลือกแบบสุ่ม

การบันทึกเมตริก

ในระหว่างการทดสอบ คุณควรเก็บรวบรวมข้อมูลที่สอดคล้องกันเพื่อสนับสนุนสมมติฐานของคุณ คุณสามารถใช้แพลตฟอร์มการทดสอบ A/B ในระหว่างกระบวนการนี้เพื่อให้การรวบรวมข้อมูลนี้ง่ายขึ้น และการวิเคราะห์ในภายหลัง นอกจากนี้ Google Maps Platform ยังรวบรวมเมตริกการใช้งาน API ที่อาจเป็นประโยชน์ด้วย คุณสามารถไปที่หน้านี้เพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับการใช้เครื่องมือการรายงานของเรา

เมตริกที่แนะนํามีดังนี้

Place Autocomplete

อัตรา Conversion: อัตรา Conversion/การทําแบบฟอร์มเสร็จสมบูรณ์เพิ่มขึ้นไหมเมื่อเทียบกับตอนที่ไม่มีโซลูชันการเติมข้อความอัตโนมัติ
การโต้ตอบกับเครื่องมือ: ผู้ใช้โต้ตอบกับฟีเจอร์การเติมข้อความอัตโนมัติของสถานที่สำเร็จมากขึ้นเมื่อเทียบกับโซลูชันก่อนหน้าหรือไม่

การยืนยันที่อยู่

การนำส่งสำเร็จ: การนำส่งที่ไม่สำเร็จเนื่องจากคุณภาพที่อยู่ลดลงหรือไม่
การเปลี่ยนที่อยู่: จำนวนการเรียกเก็บเงินค่าเปลี่ยนที่อยู่ที่คุณได้รับจากผู้ให้บริการจัดส่งลดลงหรือไม่
ที่พักอาศัยกับเชิงพาณิชย์: การบันทึกข้อมูลที่พักอาศัยกับเชิงพาณิชย์ได้รับการปรับปรุงหรือไม่ (บางตลาดเท่านั้น)

วิเคราะห์

เมื่อการทดสอบสิ้นสุดลงแล้ว ก็ถึงเวลาวิเคราะห์ผลลัพธ์เทียบกับเกณฑ์การทดสอบและสมมติฐานเดิม หากคุณใช้แพลตฟอร์มการทดสอบ A/B เพื่อดําเนินการตามกระบวนการให้เสร็จสมบูรณ์ ข้อมูลบางอย่างอาจพร้อมใช้งานแล้ว

กลับไปที่ส่วนการลดที่อยู่คุณภาพต่ำด้านบน คุณยังใช้เมตริกอื่นๆ ที่แพลตฟอร์มการทดสอบ A/B อาจไม่ได้บันทึกไว้ได้ด้วย ซึ่งอาจเป็นอัตราการนำส่งที่ไม่สําเร็จระหว่างสถานการณ์การทดสอบ โดยมีตัวอย่างข้อมูลดังนี้

โซลูชัน ก โซลูชัน ข
การนำส่งที่ไม่สำเร็จ 1.75% 1.23%

เมื่อดูตัวอย่างพื้นฐานด้านบน จะเห็นได้ชัดว่าโซลูชัน ข. เหมาะสําหรับ Use Case นี้มากกว่า

บทสรุป

เราหวังว่าคู่มือนี้จะให้ข้อมูลเพียงพอที่จะเริ่มต้นเส้นทางการทดสอบ A/B แม้ว่าจะมีการใช้ตัวอย่างจากพื้นที่อีคอมเมิร์ซ แต่ก็สามารถใช้หลักการพื้นฐานเดียวกันนี้ได้ทั่วทั้งกระดาน ระบุผลลัพธ์ที่ประสบความสำเร็จจากการมีข้อมูลที่อยู่คุณภาพดีในธุรกิจ และติดตามผลลัพธ์นั้นเพื่อเป็นสมมติฐานหลัก

เราได้ใส่ลิงก์ที่กล่าวถึงในคู่มือไว้ด้านล่างอีกครั้งเพื่อเป็นข้อมูลอ้างอิงเพิ่มเติม

ขอให้สนุกกับการทดสอบ

ขั้นตอนถัดไป

ดาวน์โหลดเอกสารประกอบปรับปรุงการชำระเงิน การนำส่ง และการดำเนินการด้วยที่อยู่ที่น่าเชื่อถือ และดูการสัมมนาผ่านเว็บเรื่องการปรับปรุงการชำระเงิน การนำส่ง และการดำเนินการด้วยการตรวจสอบที่อยู่

แหล่งข้อมูลอื่นๆ ที่แนะนํา

ผู้ร่วมให้ข้อมูล

ผู้แต่งหลัก:

Henrik Valve | วิศวกรโซลูชัน Google Maps Platform