การวัดผลกระทบของการตรวจสอบที่อยู่โดยใช้การทดสอบ A/B

เอกสารนี้อธิบายเทคนิคที่ควรพิจารณาเมื่อทำการทดสอบ A/B ของ Google Maps Platform Place Autocomplete และ Address Validation API

ประโยชน์บางประการของการใช้ Place Autocomplete และ Address Validation API มีดังนี้

  • ประสบการณ์ของลูกค้าที่ดีขึ้น: การให้คำแนะนำแบบเรียลไทม์เกี่ยวกับที่อยู่และสถานที่แก่ลูกค้าจะช่วยให้ลูกค้าชำระเงินได้รวดเร็วและง่ายดายยิ่งขึ้น ซึ่งอาจนำไปสู่ประสบการณ์ของลูกค้าที่ดีขึ้น
  • ความถูกต้องของข้อมูลที่ดีขึ้น: Place Autocomplete และ Address Validation API ช่วยให้คุณปรับปรุงความถูกต้องของข้อมูลลูกค้าได้ ซึ่งอาจมีความสำคัญอย่างยิ่งในอีคอมเมิร์ซ เนื่องจากต้องอาศัยข้อมูลที่อยู่ที่ถูกต้องเพื่อให้พัสดุจัดส่งได้สำเร็จ

หากต้องการปรับปรุงคุณภาพที่อยู่ ให้ทำการทดสอบ A/B เพื่อประเมินว่าโซลูชันการตรวจสอบใดตรงกับความต้องการของคุณมากที่สุด ซึ่งจะช่วยให้คุณตัดสินใจเชิงปริมาณได้ว่าผลิตภัณฑ์ใดเหมาะกับกรณีการใช้งานของคุณมากที่สุด

การทดสอบ A/B เป็นวิธีเปรียบเทียบหน้าเว็บหรือแอป 2 เวอร์ชัน โดยเป็นการทดสอบที่มีการควบคุมประเภทหนึ่งซึ่งใช้เพื่อพิจารณาผลของการเปลี่ยนแปลงตัวแปรต่อผลลัพธ์ที่วัดได้
หากต้องการทำการทดสอบ A/B ให้สร้างหน้าเว็บหรือแอป 2 เวอร์ชัน โดยเวอร์ชันหนึ่งเป็นเวอร์ชันควบคุมและอีกเวอร์ชันหนึ่งมีการเปลี่ยนแปลงที่วัดได้ จากนั้นแสดงเวอร์ชันเหล่านี้ต่อผู้ใช้ที่แตกต่างกันและวัดวิธีที่ผู้ใช้โต้ตอบกับเวอร์ชันเหล่านั้น เวอร์ชันที่มีประสิทธิภาพดีกว่าจะเป็นเวอร์ชันที่ชนะ

ภาพรวมสถาปัตยกรรมของระบบ

มาดูการทดสอบ A/B สำหรับ Address Validation ในกรณีการใช้งานอีคอมเมิร์ซกัน แผนภาพสถาปัตยกรรมด้านล่างแสดงวิธีที่ลูกค้าโต้ตอบกับประสบการณ์การซื้อขายของคุณ ซึ่งช่วยให้คุณกำหนดกลยุทธ์การตรวจสอบที่มีประสิทธิภาพมากขึ้นได้

[บริบทของระบบ] การทดสอบ A/B สำหรับ Address Validation

ระบบที่เกี่ยวข้องเมื่อทำการทดสอบ A/B สำหรับค่าของ Address Validation API

แผนภาพสถาปัตยกรรมแสดงลูกค้าที่เข้าชมเว็บไซต์อีคอมเมิร์ซของคุณซึ่งโต้ตอบกับระบบการทดสอบ A/B ระบบนี้จะตัดสินใจว่าจะแสดงตัวแปรการทดสอบใดต่อลูกค้าจากระบบซอฟต์แวร์ร้านค้าอีคอมเมิร์ซ ร้านค้าอีคอมเมิร์ซจะทำการเรียก API ไปยังระบบซอฟต์แวร์ Google Maps Platform นอกจากนี้ยังรวบรวมข้อมูลวิเคราะห์การทดสอบ A/B ซึ่งประมวลผลโดยระบบซอฟต์แวร์วิเคราะห์ และรายงานกลับไปยังระบบการทดสอบ A/B

กระบวนการทดสอบ A/B

เมื่อพิจารณากระบวนการทดสอบ A/B โดยรวมแล้ว คุณควรคำนึงถึง 4 ขั้นตอนต่อไปนี้

  • เตรียม - ระบุข้อกำหนด ขอบเขต และระยะเวลาในการทดสอบ
  • สร้าง - ใช้ Place Autocomplete และ Address Validation API ในสภาพแวดล้อมเพื่อทำการทดสอบ
  • เรียกใช้ - รวบรวมเมตริกขณะทำการทดสอบจนกว่าจะได้ผลลัพธ์ที่สำคัญหรือหมดเวลา
  • วิเคราะห์ - เปรียบเทียบผลลัพธ์กับสมมติฐานและระบุขั้นตอนถัดไป

เราจะพูดถึงแต่ละขั้นตอนเหล่านี้ตามลำดับ

เตรียม

การตัดสินใจเกี่ยวกับข้อกำหนดในการทดสอบ A/B

การค้นพบเบื้องต้น

ถามตัวเองว่าทำไมคุณจึงเพิ่มหรือเปลี่ยนผู้ให้บริการการตรวจสอบที่อยู่ ตัวอย่างเช่น การใช้ Google Maps Places Autocomplete

  • ประหยัดเวลา: คุณไม่จำเป็นต้องพิมพ์ชื่อสถานที่ทั้งหมดเมื่อเริ่มพิมพ์และดูคำแนะนำปรากฏขึ้นได้
  • ลดข้อผิดพลาด: หากคุณสะกดชื่อสถานที่ผิด Google Maps Places Autocomplete จะยังคงแนะนำสถานที่ที่ถูกต้อง

Address Validation มีประโยชน์มากมาย ซึ่งรวมถึง

  • อัตราการจัดส่งที่ดีขึ้น: การตรวจสอบที่อยู่ช่วยปรับปรุงอัตราการจัดส่งได้โดยตรวจสอบว่ามีการส่งจดหมายและพัสดุไปยังที่อยู่ที่ถูกต้อง ซึ่งจะช่วยให้ธุรกิจประหยัดเวลาและเงิน รวมถึงปรับปรุงความพึงพอใจของลูกค้า
  • คุณภาพของข้อมูลที่ดีขึ้น: Address Validation ช่วยปรับปรุงคุณภาพของข้อมูลได้โดยการระบุและแก้ไขข้อผิดพลาดในที่อยู่ ซึ่งจะช่วยปรับปรุงความถูกต้องของแคมเปญการตลาดและโครงการอื่นๆ ที่ขับเคลื่อนด้วยข้อมูล

การตัดสินใจเกี่ยวกับสมมติฐาน

ตัดสินใจเกี่ยวกับสมมติฐานที่จะทดสอบ ตัวอย่าง 2 ข้อมีดังนี้

1. อัตรา Conversion

เมื่อเพิ่มโซลูชันการพิมพ์ล่วงหน้า คุณมักจะเห็นอัตรา Conversion เพิ่มขึ้นเล็กน้อย ซึ่งเป็นเมตริกที่ดีในการติดตาม หากคุณเปลี่ยนโซลูชันการพิมพ์ล่วงหน้าจากผู้ให้บริการรายอื่น คุณควรคาดหวังอัตรา Conversion ที่คงที่ หากอัตรา Conversion ลดลง สิ่งแรกที่ควรตรวจสอบคือการใช้งาน

อัตรา Conversion มีความสำคัญ แต่ก็อาจไม่ได้บอกเรื่องราวทั้งหมด การเพิ่มโซลูชัน Address Validation ออกแบบมาเพื่อป้องกันไม่ให้ผู้ใช้ส่งที่อยู่ที่มีคุณภาพไม่ดี ณ จุดแรกเข้า และอาจเพิ่มความยุ่งยากในการเก็บรวบรวมที่อยู่ตามธรรมชาติในบางสถานการณ์ ซึ่งอาจทำให้อัตรา Conversion โดยรวมลดลง แต่ไม่จำเป็นต้องมองว่าเป็นเรื่องไม่ดี คำสั่งซื้อที่ไม่เสร็จสมบูรณ์เนื่องจากการเพิ่มการตรวจสอบที่อยู่อาจเกี่ยวข้องกับข้อมูลที่อยู่ที่มีคุณภาพไม่ดี ซึ่งจะทำให้ธุรกิจต้องเสียค่าใช้จ่ายผ่านการเรียกเก็บเงินคืนค่าจัดส่ง

2. การลดที่อยู่ที่มีคุณภาพไม่ดี

นี่คือจุดที่โซลูชันการตรวจสอบที่อยู่ที่ดีจะแสดงประสิทธิภาพออกมา เมื่อใช้ Address Validation คุณควรคาดหวังว่าจะเห็นข้อมูลที่อยู่ที่มีคุณภาพไม่ดีลดลง

หากคุณกำลังเปรียบเทียบโซลูชันใหม่กับโซลูชันที่มีอยู่ คุณอาจต้องการเปรียบเทียบอัตราการจับคู่ 'ที่อยู่ที่ดี' และเลือกบริการที่มีอัตราการจับคู่สูงกว่า ซึ่งอาจทำให้เข้าใจผิดได้เนื่องจากบริการหนึ่งอาจให้ผลบวกที่ผิดพลาดมากกว่าอีกบริการหนึ่ง

แต่ตัวชี้วัดที่มีผลกระทบมากกว่าคือการเปรียบเทียบผลลัพธ์ที่สำเร็จของการใช้ข้อมูลที่อยู่ ตัวอย่างเช่น ในอีคอมเมิร์ซ ผลลัพธ์ที่ต้องการของการเก็บรวบรวมที่อยู่คือการจัดส่งพัสดุที่สำเร็จในที่สุด

บิลด์

ตอนนี้ก็ถึงส่วนที่น่าตื่นเต้นแล้ว ได้เวลาสร้างโซลูชันใหม่สำหรับลูกค้าแล้ว เรามีคู่มือที่มีประโยชน์สำหรับการใช้Place Autocomplete และAddress Validation API ในการชำระเงินอีคอมเมิร์ซ เราขอแนะนำให้คุณดูคู่มือนี้ขณะทำตามขั้นตอนนี้

แม้ว่าคุณจะไม่ได้สร้างขึ้นมาสำหรับอีคอมเมิร์ซโดยเฉพาะ แต่ข้อมูลจำนวนมากก็ยังคงเกี่ยวข้อง โดยเฉพาะคำแนะนำในการกำหนดคุณภาพที่อยู่จากเอาต์พุตของ Address Validation API

แผนภาพสถาปัตยกรรม

ตัวอย่างคอนเทนเนอร์ที่ใช้สร้างการทดสอบ A/B ในสภาพแวดล้อมอีคอมเมิร์ซมีดังนี้

[สภาพแวดล้อมการดำเนินการ] การทดสอบ A/B สำหรับ Address Validation

แอปพลิเคชัน บริการ และที่เก็บข้อมูลที่สำคัญในระบบหลักที่ขับเคลื่อนสถาปัตยกรรม (คลิกเพื่อขยาย)

แผนภาพสถาปัตยกรรมแสดงคอนเทนเนอร์ที่ประกอบกันเป็นระบบซอฟต์แวร์การทดสอบ A/B และระบบซอฟต์แวร์แอปอีคอมเมิร์ซ โดยจะแสดงลูกค้าที่โต้ตอบกับ Load Balancer ในเว็บไซต์อีคอมเมิร์ซ ซึ่งจะนำลูกค้าไปยังแอปเว็บไซต์อีคอมเมิร์ซ A/B Test Manager จะสื่อสารกับ Load Balancer เพื่อเลือกตัวแปรการทดสอบ A/B ที่จะแสดงต่อลูกค้า ระบบการทดสอบ A/B นี้ยังบันทึกผลลัพธ์และการกำหนดค่าของการทดสอบ A/B ในฐานข้อมูลที่คุณเลือกด้วย เว็บแอปอีคอมเมิร์ซจะเรียก API ไปยังระบบซอฟต์แวร์ของ Google Maps Platform และยังรายงานเหตุการณ์วิเคราะห์ไปยังระบบซอฟต์แวร์ของ Analytics ซึ่งจะบันทึกเหตุการณ์ทดสอบลงในฐานข้อมูลผลลัพธ์การทดสอบ A/B

การตรวจสอบการใช้งาน

โซลูชันที่ใช้งานไม่ดีจะให้ผลการทดสอบที่ไม่น่าเชื่อถือ ก่อนทำการทดสอบ A/B คุณควรตรวจสอบโซลูชันกับกลุ่มผู้ใช้ขนาดเล็กก่อนเพื่อให้แน่ใจว่าโซลูชันทำงานได้ตามที่คาดไว้ ซึ่งอาจเป็นผู้ทดสอบ QA ภายในและ/หรือกลุ่มผู้ทดสอบภายนอกที่เลือกไว้ซึ่งคุณเชื่อมั่นว่าจะให้ความคิดเห็นที่เป็นประโยชน์

วิ่ง

เพิ่มปริมาณอย่างช้าๆ

แม้ว่าโซลูชันจะได้รับการตรวจสอบแล้ว แต่คุณก็ยังควรเพิ่มปริมาณการทดสอบอย่างช้าๆ โดยเริ่มจากกลุ่มผู้ใช้ขนาดเล็ก การทำเช่นนี้จะช่วยให้คุณพบข้อบกพร่องหรือปัญหาอื่นๆ ได้ตั้งแต่เนิ่นๆ และแก้ไขได้อย่างรวดเร็วโดยไม่ส่งผลกระทบต่อผู้ใช้จำนวนมาก

การทดสอบแบบเต็ม

เมื่อกลุ่มผู้ใช้ขนาดเล็กทดสอบโซลูชันแล้วและมีการแก้ไขปัญหาต่างๆ แล้ว เราก็สามารถเพิ่มปริมาณการทดสอบ A/B แบบเต็มได้ ซึ่งไม่จำเป็นต้องเป็นการแบ่งการเข้าชมแบบ 50/50 อย่างแท้จริง แต่ควรมีขนาดเทียบเท่ากับชุดการใช้งานจริงที่เลือกแบบสุ่ม

การเก็บรวบรวมเมตริก

ระหว่างการทดสอบ คุณควรเก็บรวบรวมข้อมูลที่เหมาะสมเพื่อสนับสนุนสมมติฐาน คุณสามารถใช้แพลตฟอร์มการทดสอบ A/B ในระหว่างกระบวนการนี้เพื่อลดความยุ่งยากในการเก็บรวบรวมข้อมูลและการวิเคราะห์ในภายหลัง นอกจากนี้ Google Maps Platform ยังเก็บรวบรวมเมตริกการใช้งาน API ซึ่งอาจเป็นประโยชน์ คุณสามารถดูข้อมูลเพิ่มเติมเกี่ยวกับเครื่องมือการรายงานได้ในหน้านี้

ตัวอย่างเมตริกที่แนะนำมีดังนี้

Place Autocomplete

อัตรา Conversion: อัตรา Conversion/อัตราความสำเร็จของแบบฟอร์มเพิ่มขึ้นจากการไม่มีโซลูชันการเติมข้อความอัตโนมัติก่อนหน้านี้หรือไม่
การโต้ตอบกับเครื่องมือ: ผู้ใช้โต้ตอบกับ Place Autocomplete ได้สำเร็จมากขึ้นเมื่อเทียบกับโซลูชันก่อนหน้านี้หรือไม่

Address Validation

การจัดส่งสำเร็จ: การจัดส่งไม่สำเร็จเนื่องจากคุณภาพที่อยู่ลดลงหรือไม่
การเปลี่ยนแปลงที่อยู่: ค่าใช้จ่ายในการเปลี่ยนแปลงที่อยู่ที่คุณได้รับจากผู้จัดส่งลดลงหรือไม่
ที่พักอาศัยเทียบกับเชิงพาณิชย์: การเก็บรวบรวมข้อมูลที่พักอาศัยเทียบกับเชิงพาณิชย์ดีขึ้นหรือไม่ (เฉพาะบางตลาด)

วิเคราะห์

เมื่อการทดสอบสิ้นสุดลง ก็ได้เวลาวิเคราะห์ผลลัพธ์เทียบกับเกณฑ์การทดสอบและสมมติฐานเดิม หากคุณใช้แพลตฟอร์มการทดสอบ A/B เพื่อดำเนินการให้เสร็จสมบูรณ์ ข้อมูลบางอย่างอาจพร้อมใช้งานแล้ว

กลับไปที่ส่วนการลดที่อยู่ที่มีคุณภาพไม่ดีด้านบน คุณยังใช้เมตริกอื่นๆ ที่แพลตฟอร์มการทดสอบ A/B อาจไม่ได้เก็บรวบรวมได้ด้วย ซึ่งอาจเป็นอัตราการจัดส่งไม่สำเร็จระหว่างสถานการณ์การทดสอบ โดยมีข้อมูลตัวอย่างดังนี้

โซลูชัน A โซลูชัน B
การจัดส่งไม่สำเร็จ 1.75% 1.23%

จากตัวอย่างพื้นฐานด้านบน เห็นได้ชัดว่าโซลูชัน B จะเป็นตัวเลือกที่ดีกว่าสำหรับกรณีการใช้งานนี้

บทสรุป

เราหวังว่าคู่มือนี้จะให้ข้อมูลเพียงพอที่จะช่วยให้คุณเริ่มต้นการทดสอบ A/B ได้ แม้ว่าคู่มือนี้จะใช้ตัวอย่างจากพื้นที่อีคอมเมิร์ซ แต่คุณสามารถใช้หลักการพื้นฐานเดียวกันนี้ได้ในทุกกรณี ระบุผลลัพธ์ที่สำเร็จของการมีข้อมูลที่อยู่ที่มีคุณภาพดีในธุรกิจของคุณ และติดตามผลลัพธ์นั้นเป็นสมมติฐานหลัก

เราได้รวมลิงก์ที่กล่าวถึงในคู่มือไว้ด้านล่างอีกครั้งเพื่อเป็นแหล่งข้อมูลเพิ่มเติม

ขอให้สนุกกับการทดสอบ

ขั้นตอนถัดไป

ดาวน์โหลดเอกสารไวท์เปเปอร์เรื่องปรับปรุงการชำระเงิน การจัดส่ง และการดำเนินงานด้วยที่อยู่ที่เชื่อถือได้ และดูการสัมมนาผ่านเว็บเรื่องการปรับปรุงการชำระเงิน การจัดส่ง และการดำเนินงานด้วย Address Validation

แหล่งข้อมูลเพิ่มเติมที่แนะนำ

ผู้ร่วมให้ข้อมูล

ผู้เขียนหลัก

Henrik Valve | วิศวกรโซลูชันของ Google Maps Platform