เป้าหมายของคู่มือนี้คือการให้คําแนะนําในการเรียกใช้การทดสอบ Privacy Sandbox Attribution Reporting API แบบสแตนด์อโลน ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 12
- การวัดผลลัพธ์ของกลุ่มทดสอบและกลุ่มทดสอบในการออกแบบทดลองที่ 1 และ 2 ของ CMA ครอบคลุมอยู่ในคำแนะนำการทดสอบ API ความเกี่ยวข้องเนื่องจากเป้าหมายของการทดสอบเหล่านั้นคือการทดสอบประสิทธิภาพของการใช้ Protected Audience และ Topics ดูรายละเอียดเพิ่มเติมได้ในส่วนที่ 11
ก่อนเริ่มต้น
- โปรดอ่านคําแนะนําเกี่ยวกับการกําหนดค่าและการตั้งค่า Attribution Reporting API
- ดูคำแนะนำการทดสอบ CMA: หมายเหตุการทดสอบ (พฤศจิกายน 2022), คำแนะนำในการทดสอบ (มิถุนายน 2023) และคำแนะนำในการทดสอบเพิ่มเติม (ตุลาคม 2023)
เป้าหมายการประเมินและการตั้งค่าการทดสอบที่เสนอ
เป้าหมาย 1 - การพิจารณาประสิทธิภาพของ Attribution Reporting API สำหรับการรายงาน
เราขอเสนอการตั้งค่า A/A เพื่อวัดผลกระทบที่มีต่อการรายงาน
- ข้อเสนอนี้สอดคล้องกับหลักเกณฑ์ของ CMA เกี่ยวกับการประเมินเมตริกที่อิงตาม Conversion ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 21 และส่วนที่ 12
- เราชอบวิธีนี้มากกว่าโหมด A/B เนื่องจากการทดสอบ Attribution Reporting API (ARA) ทําได้ด้วยการวัด Conversion ของการแสดงผลชุดเดียวกันพร้อมกันโดยใช้วิธีการวัดผลที่ต่างกัน 2 วิธี (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม และ ARA + ข้อมูลคุกกี้ของบุคคลที่สาม)
- นอกจากนี้ การทดสอบ A/A ยังแยกผลกระทบของ Attribution Reporting API ที่มีต่อการวัด Conversion (เช่น หลีกเลี่ยงการเปลี่ยนแปลงอัตรา Conversion เนื่องจากไม่มีคุกกี้ของบุคคลที่สาม)
ประเด็นการวิเคราะห์ที่แนะนำ
- เลือกการเข้าชมส่วนหนึ่งที่มีขนาดใหญ่พอที่จะได้รับผลลัพธ์ที่มีนัยสำคัญทางสถิติ และมีทั้งคุกกี้ของบุคคลที่สามและ Privacy Sandbox API ตามหลักแล้วคือการเข้าชมทั้งหมด ยกเว้นโหมด B (ซึ่งปิดใช้คุกกี้ของบุคคลที่สาม)
- เราขอแนะนำให้ยกเว้นโหมด B จากการทดสอบ A/A เนื่องจากคุกกี้ของบุคคลที่สามจะใช้งานไม่ได้ และคุณจะเปรียบเทียบผลลัพธ์ ARA กับผลการระบุแหล่งที่มาที่อิงตามคุกกี้ของบุคคลที่สามไม่ได้
- หากคุณต้องการรวมโหมด B ไว้ด้วย คุณควรพิจารณาเปิดใช้รายงานการแก้ไขข้อบกพร่องสำหรับการเข้าชมส่วนโหมด B รายงานการแก้ไขข้อบกพร่องจะช่วยคุณแก้ปัญหาการกำหนดค่าหรือการติดตั้งใช้งาน
- หากคุณวางแผนที่จะทดสอบกับการเข้าชมส่วนเล็กๆ เราคาดว่าคุณจะได้รับผลลัพธ์การวัดที่น้อยกว่าที่คาดไว้ เราขอแนะนำให้จดในการวิเคราะห์ของคุณว่าการเข้าชมที่ใช้ไปส่วนหนึ่งเป็นส่วนใด และคุณรายงานผลลัพธ์ตามรายงานที่มีข้อผิดพลาดหรือรายงานการแก้ไขข้อบกพร่องที่ไม่มีเสียงรบกวนหรือไม่
- สําหรับรายงานสรุป ค่าสรุปมีแนวโน้มที่จะต่ำกว่า และบริการรวบรวมจะเพิ่มข้อมูลรบกวนจากการกระจายเดียวกันโดยไม่คำนึงถึงค่าสรุป
- ทดสอบวิธีการวัดต่างๆ กับการเข้าชมส่วนนั้นๆ
- การควบคุม 1 - ใช้วิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม)
- (ไม่บังคับ) การควบคุมที่ 2 - ไม่มี Privacy Sandbox และไม่มีคุกกี้ของบุคคลที่สาม กล่าวคือ เฉพาะข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
- โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา
- กลุ่มทดสอบ - Privacy Sandbox API และข้อมูลคุกกี้ของบุคคลที่สาม
- โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา
เมตริก
- กำหนดว่าเมตริกใดเหมาะสมกับธุรกิจของคุณในการวัดผลลัพธ์ และใส่คำอธิบายว่าเมตริกนั้นหมายความว่าอย่างไรและมีวิธีการวัดอย่างไร
- เราขอแนะนำให้มุ่งความสนใจไปที่มิติข้อมูลและเมตริกที่สำคัญสำหรับผู้ลงโฆษณาของคุณ เช่น หากผู้ลงโฆษณามุ่งเน้นที่ Conversion การซื้อ ให้วัดจํานวน Conversion สําหรับ Conversion เหล่านั้นและมูลค่าการซื้อ
- คุณควรใช้เมตริกที่อิงตามจำนวนหรือผลรวม (เช่น อัตรา Conversion) มากกว่าต้นทุนต่อหนึ่ง (เช่น ต้นทุนต่อ Conversion) สำหรับการวิเคราะห์ A/A เมตริกค่าใช้จ่ายอาจมาจากจำนวนหรือมูลค่า Conversion รวมทั้งหมด
- ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงานรวมกัน (และใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)
- ดูตารางเทมเพลตที่แนะนำเพื่อดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณ
การวิเคราะห์
- ความครอบคลุม:
- คุณสามารถวัดผลในกลุ่มผู้ใช้ที่คล้ายกันเมื่อเทียบกับคุกกี้ของบุคคลที่สามได้หรือไม่ คุณจะเห็นการครอบคลุมที่สูงขึ้น (เช่น ในแอปไปยังเว็บ) หรือไม่
- คุณสามารถวัด Conversion (และมิติข้อมูลหรือเมตริก) ที่คุณหรือผู้ลงโฆษณาให้ความสำคัญมากที่สุดได้หรือไม่
- ความคิดเห็นเชิงปริมาณ
- เช่น ในการรายงานของผู้ลงโฆษณา เช่น เปอร์เซ็นต์ของ Conversion หลักที่คุณสามารถรายงานสำหรับผู้ลงโฆษณารายนั้น หรือเปอร์เซ็นต์แคมเปญที่เป็นไปตามเกณฑ์คุณภาพของการรายงาน (การได้รับแถบคุณภาพจะช่วยปรับสำหรับแคมเปญที่มี Conversion น้อย)
- ตัวอย่างเช่น มีผู้ลงโฆษณาบางรายที่อาศัยคุกกี้ของบุคคลที่สามในการรายงานมากขึ้นหรือน้อยลงหรือไม่
- ความคิดเห็นเชิงคุณภาพอื่นๆ
- ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการวัดผล/การระบุแหล่งที่มาของผู้ลงโฆษณาอย่างไร
- ARA ช่วยหรือขัดขวางผู้ลงโฆษณาในการมุ่งเน้นไปที่เมตริกและเป้าหมายที่สำคัญต่อพวกเขาหรือไม่
ตารางเทมเพลตที่แนะนำสำหรับผลกระทบของการรายงาน
(การรายงาน) ตาราง 1:
ตารางเทมเพลตตัวอย่างสำหรับการรายงานผลการทดสอบไปยัง CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางตามความจำเป็น)
กลุ่มทดสอบเทียบกับการควบคุม 1 เปรียบเทียบสถานะสิ้นสุดที่เสนอกับสถานะปัจจุบัน |
กลุ่มทดสอบเทียบกับการควบคุม 2 เปรียบเทียบสถานะสิ้นสุดที่เสนอกับการใช้ PS API เลย |
การควบคุม 2 เทียบกับการควบคุม 1 เปรียบเทียบการวัด Conversion กับและไม่มีคุกกี้ของบุคคลที่สามโดยไม่มี PS API |
|
ระเบียบวิธีการวัดผล | เปรียบเทียบการวัด Conversion เพื่อกลุ่มทดสอบ (ARA กับข้อมูลคุกกี้ของบุคคลที่สาม) กับการควบคุมที่ 1 (คุกกี้ของบุคคลที่สามกับข้อมูลคุกกี้ของบุคคลที่สาม) | เปรียบเทียบการวัด Conversion เพื่อกลุ่มทดสอบ (ARA กับข้อมูลคุกกี้ของบุคคลที่สาม) กับการควบคุมที่ 2 (ข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น) | เปรียบเทียบการวัด Conversion สําหรับกลุ่มควบคุม 2 (ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น) กับการควบคุมที่ 1 (ข้อมูลคุกกี้ของบุคคลที่สามกับข้อมูลคุกกี้ของบุคคลที่สาม) |
Conversion ต่อดอลลาร์ | ผลกระทบ | ผลกระทบ | ผลกระทบ |
ข้อผิดพลาดมาตรฐาน | ข้อผิดพลาดมาตรฐาน | ข้อผิดพลาดมาตรฐาน | |
ช่วงความเชื่อมั่น 95% | ช่วงความเชื่อมั่น 95% | ช่วงความเชื่อมั่น 95% | |
Conversion ทั้งหมด | ผลกระทบ | ผลกระทบ | ผลกระทบ |
ข้อผิดพลาดมาตรฐาน | ข้อผิดพลาดมาตรฐาน | ข้อผิดพลาดมาตรฐาน | |
ช่วงความเชื่อมั่น 95% | ช่วงความเชื่อมั่น 95% | ช่วงความเชื่อมั่น 95% | |
อัตรา Conversion | ผลกระทบ | ผลกระทบ | ผลกระทบ |
ข้อผิดพลาดมาตรฐาน | ข้อผิดพลาดมาตรฐาน | ข้อผิดพลาดมาตรฐาน | |
ช่วงความเชื่อมั่น 95% | ช่วงความเชื่อมั่น 95% | ช่วงความเชื่อมั่น 95% | |
(เพิ่มเมตริกของคุณเอง) |
(การรายงาน) ตาราง 2:
ตารางเทมเพลตตัวอย่างสำหรับการรายงานสถิติที่สื่อความหมายสำหรับเมตริกในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางได้ตามต้องการ)
เมตริก | กลุ่มทดสอบ
การวัด Conversion โดยใช้ ARA และข้อมูลคุกกี้ของบุคคลที่สามที่คุณใช้ |
การควบคุม 1
การวัด Conversion โดยใช้คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ของบุคคลที่สามที่คุณใช้ |
การควบคุม 2
การวัด Conversion โดยใช้ข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น |
Conversion ต่อดอลลาร์ | ค่าเฉลี่ย | ค่าเฉลี่ย | ค่าเฉลี่ย |
ค่าเบี่ยงเบนมาตรฐาน | ค่าเบี่ยงเบนมาตรฐาน | ค่าเบี่ยงเบนมาตรฐาน | |
เปอร์เซ็นไทล์ที่ 25 และ 75 | เปอร์เซ็นไทล์ที่ 25 และ 75 | เปอร์เซ็นไทล์ที่ 25 และ 75 | |
Conversion ทั้งหมด | ค่าเฉลี่ย | ค่าเฉลี่ย | ค่าเฉลี่ย |
ค่าเบี่ยงเบนมาตรฐาน | ค่าเบี่ยงเบนมาตรฐาน | ค่าเบี่ยงเบนมาตรฐาน | |
เปอร์เซ็นไทล์ที่ 25 และ 75 | เปอร์เซ็นไทล์ที่ 25 และ 75 | เปอร์เซ็นไทล์ที่ 25 และ 75 | |
อัตรา Conversion | ค่าเฉลี่ย | ค่าเฉลี่ย | ค่าเฉลี่ย |
ค่าเบี่ยงเบนมาตรฐาน | ค่าเบี่ยงเบนมาตรฐาน | ค่าเบี่ยงเบนมาตรฐาน | |
เปอร์เซ็นไทล์ที่ 25 และ 75 | เปอร์เซ็นไทล์ที่ 25 และ 75 | เปอร์เซ็นไทล์ที่ 25 และ 75 | |
(เพิ่มเมตริกของคุณเอง) |
เป้าหมาย 2 - การพิจารณาประสิทธิภาพของ Attribution Reporting API ในการเพิ่มประสิทธิภาพการเสนอราคา
เราขอเสนอการตั้งค่า A/B เพื่อวัดผลกระทบที่มีต่อการเพิ่มประสิทธิภาพการเสนอราคา
- หากต้องการวัดผลลัพธ์ของการเพิ่มประสิทธิภาพการเสนอราคา คุณจะต้องฝึกโมเดลแมชชีนเลิร์นนิง 2 แบบและใช้กับการเข้าชม 2 ส่วน โดยรูปแบบหนึ่งที่ได้รับการฝึกตามวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม) เพื่อนำไปใช้กับกลุ่มควบคุม และโมเดล 1 รายการที่ฝึกใน Attribution Reporting API + ข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สามเพื่อนําไปใช้กับกลุ่มทดสอบ
- การฝึกโมเดลควรอิงตามการเข้าชมมากเท่าที่ผู้ทดสอบเห็นว่าจำเป็นต่อการเพิ่มประสิทธิภาพสูงสุด แม้ว่ากลุ่มทดสอบจะเป็นการเข้าชมส่วนเล็กๆ และมีการทับซ้อนกันระหว่างประชากรการฝึก (เช่น ใช้โมเดลคุกกี้ของบุคคลที่สามที่มีอยู่ซึ่งกำลังฝึกกับการเข้าชมทั้งหมด และฝึกโมเดล ARA กับการดูแลการแสดงโฆษณา ARA ทั้งหมดที่เปิดใช้สำหรับเป้าหมาย 1)
- หากส่งผลลัพธ์ไปยัง CMA โปรดทราบว่ามีความแตกต่างอย่างมากระหว่างส่วนแบ่งการเข้าชมที่ใช้สำหรับการฝึกโมเดลต่างๆ (เช่น หากโมเดลที่อิงตามคุกกี้ของบุคคลที่สามได้รับการฝึกกับการเข้าชม 100% แต่โมเดลที่ใช้ ARA จะได้รับการฝึกกับการเข้าชม 1% เท่านั้น)
- หากเป็นไปได้ การฝึกสำหรับทั้งโมเดลการเสนอราคาเพื่อกลุ่มทดสอบและแบบควบคุมควรจัดขึ้นเป็นระยะเวลาเท่ากัน
- พิจารณาว่าคุณควรฝึกและอัปเดตรูปแบบการเสนอราคาอย่างต่อเนื่องระหว่างการทดสอบหรือไม่ และหากควรฝึก ควรฝึกกับการเข้าชมมากที่สุดหรือเฉพาะการเข้าชมจากกลุ่มควบคุมและกลุ่มทดสอบ
- คุณควรใช้รูปแบบต่างๆ กับการเข้าชมส่วนที่ไม่ต่อเนื่องกันเพื่อเป็นการทดสอบ A/B สำหรับการสุ่มและกําหนดผู้ใช้ในกลุ่มควบคุมและกลุ่มทดสอบ เราขอแนะนำให้ใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (โหมด A) หรือทำการทดสอบของคุณเองกับชุดเบราว์เซอร์แบบสุ่ม เราไม่แนะนำให้ใช้โหมด B เนื่องจากการไม่มีคุกกี้ของบุคคลที่สามจะทำให้รายงานเกี่ยวกับเมตริกที่อิงตาม Conversion ได้ยาก
- กลุ่มเบราว์เซอร์ที่อำนวยความสะดวกด้วย Chrome จะยกเว้นอินสแตนซ์ของ Chrome บางรายการ เช่น ผู้ใช้ Chrome ขององค์กร ซึ่งชุดเบราว์เซอร์แบบสุ่มของคุณเองอาจไม่รวมอินสแตนซ์ Chrome เหล่านี้ ดังนั้น คุณจึงควรทําการทดสอบในกลุ่มโหมด A เท่านั้นหรือเฉพาะในกลุ่มที่ไม่ใช่โหมด A/โหมด B เพื่อหลีกเลี่ยงการเปรียบเทียบเมตริกที่ได้จากกลุ่มที่ดูแลโดย Chrome กับเมตริกที่ได้นอกกลุ่มที่ดูแลโดย Chrome
- หากไม่ใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (เช่น ทำการทดสอบกับการเข้าชมอื่นๆ)
- ดูแลให้ผู้ใช้ที่จัดการและฝั่งควบคุมเป็นไปแบบสุ่มและเป็นกลาง ไม่ว่าจะตั้งค่ากลุ่มทดสอบอย่างไร ให้ประเมินลักษณะของกลุ่มทดสอบและกลุ่มทดสอบเพื่อให้มั่นใจว่ากลุ่มทดสอบและกลุ่มควบคุมนั้นเปรียบเทียบกันได้ (ดูส่วนที่ 15)
- ตรวจสอบว่าลักษณะเฉพาะของผู้ใช้และการกําหนดค่าแคมเปญของกลุ่มกลุ่มทดสอบและกลุ่มควบคุมเหมือนกัน (เช่น ใช้ภูมิศาสตร์ที่คล้ายกันทั้งในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม) (ดู: ส่วนที่ 28)
- ตัวอย่างที่เจาะจง ได้แก่ ตรวจสอบว่าได้รับการวัดประเภท Conversion ที่คล้ายกันโดยใช้กรอบเวลาการระบุแหล่งที่มาเดียวกันและตรรกะการระบุแหล่งที่มาเดียวกัน แคมเปญกําหนดเป้าหมายเป็นกลุ่มเป้าหมาย กลุ่มความสนใจ และภูมิศาสตร์ที่คล้ายกัน รวมถึงใช้ข้อความโฆษณาและรูปแบบโฆษณาที่คล้ายกัน
- ตรวจสอบว่าขนาดประชากรเริ่มต้นของกลุ่มทดสอบและกลุ่มควบคุมมีขนาดใหญ่พอที่จะเสนอราคาและการทดสอบได้อย่างยืดหยุ่น
- หากใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (โหมด A) Chrome จะจัดการการสุ่มอินสแตนซ์ของเบราว์เซอร์ Chrome ไปยังกลุ่ม และเช่นเคย เราขอแนะนำให้คุณตรวจสอบการสุ่มว่า กลุ่มที่เลือกจะส่งผลให้เกิดความมีอคติ / เปรียบเทียบกันได้ ตามวัตถุประสงค์ของคุณ
ประเด็นการวิเคราะห์ที่แนะนำ
- เราขอแนะนำให้กำหนดกลุ่มควบคุมและกลุ่มทดสอบ รวมถึงใช้โมเดลแมชชีนเลิร์นนิงที่แตกต่างกันสำหรับการเพิ่มประสิทธิภาพการเสนอราคาสำหรับแต่ละกลุ่มทดสอบ
- การควบคุมที่ 1 - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกจากวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม)
- (ไม่บังคับ) การควบคุมที่ 2 - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกโดยไม่มี Privacy Sandbox และไม่ใช้คุกกี้ของบุคคลที่สาม กล่าวคือ เฉพาะข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น
- โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้กับบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา
- กลุ่มทดสอบ - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกเกี่ยวกับ Attribution Reporting API และข้อมูลคุกกี้ของบุคคลที่สาม
- โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้กับบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา
เมตริก
- กำหนดว่าเมตริกใดเหมาะสมกับธุรกิจของคุณในการวัดผลลัพธ์ และใส่คำอธิบายว่าเมตริกนั้นหมายความว่าอย่างไรและมีวิธีการวัดอย่างไร
- ตัวอย่างเช่น เมตริกที่มีความหมายอาจเป็นการใช้จ่าย (รายได้ของผู้เผยแพร่โฆษณา) ซึ่งสอดคล้องกับคำแนะนำของ CMA ในการทำความเข้าใจผลกระทบที่การเลิกใช้งานคุกกี้ของบุคคลที่สามมีต่อ "รายได้ต่อการแสดงผล" ดูรายละเอียดเพิ่มเติมในส่วนที่ 19
- หากมีการรายงานเมตริกที่อิงตาม Conversion คุณควรใช้วิธีการวัดเดียวกันสำหรับแต่ละกลุ่มเพื่อหลีกเลี่ยงการทดสอบหลายตัวแปร (ทดสอบผลกระทบต่อการเพิ่มประสิทธิภาพและการรายงานในการทดสอบครั้งเดียว) ดูตารางเทมเพลตที่แนะนำเพื่อดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณ
- ลองพิจารณาวิธีอื่นๆ ในการรวบรวมเมตริกเกี่ยวกับผลลัพธ์ของการเพิ่มประสิทธิภาพการเสนอราคา เช่น การใช้การจำลองราคาเสนอ มีเมตริกจำลองที่เป็นประโยชน์ในการทำความเข้าใจผลกระทบที่คุกกี้ของบุคคลที่สามและ ARA มีต่อรูปแบบการเสนอราคาหรือไม่
- ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงานรวมกัน (และใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)
การวิเคราะห์
- ความครอบคลุม:
- คุณสามารถวัดผลในกลุ่มผู้ใช้ที่คล้ายกันเมื่อเทียบกับคุกกี้ของบุคคลที่สามได้หรือไม่ คุณเห็นการเปลี่ยนแปลงใดๆ ด้านความครอบคลุม (เช่น จากแอปไปยังเว็บ) ไหม
- คุณสามารถวัด Conversion (และมิติข้อมูล/เมตริก) ที่คุณหรือผู้ลงโฆษณาสนใจมากที่สุดได้หรือไม่
- ความแตกต่างระหว่างกลุ่มต่างๆ จะส่งผลกระทบดังต่อไปนี้อย่างไร
- เช่น การรายงานของผู้ลงโฆษณา เช่น เปอร์เซ็นต์ของ Conversion หลักที่คุณสามารถรายงานได้
- ตัวอย่างเช่น การฝึกและการเพิ่มประสิทธิภาพจะจําลองผลกระทบที่ข้อมูล Conversion ที่แตกต่างกันมีต่อประสิทธิภาพของรูปแบบ
- ความคิดเห็นเชิงคุณภาพอื่นๆ
- ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการเพิ่มประสิทธิภาพการเสนอราคาของผู้ลงโฆษณาอย่างไร
- ARA ช่วยหรือขัดขวางผู้ลงโฆษณาไม่ให้มุ่งเน้นไปที่เมตริกและเป้าหมายที่สำคัญต่อพวกเขาหรือไม่
ตารางเทมเพลตที่แนะนำสำหรับผลลัพธ์ของการเสนอราคา
(การเสนอราคา) ตาราง 1:
ตัวอย่างตารางเทมเพลตของผลการทดสอบที่ผู้เข้าร่วมตลาดควรส่งไปยัง CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถจัดหาและปรับเปลี่ยนตารางได้ตามต้องการ)
กลุ่มทดสอบเทียบกับการควบคุม 1 เปรียบเทียบสถานะสิ้นสุดที่เสนอกับสถานะปัจจุบัน |
กลุ่มทดสอบเทียบกับการควบคุม 2 เปรียบเทียบสถานะสิ้นสุดที่เสนอกับการใช้ PS API เลย |
การควบคุม 2 เทียบกับการควบคุม 1 เปรียบเทียบการเพิ่มประสิทธิภาพการเสนอราคากับและไม่มีคุกกี้ของบุคคลที่สาม โดยที่ไม่มี PS API |
|
ระเบียบวิธีการวัดผล | หากต้องการหลีกเลี่ยงการทดสอบหลายตัวแปร ให้ใช้ข้อมูลคุกกี้ของบุคคลที่สามและคุกกี้ของบุคคลที่สามเพื่อวัดเมตริกที่อิงตาม Conversion สำหรับทั้ง 2 กลุ่มในการทดสอบแต่ละครั้ง | ||
รายได้ต่อการแสดงผล | ผลกระทบ | ผลกระทบ | ผลกระทบ |
ข้อผิดพลาดมาตรฐาน | ข้อผิดพลาดมาตรฐาน | ข้อผิดพลาดมาตรฐาน | |
ช่วงความเชื่อมั่น 95% | ช่วงความเชื่อมั่น 95% | ช่วงความเชื่อมั่น 95% | |
(เพิ่มเมตริกของคุณเอง) |
(การเสนอราคา) ตาราง 2:
ตารางเทมเพลตตัวอย่างสำหรับการรายงานสถิติที่สื่อความหมายสำหรับเมตริกในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางได้ตามต้องการ)
กลุ่มทดสอบ การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้ ARA และข้อมูลคุกกี้ของบุคคลที่สามที่คุณใช้ |
การควบคุม 1 การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ของบุคคลที่สามที่คุณใช้ |
การควบคุม 2 การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้ข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น |
|
ระเบียบวิธีการวัดผล | หากต้องการหลีกเลี่ยงการทดสอบหลายตัวแปร ให้ใช้ข้อมูลคุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ของบุคคลที่สามในการวัดเมตริกที่อิงตาม Conversion ในทุกกลุ่ม | ||
รายได้ต่อการแสดงผล | ค่าเฉลี่ย | ค่าเฉลี่ย | ค่าเฉลี่ย |
ค่าเบี่ยงเบนมาตรฐาน | ค่าเบี่ยงเบนมาตรฐาน | ค่าเบี่ยงเบนมาตรฐาน | |
เปอร์เซ็นไทล์ที่ 25 และ 75 | เปอร์เซ็นไทล์ที่ 25 และ 75 | เปอร์เซ็นไทล์ที่ 25 และ 75 | |
(เพิ่มเมตริกของคุณเอง) |