คู่มือการทดสอบการวัด

เป้าหมายของคู่มือนี้คือการให้คําแนะนําในการเรียกใช้การทดสอบ Privacy Sandbox Attribution Reporting API แบบสแตนด์อโลน ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 12

• การวัดผลลัพธ์ของกลุ่มทดสอบและกลุ่มทดสอบในการออกแบบทดลองที่ 1 และ 2 ของ CMA ครอบคลุมอยู่ในคำแนะนำการทดสอบ API ความเกี่ยวข้องเนื่องจากเป้าหมายของการทดสอบเหล่านั้นคือการทดสอบประสิทธิภาพของการใช้ Protected Audience และ Topics ดูรายละเอียดเพิ่มเติมได้ในส่วนที่ 11

ก่อนเริ่มต้น

• โปรดอ่านคําแนะนําเกี่ยวกับการกําหนดค่าและการตั้งค่า Attribution Reporting API
• ดูคำแนะนำการทดสอบ CMA: หมายเหตุการทดสอบ (พฤศจิกายน 2022), คำแนะนำในการทดสอบ (มิถุนายน 2023) และคำแนะนำในการทดสอบเพิ่มเติม (ตุลาคม 2023)

เป้าหมายการประเมินและการตั้งค่าการทดสอบที่เสนอ

เป้าหมาย 1 - การพิจารณาประสิทธิภาพของ Attribution Reporting API สำหรับการรายงาน

เราขอเสนอการตั้งค่า A/A เพื่อวัดผลกระทบที่มีต่อการรายงาน

• ข้อเสนอนี้สอดคล้องกับหลักเกณฑ์ของ CMA เกี่ยวกับการประเมินเมตริกที่อิงตาม Conversion ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 21 และส่วนที่ 12
• เราชอบวิธีนี้มากกว่าโหมด A/B เนื่องจากการทดสอบ Attribution Reporting API (ARA) ทําได้ด้วยการวัด Conversion ของการแสดงผลชุดเดียวกันพร้อมกันโดยใช้วิธีการวัดผลที่ต่างกัน 2 วิธี (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม และ ARA + ข้อมูลคุกกี้ของบุคคลที่สาม)
• นอกจากนี้ การทดสอบ A/A ยังแยกผลกระทบของ Attribution Reporting API ที่มีต่อการวัด Conversion (เช่น หลีกเลี่ยงการเปลี่ยนแปลงอัตรา Conversion เนื่องจากไม่มีคุกกี้ของบุคคลที่สาม)

ประเด็นการวิเคราะห์ที่แนะนำ

• เลือกการเข้าชมส่วนหนึ่งที่มีขนาดใหญ่พอที่จะได้รับผลลัพธ์ที่มีนัยสำคัญทางสถิติ และมีทั้งคุกกี้ของบุคคลที่สามและ Privacy Sandbox API ตามหลักแล้วคือการเข้าชมทั้งหมด ยกเว้นโหมด B (ซึ่งปิดใช้คุกกี้ของบุคคลที่สาม)
  • เราขอแนะนำให้ยกเว้นโหมด B จากการทดสอบ A/A เนื่องจากคุกกี้ของบุคคลที่สามจะใช้งานไม่ได้ และคุณจะเปรียบเทียบผลลัพธ์ ARA กับผลการระบุแหล่งที่มาที่อิงตามคุกกี้ของบุคคลที่สามไม่ได้
  • หากคุณต้องการรวมโหมด B ไว้ด้วย คุณควรพิจารณาเปิดใช้รายงานการแก้ไขข้อบกพร่องสำหรับการเข้าชมส่วนโหมด B รายงานการแก้ไขข้อบกพร่องจะช่วยคุณแก้ปัญหาการกำหนดค่าหรือการติดตั้งใช้งาน
• หากคุณวางแผนที่จะทดสอบกับการเข้าชมส่วนเล็กๆ เราคาดว่าคุณจะได้รับผลลัพธ์การวัดที่น้อยกว่าที่คาดไว้ เราขอแนะนำให้จดในการวิเคราะห์ของคุณว่าการเข้าชมที่ใช้ไปส่วนหนึ่งเป็นส่วนใด และคุณรายงานผลลัพธ์ตามรายงานที่มีข้อผิดพลาดหรือรายงานการแก้ไขข้อบกพร่องที่ไม่มีเสียงรบกวนหรือไม่
  • สําหรับรายงานสรุป ค่าสรุปมีแนวโน้มที่จะต่ำกว่า และบริการรวบรวมจะเพิ่มข้อมูลรบกวนจากการกระจายเดียวกันโดยไม่คำนึงถึงค่าสรุป
• ทดสอบวิธีการวัดต่างๆ กับการเข้าชมส่วนนั้นๆ
  • การควบคุม 1 - ใช้วิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม)
  • (ไม่บังคับ) การควบคุมที่ 2 - ไม่มี Privacy Sandbox และไม่มีคุกกี้ของบุคคลที่สาม กล่าวคือ เฉพาะข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
    • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา
  • กลุ่มทดสอบ - Privacy Sandbox API และข้อมูลคุกกี้ของบุคคลที่สาม
    • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา

เมตริก

• กำหนดว่าเมตริกใดเหมาะสมกับธุรกิจของคุณในการวัดผลลัพธ์ และใส่คำอธิบายว่าเมตริกนั้นหมายความว่าอย่างไรและมีวิธีการวัดอย่างไร
  • เราขอแนะนำให้มุ่งความสนใจไปที่มิติข้อมูลและเมตริกที่สำคัญสำหรับผู้ลงโฆษณาของคุณ เช่น หากผู้ลงโฆษณามุ่งเน้นที่ Conversion การซื้อ ให้วัดจํานวน Conversion สําหรับ Conversion เหล่านั้นและมูลค่าการซื้อ
• คุณควรใช้เมตริกที่อิงตามจำนวนหรือผลรวม (เช่น อัตรา Conversion) มากกว่าต้นทุนต่อหนึ่ง (เช่น ต้นทุนต่อ Conversion) สำหรับการวิเคราะห์ A/A เมตริกค่าใช้จ่ายอาจมาจากจำนวนหรือมูลค่า Conversion รวมทั้งหมด
• ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงานรวมกัน (และใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)
• ดูตารางเทมเพลตที่แนะนำเพื่อดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณ

การวิเคราะห์

• ความครอบคลุม:
  • คุณสามารถวัดผลในกลุ่มผู้ใช้ที่คล้ายกันเมื่อเทียบกับคุกกี้ของบุคคลที่สามได้หรือไม่ คุณจะเห็นการครอบคลุมที่สูงขึ้น (เช่น ในแอปไปยังเว็บ) หรือไม่
  • คุณสามารถวัด Conversion (และมิติข้อมูลหรือเมตริก) ที่คุณหรือผู้ลงโฆษณาให้ความสำคัญมากที่สุดได้หรือไม่
• ความคิดเห็นเชิงปริมาณ
  • เช่น ในการรายงานของผู้ลงโฆษณา เช่น เปอร์เซ็นต์ของ Conversion หลักที่คุณสามารถรายงานสำหรับผู้ลงโฆษณารายนั้น หรือเปอร์เซ็นต์แคมเปญที่เป็นไปตามเกณฑ์คุณภาพของการรายงาน (การได้รับแถบคุณภาพจะช่วยปรับสำหรับแคมเปญที่มี Conversion น้อย)
  • ตัวอย่างเช่น มีผู้ลงโฆษณาบางรายที่อาศัยคุกกี้ของบุคคลที่สามในการรายงานมากขึ้นหรือน้อยลงหรือไม่
• ความคิดเห็นเชิงคุณภาพอื่นๆ
  • ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการวัดผล/การระบุแหล่งที่มาของผู้ลงโฆษณาอย่างไร
  • ARA ช่วยหรือขัดขวางผู้ลงโฆษณาในการมุ่งเน้นไปที่เมตริกและเป้าหมายที่สำคัญต่อพวกเขาหรือไม่

ตารางเทมเพลตที่แนะนำสำหรับผลกระทบของการรายงาน

(การรายงาน) ตาราง 1:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานผลการทดสอบไปยัง CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางตามความจำเป็น)

	กลุ่มทดสอบเทียบกับการควบคุม 1 เปรียบเทียบสถานะสิ้นสุดที่เสนอกับสถานะปัจจุบัน	กลุ่มทดสอบเทียบกับการควบคุม 2 เปรียบเทียบสถานะสิ้นสุดที่เสนอกับการใช้ PS API เลย	การควบคุม 2 เทียบกับการควบคุม 1 เปรียบเทียบการวัด Conversion กับและไม่มีคุกกี้ของบุคคลที่สามโดยไม่มี PS API
ระเบียบวิธีการวัดผล	เปรียบเทียบการวัด Conversion เพื่อกลุ่มทดสอบ (ARA กับข้อมูลคุกกี้ของบุคคลที่สาม) กับการควบคุมที่ 1 (คุกกี้ของบุคคลที่สามกับข้อมูลคุกกี้ของบุคคลที่สาม)	เปรียบเทียบการวัด Conversion เพื่อกลุ่มทดสอบ (ARA กับข้อมูลคุกกี้ของบุคคลที่สาม) กับการควบคุมที่ 2 (ข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น)	เปรียบเทียบการวัด Conversion สําหรับกลุ่มควบคุม 2 (ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น) กับการควบคุมที่ 1 (ข้อมูลคุกกี้ของบุคคลที่สามกับข้อมูลคุกกี้ของบุคคลที่สาม)
Conversion ต่อดอลลาร์	ผลกระทบ	ผลกระทบ	ผลกระทบ
	ข้อผิดพลาดมาตรฐาน	ข้อผิดพลาดมาตรฐาน	ข้อผิดพลาดมาตรฐาน
	ช่วงความเชื่อมั่น 95%	ช่วงความเชื่อมั่น 95%	ช่วงความเชื่อมั่น 95%
Conversion ทั้งหมด	ผลกระทบ	ผลกระทบ	ผลกระทบ
	ข้อผิดพลาดมาตรฐาน	ข้อผิดพลาดมาตรฐาน	ข้อผิดพลาดมาตรฐาน
	ช่วงความเชื่อมั่น 95%	ช่วงความเชื่อมั่น 95%	ช่วงความเชื่อมั่น 95%
อัตรา Conversion	ผลกระทบ	ผลกระทบ	ผลกระทบ
	ข้อผิดพลาดมาตรฐาน	ข้อผิดพลาดมาตรฐาน	ข้อผิดพลาดมาตรฐาน
	ช่วงความเชื่อมั่น 95%	ช่วงความเชื่อมั่น 95%	ช่วงความเชื่อมั่น 95%
(เพิ่มเมตริกของคุณเอง)

(การรายงาน) ตาราง 2:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานสถิติที่สื่อความหมายสำหรับเมตริกในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางได้ตามต้องการ)

เมตริก	กลุ่มทดสอบ การวัด Conversion โดยใช้ ARA และข้อมูลคุกกี้ของบุคคลที่สามที่คุณใช้	การควบคุม 1 การวัด Conversion โดยใช้คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ของบุคคลที่สามที่คุณใช้	การควบคุม 2 การวัด Conversion โดยใช้ข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น
Conversion ต่อดอลลาร์	ค่าเฉลี่ย	ค่าเฉลี่ย	ค่าเฉลี่ย
	ค่าเบี่ยงเบนมาตรฐาน	ค่าเบี่ยงเบนมาตรฐาน	ค่าเบี่ยงเบนมาตรฐาน
	เปอร์เซ็นไทล์ที่ 25 และ 75	เปอร์เซ็นไทล์ที่ 25 และ 75	เปอร์เซ็นไทล์ที่ 25 และ 75
Conversion ทั้งหมด	ค่าเฉลี่ย	ค่าเฉลี่ย	ค่าเฉลี่ย
	ค่าเบี่ยงเบนมาตรฐาน	ค่าเบี่ยงเบนมาตรฐาน	ค่าเบี่ยงเบนมาตรฐาน
	เปอร์เซ็นไทล์ที่ 25 และ 75	เปอร์เซ็นไทล์ที่ 25 และ 75	เปอร์เซ็นไทล์ที่ 25 และ 75
อัตรา Conversion	ค่าเฉลี่ย	ค่าเฉลี่ย	ค่าเฉลี่ย
	ค่าเบี่ยงเบนมาตรฐาน	ค่าเบี่ยงเบนมาตรฐาน	ค่าเบี่ยงเบนมาตรฐาน
	เปอร์เซ็นไทล์ที่ 25 และ 75	เปอร์เซ็นไทล์ที่ 25 และ 75	เปอร์เซ็นไทล์ที่ 25 และ 75
(เพิ่มเมตริกของคุณเอง)

เป้าหมาย 2 - การพิจารณาประสิทธิภาพของ Attribution Reporting API ในการเพิ่มประสิทธิภาพการเสนอราคา

เราขอเสนอการตั้งค่า A/B เพื่อวัดผลกระทบที่มีต่อการเพิ่มประสิทธิภาพการเสนอราคา

• หากต้องการวัดผลลัพธ์ของการเพิ่มประสิทธิภาพการเสนอราคา คุณจะต้องฝึกโมเดลแมชชีนเลิร์นนิง 2 แบบและใช้กับการเข้าชม 2 ส่วน โดยรูปแบบหนึ่งที่ได้รับการฝึกตามวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม) เพื่อนำไปใช้กับกลุ่มควบคุม และโมเดล 1 รายการที่ฝึกใน Attribution Reporting API + ข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สามเพื่อนําไปใช้กับกลุ่มทดสอบ
• การฝึกโมเดลควรอิงตามการเข้าชมมากเท่าที่ผู้ทดสอบเห็นว่าจำเป็นต่อการเพิ่มประสิทธิภาพสูงสุด แม้ว่ากลุ่มทดสอบจะเป็นการเข้าชมส่วนเล็กๆ และมีการทับซ้อนกันระหว่างประชากรการฝึก (เช่น ใช้โมเดลคุกกี้ของบุคคลที่สามที่มีอยู่ซึ่งกำลังฝึกกับการเข้าชมทั้งหมด และฝึกโมเดล ARA กับการดูแลการแสดงโฆษณา ARA ทั้งหมดที่เปิดใช้สำหรับเป้าหมาย 1)
  • หากส่งผลลัพธ์ไปยัง CMA โปรดทราบว่ามีความแตกต่างอย่างมากระหว่างส่วนแบ่งการเข้าชมที่ใช้สำหรับการฝึกโมเดลต่างๆ (เช่น หากโมเดลที่อิงตามคุกกี้ของบุคคลที่สามได้รับการฝึกกับการเข้าชม 100% แต่โมเดลที่ใช้ ARA จะได้รับการฝึกกับการเข้าชม 1% เท่านั้น)
• หากเป็นไปได้ การฝึกสำหรับทั้งโมเดลการเสนอราคาเพื่อกลุ่มทดสอบและแบบควบคุมควรจัดขึ้นเป็นระยะเวลาเท่ากัน
• พิจารณาว่าคุณควรฝึกและอัปเดตรูปแบบการเสนอราคาอย่างต่อเนื่องระหว่างการทดสอบหรือไม่ และหากควรฝึก ควรฝึกกับการเข้าชมมากที่สุดหรือเฉพาะการเข้าชมจากกลุ่มควบคุมและกลุ่มทดสอบ
• คุณควรใช้รูปแบบต่างๆ กับการเข้าชมส่วนที่ไม่ต่อเนื่องกันเพื่อเป็นการทดสอบ A/B สำหรับการสุ่มและกําหนดผู้ใช้ในกลุ่มควบคุมและกลุ่มทดสอบ เราขอแนะนำให้ใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (โหมด A) หรือทำการทดสอบของคุณเองกับชุดเบราว์เซอร์แบบสุ่ม เราไม่แนะนำให้ใช้โหมด B เนื่องจากการไม่มีคุกกี้ของบุคคลที่สามจะทำให้รายงานเกี่ยวกับเมตริกที่อิงตาม Conversion ได้ยาก
  • กลุ่มเบราว์เซอร์ที่อำนวยความสะดวกด้วย Chrome จะยกเว้นอินสแตนซ์ของ Chrome บางรายการ เช่น ผู้ใช้ Chrome ขององค์กร ซึ่งชุดเบราว์เซอร์แบบสุ่มของคุณเองอาจไม่รวมอินสแตนซ์ Chrome เหล่านี้ ดังนั้น คุณจึงควรทําการทดสอบในกลุ่มโหมด A เท่านั้นหรือเฉพาะในกลุ่มที่ไม่ใช่โหมด A/โหมด B เพื่อหลีกเลี่ยงการเปรียบเทียบเมตริกที่ได้จากกลุ่มที่ดูแลโดย Chrome กับเมตริกที่ได้นอกกลุ่มที่ดูแลโดย Chrome
  • หากไม่ใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (เช่น ทำการทดสอบกับการเข้าชมอื่นๆ)
    • ดูแลให้ผู้ใช้ที่จัดการและฝั่งควบคุมเป็นไปแบบสุ่มและเป็นกลาง ไม่ว่าจะตั้งค่ากลุ่มทดสอบอย่างไร ให้ประเมินลักษณะของกลุ่มทดสอบและกลุ่มทดสอบเพื่อให้มั่นใจว่ากลุ่มทดสอบและกลุ่มควบคุมนั้นเปรียบเทียบกันได้ (ดูส่วนที่ 15)
    • ตรวจสอบว่าลักษณะเฉพาะของผู้ใช้และการกําหนดค่าแคมเปญของกลุ่มกลุ่มทดสอบและกลุ่มควบคุมเหมือนกัน (เช่น ใช้ภูมิศาสตร์ที่คล้ายกันทั้งในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม) (ดู: ส่วนที่ 28)
      • ตัวอย่างที่เจาะจง ได้แก่ ตรวจสอบว่าได้รับการวัดประเภท Conversion ที่คล้ายกันโดยใช้กรอบเวลาการระบุแหล่งที่มาเดียวกันและตรรกะการระบุแหล่งที่มาเดียวกัน แคมเปญกําหนดเป้าหมายเป็นกลุ่มเป้าหมาย กลุ่มความสนใจ และภูมิศาสตร์ที่คล้ายกัน รวมถึงใช้ข้อความโฆษณาและรูปแบบโฆษณาที่คล้ายกัน
    • ตรวจสอบว่าขนาดประชากรเริ่มต้นของกลุ่มทดสอบและกลุ่มควบคุมมีขนาดใหญ่พอที่จะเสนอราคาและการทดสอบได้อย่างยืดหยุ่น
  • หากใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (โหมด A) Chrome จะจัดการการสุ่มอินสแตนซ์ของเบราว์เซอร์ Chrome ไปยังกลุ่ม และเช่นเคย เราขอแนะนำให้คุณตรวจสอบการสุ่มว่า กลุ่มที่เลือกจะส่งผลให้เกิดความมีอคติ / เปรียบเทียบกันได้ ตามวัตถุประสงค์ของคุณ

ประเด็นการวิเคราะห์ที่แนะนำ

• เราขอแนะนำให้กำหนดกลุ่มควบคุมและกลุ่มทดสอบ รวมถึงใช้โมเดลแมชชีนเลิร์นนิงที่แตกต่างกันสำหรับการเพิ่มประสิทธิภาพการเสนอราคาสำหรับแต่ละกลุ่มทดสอบ
  • การควบคุมที่ 1 - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกจากวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม)
  • (ไม่บังคับ) การควบคุมที่ 2 - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกโดยไม่มี Privacy Sandbox และไม่ใช้คุกกี้ของบุคคลที่สาม กล่าวคือ เฉพาะข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น
    • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้กับบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา
  • กลุ่มทดสอบ - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกเกี่ยวกับ Attribution Reporting API และข้อมูลคุกกี้ของบุคคลที่สาม
    • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้กับบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา

เมตริก

• กำหนดว่าเมตริกใดเหมาะสมกับธุรกิจของคุณในการวัดผลลัพธ์ และใส่คำอธิบายว่าเมตริกนั้นหมายความว่าอย่างไรและมีวิธีการวัดอย่างไร
  • ตัวอย่างเช่น เมตริกที่มีความหมายอาจเป็นการใช้จ่าย (รายได้ของผู้เผยแพร่โฆษณา) ซึ่งสอดคล้องกับคำแนะนำของ CMA ในการทำความเข้าใจผลกระทบที่การเลิกใช้งานคุกกี้ของบุคคลที่สามมีต่อ "รายได้ต่อการแสดงผล" ดูรายละเอียดเพิ่มเติมในส่วนที่ 19
• หากมีการรายงานเมตริกที่อิงตาม Conversion คุณควรใช้วิธีการวัดเดียวกันสำหรับแต่ละกลุ่มเพื่อหลีกเลี่ยงการทดสอบหลายตัวแปร (ทดสอบผลกระทบต่อการเพิ่มประสิทธิภาพและการรายงานในการทดสอบครั้งเดียว) ดูตารางเทมเพลตที่แนะนำเพื่อดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณ
• ลองพิจารณาวิธีอื่นๆ ในการรวบรวมเมตริกเกี่ยวกับผลลัพธ์ของการเพิ่มประสิทธิภาพการเสนอราคา เช่น การใช้การจำลองราคาเสนอ มีเมตริกจำลองที่เป็นประโยชน์ในการทำความเข้าใจผลกระทบที่คุกกี้ของบุคคลที่สามและ ARA มีต่อรูปแบบการเสนอราคาหรือไม่
• ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงานรวมกัน (และใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)

การวิเคราะห์

• ความครอบคลุม:
  • คุณสามารถวัดผลในกลุ่มผู้ใช้ที่คล้ายกันเมื่อเทียบกับคุกกี้ของบุคคลที่สามได้หรือไม่ คุณเห็นการเปลี่ยนแปลงใดๆ ด้านความครอบคลุม (เช่น จากแอปไปยังเว็บ) ไหม
  • คุณสามารถวัด Conversion (และมิติข้อมูล/เมตริก) ที่คุณหรือผู้ลงโฆษณาสนใจมากที่สุดได้หรือไม่
• ความแตกต่างระหว่างกลุ่มต่างๆ จะส่งผลกระทบดังต่อไปนี้อย่างไร
  • เช่น การรายงานของผู้ลงโฆษณา เช่น เปอร์เซ็นต์ของ Conversion หลักที่คุณสามารถรายงานได้
  • ตัวอย่างเช่น การฝึกและการเพิ่มประสิทธิภาพจะจําลองผลกระทบที่ข้อมูล Conversion ที่แตกต่างกันมีต่อประสิทธิภาพของรูปแบบ
• ความคิดเห็นเชิงคุณภาพอื่นๆ
  • ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการเพิ่มประสิทธิภาพการเสนอราคาของผู้ลงโฆษณาอย่างไร
  • ARA ช่วยหรือขัดขวางผู้ลงโฆษณาไม่ให้มุ่งเน้นไปที่เมตริกและเป้าหมายที่สำคัญต่อพวกเขาหรือไม่

ตารางเทมเพลตที่แนะนำสำหรับผลลัพธ์ของการเสนอราคา

(การเสนอราคา) ตาราง 1:

ตัวอย่างตารางเทมเพลตของผลการทดสอบที่ผู้เข้าร่วมตลาดควรส่งไปยัง CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถจัดหาและปรับเปลี่ยนตารางได้ตามต้องการ)

	กลุ่มทดสอบเทียบกับการควบคุม 1 เปรียบเทียบสถานะสิ้นสุดที่เสนอกับสถานะปัจจุบัน	กลุ่มทดสอบเทียบกับการควบคุม 2 เปรียบเทียบสถานะสิ้นสุดที่เสนอกับการใช้ PS API เลย	การควบคุม 2 เทียบกับการควบคุม 1 เปรียบเทียบการเพิ่มประสิทธิภาพการเสนอราคากับและไม่มีคุกกี้ของบุคคลที่สาม โดยที่ไม่มี PS API
ระเบียบวิธีการวัดผล	หากต้องการหลีกเลี่ยงการทดสอบหลายตัวแปร ให้ใช้ข้อมูลคุกกี้ของบุคคลที่สามและคุกกี้ของบุคคลที่สามเพื่อวัดเมตริกที่อิงตาม Conversion สำหรับทั้ง 2 กลุ่มในการทดสอบแต่ละครั้ง
รายได้ต่อการแสดงผล	ผลกระทบ	ผลกระทบ	ผลกระทบ
	ข้อผิดพลาดมาตรฐาน	ข้อผิดพลาดมาตรฐาน	ข้อผิดพลาดมาตรฐาน
	ช่วงความเชื่อมั่น 95%	ช่วงความเชื่อมั่น 95%	ช่วงความเชื่อมั่น 95%
(เพิ่มเมตริกของคุณเอง)

(การเสนอราคา) ตาราง 2:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานสถิติที่สื่อความหมายสำหรับเมตริกในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางได้ตามต้องการ)

	กลุ่มทดสอบ การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้ ARA และข้อมูลคุกกี้ของบุคคลที่สามที่คุณใช้	การควบคุม 1 การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ของบุคคลที่สามที่คุณใช้	การควบคุม 2 การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้ข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น
ระเบียบวิธีการวัดผล	หากต้องการหลีกเลี่ยงการทดสอบหลายตัวแปร ให้ใช้ข้อมูลคุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ของบุคคลที่สามในการวัดเมตริกที่อิงตาม Conversion ในทุกกลุ่ม
รายได้ต่อการแสดงผล	ค่าเฉลี่ย	ค่าเฉลี่ย	ค่าเฉลี่ย
	ค่าเบี่ยงเบนมาตรฐาน	ค่าเบี่ยงเบนมาตรฐาน	ค่าเบี่ยงเบนมาตรฐาน
	เปอร์เซ็นไทล์ที่ 25 และ 75	เปอร์เซ็นไทล์ที่ 25 และ 75	เปอร์เซ็นไทล์ที่ 25 และ 75
(เพิ่มเมตริกของคุณเอง)

เป้าหมาย 3 - การทดสอบโหลดของบริการรวบรวมข้อมูล

โปรดดูเฟรมเวิร์กการทดสอบการโหลดของบริการรวบรวมข้อมูล