측정 테스트 가이드

이 가이드의 목표는 개인 정보 보호 샌드박스 Attribution Reporting API의 독립형 테스트를 실행하는 방법을 안내하는 것입니다. 자세한 내용은 섹션 12를 참고하세요.

  • CMA의 실험 설계 1과 2에서 통제 및 전체 실험 대상 부문 결과의 측정은 관련성 API 테스트 가이드에서 다룹니다. 이러한 실험의 목표는 Protected Audience 및 Topics 사용의 효과를 테스트하는 것이기 때문입니다. 자세한 내용은 섹션 11을 참고하세요.

시작하기 전에

평가 목표 및 제안된 실험 설정

목표 1 - 보고를 위한 Attribution Reporting API의 효율성 판단

보고에 미치는 영향을 측정하기 위한 A/A 설정 제안

  • 이 제안서는 전환 기반 측정항목 평가에 관한 CMA 가이드라인과 일치합니다. 자세한 내용은 섹션 21 및 섹션 12를 참고하세요.
  • Google에서는 모드 A/B보다 이 방법을 사용하는 것이 좋습니다. 두 가지 측정 방법 (서드 파티 쿠키 + 서드 파티 이외의 쿠키 데이터, ARA + 서드 파티가 아닌 쿠키 데이터)을 사용하여 동일한 노출수 집합에 대한 전환을 동시에 측정하는 방법으로 Attribution Reporting API (ARA)를 테스트할 수 있기 때문입니다.
  • 또한 A/A 실험은 Attribution Reporting API가 전환 측정에 미치는 영향을 분리합니다 (예: 서드 파티 쿠키 부족으로 인한 전환율 변동 방지).

추천 분석 포인트

  • 통계적으로 유의미한 결과를 얻을 만큼 충분히 크고 서드 파티 쿠키와 개인 정보 보호 샌드박스 API가 모두 있는 트래픽 슬라이스를 선택하세요. 이상적으로는 모드 B (서드 파티 쿠키 사용 중지)를 제외한 모든 트래픽입니다.
    • 서드 파티 쿠키를 사용할 수 없고 ARA 결과를 서드 파티 쿠키 기반 기여 분석 결과와 비교할 수 없으므로 A/A 실험에서 모드 B를 제외하는 것이 좋습니다.
    • 모드 B를 포함하려면 모드 B 슬라이스에 대한 디버그 보고서를 사용하도록 설정해야 합니다. 디버그 보고서는 구성 또는 구현 문제를 해결하는 데 도움이 됩니다.
  • 소규모 트래픽으로 테스트할 계획이라면 예상보다 노이즈가 큰 측정 결과를 얻게 될 것으로 예상됩니다. 분석 시 사용된 트래픽의 비율과 노이즈가 적용된 보고서를 기반으로 결과를 보고하는지 아니면 노이즈가 없는 디버그 보고서를 기반으로 결과를 보고하는지 여부를 명시하는 것이 좋습니다.
    • 요약 보고서의 경우, 요약 값은 더 낮을 수 있으며 집계 서비스는 요약 값과 관계없이 동일한 분포에서 노이즈를 추가합니다.
  • 해당 트래픽 슬라이스에서 다양한 측정 방법 테스트
    • 컨트롤 1 - 현재 측정 방법 사용 (서드 파티 쿠키 + 서드 파티 쿠키 이외의 쿠키 데이터)
    • (선택사항) 컨트롤 2 - 개인 정보 보호 샌드박스 및 서드 파티 쿠키 없음(서드 파티가 아닌 쿠키 데이터만)
      • 일부 사이트에서는 일부 서드 파티 쿠키를 계속 사용할 수 있습니다. 가장 정확한 결과를 얻으려면 해당 서드 파티 쿠키를 대조군 2 또는 치료 방법론에서 측정하는 데 사용하지 마세요.
    • 처리 - 개인 정보 보호 샌드박스 API 및 서드 파티가 아닌 쿠키 데이터
      • 일부 사이트에서는 일부 서드 파티 쿠키를 계속 사용할 수 있습니다. 가장 정확한 결과를 얻으려면 해당 서드 파티 쿠키를 대조군 2 또는 치료 방법론에서 측정하는 데 사용하지 마세요.

측정항목

  • 비즈니스에서 결과를 측정하는 데 적합한 측정항목을 정의하고 측정항목의 의미와 측정 방법에 대한 설명을 포함하세요.
    • 광고주에게 중요한 측정기준과 측정항목에 집중하는 것이 좋습니다. 예를 들어 광고주가 구매 전환에 초점을 맞추고 있다면 구매 전환에 대한 전환수와 구매 가치를 측정하세요.
  • 비용 (예: 전환당비용)보다 개수 또는 합계 (예: 전환율)를 기반으로 하는 측정항목이 더 적합합니다. A/A 분석의 경우 전환 가치의 횟수 또는 합계에서 비용 측정항목을 완전히 도출할 수 있습니다.
  • 측정항목이 이벤트 수준 보고서, 요약 보고서 또는 두 보고서의 조합을 토대로 하는지 여부 (및 디버그 보고서 사용 여부)를 지정합니다.
  • 정량적 피드백의 형식을 지정하는 방법에 대한 안내는 추천 템플릿 표를 참고하세요.

분석

  • 적용 범위:
    • 서드 파티 쿠키와 비교하여 유사한 사용자 집단에 대해 측정할 수 있나요? 적용 범위가 더 넓나요 (예: 앱에서 웹으로)?
    • 본인 또는 광고주가 가장 중요하게 생각하는 전환수와 측정기준 또는 측정항목을 측정할 수 있나요?
  • 정량적 피드백
    • 예를 들어 광고주 보고에서 해당 광고주에 대해 보고할 수 있는 주요 전환의 비율 또는 보고 품질 기준을 충족하는 캠페인의 비율 (품질 막대를 도출하면 전환수가 적은 캠페인에 맞게 조정하는 데 도움이 됨)
    • 광고주별로 분류하면 현재 보고를 위해 서드 파티 쿠키의 의존도가 더 높은 광고주가 있나요?
  • 기타 정성적 피드백:
    • ARA는 광고주의 측정/기여 분석 설정의 복잡성에 어떤 영향을 주나요?
    • ARA는 광고주가 자신에게 중요한 측정항목과 목표에 집중하는 데 도움이 되거나 방해가 되나요?

보고 효과를 위한 추천 템플릿 표

(보고) 표 1:

CMA에 실험 결과를 보고하는 템플릿 표의 예(18페이지에서 가져옴. 테스터는 가장 의미 있는 / 실행 가능한 측정항목을 고려해야 하며 필요에 따라 표를 제공하고 조정해야 함).

처리와 대조 1
제안된 최종 상태를 현재 상태와 비교 		처리와 대조 2
PS API를 전혀 사용하지 않은 제안된 최종 상태를 비교합니다. 		통제 2와 대조 1
PS API를 사용하지 않고 서드 파티 쿠키가 있는 경우와 없는 경우의 전환 측정을 비교합니다.
측정 방법 처리 대상 전환 측정 (ARA 및 서드 파티 쿠키 데이터가 아닌 데이터)과 대조 1 (서드 파티 쿠키 및 서드 파티가 아닌 쿠키 데이터) 비교 처리를 위한 전환 측정 (ARA와 서드 파티가 아닌 쿠키 데이터)을 대조군 2 (서드 파티 쿠키 데이터가 아닌 데이터만 해당)와 비교 대조군 2 (서드 파티 쿠키 데이터만 해당)와 대조 1 (서드 파티 쿠키 및 서드 파티가 아닌 쿠키 데이터)의 전환 측정 비교
달러당 전환수 효과 효과 효과
표준 오류 표준 오류 표준 오류
95% 신뢰 구간 95% 신뢰 구간 95% 신뢰 구간
총 전환수 효과 효과 효과
표준 오류 표준 오류 표준 오류
95% 신뢰 구간 95% 신뢰 구간 95% 신뢰 구간
전환율 효과 효과 효과
표준 오류 표준 오류 표준 오류
95% 신뢰 구간 95% 신뢰 구간 95% 신뢰 구간
(자체 측정항목 추가)
(보고) 표 2:

전체 실험 대상 그룹과 통제 그룹의 측정항목에 대한 설명 통계를 보고하는 템플릿 표의 예(20페이지에서 가져왔지만 테스터는 어떤 측정항목이 가장 의미 있고 실행 가능한지를 고려해야 하며 필요에 따라 표를 제공하고 조정해야 함).

측정항목 처리
ARA 및 서드 파티 이외의 쿠키 데이터를 이용한 전환 측정 		관리 1
사용 중인 서드 파티 쿠키 및 서드 파티가 아닌 쿠키 데이터를 이용한 전환 측정 		통제 2
서드 파티 쿠키 이외의 데이터만 사용하는 전환 측정
달러당 전환수 평균 평균 평균
표준 편차 표준 편차 표준 편차
25번째 및 75번째 백분위수 25번째 및 75번째 백분위수 25번째 및 75번째 백분위수
총 전환수 평균 평균 평균
표준 편차 표준 편차 표준 편차
25번째 및 75번째 백분위수 25번째 및 75번째 백분위수 25번째 및 75번째 백분위수
전환율 평균 평균 평균
표준 편차 표준 편차 표준 편차
25번째 및 75번째 백분위수 25번째 및 75번째 백분위수 25번째 및 75번째 백분위수
(자체 측정항목 추가)

목표 2 - 입찰 최적화를 위한 Attribution Reporting API의 효율성 판단

입찰 최적화에 미치는 영향을 측정하려면 A/B 설정을 사용하는 것이 좋습니다.

  • 입찰 최적화에 미치는 영향을 측정하려면 두 가지 머신러닝 모델을 학습시키고 두 가지 트래픽 슬라이스에서 사용해야 합니다. 하나는 현재 측정 방법론에 대해 학습된 모델 (서드 파티 쿠키 + 서드 파티 쿠키 이외의 데이터)로, 대조 부문에 적용할 모델과 Attribution Reporting API에 대해 학습된 모델 + 서드 파티 쿠키 이외의 데이터가 전체 실험 대상 부문에 적용됩니다.
  • 전체 실험 대상 부문이 더 작은 트래픽 조각이고 학습 모집단 간에 중복이 있더라도 테스터가 성능을 극대화하는 데 필요하다고 생각하는 만큼의 트래픽을 기반으로 모델 학습이 진행되어야 합니다 (예: 모든 트래픽에 대해 학습 중인 기존 서드 파티 쿠키 모델을 사용하고 목표 1에 대해 사용 설정된 모든 ARA 트래픽에 대해 ARA 모델을 학습).
    • CMA에 결과를 제출하는 경우 다양한 모델을 학습시키는 데 사용되는 트래픽 슬라이스 간에 큰 차이가 있는지 확인합니다 (예: 서드 파티 쿠키 기반 모델은 100% 의 트래픽에서 학습되지만 ARA 기반 모델은 트래픽의 1% 에서만 학습되는 경우).
  • 가능하다면 전체 실험 대상 및 통제 입찰 모델에 대한 학습이 동일한 시간 동안 진행되어야 합니다.
  • 실험 중에 입찰 모델을 지속적으로 학습시키고 업데이트해야 하는지, 그렇게 하는 경우 최대한 많은 트래픽을 대상으로 학습시켜야 하는지, 아니면 전체 실험 대상 그룹과 통제 부문의 트래픽으로만 학습시켜야 하는지도 고려하세요.
  • 분리된 트래픽 슬라이스에 대해 A/B 실험으로 서로 다른 모델을 사용해야 합니다. 전체 실험 대상과 통제 부문 전반에서 사용자 무작위 지정 및 할당을 위해 Chrome에서 지원하는 라벨이 지정된 브라우저 그룹 (모드 A)을 사용하거나 임의의 브라우저 세트로 자체 실험을 실행하는 것이 좋습니다. 서드 파티 쿠키가 없으면 전환 기반 측정항목을 보고하기 어렵기 때문에 모드 B는 사용하지 않는 것이 좋습니다.
    • Chrome에서 지원되는 브라우저 그룹은 엔터프라이즈 Chrome 사용자와 같은 일부 Chrome 인스턴스를 제외하며, 이 경우 임의의 브라우저 집합은 이러한 Chrome 인스턴스를 제외하지 않을 수 있습니다. 따라서 Chrome에서 얻은 측정항목을 Chrome에서 처리하는 그룹 외부에서 얻은 측정항목과 비교하지 않으려면 모드 A 그룹에서만 또는 모드 A/모드 B가 아닌 그룹에서만 실험을 실행해야 합니다.
    • Chrome에서 처리하는 라벨이 지정된 브라우저 그룹을 사용하지 않는 경우 (예: 다른 트래픽에서 실험 실행)
      • 사용자의 전체 실험 대상과 통제 그룹을 무작위로 지정하고 편향되지 않았는지 확인합니다. 실험 그룹 설정과 관계없이 전체 실험 대상 그룹과 통제 부문의 특성을 평가하여 전체 실험 대상 그룹과 통제 그룹을 비교할 수 있도록 합니다. (섹션 15 참고)
      • 전체 실험 대상 그룹과 통제 그룹의 사용자 특성 및 캠페인 구성이 동일한지 확인합니다 (예: 전체 실험 대상 그룹과 통제 그룹에서 비슷한 지역 사용). (섹션 28 참고)
        • 구체적인 예로는 동일한 기여 산정 기간과 동일한 기여 분석 로직을 사용하여 유사한 전환 유형을 측정하고, 캠페인이 유사 잠재고객, 관심분야 그룹, 지역을 타겟팅하고 유사한 광고 문구 및 광고 형식을 사용해야 합니다.
      • 전체 실험 대상 및 통제 그룹의 초기 모집단 크기가 입찰 및 실험에 유연성을 발휘할 수 있을 만큼 커야 합니다.
    • Chrome에서 지원하는 라벨이 지정된 브라우저 그룹 (모드 A)을 사용하는 경우 Chrome에서 Chrome 브라우저 인스턴스의 그룹 무작위 순서 지정을 처리합니다. 앞에서와 같이 무작위 순서 지정이 목적에 맞게 편향되지 않거나 비교 가능한 그룹이 생성되는지 확인하는 것이 좋습니다.

추천 분석 포인트

  • 대조 부문과 전체 실험 대상 부문을 정의하고 각 부문의 입찰 최적화를 위해 서로 다른 머신러닝 모델을 사용하는 것이 좋습니다.
    • 컨트롤 1 - 현재 측정 방법론에 대해 학습된 입찰 최적화 모델 사용 (서드 파티 쿠키 + 서드 파티 쿠키 이외의 쿠키 데이터)
    • (선택사항) 컨트롤 2 - 개인 정보 보호 샌드박스 및 서드 파티 쿠키가 없는(서드 파티가 아닌 쿠키 데이터만) 학습된 입찰 최적화 모델 사용
      • 일부 사이트에서는 일부 서드 파티 쿠키를 계속 사용할 수 있습니다. 가장 정확한 결과를 얻으려면 대조군 2 또는 치료 방법론에서 측정하는 데 해당 서드 파티 쿠키를 사용하지 마세요.
    • 처리 - Attribution Reporting API 및 서드 파티가 아닌 쿠키 데이터에 대해 학습된 입찰 최적화 모델 사용
      • 일부 사이트에서는 일부 서드 파티 쿠키를 계속 사용할 수 있습니다. 가장 정확한 결과를 얻으려면 대조군 2 또는 치료 방법론에서 측정하는 데 해당 서드 파티 쿠키를 사용하지 마세요.

측정항목

  • 비즈니스에서 결과를 측정하는 데 적합한 측정항목을 정의하고 측정항목의 의미와 측정 방법에 대한 설명을 포함하세요.
    • 예를 들어 지출 (게시자 수익)은 서드 파티 쿠키 지원 중단이 '노출당 수익'에 미치는 영향을 이해하기 위한 CMA의 지침에 부합하는 측정항목입니다. 자세한 내용은 섹션 19를 참고하세요.
  • 전환 기반 측정항목을 보고하는 경우 각 부문에 동일한 측정 방법을 사용하여 다변수 테스트 (한 실험에서 최적화 및 보고에 미치는 영향 테스트)를 피해야 합니다. 정량적 피드백의 형식을 지정하는 방법에 대한 안내는 추천 템플릿 표를 참고하세요.
  • 입찰가 시뮬레이션을 사용하는 등 입찰 최적화 영향에 대한 측정항목을 수집하는 다른 방법을 고려해 보세요. 서드 파티 쿠키 및 ARA가 입찰 모델에 미치는 영향을 이해하는 데 유용한 시뮬레이션 측정항목이 있나요?
  • 측정항목이 이벤트 수준 보고서, 요약 보고서 또는 두 보고서의 조합을 토대로 하는지 여부 (및 디버그 보고서 사용 여부)를 지정합니다.

분석

  • 적용 범위:
    • 서드 파티 쿠키와 비교하여 유사한 사용자 집단에 대해 측정할 수 있나요? 적용 범위에 변화가 있나요 (예: 앱에서 웹으로)?
    • 본인 또는 광고주가 가장 중요하게 생각하는 전환수 (및 측정기준/측정항목)를 측정할 수 있나요?
  • 그룹 간 차이가 다음에 어떤 영향을 미칠까요?
    • 광고주 보고(예: 주요 전환 중 보고할 수 있는 비율)
    • 예를 들어 학습 및 최적화에서는 다양한 전환 데이터가 모델 성능에 미치는 영향을 시뮬레이션합니다.
  • 기타 정성적 피드백:
    • ARA는 광고주의 입찰 최적화 설정의 복잡성에 어떤 영향을 주나요?
    • ARA는 광고주가 자신에게 중요한 측정항목과 목표에 집중하는 데 도움이 되거나 방해가 되나요?

입찰 효과 관련 추천 템플릿 표

(입찰) 표 1:

시장 참여자가 CMA에 제출해야 하는 실험 결과 템플릿 표의 예(18페이지에서 가져옴. 테스터는 가장 의미 있는 / 실행 가능한 측정항목을 고려해야 하며 필요에 따라 표를 제공하고 조정해야 함).

처리와 대조 1
제안된 최종 상태를 현재 상태와 비교 		처리와 대조 2
PS API를 전혀 사용하지 않은 제안된 최종 상태를 비교합니다. 		대조군 2와 대조 1
PS API를 사용하지 않고 서드 파티 쿠키가 있는 경우와 없는 경우의 입찰 최적화를 비교합니다.
측정 방법론 다변수 테스트를 방지하려면 서드 파티 쿠키 및 서드 파티가 아닌 쿠키 데이터를 사용하여 각 실험에서 양 부문의 전환 기반 측정항목을 측정하세요.
노출당 수익 효과 효과 효과
표준 오류 표준 오류 표준 오류
95% 신뢰 구간 95% 신뢰 구간 95% 신뢰 구간
(자체 측정항목 추가)
(입찰) 표 2:

전체 실험 대상 그룹과 통제 그룹의 측정항목에 대한 설명 통계를 보고하는 템플릿 표의 예(20페이지에서 가져왔지만 테스터는 어떤 측정항목이 가장 의미 있고 실행 가능한지를 고려해야 하며 필요에 따라 표를 제공하고 조정해야 함).

처리
ARA 및 서드 파티 이외의 쿠키 데이터를 사용한 입찰 최적화 		관리 1
사용 중인 서드 파티 쿠키 및 서드 파티가 아닌 쿠키 데이터를 이용한 입찰 최적화 		관리 2
서드 파티가 아닌 쿠키 데이터만 사용하는 입찰 최적화
측정 방법론 다변수 테스트를 피하려면 서드 파티 쿠키 및 서드 파티가 아닌 쿠키 데이터를 사용하여 모든 부문에서 전환 기반 측정항목을 측정하세요.
노출당 수익 평균 평균 평균
표준 편차 표준 편차 표준 편차
25번째 및 75번째 백분위수 25번째 및 75번째 백분위수 25번째 및 75번째 백분위수
(자체 측정항목 추가)

목표 3 - 집계 서비스 부하 테스트

집계 서비스 부하 테스트 프레임워크를 참조하세요.