關聯性 API 測試指南

事前準備

  • 這個出版品應和 CMA 測試指南一併接受審查：實驗附註 (2022 年 11 月)、測試指南 (2023 年 6 月) 和其他測試指南 (2023 年 10 月)。
  • 本文件旨在為市場參與者提供 Relevance API 應用實例、設定、實驗結構、目標和評估最佳做法的指引，以供市場參與者參考。

實驗設計原則

請確保實驗組和控制組定義明確，並評估相同的變數。

隨機及指派使用者

  • 如果您並非只使用由 Chrome 輔助的實驗群組 (例如對其他流量進行實驗)，則必須將測試及控制組使用者的測試和控制組設為隨機套用，沒有偏誤。無論實驗群組設定為何，請評估實驗組和控制組的特性，確保實驗組/控制組進行比較。請參閱第 15 節。
  • 確保實驗組和控制組的使用者特徵相同 (例如，在實驗組和控制組中使用相似的地理區域)。請參閱第 28 節。
  • 採用 CMA 建議的實驗設計，納入 3 個實驗群組：實驗組 (PS API + 其他信號) + 控制組 1 (沒有任何 3PC + 其他信號) + 控制組 2 (未使用 3PC + 無 PS API + 其他信號)。請參閱：第 10 到 14 節。
  • 完成設定時，請盡可能充分運用由 Chrome 輔助的測試標籤。
  • 請注意，Chrome 計劃基於法律、使用者體驗和 / 或技術因素，從這些實驗群組中排除部分 Chrome 執行個體。包括 Chrome Enterprise 和其他工具。模式 A 和模式 B 的排除條件會相同，因此控制組 1、控制組 2 和實驗組。因此，請不要比較從實驗群組取得的指標，與不在這些群組內取得的指標做比較。

測試組和控制組的設定一致

  • 確認實驗組和控制組使用相似的廣告活動設定，包括類似的廣告空間、廣告格式、廣告活動類型和廣告活動設定。請參閱第 28 節。
  • 具體範例包括：確保使用相同的歸因期和歸因邏輯評估類似的轉換類型、廣告活動指定類似目標對象、興趣群組和地理區域，且也使用類似的廣告文案和廣告格式。請參閱第 28 節。
  • 理想情況下，需求端平台可以管理報表，不必仰賴第三方公司加入額外的歸因層。如果 DSP 的客戶委託第三方公司進行歸因，則該第三方公司應納入整合/測試計畫，以及實驗組和控制組。
  • 確保由參與的需求端平台管理的每個廣告活動都能在實驗組和控制組中參與競價，且各組的出價行為不會受到其他群體的影響。請參閱第 25 節。

收集與評估指標

  • 評估結果之前，請先確認實驗組和控制組的成效差異具有統計顯著性。請參閱第 25 節。
  • 確保所有指標都評估離群值。尤其是在銷售或廣告主支出指標方面，單接觸點歸因分析邏輯很容易出現離群值，這在無意間可能從單方面影響成效。請參閱：附錄.表 2。
  • 若使用非第三方方法評估轉換 (例如連結裝飾、第一方資料、其他比對內容資料)，請確認實驗組和控制組使用這兩種方法。請參閱：第 13 節和第 14 節。
  • 建議您使用兩個不同的實驗群組，一個用於評估 Relevance API，另一個則用於評估 Attribution Reporting API。這樣可以避免進行多變數測試，並讓您更容易瞭解觀察原因。詳情請參閱評估測試指南，並查看實驗組建議的評估方法。
實驗組與控制組 1
比較提議的結束狀態與目前狀態。 		實驗組與控制組 2
比較提議的結束狀態，但不含 PS API。 		控制組 2 與控制組 1
比較未使用或未導入任何 PS API 的轉換評估功能。
評估方法 為避免進行多變數測試，請使用 ARA 和非 3PC 資料來評估兩個實驗組的轉換指標。 為避免進行多變數測試，請只使用非 3PC 資料來評估兩個實驗組的轉換指標。 為避免進行多變數測試，請只使用非 3PC 資料來評估兩個實驗組的轉換指標。

實作指南

本節提供關聯性 API 常見用途的指引，並介紹設定 API 的最低或最佳設定。您必須瞭解哪些用途對您的業務至關重要，並確保設定符合最低需求，再繼續進行實驗設定部分。

用途

以下列舉廣告關聯性空間的常見用途。請注意，您可以根據個別市場參與者的需求，使用多個關聯性 API。

品牌知名度或潛在客戶開發

  • 最小
    • 使用 Topics 信號做為目標對象區隔。
    • 您可以使用 Protected Audience API 建立目標對象區隔，方法是將網頁訪客加進代表該網站內容比對類別的興趣群組。
  • 最適規模
    • 搭配使用 Topics 和其他私人信號 (例如第一方和比對內容資料) 做為機器學習模型的功能，即可推論使用者的目標對象區隔。
    • 使用 Protected Audience API，根據第一方資料、特定使用者活動、主題或其他比對內容訊號，將網頁訪客加進興趣群組，藉此建立目標對象區隔。
    • 使用 Protected Audience API 建立第一方目標對象區隔，以供目標對象額外資訊使用，以提高廣告主的廣告活動觸及率。

再行銷

  • 使用 Protected Audience API，根據使用者活動建立興趣群組，為網站建立自訂再行銷區隔。

設定

Topics API

  • 下限
    • (DSP) 廣告技術會根據已發布的「在不使用第三方 Cookie 的情況下盡可能提高廣告關聯性」一文中，將主題做為信號。請注意，這些 Topics 信號可能產生自需求端平台呼叫 Topics API，以及來自合作夥伴賣方平台提供的 Topics 信號，或兩者皆處理。
    • (SSP) 廣告技術人員與一部分發布商合作，根據 ORTB 2.x 規格，在出價流中加入 Topics API 傳回的主題，因此廣告技術需要與網站合作，才能升級及部署任何必要程式庫 (例如標頭出價依附元件)，才能在這些網站上呼叫 Topics API。
    • (SSP) 廣告技術會在廣告技術可使用 API 的所有流量上呼叫 Topics API。基於每位呼叫端的篩選功能規定，您必須呼叫 API 至少 3 週，才能確保系統支援最多 3 週。為協助達成這個目標，建議在需求端平台合作夥伴開始使用信號之前，先呼叫 Topics API。
  • 最適規模
    • (DSP) 在有意義的消費者歷程里程碑呼叫 Topics API，讓廣告技術人員使用 API。例如將主題與相關的第一方和歸因資料建立關聯，以便進行機器學習訓練。
    • (DSP) 探索以主題為依據的功能，並在機器學習指定模型中導入，以提升目標對象區隔。在指定目標時間執行模型推論，擴大可能的使用者主題。比對推測主題與指定這些目標對象區隔的廣告客戶廣告活動。
    • (DSP) 探索主題功能並導入機器學習出價模型，進一步提升預測點閱率和轉換率 (CVR) 模型。

Protected Audience

  • (DSP) 廣告技術會導入所有用戶端依附元件，以便參與 Protected Audience API 競價。
    • 這包括 Protected Audience API 的核心依附元件 (例如出價邏輯 JavaScript)，以及任何整合模組和報表端點。
  • (DSP) 廣告技術可參與 2024 年第 1 季至第 2 季的 Protected Audience API 式可計費競價。
    • 因此，廣告技術必須找出賣方平台測試合作夥伴和網站，並與對方協調，才能根據目標、整合握手和執行時程執行端對端測試。
  • (DSP) 廣告技術會使用鍵/值伺服器來擷取即時信號來產生出價。
    • 這麼做需要廣告技術識別需要即時信號的主要用途，例如暫停用完整筆預算的廣告活動，並將這些即時信號整合至出價邏輯 JavaScript。
  • (DSP) 在 Protected Audience 競價中，廣告技術有利於成效的概要方法。
    • 這個大致做法包含三個面向：評估成效、分析資料，以及反覆調整實作方式，以改善成效。
  • (SSP) 廣告技術可參與 2024 年第 1 季至第 2 季的 Protected Audience 競價，進行計費競價。
    • 包括導入及部署 Protected Audience API 的核心依附元件 (例如決策邏輯 JavaScript)，以及任何整合或自動化調度管理模組、轉接程式 (例如標頭出價依附元件) 和報表端點。
  • (SSP) 廣告技術使用鍵/值伺服器來擷取即時信號，為廣告評分。
    • 這麼做需要廣告技術識別需要即時信號的主要用途 (例如達成廣告品質規定)，並將這些即時信號納入決策邏輯 JavaScript。
  • (SSP) 廣告技術有一致的方法，可管理實際工作環境部署項目的規模和流量需求。
    • 屆時，廣告技術人員必須與其需求端平台測試合作夥伴協調，取得意圖參與特定 Protected Audience API 型競價和來源信號。

評估目標和建議實驗設定

針對這項評估，建議您使用由 Chrome 輔助的測試模式 A 和 B 標籤。

建議的實驗設定

  • 採用 CMA 建議的實驗設計，其中包含 3 個群組：(請參閱第 10 到 14 節)
    • 控制項 1：模式 A 流量，control_1.* 群組 (3PC + Privacy Sandbox API + 其他信號)
    • 控制組 2：模式 B Control_2 群組 (無 Privacy Sandbox API + 其他信號)。
    • 實驗組：模式 B treatment_1.* 群組 (無 3PC，搭配 Privacy Sandbox API 和其他系統)
  • 我們瞭解市場參與者除了使用 3PC 等各種信號來指派廣告給廣告請求，例如第一方發布商資料和比對內容資訊。如果這些信號不受提議的變更 (3PC 淘汰和 Privacy Sandbox API 推出) 影響，控制組和實驗組應一併保留這些信號。
  • 請注意，部分網站可能仍有 3PC 版本。測試人員不應將這些 3PC 用於控制組或實驗組的關聯性。這些 3PC 的設計旨在解決與廣告無關的中斷問題。
  • 請注意，Privacy Sandbox API 可在控制項 1 中使用，但如 CMA 業界測試指南所述，測試參與者不得使用 Topics API，或針對此流量執行 Protected Audiences 競價。
  • 如要瞭解每個群組的標籤、大小和特性，請參閱 Chrome 輔助測試。

建議指標計算方法

  • 我們不會提供任何收集或計算指標的具體方法。不過，我們強烈建議測試人員就上述方法公開透明。這可讓分析不同公司提供的測試結果 (即監管機構) 瞭解差異，並決定如何比較不同的結果。
  • 我們瞭解，在收集某些指標時可能需要使用私人匯總，因為部分測試人員在測試期間可能還未整合。
  • 在可行範圍內，參與者可以記錄與出價活動及競價贏得的興趣相關指標，例如參與競價的出價次數或平均出價金額。
實驗群組 實驗組 控制選項 2 控制項 1
交通模式 模式 B (3PCD) 模式 B (3PCD + PA + 主題抑制) 狀態 Quo (不含 3PCD)
已套用 Relevance API PA + 主題 + 比對內容信號 僅限比對內容信號 以 Cookie 為基礎的信號 + 比對內容信號

目標 1 - (DSP) 評估 3PCD 對按照興趣顯示的廣告的影響

指標

納入 CMA 要求的主要指標，並盡可能納入其他可能有幫助的指標，例如：

  • 平均收到的主題數量：出價要求收到的主題數量。這是用來評估 Topic API 涵蓋率的指標。
  • 平均花費時間：廣告開始顯示後，至少 50% 的廣告像素出現在使用者可視區域中的平均時間。這項指標可用來評估廣告參與度。
  • 單次曝光點擊數 (又稱點閱率)：每次曝光的平均點擊次數。用來評估廣告關聯性的方式。
  • 每支付 1 美元的點擊次數：每一分錢的平均點擊次數。可用來衡量廣告客戶提供的廣告品質。
  • 每支付 1 美元的轉換：每一美元的平均轉換次數。可用來衡量廣告客戶提供的廣告品質。
  • 轉換率：每次點擊的平均轉換次數，以百分比表示。可用來評估廣告客戶獲得的流量品質。
  • 不重複出價回應總數：需求端平台傳送的出價回應總數。可代表個別廣告技術服務的需求量。
  • 不重複觀眾人數：廣告客戶廣告觸及的不重複使用者人數。這個指標可用來評估觸及率。
  • 影片播放完成率：影片顯示並開始播放後，廣告像素至少有 50% 在使用者可視區域內顯示的平均時間。這項指標可用來評估廣告參與度。

建議的分析重點

  • 廣告主是否能以偏好的規模觸及目標對象？
  • 這些異動對廣告參與度和互動情況有何影響？
  • 本次異動對廣告主的廣告品質有何影響？
  • 廣告客戶能否以符合成本效益的方式刊登廣告？也就是說，他們能否在一定的期間內，以低於這些客戶產生的價值來獲取新客？
  • 針對市場參與者的實驗結果評估結果時，是否有任何值得注意的注意事項？
  • 與市場參與者先前進行的測試結果 (如有) 有何差異？
  • 哪些潛在因素會影響效能？相反地，哪些因素會影響成效？

目標 2 - (需求端平台) 評估 3PCD 對再行銷的影響

指標

納入 CMA 要求的主要指標，並盡可能納入其他可能有幫助的指標，例如：

  • 平均花費時間：廣告開始顯示後，至少 50% 的廣告像素出現在使用者可視區域中的平均時間。這項指標可用來評估廣告參與度。
  • 單次曝光點擊數 (又稱點閱率)：每次曝光的平均點擊次數。用來評估廣告關聯性的方式。
  • 每支付 1 美元的點擊次數：每一分錢的平均點擊次數。可用來衡量廣告客戶提供的廣告品質。
  • 每支付 1 美元的轉換：每一美元的平均轉換次數。可用來衡量廣告客戶提供的廣告品質。
  • 轉換率：每次點擊的平均轉換次數，以百分比表示。可用來評估廣告客戶獲得的流量品質。
  • 不重複出價回應總數：需求端平台傳送的出價回應總數。可代表個別廣告技術服務的需求量。
  • 不重複觀眾人數：廣告客戶廣告觸及的不重複使用者人數。這個指標可用來評估觸及率。
  • 影片播放完成率：影片顯示並開始播放後，廣告像素至少有 50% 在使用者可視區域內顯示的平均時間。這項指標可用來評估廣告參與度。

建議的分析重點

  • 廣告主是否能以偏好的規模觸及目標對象？
  • 這些異動對廣告參與度和互動情況有何影響？
  • 本次異動對廣告主的廣告品質有何影響？
  • 廣告客戶能否以符合成本效益的方式刊登廣告？也就是說，他們能否在一定的期間內，以低於這些客戶產生的價值來獲取新客？
  • 針對市場參與者的實驗結果評估結果時，是否有任何值得注意的注意事項？
  • 與市場參與者先前進行的測試結果 (如有) 有何差異？
  • 哪些潛在因素會影響效能？相反地，哪些因素會影響成效？

目標 3 - (SSP) 評估 3PCD 對 Protected Audience API 未促成的競價的影響

指標

納入 CMA 要求的主要指標，以及其他可能有幫助的指標，例如：

  • 預計廣告活動的支出變動百分比：廣告客戶對廣告活動支出。用來評估廣告技術和發布商收益分潤。
  • 傳送的主題平均數量：出價要求傳送的平均主題數量。這是用來評估 Topic API 涵蓋率的指標。
  • 競價延遲時間：參與競價的平均時間。針對賣方平台，評估範圍是從首次執行賣方平台用戶端程式碼，到賣方平台選取出價並傳送至廣告伺服器。對廣告伺服器來說，從廣告代碼執行到實際顯示廣告為止。可用來評估競價的執行速度。
  • 單次曝光收益：每次曝光產生的平均收益。用來評估發布商收益。
  • 不重複出價要求總數：賣方平台傳送的不重複出價要求總數。可代表個別廣告技術服務的需求量。

建議的分析重點

  • 延遲的變動對賣方平台的競價功能有何影響？這對發布商的網頁延遲有何影響？
  • 延遲對發布商收益有何影響？依據出價要求傳送的主題數量有多少？
  • 賣方平台廣告技術服務的需求會受到什麼影響？
  • 賣方平台是否能針對發布商所重視的競價相關 KPI 製作報表？屬於自家企業？
  • 針對市場參與者的實驗結果評估結果時，是否有任何值得注意的注意事項？
  • 與市場參與者先前進行的測試結果 (如有) 有何差異？
  • 哪些潛在因素會影響效能？相反地，哪些因素會影響成效？

目標 4 - (SSP) 判定 Protected Audience API 競價的效力

指標

納入 CMA 要求的主要指標，以及其他可能有幫助的指標，例如：

  • 競價延遲時間：參與競價的平均時間。針對賣方平台回報結果 (從首次執行賣方平台用戶端程式碼起算)。對廣告伺服器來說，從廣告代碼執行到實際顯示廣告為止。可用來評估競價的執行速度。
  • 單次曝光收益：每次曝光產生的平均收益。用來評估發布商收益。
  • 供應率：供應率評估的是賣方平台成功供應廣告的出價要求百分比，計算時，請將廣告曝光總數除以來自賣方平台的出價要求總數。
  • 逾時率：因達到賣方平台可設定逾時而未完成的競價百分比。
  • 不重複出價要求總數：賣方平台傳送的不重複出價要求總數。可代表個別廣告技術服務的需求量。

建議的分析重點

  • 延遲的變動對賣方平台的競價功能有何影響？這對發布商的網頁延遲有何影響？
  • 逾時對需求端平台出價的能力有何影響？
  • 延遲對發布商收益有何影響？依據出價要求傳送的主題數量有多少？
  • 賣方平台廣告技術服務的需求會受到什麼影響？
  • 賣方平台是否能針對發布商所重視的競價相關 KPI 製作報表？屬於自家企業？
  • 針對市場參與者的實驗結果評估結果時，是否有任何值得注意的注意事項？
  • 與市場參與者先前進行的測試結果 (如有) 有何差異？
  • 哪些潛在因素會影響效能？相反地，哪些因素會影響成效？