Руководство по тестированию релевантных API

Прежде чем вы начнете

Принципы планирования эксперимента

Убедитесь, что испытательное и контрольное плечи четко определены и измеряют одни и те же переменные.

Рандомизация и назначение пользователей

  • Если вы не используете только экспериментальные группы с помощью Chrome (например, проводите эксперимент на другом трафике), убедитесь, что разделение тестируемых и контрольных пользователей является рандомизированным и беспристрастным. Независимо от состава экспериментальной группы, оцените характеристики тестируемой и контрольной группы, чтобы обеспечить сопоставимость тестируемой и контрольной групп. См.: Раздел 15 .
  • Убедитесь, что характеристики пользователей в тестовой и контрольной группах одинаковы (например, используйте одинаковые геолокации как в тестовой, так и в контрольной группах). См.: Раздел 28 .
  • Используя предложенную CMA схему эксперимента, включите 3 экспериментальные группы: лечение (PS API + другие сигналы) + контроль 1 (без 3 ПК + другие сигналы) + контроль 2 (без 3 ПК + без PS API + другие сигналы). См.: Разделы 10–14 .
  • Убедитесь, что в вашей настройке максимально полно используются метки тестирования , поддерживаемые Chrome.
  • Имейте в виду, что Chrome планирует исключить некоторые экземпляры Chrome из этих экспериментальных групп по юридическим, UX и/или техническим причинам. Сюда входят Chrome Enterprise и другие. Эти исключения будут одинаковыми для режима A и режима B и, следовательно, для контроля 1, контроля 2 и лечения. Как следствие, не следует сравнивать показатели, полученные в экспериментальных группах, с показателями, полученными за пределами этих групп.

Согласование конфигурации между группами тестирования и управления

  • Убедитесь, что тестовые и контрольные группы используют сопоставимую конфигурацию кампании, включая схожий инвентарь, форматы объявлений, типы кампаний и настройки кампании. См.: Раздел 28 .
  • Конкретные примеры включают: обеспечение того, чтобы аналогичные типы конверсий измерялись с использованием одного и того же окна атрибуции и одной и той же логики атрибуции, кампании ориентированы на схожие аудитории, группы интересов, географические регионы и используют схожие рекламные тексты и форматы объявлений. См.: Раздел 28 .
  • В идеале DSP может управлять отчетностью и не полагаться на 3P-компанию, которая может добавить дополнительный уровень атрибуции. Если клиент DSP использует 3P-компанию для атрибуции, эту 3P следует включить в планы интеграции/тестирования, а также в тестовые и контрольные группы.
  • Убедитесь, что каждая кампания, администрируемая участвующим DSP, имеет равные шансы на участие в аукционах в рамках экспериментальной и контрольной групп, и что на их поведение при назначении ставок в каждой группе не влияет присутствие других групп. См.: Раздел 25 .

Сбор и оценка метрик

  • Прежде чем оценивать результаты, убедитесь, что разница в результатах между тестовой и контрольной группами статистически значима. См.: Раздел 25 .
  • Для всех показателей убедитесь, что оцениваются выбросы. В частности, для показателей продаж или рентабельности инвестиций рекламодателя (ROAS) логика атрибуции одним касанием очень склонна к выбросам, которые могут непреднамеренно существенно повлиять на результаты, так или иначе. См.: Приложение. Таблица 2 .
  • Если для измерения конверсий используются методы, не относящиеся к 3PC (например, оформление ссылок, собственные данные, другие контекстные данные), убедитесь, что они используются как в тестовых, так и в контрольных группах. См.: Разделы 13 и 14 .
  • Рассмотрите возможность использования двух разных экспериментальных групп: одну для измерения API релевантности, а другую для измерения API отчетов по атрибуции. Это позволяет избежать многомерного тестирования и облегчает понимание причины ваших наблюдений. Для получения более подробной информации ознакомьтесь с Руководством по измерительному тестированию и таблице рекомендуемых методов измерения по экспериментальным группам.
Лечение против контроля 1
Сравнивает предлагаемое конечное состояние с текущим состоянием.		 Лечение против контроля 2
Сравнивает предлагаемое конечное состояние с отсутствием API PS вообще.		 Контроль 2 против Контроль 1
Сравнивает показатели конверсии с использованием 3PC и без них, без каких-либо PS API.
Методика измерения Чтобы избежать многовариантного тестирования, используйте данные ARA и сторонних компаний для измерения показателей конверсии для обеих групп. Чтобы избежать многовариантного тестирования, используйте только данные, не относящиеся к 3PC, для измерения показателей конверсии для обеих групп. Чтобы избежать многовариантного тестирования, используйте только данные, не относящиеся к 3PC, для измерения показателей конверсии для обеих групп.

Руководство по внедрению

В этом разделе представлены рекомендации по типичным вариантам использования релевантных API, а также минимальные или оптимальные конфигурации для настройки API. Прежде чем переходить к разделу настройки эксперимента, важно понять, какие варианты использования важны для вашего бизнеса, и убедиться, что ваша конфигурация соответствует минимальным требованиям.

Случаи использования

Мы перечислили некоторые распространенные случаи использования в области релевантности рекламы. Обратите внимание, что варианты использования могут включать использование нескольких релевантных API в зависимости от потребностей отдельных участников рынка.

Узнаваемость бренда или поиск потенциальных клиентов

  • Минимальный
    • Семантически используйте сигналы тем в качестве сегментов аудитории.
    • Используйте API Protected Audience для создания сегментов аудитории, добавляя посетителей веб-страницы в группу по интересам, представляющую контекстную категорию этого сайта.
  • Оптимальный
    • Используйте темы вместе с другими частными, устойчивыми сигналами, такими как собственные и контекстные данные, в качестве функций в моделях машинного обучения, чтобы определить сегменты аудитории для пользователей.
    • Используйте API Protected Audience для создания сегментов аудитории путем добавления посетителей веб-страницы в группу по интересам на основе собственных данных, конкретной активности пользователей, тем или других контекстных сигналов.
    • Используйте API Protected Audience для создания собственных сегментов аудитории, которые можно предлагать для расширения аудитории, чтобы увеличить охват кампании рекламодателя.

Ремаркетинг

  • Используйте API Protected Audience для создания настраиваемых сегментов ремаркетинга для сайта путем создания групп по интересам в зависимости от активности пользователей.

Конфигурация

API тем

  • Минимум
    • (DSP) Рекламные технологии используют темы в качестве сигналов при выборе объявлений в соответствии с опубликованной релевантностью объявлений без использования сторонних файлов cookie . Обратите внимание, что эти сигналы Topics могут быть результатом вызова DSP самого API Topics, обработки сигналов Topics, предоставленных партнерским SSP, или того и другого.
    • (SSP) Рекламные технологии работают с определенным процентом своих издателей, чтобы включить темы, возвращаемые Topics API, в поток заявок в соответствии со спецификацией ORTB 2.x, которая требует, чтобы рекламные технологии работали с сайтами для обновления и развертывания любых необходимых библиотек (например, зависимости ставок заголовков), чтобы иметь возможность вызывать API тем на этих сайтах.
    • (SSP) Рекламная технология вызывает API тем для всего трафика, где API доступен для использования рекламной технологией. Из-за требований к фильтрации по каждому вызывающему абоненту API необходимо вызывать как минимум в течение 3 недель, чтобы обеспечить максимальную доступность. Чтобы помочь в этом, целесообразно начать вызывать API тем еще до того, как партнеры DSP будут готовы начать использовать сигнал.
  • Оптимальный
    • (DSP) Вызывайте API тем на значимых этапах пути потребителя, где API доступен для использования рекламными технологиями. Используйте эти данные для обучения машинному обучению, например, связывая темы с соответствующими собственными данными и данными атрибуции.
    • (DSP) Изучите и внедрите тематические функции в модели таргетинга ML для улучшения сегментации аудитории. Запустите вывод модели в заданное время, чтобы расширить возможные темы пользователей. Сопоставьте предполагаемые темы с кампаниями рекламодателей, ориентированными на эти сегменты аудитории.
    • (DSP) Изучите и внедрите функции на основе тем в модели назначения ставок ML для улучшения моделей прогнозируемого рейтинга кликов (CTR) и коэффициента конверсии (CVR).

Защищенная аудитория

  • (DSP) Рекламная технология реализует все зависимости на стороне клиента для участия в аукционах на основе API Protected Audience.
    • Сюда входят зависимости, которые являются основой API защищенной аудитории (например, логика назначения ставок JavaScript), а также любые модули интеграции и конечные точки отчетов.
  • (DSP) Рекламные технологии готовы участвовать в оплачиваемых аукционах на базе Protected Audience API в первом-втором кварталах 2024 года.
    • Это потребует от рекламных технологий определения и координации с партнерами и площадками по тестированию SSP для согласования целей, согласований интеграции и сроков для проведения сквозного тестирования.
  • (DSP) Рекламные технологии используют сервер «ключ-значение» для получения сигналов в реальном времени для формирования ставок.
    • Это потребует от рекламных технологий определить ключевые случаи использования, требующие сигналов в реальном времени, например, остановку кампаний, которые израсходовали весь бюджет, и включить эти сигналы в реальном времени в свою логику назначения ставок JavaScript.
  • (DSP) Рекламные технологии используют высокоуровневый подход к работе на аукционах с защищенной аудиторией.
    • Этот высокоуровневый подход в целом состоит из трех аспектов: измерение производительности, анализ данных и итеративное уточнение реализации для повышения производительности.
  • (SSP) Рекламные технологии готовы участвовать в оплачиваемых аукционах защищенной аудитории в первом-втором кварталах 2024 года.
    • Это включает в себя реализацию и развертывание зависимостей, которые являются основными для API защищенной аудитории (например, JavaScript логики принятия решений), а также любых модулей интеграции или оркестрации, адаптеров (например, зависимостей назначения ставок в заголовке) и конечных точек отчетов.
  • (SSP) Рекламные технологии используют сервер «ключ-значение» для получения сигналов в реальном времени для оценки рекламы.
    • Это потребует от рекламных технологий определить ключевые варианты использования, требующие сигналов в реальном времени, например, соответствие требованиям к качеству рекламы, и включить эти сигналы в реальном времени в свою логику принятия решений JavaScript.
  • (SSP) Рекламные технологии используют высокоуровневый подход к управлению требованиями к масштабированию и объему трафика для производственных развертываний.
    • Это потребует от рекламной технологии координации действий со своими партнерами по тестированию DSP, чтобы определить их намерение участвовать в конкретных аукционах на основе API защищенной аудитории и источники сигналов.

Цели оценки и предлагаемая установка эксперимента

Для этой оценки мы рекомендуем использовать метки режимов тестирования A и B при поддержке Chrome.

Предлагаемая установка эксперимента

  • Используйте предложенный CMA план эксперимента, включая 3 группы: (см. разделы 10–14 ).
    • Элемент управления 1: трафик режима A, группы control_1.* (3 ПК + API-интерфейсы Privacy Sandbox + другие сигналы)
    • Вариант 2: группа режима B control_2 (без 3 компьютеров + без API-интерфейсов Privacy Sandbox + других сигналов).
    • Лечение: группы режима B Treatment_1.* (без 3 компьютеров, с API-интерфейсами Privacy Sandbox + другими сигналами)
  • Мы понимаем, что участники рынка используют множество других сигналов, помимо 3PC, для назначения рекламы рекламным запросам, например данные собственных издателей и контекстную информацию. В той степени, в которой на эти сигналы не влияют предлагаемые изменения (прекращение поддержки 3PC и введение API-интерфейсов Privacy Sandbox), их следует сохранить как в контрольной, так и в лечебной группах.
  • Обратите внимание, что на некоторых сайтах все еще могут быть доступны 3 ПК. Тестировщикам не следует использовать эти 3 ПК для соответствующих случаев использования в группах «Контроль 2» или «Лечение». Эти 3 ПК предназначены для устранения неполадок, не связанных с рекламой.
  • Обратите внимание, что API-интерфейсы Privacy Sandbox будут доступны в элементе управления 1, но, как указано в руководстве CMA по отраслевому тестированию, участники тестирования не должны использовать Topics API или проводить аукционы защищенных аудиторий для этого трафика.
  • Метки, размеры и характеристики каждой группы см. в разделе «Тестирование с помощью Chrome» .

Предлагаемая метрическая методология

  • Мы не предлагаем какой-либо конкретной методологии сбора или расчета метрик. Однако мы настоятельно рекомендуем тестировщикам обеспечить прозрачность указанной методологии . Это позволит тем, кто анализирует результаты испытаний (то есть регулирующим органам), предоставленным разными компаниями, получать информацию о расхождениях и принимать решения о том, как сравнивать результаты.
  • Мы понимаем, что сбор некоторых показателей может потребовать использования частного агрегирования, с которым некоторые тестировщики могут еще не интегрироваться на момент тестирования.
  • Насколько это возможно, участники могли бы сообщать показатели, связанные с торгами и суммой процентов, полученных на аукционах, например количество ставок, поступивших на аукционы, или среднюю стоимость ставки.
Экспериментальная группа Уход Контроль 2 Контроль 1
Режим трафика Режим B (3PCD) Режим B' (3PCD + PA + подавление тем) Статус-кво (без 3PCD)
Применен API релевантности PA+Темы +контекстные сигналы Только контекстные сигналы Сигналы на основе файлов cookie + контекстные сигналы

Цель 1 – (DSP) Измерение влияния 3PCD на рекламу на основе интересов

Метрики

Включите ключевые показатели, запрошенные CMA, и, если это возможно, рассмотрите возможность включения других показателей, которые могут быть полезны, например:

  • Среднее количество полученных тем : количество тем, полученных в запросах ставок. Это мера покрытия Topic API.
  • Среднее время : среднее время, в течение которого не менее 50 % пикселей рекламы присутствовало в области просмотра пользователя после того, как объявление начало отображаться. Это показатель вовлеченности рекламы.
  • Кликов на показ (также известный как рейтинг кликов) : среднее количество кликов на показ. Мера релевантности объявления.
  • Кликов на доллар : среднее количество кликов на доллар. Это показатель качества рекламы, которую получают рекламодатели.
  • Конверсий на доллар : среднее количество конверсий на доллар. Это показатель качества рекламы, которую получают рекламодатели.
  • Коэффициент конверсии : среднее количество конверсий на клик, выраженное в процентах. Это показатель качества трафика, получаемого рекламодателями.
  • Всего уникальных ответов на запросы ставок : общее количество ответов на запросы ставок, отправленных DSP. Это показатель спроса на услуги отдельных рекламных специалистов.
  • Уникальные зрители : количество уникальных пользователей, которых привлекла реклама рекламодателя. Это мера охвата.
  • Коэффициент завершения видео : среднее время, в течение которого не менее 50 % пикселей рекламы присутствовало в области просмотра пользователя на протяжении всей продолжительности видеообъявления после того, как видео было обработано и начало воспроизводиться. Это показатель вовлеченности рекламы.

Рекомендуемые точки анализа

  • Могут ли рекламодатели охватить свою целевую аудиторию в желаемом масштабе?
  • Как изменения повлияют на вовлеченность и взаимодействие с рекламой?
  • Как это изменение повлияет на качество рекламы, которую получают рекламодатели?
  • Может ли рекламодатель размещать рекламу экономически эффективным способом? Другими словами, способны ли они приобретать новых клиентов со скоростью, которая ниже, чем ценность, создаваемая этими клиентами в течение некоторого разумного периода времени?
  • Есть ли какие-то заметные предостережения, которые следует учитывать при оценке результатов эксперимента участника рынка?
  • Как результаты соотносятся с предыдущими тестами, проведенными участником рынка, если таковые проводились?
  • Каковы потенциальные препятствия, влияющие на производительность? И наоборот, каковы факторы, влияющие на производительность?

Цель 2. (DSP) Оценка влияния 3PCD на ремаркетинг.

Метрики

Включите ключевые показатели, запрошенные CMA, и, если это возможно, рассмотрите возможность включения других показателей, которые могут быть полезны, например:

  • Среднее время : среднее время, в течение которого не менее 50 % пикселей рекламы присутствовало в области просмотра пользователя после того, как объявление начало отображаться. Это показатель вовлеченности рекламы.
  • Кликов на показ (также известный как рейтинг кликов) : среднее количество кликов на показ. Мера релевантности объявления.
  • Кликов на доллар : среднее количество кликов на доллар. Это показатель качества рекламы, которую получают рекламодатели.
  • Конверсий на доллар : среднее количество конверсий на доллар. Это показатель качества рекламы, которую получают рекламодатели.
  • Коэффициент конверсии : среднее количество конверсий на клик, выраженное в процентах. Это показатель качества трафика, получаемого рекламодателями.
  • Всего уникальных ответов на запросы ставок : общее количество ответов на запросы ставок, отправленных DSP. Это показатель спроса на услуги отдельных рекламных специалистов.
  • Уникальные зрители : количество уникальных пользователей, которых привлекла реклама рекламодателя. Это мера охвата.
  • Коэффициент завершения видео : среднее время, в течение которого не менее 50 % пикселей рекламы присутствовало в области просмотра пользователя на протяжении всей продолжительности видеообъявления после того, как видео было обработано и начало воспроизводиться. Это показатель вовлеченности рекламы.

Рекомендуемые точки анализа

  • Могут ли рекламодатели охватить свою целевую аудиторию в желаемом масштабе?
  • Как изменения повлияют на вовлеченность и взаимодействие с рекламой?
  • Как это изменение повлияет на качество рекламы, которую получают рекламодатели?
  • Может ли рекламодатель размещать рекламу экономически эффективным способом? Другими словами, способны ли они приобретать новых клиентов со скоростью, которая ниже, чем ценность, создаваемая этими клиентами в течение некоторого разумного периода времени?
  • Есть ли какие-либо заметные предостережения, которые следует учитывать при оценке результатов эксперимента участника рынка?
  • Как результаты соотносятся с предыдущими тестами, проведенными участником рынка, если таковые проводились?
  • Каковы потенциальные препятствия, влияющие на производительность? И наоборот, каковы факторы, влияющие на производительность?

Цель 3 – (SSP) Измерение влияния 3PCD на аукционы, не поддерживаемые API защищенной аудитории.

Метрики

Включите ключевые показатели, запрошенные CMA, и другие показатели, которые могут быть полезны, например:

  • % изменения запланированных расходов на кампанию : рекламодатели тратят на кампании. Показатель рекламных технологий и доли дохода издателей.
  • Среднее количество отправленных тем : среднее количество тем, отправленных в запросах ставок. Это мера покрытия Topic API.
  • Задержка аукциона : среднее время проведения аукциона. Для SSP измеряется с момента первого выполнения кода на стороне клиента SSP до момента, когда SSP выбирает ставку и отправляет ее на рекламный сервер. Для рекламных серверов измеряется от выполнения рекламного тега до отображения объявления. Это показатель того, насколько быстро проходит аукцион.
  • Доход за показ : средний доход за показ. Показатель дохода издателя.
  • Всего уникальных запросов ставок . Общее количество уникальных запросов ставок, отправленных поставщиком общих служб. Это показатель спроса на услуги отдельных рекламных специалистов.

Рекомендуемые точки анализа

  • Как изменения задержки влияют на способность SSP проводить аукцион? Как они влияют на задержку страницы издателя?
  • Как задержка влияет на доход издателя? По количеству тем, отправленных в запросах ставок?
  • Как это повлияет на спрос на рекламные технические услуги SSP?
  • Могут ли SSP сообщать о связанных с аукционами ключевых показателях эффективности, которые важны для бизнеса издателя? Для собственного бизнеса?
  • Есть ли какие-либо заметные предостережения, которые следует учитывать при оценке результатов эксперимента участника рынка?
  • Как результаты соотносятся с предыдущими тестами, проведенными участником рынка, если таковые проводились?
  • Каковы потенциальные препятствия, влияющие на производительность? И наоборот, каковы факторы, влияющие на производительность?

Цель 4. (SSP) Определение эффективности аукционов API защищенной аудитории.

Метрики

Включите ключевые показатели, запрошенные CMA, и другие показатели, которые могут быть полезны, например:

  • Задержка аукциона : среднее время проведения аукциона. Для SSP измеряется с момента первого выполнения кода на стороне клиента SSP и сообщается о результате. Для рекламных серверов измеряется от выполнения рекламного тега до отображения объявления. Это показатель того, насколько быстро проходит аукцион.
  • Доход за показ : средний доход за показ. Показатель дохода издателя.
  • Уровень заполнения . Уровень заполнения измеряет процент запросов ставок, которые SSP успешно заполняет рекламой. Для расчета разделите общее количество показов объявления на общее количество запросов ставок от SSP.
  • Доля тайм-аутов : % аукционов, которые не завершились из-за достижения тайм-аутов, настраиваемых SSP.
  • Всего уникальных запросов ставок . Общее количество уникальных запросов ставок, отправленных поставщиком общих служб. Это показатель спроса на услуги отдельных рекламных специалистов.

Рекомендуемые точки анализа

  • Как изменения задержки влияют на способность SSP проводить аукцион? Как они влияют на задержку страницы издателя?
  • Как тайм-ауты повлияли на способность DSP делать ставки?
  • Как задержка влияет на доход издателя? По количеству тем, отправленных в запросах ставок?
  • Как это повлияет на спрос на рекламные технические услуги SSP?
  • Могут ли SSP сообщать о связанных с аукционами ключевых показателях эффективности, которые важны для бизнеса издателя? Для собственного бизнеса?
  • Есть ли какие-либо заметные предостережения, которые следует учитывать при оценке результатов эксперимента участника рынка?
  • Как результаты соотносятся с предыдущими тестами, проведенными участником рынка, если таковые проводились?
  • Каковы потенциальные препятствия, влияющие на производительность? И наоборот, каковы факторы, влияющие на производительность?