Цель этого руководства — предоставить рекомендации по проведению автономного тестирования API отчетов Privacy Sandbox Attribution Reporting. Подробнее см.: Раздел 12 .
- Измерение результатов контрольной и лечебной групп в экспериментальных схемах CMA 1 и 2 описано в руководстве по тестированию релевантности API , поскольку цель этих экспериментов — проверить эффективность использования защищенной аудитории и тем. Более подробную информацию см. в разделе 11 .
Прежде чем вы начнете
- Ознакомьтесь с рекомендациями по настройке API отчетов по атрибуции.
- Ознакомьтесь с руководством по тестированию CMA: примечание об экспериментах (ноябрь 2022 г.), руководство по тестированию (июнь 2023 г.) и дополнительное руководство по тестированию (октябрь 2023 г.).
Цели оценки и предлагаемая установка эксперимента
Цель 1. Определение эффективности API Attribution Reporting API для создания отчетов.
Мы предлагаем систему A/A для измерения влияния на отчетность.
- Это предложение соответствует рекомендациям CMA по оценке показателей на основе конверсий. Более подробную информацию см. в Разделе 21 и Разделе 12 .
- Мы предпочитаем этот метод режиму A/B , поскольку тестирование API отчетов об атрибуции (ARA) можно выполнить путем одновременного измерения конверсий для одного и того же набора показов с использованием двух разных методологий измерения (сторонние файлы cookie + данные сторонних файлов cookie и ARA + данные сторонних файлов cookie).
- Эксперимент A/A также изолирует влияние API отчетов об атрибуции на измерение конверсий (например, он позволяет избежать любых изменений коэффициентов конверсии из-за отсутствия сторонних файлов cookie).
Рекомендуемые точки анализа
- Выберите сегмент трафика, который достаточно велик для получения статистически значимых результатов и содержит как сторонние файлы cookie, так и API-интерфейсы Privacy Sandbox. В идеале это весь трафик, кроме режима B (который отключает сторонние файлы cookie).
- Мы рекомендуем исключить режим B из эксперимента A/A, поскольку сторонние файлы cookie будут недоступны, и вы не сможете сравнивать результаты ARA с результатами атрибуции на основе сторонних файлов cookie.
- Если вы хотите включить режим B, вам следует рассмотреть возможность включения отчетов об отладке для сегмента трафика режима B. Отчеты об отладке помогут вам устранить любые проблемы с конфигурацией или реализацией.
- Если вы планируете проводить тестирование на меньшем участке трафика, мы ожидаем, что вы получите более шумные, чем ожидалось, результаты измерений. В своем анализе мы рекомендуем отметить, какая часть трафика была использована и сообщаете ли вы результаты на основе зашумленных отчетов или нешумовых отчетов об отладке.
- Для сводных отчетов сводные значения, скорее всего, будут ниже, а служба агрегирования добавит шум из того же распределения независимо от сводного значения.
- Протестируйте различные методики измерения на этом фрагменте трафика.
- Элемент контроля 1 – использовать текущие методологии измерения (сторонние файлы cookie + данные сторонних файлов cookie)
- (необязательно) Вариант 2 — отсутствие Privacy Sandbox и сторонних файлов cookie, то есть только данные сторонних файлов cookie.
- Обратите внимание, что некоторые сторонние файлы cookie все еще могут быть доступны на некоторых сайтах. Для получения наиболее точных результатов не используйте эти сторонние файлы cookie для измерения в методологиях «Контроль 2» или «Лечение».
- Обработка — API-интерфейсы Privacy Sandbox и данные сторонних файлов cookie.
- Обратите внимание, что на некоторых сайтах все еще могут быть доступны сторонние файлы cookie. Для получения наиболее точных результатов не используйте эти сторонние файлы cookie для измерения в методологиях «Контроль 2» или «Лечение».
Метрики
- Определите, какие показатели имеют смысл для вашего бизнеса для измерения результатов, и включите описание того, что означает этот показатель и как он измеряется.
- Мы предлагаем сосредоточиться на параметрах и показателях, которые важны для ваших рекламодателей. Например, если ваши рекламодатели сосредоточены на покупках-конверсиях, оцените количество конверсий для них и ценность покупки.
- Метрики, основанные на подсчете или сумме (например, коэффициент конверсии), более идеальны для работы, чем цена за конверсию (например, цена за конверсию). Для анализа A/A показатели затрат могут быть полностью получены на основе значений преобразования количества или суммы.
- Укажите, основаны ли метрики на отчетах уровня событий, сводных отчетах или комбинации обоих отчетов (и использовались ли отчеты об отладке).
- См. предлагаемые шаблонные таблицы, чтобы узнать, как форматировать количественную обратную связь.
Анализ
- Охват:
- Можете ли вы провести измерения среди аналогичной группы пользователей по сравнению со сторонними файлами cookie? Наблюдаете ли вы более высокий охват (например, при переходе из приложения в Интернет)?
- Можете ли вы измерить конверсии (а также параметры или показатели), которые больше всего интересуют вас или ваших рекламодателей?
- Количественная обратная связь
- Например, в отчетах рекламодателя о том, какой процент ключевых конверсий вы можете сообщить для этого рекламодателя или какой процент кампаний соответствует планке качества отчетности (получение планки качества помогает адаптироваться к кампаниям с небольшим количеством конверсий).
- Например, в разрезе рекламодателей, есть ли рекламодатели, которые в большей или меньшей степени зависят от сторонних файлов cookie для составления отчетов сегодня?
- Другие качественные отзывы:
- Как ARA влияет на сложность настройки измерения/атрибуции рекламодателей?
- Помогает или мешает ARA рекламодателям сосредоточиться на важных для них показателях и целях?
Рекомендуемые шаблонные таблицы для отчетности о влиянии
(Отчетность) Таблица 1:
Пример таблицы-шаблона для отчета о результатах экспериментов в CMA (взято со стр. 18 , но тестировщикам следует учитывать, какие показатели наиболее значимы/выполнимы, чтобы предоставить и адаптировать таблицу по мере необходимости) .
| Лечение против контроля 1 Сравнивает предлагаемое конечное состояние с текущим состоянием. | Лечение против контроля 2 Сравнивает предлагаемое конечное состояние с отсутствием API PS вообще. | Контроль 2 против Контроль 1 Сравнивает показатели конверсий со сторонними файлами cookie и без них, без каких-либо PS API. | |
| Методика измерения | Сравните показатель конверсии для лечения (ARA с данными сторонних файлов cookie) с контролем 1 (сторонние файлы cookie и данные сторонних файлов cookie) | Сравните показатель конверсии для лечения (ARA с данными сторонних файлов cookie) с контролем 2 (только данные сторонних файлов cookie) | Сравните измерение конверсий для контрольного варианта 2 (только данные сторонних файлов cookie) с контролем 1 (сторонние файлы cookie и данные сторонних файлов cookie). |
| Конверсий на доллар | Эффект | Эффект | Эффект |
| Стандартная ошибка | Стандартная ошибка | Стандартная ошибка | |
| 95% доверительный интервал | 95% доверительный интервал | 95% доверительный интервал | |
| Всего конверсий | Эффект | Эффект | Эффект |
| Стандартная ошибка | Стандартная ошибка | Стандартная ошибка | |
| 95% доверительный интервал | 95% доверительный интервал | 95% доверительный интервал | |
| Коэффициент конверсии | Эффект | Эффект | Эффект |
| Стандартная ошибка | Стандартная ошибка | Стандартная ошибка | |
| 95% доверительный интервал | 95% доверительный интервал | 95% доверительный интервал | |
| (добавьте свои собственные показатели) |
(Отчетность) Таблица 2:
Пример таблицы-шаблона для представления описательной статистики по показателям в экспериментальной и контрольной группах (взято со стр. 20 , но тестировщикам следует учитывать, какие показатели наиболее значимы/выполнимы, чтобы предоставить и адаптировать таблицу по мере необходимости) .
| Метрика | Уход Измерение конверсий с использованием ARA и любых сторонних данных cookie, которые вы используете. | Контроль 1 Измерение конверсий с использованием сторонних файлов cookie и любых данных сторонних файлов cookie, которые вы используете. | Контроль 2 Измерение конверсий только с использованием данных сторонних файлов cookie |
| Конверсий на доллар | Иметь в виду | Иметь в виду | Иметь в виду |
| Среднеквадратичное отклонение | Среднеквадратичное отклонение | Среднеквадратичное отклонение | |
| 25-й и 75-й процентиль | 25-й и 75-й процентиль | 25-й и 75-й процентиль | |
| Всего конверсий | Иметь в виду | Иметь в виду | Иметь в виду |
| Среднеквадратичное отклонение | Среднеквадратичное отклонение | Среднеквадратичное отклонение | |
| 25-й и 75-й процентиль | 25-й и 75-й процентиль | 25-й и 75-й процентиль | |
| Коэффициент конверсии | Иметь в виду | Иметь в виду | Иметь в виду |
| Среднеквадратичное отклонение | Среднеквадратичное отклонение | Среднеквадратичное отклонение | |
| 25-й и 75-й процентиль | 25-й и 75-й процентиль | 25-й и 75-й процентиль | |
| (добавьте свои собственные показатели) |
Цель 2. Определение эффективности API отчетов об атрибуции для оптимизации ставок.
Мы предлагаем настройку A/B для измерения влияния на оптимизацию ставок.
- Чтобы измерить влияние на оптимизацию ставок, вам необходимо обучить две разные модели машинного обучения и использовать их на двух фрагментах трафика. Одна модель обучена на текущих методологиях измерения (сторонние файлы cookie + данные сторонних файлов cookie), чтобы быть применяется к контрольной группе, а одна модель обучена API отчетов об атрибуции + данные сторонних файлов cookie, которые будут применяться к обрабатывающей группе.
- Обучение модели должно основываться на таком объеме трафика, который тестер сочтет необходимым для максимизации производительности, даже если обрабатывающая группа представляет собой меньший сегмент трафика и существует перекрытие между обучающими совокупностями (например, используйте существующую модель сторонних файлов cookie). то есть обучение на всем трафике и обучение модели ARA на всем трафике ARA, включенном для цели 1).
- При отправке результатов в CMA обратите внимание, существует ли значительная разница между срезами трафика, используемыми для обучения различных моделей (например, если сторонние модели на основе файлов cookie обучаются на 100 % трафика, а модели на основе ARA обучаются только на 1% трафика).
- Если возможно, обучение моделям лечения и контрольных торгов должно проводиться в течение одинакового периода времени.
- Подумайте, следует ли вам постоянно обучать и обновлять модели назначения ставок во время эксперимента, и если да, то следует ли вам тренироваться на максимально возможном объеме трафика или только на трафике из групп обработки и контроля.
- Различные модели следует использовать на непересекающихся участках трафика в качестве эксперимента A/B. Для рандомизации и распределения пользователей по группам лечения и контроля мы рекомендуем использовать помеченные группы браузеров с помощью Chrome ( режим A ) или провести собственный эксперимент со случайными наборами браузеров. Мы не рекомендуем использовать режим B , поскольку отсутствие сторонних файлов cookie затруднит составление отчетов по показателям конверсий.
- Группы браузеров, поддерживаемые Chrome, будут исключать некоторые экземпляры Chrome, например пользователей Enterprise Chrome, тогда как ваши собственные рандомизированные наборы браузеров могут не исключать эти экземпляры Chrome. Поэтому вам следует проводить эксперимент только с группами режима A или только с группами, не поддерживающими режим A/режим B, чтобы избежать сравнения показателей, полученных в группах с поддержкой Chrome, с показателями, полученными за пределами групп с поддержкой Chrome.
- Если вы не используете помеченные группы браузеров с поддержкой Chrome (например, проводите эксперимент с другим трафиком):
- Убедитесь, что разделение пользователей на лечение и контроль является рандомизированным и беспристрастным. Независимо от состава экспериментальной группы, оцените характеристики лечения и контрольной группы, чтобы обеспечить сопоставимость групп лечения и контроля. (См.: Раздел 15 )
- Убедитесь, что характеристики пользователей и конфигурации кампаний в лечебной и контрольной группах одинаковы (например, используйте одинаковые географические регионы как в лечебной, так и в контрольной группах). (См.: Раздел 28 )
- Конкретные примеры включают в себя: убедитесь, что аналогичные типы конверсий измеряются с использованием одного и того же окна атрибуции и одной и той же логики атрибуции, кампании ориентированы на схожие аудитории, группы интересов и географические регионы, а также используют схожие рекламные тексты и форматы объявлений.
- Убедитесь, что первоначальные размеры популяции для экспериментальной и контрольной групп достаточно велики, чтобы обеспечить гибкость для проведения торгов и экспериментов.
- При использовании помеченных групп браузеров с поддержкой Chrome ( режим A ) рандомизация экземпляров браузера Chrome в группы выполняется Chrome. Рекомендуется, как и прежде, проверить, что в результате рандомизации создаются несмещенные/сопоставимые группы для ваших целей.
Рекомендуемые точки анализа
- Мы рекомендуем определить группы контроля и лечения и использовать разные модели машинного обучения для оптимизации ставок для каждой группы:
- Вариант 1 – использовать модель оптимизации ставок, обученную на основе текущих методологий измерения (сторонние файлы cookie + данные сторонних файлов cookie).
- (необязательно) Вариант 2 – использовать модель оптимизации ставок, обученную без Privacy Sandbox и сторонних файлов cookie, то есть только с данными сторонних файлов cookie.
- Обратите внимание, что на некоторых сайтах все еще могут быть доступны сторонние файлы cookie — для получения наиболее точных результатов не используйте эти сторонние файлы cookie для измерения в методологиях «Контроль 2» или «Лечение».
- Лечение – используйте модель оптимизации ставок, обученную на основе API отчетов об атрибуции и данных сторонних файлов cookie.
- Обратите внимание, что на некоторых сайтах все еще могут быть доступны сторонние файлы cookie — для получения наиболее точных результатов не используйте эти сторонние файлы cookie для измерения в методологиях «Контроль 2» или «Лечение».
Метрики
- Определите, какие показатели имеют смысл для вашего бизнеса для измерения результатов, и включите описание того, что означает этот показатель и как он измеряется.
- Например, значимым показателем могут быть расходы (доход издателя), что соответствует рекомендациям CMA, позволяющим понять влияние прекращения поддержки сторонних файлов cookie на «Доход от показа». Более подробную информацию см. в разделе 19 .
- Если вы сообщаете о каких-либо показателях, основанных на конверсиях, вам следует использовать одну и ту же методологию измерения для каждой группы, чтобы избежать многомерного тестирования (проверка влияния на оптимизацию и отчетность в одном эксперименте). См. предлагаемые шаблонные таблицы, чтобы узнать, как форматировать количественную обратную связь.
- Рассмотрите другие способы сбора показателей эффективности оптимизации ставок, например использование моделирования ставок. Существуют ли какие-либо смоделированные показатели, которые были бы полезны для понимания влияния сторонних файлов cookie и ARA на ваши модели назначения ставок?
- Укажите, основаны ли метрики на отчетах уровня событий, сводных отчетах или комбинации обоих отчетов (и использовались ли отчеты об отладке).
Анализ
- Охват:
- Можете ли вы провести измерения среди аналогичной группы пользователей по сравнению со сторонними файлами cookie? Видите ли вы какие-либо изменения в охвате (например, в связи с переходом из приложения в Интернет)?
- Можете ли вы измерить конверсии (а также параметры/показатели), которые больше всего интересуют вас или ваших рекламодателей?
- Как различия между группами повлияют на следующее:
- Отчеты рекламодателей, например. о каком проценте ключевых конверсий вы сможете сообщить.
- Например, обучение и оптимизация моделируют влияние различных данных преобразования на производительность модели.
- Другие качественные отзывы:
- Как ARA влияет на сложность настройки оптимизации ставок рекламодателей?
- Помогает или мешает ARA рекламодателям сосредоточиться на важных для них показателях и целях?
Рекомендуемые шаблоны таблиц влияния на ставки
(Торги) Таблица 1:
Пример шаблонной таблицы результатов экспериментов, которую участники рынка должны представить в CMA (взято со стр. 18 , но тестировщикам следует подумать, какие показатели наиболее значимы/выполнимы, и адаптировать таблицу по мере необходимости) .
| Лечение против контроля 1 Сравнивает предлагаемое конечное состояние с текущим состоянием. | Лечение против контроля 2 Сравнивает предлагаемое конечное состояние с отсутствием API PS вообще. | Контроль 2 против Контроль 1 Сравнивает оптимизацию ставок со сторонними файлами cookie и без них, без каких-либо PS API. | |
| Методика измерения | Чтобы избежать многовариантного тестирования, используйте сторонние файлы cookie и данные сторонних файлов cookie для измерения показателей конверсии для обеих групп в каждом эксперименте. | ||
| Доход от показа | Эффект | Эффект | Эффект |
| Стандартная ошибка | Стандартная ошибка | Стандартная ошибка | |
| 95% доверительный интервал | 95% доверительный интервал | 95% доверительный интервал | |
| (Добавьте свои собственные показатели) | |||
(Торги) Таблица 2:
Пример таблицы-шаблона для представления описательной статистики по показателям в экспериментальной и контрольной группах (взято со стр. 20 , но тестировщикам следует учитывать, какие показатели наиболее значимы/выполнимы, чтобы предоставить и адаптировать таблицу по мере необходимости) .
| Уход Оптимизация ставок с использованием ARA и любых сторонних файлов cookie, которые вы используете. | Контроль 1 Оптимизация ставок с использованием сторонних файлов cookie и любых используемых вами данных сторонних файлов cookie. | Контроль 2 Оптимизация ставок с использованием только данных сторонних файлов cookie | |
| Методика измерения | Чтобы избежать многовариантного тестирования, используйте сторонние файлы cookie и данные сторонних файлов cookie для измерения показателей конверсий по всем направлениям. | ||
| Доход от показа | Иметь в виду | Иметь в виду | Иметь в виду |
| Среднеквадратичное отклонение | Среднеквадратичное отклонение | Среднеквадратичное отклонение | |
| 25-й и 75-й процентиль | 25-й и 75-й процентиль | 25-й и 75-й процентиль | |
| (добавьте свои собственные показатели) | |||
Цель 3. Нагрузочное тестирование службы агрегации.
См. раздел Платформа нагрузочного тестирования службы агрегации .
,Цель этого руководства — предоставить рекомендации по проведению автономного тестирования API отчетов Privacy Sandbox Attribution Reporting. Подробнее см.: Раздел 12 .
- Измерение результатов контрольной и лечебной групп в экспериментальных схемах CMA 1 и 2 описано в руководстве по тестированию релевантности API , поскольку цель этих экспериментов — проверить эффективность использования защищенной аудитории и тем. Более подробную информацию см. в разделе 11 .
Прежде чем вы начнете
- Ознакомьтесь с рекомендациями по настройке API отчетов по атрибуции.
- Ознакомьтесь с руководством по тестированию CMA: примечание об экспериментах (ноябрь 2022 г.), руководство по тестированию (июнь 2023 г.) и дополнительное руководство по тестированию (октябрь 2023 г.).
Цели оценки и предлагаемая установка эксперимента
Цель 1. Определение эффективности API Attribution Reporting API для создания отчетов.
Мы предлагаем систему A/A для измерения влияния на отчетность.
- Это предложение соответствует рекомендациям CMA по оценке показателей на основе конверсий. Более подробную информацию см. в Разделе 21 и Разделе 12 .
- Мы предпочитаем этот метод режиму A/B , поскольку тестирование API отчетов об атрибуции (ARA) можно выполнить путем одновременного измерения конверсий для одного и того же набора показов с использованием двух разных методологий измерения (сторонние файлы cookie + данные сторонних файлов cookie и ARA + данные сторонних файлов cookie).
- Эксперимент A/A также изолирует влияние API отчетов об атрибуции на измерение конверсий (например, он позволяет избежать любых изменений коэффициентов конверсии из-за отсутствия сторонних файлов cookie).
Рекомендуемые точки анализа
- Выберите сегмент трафика, который достаточно велик для получения статистически значимых результатов и содержит как сторонние файлы cookie, так и API-интерфейсы Privacy Sandbox. В идеале это весь трафик, кроме режима B (который отключает сторонние файлы cookie).
- Мы рекомендуем исключить режим B из эксперимента A/A, поскольку сторонние файлы cookie будут недоступны, и вы не сможете сравнивать результаты ARA с результатами атрибуции на основе сторонних файлов cookie.
- Если вы хотите включить режим B, вам следует рассмотреть возможность включения отчетов об отладке для сегмента трафика режима B. Отчеты об отладке помогут вам устранить любые проблемы с конфигурацией или реализацией.
- Если вы планируете проводить тестирование на меньшем участке трафика, мы ожидаем, что вы получите более шумные, чем ожидалось, результаты измерений. В своем анализе мы рекомендуем отметить, какая часть трафика была использована и сообщаете ли вы результаты на основе зашумленных отчетов или нешумовых отчетов об отладке.
- Для сводных отчетов сводные значения, скорее всего, будут ниже, а служба агрегирования добавит шум из того же распределения независимо от сводного значения.
- Протестируйте различные методики измерения на этом фрагменте трафика.
- Элемент контроля 1. Использовать текущие методологии измерения (сторонние файлы cookie + данные сторонних файлов cookie).
- (необязательно) Вариант 2 — отсутствие Privacy Sandbox и сторонних файлов cookie, то есть только данные сторонних файлов cookie.
- Обратите внимание, что на некоторых сайтах все еще могут быть доступны сторонние файлы cookie. Для получения наиболее точных результатов не используйте эти сторонние файлы cookie для измерения в методологиях «Контроль 2» или «Лечение».
- Обработка — API-интерфейсы Privacy Sandbox и данные сторонних файлов cookie.
- Обратите внимание, что на некоторых сайтах все еще могут быть доступны сторонние файлы cookie. Для получения наиболее точных результатов не используйте эти сторонние файлы cookie для измерения в методологиях «Контроль 2» или «Лечение».
Метрики
- Определите, какие показатели имеют смысл для вашего бизнеса для измерения результатов, и включите описание того, что означает этот показатель и как он измеряется.
- Мы предлагаем сосредоточиться на параметрах и показателях, которые важны для ваших рекламодателей. Например, если ваши рекламодатели сосредоточены на покупках-конверсиях, оцените количество конверсий для них и ценность покупки.
- Метрики, основанные на подсчете или сумме (например, коэффициент конверсии), более идеальны для работы, чем цена за конверсию (например, цена за конверсию). Для анализа A/A показатели затрат могут быть полностью получены на основе значений преобразования количества или суммы.
- Укажите, основаны ли метрики на отчетах уровня событий, сводных отчетах или комбинации обоих отчетов (и использовались ли отчеты об отладке).
- См. предлагаемые шаблонные таблицы, чтобы узнать, как форматировать количественную обратную связь.
Анализ
- Охват:
- Можете ли вы провести измерения среди аналогичной группы пользователей по сравнению со сторонними файлами cookie? Наблюдаете ли вы более высокий охват (например, при переходе из приложения в Интернет)?
- Можете ли вы измерить конверсии (а также параметры или показатели), которые больше всего интересуют вас или ваших рекламодателей?
- Количественная обратная связь
- Например, в отчетах рекламодателя о том, какой процент ключевых конверсий вы можете сообщить для этого рекламодателя или какой процент кампаний соответствует планке качества отчетности (получение планки качества помогает адаптироваться к кампаниям с небольшим количеством конверсий).
- Например, в разрезе рекламодателей, есть ли рекламодатели, которые в большей или меньшей степени зависят от сторонних файлов cookie для составления отчетов сегодня?
- Другие качественные отзывы:
- Как ARA влияет на сложность настройки измерения/атрибуции рекламодателей?
- Помогает или мешает ARA рекламодателям сосредоточиться на важных для них показателях и целях?
Рекомендуемые шаблонные таблицы для отчетности о влиянии
(Отчетность) Таблица 1:
Пример таблицы-шаблона для отчета о результатах экспериментов в CMA (взято со стр. 18 , но тестировщикам следует учитывать, какие показатели наиболее значимы/выполнимы, чтобы предоставить и адаптировать таблицу по мере необходимости) .
| Лечение против контроля 1 Сравнивает предлагаемое конечное состояние с текущим состоянием. | Лечение против контроля 2 Сравнивает предлагаемое конечное состояние с отсутствием API PS вообще. | Контроль 2 против Контроль 1 Сравнивает показатели конверсий со сторонними файлами cookie и без них, без каких-либо PS API. | |
| Методика измерения | Сравните показатель конверсии для лечения (ARA с данными сторонних файлов cookie) с контролем 1 (сторонние файлы cookie и данные сторонних файлов cookie) | Сравните показатель конверсии для лечения (ARA с данными сторонних файлов cookie) с контролем 2 (только данные сторонних файлов cookie) | Сравните измерение конверсий для контрольного варианта 2 (только данные сторонних файлов cookie) с контролем 1 (сторонние файлы cookie и данные сторонних файлов cookie). |
| Конверсий на доллар | Эффект | Эффект | Эффект |
| Стандартная ошибка | Стандартная ошибка | Стандартная ошибка | |
| 95% доверительный интервал | 95% доверительный интервал | 95% доверительный интервал | |
| Всего конверсий | Эффект | Эффект | Эффект |
| Стандартная ошибка | Стандартная ошибка | Стандартная ошибка | |
| 95% доверительный интервал | 95% доверительный интервал | 95% доверительный интервал | |
| Коэффициент конверсии | Эффект | Эффект | Эффект |
| Стандартная ошибка | Стандартная ошибка | Стандартная ошибка | |
| 95% доверительный интервал | 95% доверительный интервал | 95% доверительный интервал | |
| (добавьте свои собственные показатели) |
(Отчетность) Таблица 2:
Пример таблицы-шаблона для представления описательной статистики по показателям в экспериментальной и контрольной группах (взято со стр. 20 , но тестировщикам следует учитывать, какие показатели наиболее значимы/выполнимы, чтобы предоставить и адаптировать таблицу по мере необходимости) .
| Метрика | Уход Измерение конверсий с использованием ARA и любых сторонних данных cookie, которые вы используете. | Контроль 1 Измерение конверсий с использованием сторонних файлов cookie и любых данных сторонних файлов cookie, которые вы используете. | Контроль 2 Измерение конверсий только с использованием данных сторонних файлов cookie |
| Конверсий на доллар | Иметь в виду | Иметь в виду | Иметь в виду |
| Среднеквадратичное отклонение | Среднеквадратичное отклонение | Среднеквадратичное отклонение | |
| 25-й и 75-й процентиль | 25-й и 75-й процентиль | 25-й и 75-й процентиль | |
| Всего конверсий | Иметь в виду | Иметь в виду | Иметь в виду |
| Среднеквадратичное отклонение | Среднеквадратичное отклонение | Среднеквадратичное отклонение | |
| 25-й и 75-й процентиль | 25-й и 75-й процентиль | 25-й и 75-й процентиль | |
| Коэффициент конверсии | Иметь в виду | Иметь в виду | Иметь в виду |
| Среднеквадратичное отклонение | Среднеквадратичное отклонение | Среднеквадратичное отклонение | |
| 25-й и 75-й процентиль | 25-й и 75-й процентиль | 25-й и 75-й процентиль | |
| (добавьте свои собственные показатели) |
Цель 2. Определение эффективности API отчетов об атрибуции для оптимизации ставок.
Мы предлагаем настройку A/B для измерения влияния на оптимизацию ставок.
- Чтобы измерить влияние на оптимизацию ставок, вам необходимо обучить две разные модели машинного обучения и использовать их на двух фрагментах трафика. Одна модель обучена на текущих методологиях измерения (сторонние файлы cookie + данные сторонних файлов cookie), чтобы быть применяется к контрольной группе, а одна модель обучена API отчетов об атрибуции + данные сторонних файлов cookie, которые будут применяться к обрабатывающей группе.
- Обучение модели должно основываться на таком объеме трафика, который тестер сочтет необходимым для максимизации производительности, даже если обрабатывающая группа представляет собой меньший сегмент трафика и существует перекрытие между обучающими совокупностями (например, используйте существующую модель сторонних файлов cookie). то есть обучение на всем трафике и обучение модели ARA на всем трафике ARA, включенном для цели 1).
- При отправке результатов в CMA обратите внимание, существует ли значительная разница между срезами трафика, используемыми для обучения различных моделей (например, если сторонние модели на основе файлов cookie обучаются на 100 % трафика, а модели на основе ARA обучаются только на 1% трафика).
- Если возможно, обучение моделям лечения и контрольных торгов должно проводиться в течение одинакового периода времени.
- Подумайте, следует ли вам постоянно обучать и обновлять модели ставок во время эксперимента, и если да, то следует ли вам тренироваться на максимально возможном объеме трафика или только на трафике из групп обработки и контроля.
- Различные модели следует использовать на непересекающихся участках трафика в качестве эксперимента A/B. Для рандомизации и распределения пользователей по группам лечения и контроля мы рекомендуем использовать помеченные группы браузеров с помощью Chrome ( режим A ) или провести собственный эксперимент со случайными наборами браузеров. Мы не рекомендуем использовать режим B , поскольку отсутствие сторонних файлов cookie затруднит составление отчетов по показателям конверсий.
- Группы браузеров, поддерживаемые Chrome, будут исключать некоторые экземпляры Chrome, например пользователей Enterprise Chrome, тогда как ваши собственные рандомизированные наборы браузеров могут не исключать эти экземпляры Chrome. Поэтому вам следует проводить эксперимент только с группами режима A или только с группами, не поддерживающими режим A/режим B, чтобы избежать сравнения показателей, полученных в группах с поддержкой Chrome, с показателями, полученными за пределами групп с поддержкой Chrome.
- Если вы не используете помеченные группы браузеров с поддержкой Chrome (например, проводите эксперимент с другим трафиком):
- Убедитесь, что разделение пользователей на лечение и контроль является рандомизированным и беспристрастным. Независимо от состава экспериментальной группы, оцените характеристики лечения и контрольной группы, чтобы обеспечить сопоставимость групп лечения и контроля. (См.: Раздел 15 )
- Убедитесь, что характеристики пользователей и конфигурации кампаний в лечебной и контрольной группах одинаковы (например, используйте одинаковые географические регионы как в лечебной, так и в контрольной группах). (См.: Раздел 28 )
- Конкретные примеры включают в себя: убедитесь, что аналогичные типы конверсий измеряются с использованием одного и того же окна атрибуции и одной и той же логики атрибуции, кампании ориентированы на схожие аудитории, группы интересов и географические регионы, а также используют схожие рекламные тексты и форматы объявлений.
- Убедитесь, что первоначальные размеры популяции для экспериментальной и контрольной групп достаточно велики, чтобы обеспечить гибкость для проведения торгов и экспериментов.
- При использовании помеченных групп браузеров с поддержкой Chrome ( режим A ) рандомизация экземпляров браузера Chrome в группы выполняется Chrome. Рекомендуется, как и прежде, проверить, что в результате рандомизации создаются несмещенные/сопоставимые группы для ваших целей.
Рекомендуемые точки анализа
- Мы рекомендуем определить группы контроля и лечения и использовать разные модели машинного обучения для оптимизации ставок для каждой группы:
- Вариант 1 – использовать модель оптимизации ставок, обученную на основе текущих методологий измерения (сторонние файлы cookie + данные сторонних файлов cookie).
- (необязательно) Вариант 2 – использовать модель оптимизации ставок, обученную без Privacy Sandbox и сторонних файлов cookie, то есть только с данными сторонних файлов cookie.
- Обратите внимание, что на некоторых сайтах все еще могут быть доступны сторонние файлы cookie — для получения наиболее точных результатов не используйте эти сторонние файлы cookie для измерения в методологиях «Контроль 2» или «Лечение».
- Лечение – используйте модель оптимизации ставок, обученную на основе API отчетов об атрибуции и данных сторонних файлов cookie.
- Обратите внимание, что на некоторых сайтах все еще могут быть доступны сторонние файлы cookie — для получения наиболее точных результатов не используйте эти сторонние файлы cookie для измерения в методологиях «Контроль 2» или «Лечение».
Метрики
- Определите, какие показатели имеют смысл для вашего бизнеса для измерения результатов, и включите описание того, что означает этот показатель и как он измеряется.
- Например, значимым показателем могут быть расходы (доход издателя), что соответствует рекомендациям CMA, позволяющим понять влияние прекращения поддержки сторонних файлов cookie на «Доход от показа». Более подробную информацию см. в разделе 19 .
- Если вы сообщаете о каких-либо показателях, основанных на конверсиях, вам следует использовать одну и ту же методологию измерения для каждой группы, чтобы избежать многомерного тестирования (проверка влияния на оптимизацию и отчетность в одном эксперименте). См. предлагаемые шаблонные таблицы, чтобы узнать, как форматировать количественную обратную связь.
- Рассмотрите другие способы сбора показателей эффективности оптимизации ставок, например использование моделирования ставок. Существуют ли какие-либо смоделированные показатели, которые были бы полезны для понимания влияния сторонних файлов cookie и ARA на ваши модели назначения ставок?
- Укажите, основаны ли метрики на отчетах уровня событий, сводных отчетах или комбинации обоих отчетов (и использовались ли отчеты об отладке).
Анализ
- Охват:
- Можете ли вы провести измерения среди аналогичной группы пользователей по сравнению со сторонними файлами cookie? Видите ли вы какие-либо изменения в охвате (например, в связи с переходом из приложения в Интернет)?
- Можете ли вы измерить конверсии (а также параметры/показатели), которые больше всего интересуют вас или ваших рекламодателей?
- Как различия между группами повлияют на следующее:
- Отчеты рекламодателей, например. о каком проценте ключевых конверсий вы сможете сообщить.
- Например, обучение и оптимизация моделируют влияние различных данных преобразования на производительность модели.
- Другие качественные отзывы:
- Как ARA влияет на сложность настройки оптимизации ставок рекламодателей?
- Помогает или мешает ARA рекламодателям сосредоточиться на важных для них показателях и целях?
Рекомендуемые шаблонные таблицы для определения влияния ставок
(Торги) Таблица 1:
Пример шаблонной таблицы экспериментальных результатов, которую участники рынка должны представить в CMA (взято со стр. 18 , но тестировщикам следует подумать, какие показатели наиболее значимы/выполнимы, и адаптировать таблицу по мере необходимости) .
| Лечение против контроля 1 Сравнивает предлагаемое конечное состояние с текущим состоянием. | Лечение против контроля 2 Сравнивает предлагаемое конечное состояние с отсутствием API PS вообще. | Контроль 2 против Контроль 1 Сравнивает оптимизацию ставок со сторонними файлами cookie и без них, без каких-либо PS API. | |
| Методика измерения | Чтобы избежать многовариантного тестирования, используйте сторонние файлы cookie и данные сторонних файлов cookie для измерения показателей конверсии для обеих групп в каждом эксперименте. | ||
| Доход от показа | Эффект | Эффект | Эффект |
| Стандартная ошибка | Стандартная ошибка | Стандартная ошибка | |
| 95% доверительный интервал | 95% доверительный интервал | 95% доверительный интервал | |
| (Добавьте свои собственные показатели) | |||
(Торги) Таблица 2:
Пример таблицы-шаблона для представления описательной статистики по показателям в экспериментальной и контрольной группах (взято со стр. 20 , но тестировщикам следует учитывать, какие показатели являются наиболее значимыми/выполнимыми, чтобы предоставить и адаптировать таблицу по мере необходимости) .
| Уход Оптимизация ставок с использованием ARA и любых сторонних файлов cookie, которые вы используете. | Контроль 1 Оптимизация ставок с использованием сторонних файлов cookie и любых используемых вами данных сторонних файлов cookie. | Контроль 2 Оптимизация ставок с использованием только данных сторонних файлов cookie | |
| Методика измерения | Чтобы избежать многовариантного тестирования, используйте сторонние файлы cookie и данные сторонних файлов cookie для измерения показателей конверсий по всем направлениям. | ||
| Доход от показа | Иметь в виду | Иметь в виду | Иметь в виду |
| Среднеквадратичное отклонение | Среднеквадратичное отклонение | Среднеквадратичное отклонение | |
| 25-й и 75-й процентиль | 25-й и 75-й процентиль | 25-й и 75-й процентиль | |
| (добавьте свои собственные показатели) | |||
Цель 3. Нагрузочное тестирование службы агрегации.
См. раздел Платформа нагрузочного тестирования службы агрегации .