Платформа нагрузочного тестирования службы агрегации

Мы приветствуем ваши отзывы об этом документе, поскольку мы готовимся добавить его в наш общедоступный репозиторий руководств.

Мы рекомендуем рекламным специалистам проводить нагрузочное тестирование 100 % производственного трафика:

  1. Специалисты по рекламе должны иметь доступ к измерениям атрибуции конверсий, используя API отчетов об атрибуции в качестве сценариев использования отчетов.
  2. Рекламные технологии должны принимать дизайнерские решения, сводя к минимуму шум (ссылка: смоделированные дизайнерские решения ).
  3. Во время тестирования рекламные специалисты должны отслеживать количество заданий, которые они выполняют в день (например, заданий на каждого рекламодателя), примерное распределение объема событий конверсии и количество агрегированных ключей в качестве входных данных для каждого задания обработки (см. параметр задания output_domain_blob_prefix в службе агрегирования). документация API ) и примерное среднее количество событий-конверсий на входной отчет.
  4. Для тестирования специалисты по рекламе должны найти рекомендуемый тип экземпляра в таблице рекомендаций по определению размера на основе ожидаемого размера задания (т. е. объема отчета, размера домена) и соответствующим образом определить размер развернутой службы агрегирования. Ссылка: Руководство по определению размера агрегированного сервиса на AWS.
  5. Специалисты по рекламе должны выполнять задания по агрегированию для нагрузочных тестов.

Цели

Это руководство предназначено специально для совокупного измерения атрибуции конверсий и будет включать ключевые инструкции по установке и настройке, предназначенные для использования рекламными специалистами для:

  • Оцените ожидаемую нагрузку для совокупного измерения атрибуции конверсий.
  • Оптимизируйте их ключевые настройки и конфигурацию для повышения производительности и шума на основе параметров и целей, которые они намеревались измерить, а также размера и сегментации своих рекламодателей.

Предварительное условие

Это руководство предназначено для аудитории, специализирующейся на рекламных технологиях. Прежде чем выполнять следующие шаги, вам следует ознакомиться с нашей документацией по работе с шумом , решениями по проектированию сводных отчетов и поэкспериментировать с лабораторией шума для оптимальной конфигурации.

Шаги

1. Стратегия первоначальной настройки ключа агрегирования

Определите, сколько различных ключевых структур (т. е. набора измерений) вам понадобится в зависимости от типа вашего бизнеса и целей. Обратите внимание, что оптимизация структуры ключей может помочь уменьшить шум в отчетах.

Количество рекламодателей, которые у вас есть
Например, предположим, что у вас есть 1000 рекламодателей .

Сходства между вашими рекламодателями
Сходства следует оценивать на основе объема конверсий, относительной ценности конверсий и общего охвата характеристик рекламодателя. Чем более похожими вы сможете их сгруппировать, тем точнее будут ваши результаты (из-за меньшего отклонения выходных значений) и, следовательно, тем меньше будет влияние шума. Дополнительные сведения см. в разделе расширенного управления ключами . Например, рекламная компания может сегментировать своих рекламодателей по отраслям, расходам и объему конверсий следующим образом:

  • Отрасль (например: страхование, ювелирные изделия, развивающаяся розничная торговля)
  • Расходы (например: <50 000 долларов США в квартал, 50–150 000 долларов США в квартал, 150 000–250 000 долларов США в квартал).
  • Объем конверсий (низкий, средний, высокий)

Количество совокупных ключевых структур, которые необходимо создать
Например, 27 (3x3x3): 3 отрасли, 3 типа расходов и 3 группы по ценности конверсий.

2. Определите ключевые параметры агрегирования

Затем определите важные параметры, которые вы хотели бы отслеживать как по показам, так и по конверсиям, чтобы оценить количество ключей источника и триггера.

Для каждой структуры ключей агрегации важные параметры, которые необходимо отслеживать для показов , помогут вам определить количество ключей на стороне источника. Размеры будут зависеть от типа рекламодателя, указанного выше (т. е. отрасль, расходы, конверсия). Следующие примеры помогут объяснить размеры:

  • Ключевая структура 1: (Отрасль = страхование, расходы = <50 000, объем конверсий = низкий)

    • A: 4 измерения: кампания (например: 50 возможностей), группа объявлений (например: 20 возможностей), тип устройства (например: 5 возможностей), гео (например: 50 возможностей).
      1. Возможные размерные комбинации = 50 х 20 х 5 х 50 = 250 000 . Это представляет количество возможных размерных комбинаций для ключей на стороне источника для структуры ключа 1.
      2. Необходимо зарезервировать 18 бит (18 бит = 262 144 возможных комбинации)

  • Ключевая структура 2: (Отрасль = страхование, расходы = <50 000, объем конверсии = средний)

    • A: 4 измерения: кампания (например: 30 возможностей), группа объявлений (например: 80 возможностей), тип объявления (например: 3 возможности), гео (например: 50 возможностей).
      1. Возможные размерные комбинации = 30 х 80 х 3 х 50 = 360 000 . Это представляет собой количество возможных комбинаций измерений или ключей на стороне источника для ключевой структуры 2.
      2. Необходимо зарезервировать 19 бит (19 бит) = 524 288 возможных комбинаций)

  • Ключевая структура 3: Повторите (аналогично спланируйте все имеющиеся у вас ключевые структуры)

Для каждой структуры ключей агрегирования важные параметры, которые необходимо отслеживать для конверсий , помогут вам определить боковые ключи триггера. Например:

  • Ключевая структура 1: (Отрасль = страхование, расходы = <50 000, объем конверсий = низкий)

    • A: 2 измерения: категория продукта (например: 100 возможностей), тип конверсии (например: 5 возможностей)
      1. Возможные размерные комбинации = 100 х 5 = 500
      2. Необходимо зарезервировать 9 бит (9 бит = 512 возможных комбинаций)

  • Ключевая структура 2: (Отрасль = страхование, расходы = <50 000, объем конверсии = средний)

    • A: 3 измерения: категория продукта (например: 50 возможностей), тип продукта (10 возможностей), тип преобразования (3 возможности).
      1. Возможные размерные комбинации = 50 х 10 х 3 = 1500.
      2. Необходимо зарезервировать 11 бит (11 бит = 2048 возможных комбинаций)

  • Ключевая структура 3: Повторите (аналогично спланируйте все имеющиеся у вас ключевые структуры)

Оценки совокупных ключей

  • Ключевая структура 1: 250 000 ключей показов x 500 ключей конверсии = 125 000 000 ключей.
  • Ключевая структура 2: 360 000 ключей показов x 1,5 тыс. ключей конверсии = 540 000 000 ключей.
  • Ключевая структура 3: (аналогично спланируйте все имеющиеся у вас ключевые структуры)
  • Повторите для каждой ключевой структуры.
  • Максимальное количество совокупных ключей = 540 000 000 ключей (во всех ключевых структурах). Необходимо зарезервировать 30 бит (30 бит = 1,07 млрд возможных комбинаций)

Ожидаемый объем конверсий

Для каждой структуры ключей агрегирования ожидаемый объем можно объяснить с помощью следующих примеров:

  • Ключевая структура 1: (Отрасль = страхование, расходы = <50 000, объем конверсий = низкий)
    • Ответ: Предполагается, что в следующем квартале расходы рекламодателей на Ключевую структуру 1 составят около 500 000 долларов США при средней цене за тысячу показов 8 долларов США. Ожидайте, что это приведет к 62 500 000 показов, которые необходимо зарегистрировать.
    • Предположим, что среднее соотношение показов и конверсий, которое будет составлять ключевая структура 1, в следующем квартале составит 0,08 %, в результате чего необходимо будет зарегистрировать 50 000 атрибутированных конверсий . Для каждой конверсии измеряйте стоимость покупки и количество покупок.
  • Ключевая структура 2: (Отрасль = страхование, расходы = <50 000, объем конверсии = средний)
    • Ответ: Ожидается, что расходы на Ключ 2 в следующем квартале составят около 800 000 долларов США при средней цене за тысячу показов 10 долларов США. Ожидайте, что это приведет к 80 000 000 показов, которые необходимо будет зарегистрировать.
    • Предположим, что среднее соотношение показов и конверсий, которое ключ 2 составит в следующем квартале, составит 0,03125 %, в результате чего необходимо будет зарегистрировать 25 000 атрибутированных конверсий . Для каждой конверсии измеряйте стоимость покупки и количество покупок.
  • Повторите для каждой ключевой структуры.

Отчетность по доставке и частоте пакетирования (пакет на каждого рекламодателя)**

Для каждой структуры ключей агрегирования вам потребуются периодические отчеты о конверсиях. Мы рекомендуем специалистам по рекламе группировать данные по рекламодателям (для более четкого разделения данных по отчетам и более эффективного агрегирования) и использовать для пакетной обработки поле shared_info.scheduled_report_time отчета.

  • А: ежечасно
  • Б: Ежедневно
  • С: еженедельно

Примечания

  • Для группирования по рекламодателям проверьте соглашения об уровне обслуживания с рекламодателями.

  • Более частая обработка партий будет сопровождаться более высоким уровнем шума на партию. (См.: Решение: Частота пакетов ).

  • Чтобы избежать ошибок из-за неправильной пакетной обработки, убедитесь, что пакеты используют поле scheduled_report_time , а не report arrival time . Например: если вы выполняете пакетную обработку каждый час, пакет для 11:00 должен включать только отчеты с scheduled_report_time между 10:00 и 11:00, а не отчеты, поступившие между 10:00 и 11:00 с другим scheduled_report_time (например: 9:00).

Оценки объема отчета

  • Ключевая структура 1: 50 000 атрибутированных конверсий / 2160 (почасовая отчетность, часы в квартале) = 24 сводных отчета в час на каждого рекламодателя (24 x 1000 рекламодателей = 24 тыс. сводных отчетов).
  • Ключевая структура 2: 25 000 атрибутированных конверсий / 2160 (почасовая отчетность, часы в квартале) = 12 сводных отчетов в час на каждого рекламодателя (12 x 1000 рекламодателей = 12 000 сводных отчетов).
  • Ключевая структура 3: Повторение
  • Общее количество сводных отчетов в час = 24 сводных отчета для ключевой структуры 1 + 12 сводных отчетов для ключевой структуры 2 + ... = ... в час на одного рекламодателя.

Сводка отзывов

Понимание следующих оценок рекламных специалистов поможет нам спланировать функции и улучшения для поддержки масштаба, необходимого рекламным технологиям. Мы предлагаем вам поделиться с нами нижеследующим. Дополнительную информацию см. в нашем руководстве по определению размера службы агрегации на AWS :

  • Максимальное количество входных ключей домена (ключей для агрегирования) для каждого задания службы агрегирования.
  • Максимальный объем входных отчетов на задание (атрибутивные конверсии)
  • Предполагаемый вклад в каждый отчет (пары ключ/значение в отчете)
  • Предполагаемое распределение связанных конверсий по каждому заданию
  • Предполагаемое распределение ключей домена в задании
  • Примерное количество рабочих мест в час/день/неделю