Служба агрегации

Служба агрегирования генерирует сводные отчеты с подробными данными о конверсиях и измерениями охвата на основе необработанных агрегированных отчетов. У рекламных специалистов есть две основные точки входа для агрегирования на стороне клиента для направления отчетов в службу агрегации либо через API отчетов по атрибуции, либо через API частной агрегации.

Статус реализации

Доступность

Предложение Статус
Поддержка службы агрегации для веб-служб Amazon (AWS) через API отчетов об атрибуции, API частной агрегации.
Объяснитель
Доступный
Поддержка службы агрегации для Google Cloud через API отчетов об атрибуции и API частной агрегации.
Объяснитель
Доступный
Регистрация сайта службы агрегации и агрегация нескольких источников. Регистрация сайта включает сопоставление сайта с облачными учетными записями (AWS или GCP). Чтобы объединить несколько источников, они должны находиться на одном сайте.
Часто задаваемые вопросы на GitHub
Документация по API агрегации сайтов
Доступный
Значение эпсилон Службы агрегирования будет сохранено в диапазоне до 64, чтобы облегчить экспериментирование и обратную связь по различным параметрам.
Отправьте отзыв об ARA epsilon .
Отправьте отзыв о PAA epsilon .
Доступный. Мы предоставим экосистеме предварительное уведомление перед обновлением значений диапазона эпсилон.
Более гибкая фильтрация вкладов для запросов службы агрегации.
Объяснитель
Доступный
Процесс восстановления бюджета после стихийных бедствий (ошибок, неправильных конфигураций и т. д.)
Объяснитель
Доступный
Механизм для проверки процента общих идентификаторов, восстановленных рекламной технологией с использованием возмещения бюджета, и приостановки будущих возмещений в случае чрезмерного восстановления, запланированного на первое полугодие 2025 года.
Accenture выступает в качестве одного из координаторов AWS
Блог разработчиков
Доступный
Независимая сторона, действующая в качестве одного из координаторов в Google Cloud.
Блог разработчиков
Доступный
Поддержка службы агрегирования для агрегированных отчетов об отладке API отчетов об атрибуции
Объяснитель
Доступный

Ключевые термины и понятия

Если вы планируете использовать службу агрегирования в своем рабочем процессе по рекламным технологиям, следующие термины и понятия помогут вам лучше понять, что этот новый процесс агрегирования может предоставить вашей команде:

术语 说明
汇总服务 由广告技术平台运营的服务,用于处理可汇总报告以创建摘要报告。
可汇总的报告

Агрегированные отчеты — это зашифрованные отчеты, отправляемые с отдельных пользовательских устройств. Эти отчеты содержат данные о поведении пользователей и конверсиях на разных сайтах. Конверсии (иногда называемые триггерными событиями атрибуции) и связанные с ними показатели определяются рекламодателем или рекламным специалистом. Каждый отчет шифруется, чтобы предотвратить доступ различных сторон к базовым данным.

详细了解可汇总的报告
可汇总报告的会计核算 位于两个协调器中的分布式账本,用于跟踪分配的隐私预算并强制执行“无重复”规则。这是一种隐私保护机制,位于协调者中并在其中运行,可确保通过汇总服务传递的报告不会超出分配的隐私预算。 详细了解批处理策略与可汇总报告的关系。
可汇总报告的会计核算预算 对预算的引用,用于确保报告不会被处理多次。
可信执行环境 (TEE)

Доверенная среда выполнения — это специальная конфигурация компьютерного оборудования и программного обеспечения, которая позволяет внешним сторонам проверять точные версии программного обеспечения, работающего на компьютере. TEE позволяют внешним сторонам проверять, что программное обеспечение делает именно то, что заявляет производитель программного обеспечения, — ни больше, ни меньше.

Чтобы узнать больше о TEE, используемых в предложениях Privacy Sandbox, прочтите пояснение к службам API защищенной аудитории и объяснение службы агрегации .

协调员

Координатор – лицо, отвечающее за управление ключами и учет агрегированной отчетности. Координатор ведет список хешей утвержденных конфигураций службы агрегации и настраивает доступ к ключам расшифровки.

共享 ID 计算值,由以下各项组成:shared_inforeporting_origindestination_site(仅适用于 Attribution Reporting API)、source_registration-time(仅适用于 Attribution Reporting API)、scheduled_report_timeversion。 这意味着,如果多个报告具有相同的 shared_info 字段属性,则它们属于同一共享 ID。这在可汇总报告会计中起着重要作用。 详细了解可信服务器。
汇总报告

Сводный отчет – это тип отчета API отчетов об атрибуции и API частного агрегирования. Сводный отчет включает в себя агрегированные данные о пользователях и может содержать подробные данные о конверсиях с добавлением шума. Сводные отчеты состоят из совокупных отчетов. Сводные отчеты обеспечивают большую гибкость и более богатую модель данных, чем отчеты на уровне событий, особенно для некоторых вариантов использования, таких как значения конверсий.

举报来源

Источником отчетности является объект, который получает агрегированные отчеты, другими словами, рекламная технология, которая называется API отчетов по атрибуции. Агрегированные отчеты отправляются с пользовательских устройств на известный URL-адрес, связанный с источником отчетов. Источник отчетности должен быть указан во время регистрации.

贡献债券 可汇总的报告可以包含任意数量的计数器增量。例如,报告中可能包含用户在广告客户网站上查看过的商品数量。与单个来源事件相关的所有可汇总报告中的增量之和不得超过给定限制“L1=2^16”。 如需了解详情,请参阅可汇总报告说明
噪声和缩放 在汇总过程中,系统会向摘要报告添加一定量的统计噪声,这也有助于保护隐私并确保最终报告提供匿名化效果衡量信息。详细了解加法噪声机制,该机制是从拉普拉斯分布中提取的。
证明

Аттестация — это механизм аутентификации идентичности программного обеспечения, обычно с помощью криптографических хешей или подписей. Для предложения службы агрегации аттестация сопоставляет код, работающий в службе агрегации, управляемой рекламными технологиями, с открытым исходным кодом.

详细了解证明

Подробнее о предыстории Службы агрегирования читайте в нашем пояснении и в полном списке терминов .

Варианты использования агрегирования

Рассмотрим следующие пути разработчиков для измерения рекламы и соответствующие клиентские библиотеки для измерения.

Вариант использования Точка входа Описание
Оптимизация ставок API отчетов по атрибуции (Chrome и Android) Используйте агрегированные отчеты для получения сигналов о конверсиях в целях оптимизации ставок.
Межплатформенное измерение API отчетов по атрибуции (Chrome и Android) Используйте возможности измерения через Интернет и приложения, чтобы получить представление о производительности Chrome и Android.
Отчеты о конверсиях API отчетов по атрибуции (Chrome и Android) Создавайте агрегированные отчеты о конверсиях, адаптированные к потребностям кампаний клиентов (включая CTC и VTC).
Измерение охвата кампании API общего хранилища и API частного агрегирования (Chrome) Используйте переменные просмотра межсайтовой рекламы, чтобы измерить охват кампании.
Демографическая отчетность API общего хранилища и API частного агрегирования (Chrome) Используйте просмотр межсайтовой рекламы и демографическую информацию, чтобы измерить охват по демографическим группам.
Анализ пути конверсии API общего хранилища и API частного агрегирования (Chrome) Сохраняйте переменные просмотра межсайтовой рекламы и конверсии для выполнения совокупного анализа пути конверсии.
Бренд и рост конверсий API общего хранилища и API частного агрегирования (Chrome) Отчетность по тестовым/контрольным группам и информация опросов для измерения подъема бренда и его прироста.
Отладка аукциона API защищенной аудитории и API частного агрегирования (Chrome) Используйте агрегированные отчеты для отладки.
Распределение ставок API защищенной аудитории и API частного агрегирования (Chrome) Используйте агрегированные отчеты, чтобы отслеживать распределение значений ставок на аукционах.

Сквозной поток

На следующей диаграмме показана служба агрегации в действии. Мы сосредоточимся на сквозном процессе от получения отчетов из Интернета и мобильных устройств до создания сводных отчетов в службе агрегирования.

Поток службы сквозного агрегирования

  1. Получите открытый ключ для создания зашифрованных отчетов.
  2. Зашифрованные агрегированные отчеты отправляются на серверы рекламных технологий для сбора, преобразования и пакетной обработки.
  3. Сервер рекламных технологий группирует отчеты (в формате avro) и отправляет их в развернутую службу агрегации. (Должен быть выполнен специалистом по рекламе).
  4. Получение агрегированных отчетов для расшифровки.
  5. Получить ключи дешифрования от координаторов.
  6. Служба агрегации расшифровывает отчеты для агрегирования и зашумления.
  7. Служба учета агрегированных отчетов проверяет, остался ли бюджет конфиденциальности для создания сводного отчета для данных агрегированных отчетов.
  8. Предоставьте окончательный сводный отчет.

На диаграмме вы можете увидеть общую связь, которую имеет служба агрегации с основными API измерения клиентов, API отчетов по атрибуции , API частной агрегации и координаторами.

Процесс начинается с различных API-интерфейсов измерений, таких как API отчетов об атрибуции или API частного агрегирования, которые создают отчеты из нескольких экземпляров браузера. Chrome берет открытый ключ из службы хостинга ключей в координаторе для шифрования отчетов перед их отправкой в ​​источник отчетов рекламной технологии. Открытые ключи меняются каждые семь дней.

Как только источник отчетов рекламной технологии получит эти отчеты, источник отчетов должен быть настроен на сбор и преобразование этих отчетов в формат avro и отправку в развернутый экземпляр службы агрегации. Ознакомьтесь со стратегиями пакетной обработки .

Как только рекламная технология готова к пакетной обработке, она создает пакетный запрос в службу агрегации, где отчеты расшифровываются путем получения ключей расшифровки из службы хостинга ключей, а затем агрегируются и обрабатываются для создания сводного отчета. Имейте в виду, что это зависит от того, достаточно ли бюджета на конфиденциальность для создания окончательных сводных отчетов.

Конечная точка источника отчетов о рекламных технологиях, где собираются отчеты, размещается у рекламной технологии, а служба агрегации развертывается в облаке рекламной технологии.

Пакетная обработка агрегированных отчетов

Поток отчетов не был бы полным без помощи назначенного сервера источника отчетов. Это источник, который рекламная технология должна была бы указать в процессе регистрации. Основными действиями, за которые отвечает источник отчетов, будут сбор, преобразование и пакетирование полученных агрегированных отчетов и подготовка их к отправке в развернутую службу агрегации рекламной технологии в Google Cloud или Amazon Web Services. Узнайте больше о том, как подготовить агрегированные отчеты .

Теперь, когда у вас есть общая концепция, присмотритесь к компонентам, которые будут развернуты в вашей службе агрегации.

Облачные компоненты

Служба агрегации состоит из различных компонентов облачной службы. Предоставленные сценарии Terraform предоставляют и настраивают все необходимые компоненты облачных служб.

Облачные компоненты службы агрегации

Фронтенд-сервис

Управляемая облачная служба: облачная функция (Google Cloud)/шлюз API (веб-службы Amazon)

Frontend Service — это бессерверный шлюз, который служит точкой входа для вызовов API агрегации для создания заданий и получения состояния заданий. Он отвечает за получение запросов от пользователей службы агрегации, проверку входных параметров и инициирование процесса планирования заданий агрегации.

Во Frontend Service доступны два API:

Конечная точка Описание
createJob Этот API запускает задание службы агрегации. Для запуска задания требуется такая информация, как идентификатор задания, сведения о входном хранилище, сведения о выходном хранилище, источник отчета и многое другое.
getJob Этот API возвращает статус задания для указанного идентификатора задания. Он предоставляет информацию о состоянии задания, например «Получено», «В процессе» или «Завершено». Кроме того, если задание завершено, отображается его результат, включая все сообщения об ошибках, возникшие во время выполнения задания.

Ознакомьтесь с документацией по API службы агрегации .

Очередь заданий

Управляемая облачная служба: Pub/Sub (Google Cloud) / Amazon SQS (веб-службы Amazon)

Очередь заданий — это очередь сообщений, в которой хранятся запросы заданий для службы агрегирования. Служба внешнего интерфейса вставляет в очередь сообщения с запросом задания, которые затем используются работником агрегации для обработки запроса задания.

Облачное хранилище

Управляемая облачная служба: Облачное хранилище Google (Google Cloud) / Amazon S3 (Amazon Web Services). Облачное хранилище используется для хранения входных и выходных файлов, используемых службой агрегации (примеры: зашифрованные файлы отчетов, выходные сводные отчеты и т. д.).

База данных метаданных вакансий

Управляемая облачная служба: Spanner (Google Cloud) / DynamoDB (веб-службы Amazon)

База данных метаданных заданий хранит и отслеживает статус заданий агрегирования. В базе данных хранятся метаданные, такие как время создания, время запроса, время обновления и состояние (примеры: «Получено», «В процессе», «Завершено» и т. д.). Aggregation Worker обновляет базу данных метаданных задания по мере выполнения задания.

Агрегационный работник

Управляемая облачная служба: вычислительная система с конфиденциальным пространством (Google Cloud) / Amazon Web Services EC2 с Nitro Enclave (Amazon Web Services)

Aggregation Worker обрабатывает запросы заданий, инициированные запросом задания в очереди заданий , расшифровывая зашифрованные входные данные с помощью ключей, полученных из службы генерации и распространения ключей (KGDS) в координаторах. Чтобы минимизировать задержку обработки заданий, ключи дешифрования кэшируются в Aggregation Worker на 8 часов и могут использоваться для всех заданий, обрабатываемых этим экземпляром Worker.

Рабочий работает в экземпляре доверенной среды выполнения (TEE) . Каждый работник одновременно выполняет только одну работу. Рекламные технологии могут настроить несколько работников для параллельной обработки заданий, установив конфигурацию автоматического масштабирования. Благодаря автоматическому масштабированию количество воркеров динамически регулируется в зависимости от количества сообщений, остающихся в очереди заданий . Минимальное и максимальное количество воркеров для автоматического масштабирования можно настроить через файл среды Terraform. Дополнительную информацию об автомасштабировании можно найти в следующих скриптах terraform. [ Веб-сервисы Amazon / Облако Google ]

Aggregation Worker вызывает службу Aggregatable Report Accounting для учета агрегированных отчетов. Служба учета агрегированных отчетов будет гарантировать, что задания выполняются только до тех пор, пока они еще не превысили лимит бюджета конфиденциальности. (См. правило «Нет дубликатов» ). Если бюджет доступен, сводный отчет создается с использованием зашумленных агрегатов. Подробнее о агрегированном отчете по бухгалтерскому учету читайте .

Aggregation Worker обновляет метаданные задания в базе данных метаданных задания, включая соответствующие коды возврата задания и счетчики ошибок отчетов в случае частичных сбоев отчета. Пользователи могут получить состояние с помощью API получения состояния задания ( getJob ).

Более подробное описание Службы агрегации можно найти в нашем объяснителе .

Следующие шаги

Теперь, когда вы ознакомились с основными моментами службы агрегации, пришло время развернуть свой собственный экземпляр службы агрегации через Google Cloud или веб-службы Amazon. Ознакомьтесь с разделом «Начало работы » или, если вам нужна дополнительная информация о том, как работать с развернутой службой агрегации. Службу агрегации перейдите по этой ссылке, чтобы узнать больше о работе Службы агрегации .

Поиск неисправностей

Обратитесь к нашему документу «Распространенные коды ошибок и меры по устранению» для получения более подробного описания сообщений об ошибках, причин, которые могли вызвать ошибку, с которой вы столкнулись, и следующих шагов по устранению.

Получите поддержку и оставьте отзыв

  • Если у вас есть вопросы по продукту, отзывы и пожелания по функциям, создайте проблему в нашем репозитории GitHub .
  • Чтобы запросить техническую поддержку по устранению неполадок, если вы столкнулись с ошибкой при развертывании, обслуживании или выполнении заданий с помощью Службы агрегации, используйте эту форму технической поддержки .
  • Проверьте панель общедоступного состояния на наличие известных проблем.