Эта страница переведена с помощью Cloud Translation API.

Дифференциальная семантика конфиденциальности для персонализации на устройстве.

В этом документе обобщается подход к конфиденциальности для персонализации на устройстве (ODP), особенно в контексте дифференцированной конфиденциальности. Другие аспекты конфиденциальности и проектные решения, такие как минимизация данных, намеренно опущены, чтобы сосредоточить внимание на этом документе.

Дифференциальная конфиденциальность

Дифференциальная конфиденциальность ¹ — это широко распространенный стандарт защиты конфиденциальности в статистическом анализе данных и машинном обучении ² ³ . Неофициально в нем говорится, что злоумышленник узнает почти одно и то же о пользователе из выходных данных дифференциально-частного алгоритма независимо от того, присутствует ли его запись в базовом наборе данных или нет. Это предполагает надежную защиту отдельных лиц: любые выводы, сделанные о человеке, могут быть основаны только на совокупных свойствах набора данных, которые будут действительны как с записью об этом человеке, так и без нее.

В контексте машинного обучения выходные данные алгоритма следует рассматривать как параметры обученной модели. Фраза «почти то же самое» математически выражается двумя параметрами (ε, δ), где ε обычно выбирается в качестве небольшой константы, и δ≪1/(количество пользователей).

Семантика конфиденциальности

Конструкция ODP направлена на то, чтобы каждый прогон обучения был дифференциально конфиденциальным на уровне (ε,δ)-пользователя. Ниже описывается наш подход к достижению этой семантики.

Модель угроз

Мы определяем различные стороны и высказываем предположения о каждой:

Пользователь: пользователь, владеющий устройством и являющийся потребителем продуктов или услуг, предоставляемых разработчиком. Их личная информация полностью доступна им самим.
Доверенная среда выполнения (TEE). Данные и доверенные вычисления, происходящие в TEE, защищены от злоумышленников с помощью различных технологий. Таким образом, вычисления и данные не требуют дополнительной защиты. Существующие TEE могут разрешить администраторам проекта доступ к внутренней информации. Мы предлагаем специальные возможности для запрета и подтверждения того, что доступ администратору недоступен.
Злоумышленник: может располагать дополнительной информацией о пользователе и иметь полный доступ к любой информации, выходящей из TEE (например, опубликованным параметрам модели).
Разработчик: тот, кто определяет и обучает модель. Считается ненадежным (и обладает всеми возможностями злоумышленника).

Мы стремимся разработать ODP со следующей семантикой дифференциальной конфиденциальности:

Граница доверия. С точки зрения одного пользователя граница доверия состоит из собственного устройства пользователя и TEE. Любая информация, выходящая за пределы этой границы доверия, должна быть защищена дифференциальной конфиденциальностью.
Злоумышленник: полная дифференциальная защита конфиденциальности по отношению к злоумышленнику. Злоумышленником может быть любой объект за пределами границы доверия (включая разработчика и других пользователей, потенциально вступающих в сговор). Злоумышленник, учитывая всю информацию за пределами границы доверия (например, опубликованную модель), любую дополнительную информацию о пользователе и бесконечные ресурсы, не может вывести дополнительные личные данные о пользователе (помимо тех, которые уже есть в дополнительной информации). , с учетом шансов, предусмотренных бюджетом на конфиденциальность. В частности, это подразумевает полную дифференцированную защиту конфиденциальности по отношению к разработчику. Любая информация, предоставляемая разработчику (например, параметры обученной модели или совокупные выводы), защищена дифференциальной конфиденциальностью.

Параметры локальной модели

Предыдущая семантика конфиденциальности учитывает случай, когда некоторые параметры модели являются локальными для устройства (например, модель, которая содержит пользовательское внедрение, специфичное для каждого пользователя, и не является общим для всех пользователей). Для таких моделей эти локальные параметры остаются в пределах границы доверия (они не публикуются) и не требуют защиты, тогда как общие параметры модели публикуются (и защищены дифференциальной конфиденциальностью). Иногда это называют моделью конфиденциальности рекламных щитов ⁴ .

Публичные функции

В некоторых приложениях некоторые функции являются общедоступными. Например, в задаче с рекомендацией фильма характеристики фильма (режиссер, жанр или год выпуска фильма) являются общедоступной информацией и не требуют защиты, тогда как функции, связанные с пользователем (например, демографическая информация или какие фильмы смотрел пользователь) являются личными данными и требуют защиты.

Публичная информация формализована в виде матрицы общедоступных функций (в предыдущем примере эта матрица будет содержать одну строку для каждого фильма и один столбец для каждой функции фильма), которая доступна всем сторонам. Алгоритм дифференциально-частного обучения может использовать эту матрицу без необходимости ее защиты, см., например, ⁵ . Платформа ODP планирует реализовать такие алгоритмы.

Подход к конфиденциальности во время прогнозирования или вывода

Выводы основаны на параметрах модели и входных характеристиках. Параметры модели обучаются с использованием дифференциальной семантики конфиденциальности. Здесь обсуждается роль входных функций.

В некоторых случаях использования, когда разработчик уже имеет полный доступ к функциям, используемым при выведении, при этом не возникает проблем с конфиденциальностью, и результат вывода может быть виден разработчику.

В других случаях (когда функции, используемые при выводе, являются частными и недоступны для разработчика), результат вывода может быть скрыт от разработчика, например, путем запуска вывода (и любого последующего процесса, использующего результат вывода) - устройство в процессе и области отображения, принадлежащих ОС, с ограниченным обменом данными за пределами этого процесса.

Процедура обучения

**Рисунок 1:** Высокоуровневая архитектура системы обучения.

Обзор

В этом разделе представлен обзор архитектуры и процесса обучения (см. рисунок 1). ODP реализует следующие компоненты:

Доверенный дистрибьютор, такой как федеративный выбор, доверенная загрузка или получение частной информации, который играет роль параметров модели широковещания. Предполагается, что доверенный дистрибьютор может отправлять подмножество параметров каждому клиенту, не раскрывая, какие параметры каким клиентом были загружены. Эта «частичная трансляция» позволяет системе минимизировать нагрузку на устройство конечного пользователя: вместо отправки полной копии модели любому пользователю отправляется только часть параметров модели.
Доверенный агрегатор, который объединяет информацию от нескольких клиентов (например, градиенты или другую статистику), добавляет шум и отправляет результат на сервер. Предполагается, что между клиентом и агрегатором, а также между клиентом и дистрибьютором существуют доверенные каналы.
Алгоритмы обучения DP, работающие в этой инфраструктуре. Каждый алгоритм обучения состоит из различных вычислений, выполняемых на разных компонентах (сервере, клиенте, агрегаторе, дистрибьюторе).

Типичный цикл обучения состоит из следующих этапов:

Сервер передает параметры модели доверенному дистрибьютору.
Клиентские вычисления
- Каждое клиентское устройство получает широковещательную модель (или подмножество параметров, соответствующих пользователю).
- Каждый клиент выполняет некоторые вычисления (например, вычисление градиентов или другую достаточную статистику).
- Каждый клиент отправляет результат вычислений доверенному агрегатору.
- Доверенный агрегатор собирает, агрегирует и защищает, используя соответствующие механизмы дифференциальной конфиденциальности, статистику от клиентов, а затем отправляет результат на сервер.
Серверные вычисления
(Недоверенный) сервер выполняет вычисления на основе статистики с дифференциальной защитой конфиденциальности (например, использует дифференциально частные агрегированные градиенты для обновления параметров модели).

Факторизованные модели и дифференциально-частная попеременная минимизация

Платформа ODP планирует предоставить алгоритмы дифференциального частного обучения общего назначения, которые можно применять к любой архитектуре модели (например, DP-SGD ⁶ ⁷ ⁸ или DP-FTRL ⁹ ^{10 )} , а также алгоритмы, специализированные для факторизованных моделей.

Факторизованные модели — это модели, которые можно разложить на подмодели (называемые кодировщиками или башнями). Например, рассмотрим модель формы f(u(θu, xu), v(θv, xv)) , где u() кодирует пользовательские функции xu (и имеет параметры θu ), а v() кодирует непользовательские функции. xv (и имеет параметры θv ). Две кодировки объединяются с помощью f() для получения окончательного прогноза модели. Например, в модели рекомендаций фильмов xu — это пользовательские функции, а xv — функции фильма.

Такие модели хорошо подходят для вышеупомянутой архитектуры распределенной системы (поскольку они разделяют пользовательские и непользовательские функции).

Факторизованные модели будут обучаться с использованием дифференциально-частной альтернативной минимизации (DPAM), которая чередует оптимизацию параметров θu (при фиксированном θv ) и наоборот. Было показано, что алгоритмы DPAM обеспечивают большую полезность в различных условиях ⁴ ¹¹ , в частности, при наличии общедоступных функций.