Se usó la API de Cloud Translation para traducir esta página.

Semántica de privacidad diferencial para la personalización en el dispositivo

En este documento, se resume el enfoque de privacidad para la personalización integrada en el dispositivo (ODP) específicamente en el contexto de la privacidad diferencial. Para mantener la atención en este documento, no se incluyen intencionalmente otras implicaciones de privacidad y decisiones de diseño, como la minimización de datos.

Privacidad diferencial

La privacidad diferencial¹ es un estándar de protección de la privacidad ampliamente adoptado en el análisis de datos estadísticos y el aprendizaje automático ² ³. Informalmente, dice que un adversario aprende casi lo mismo sobre un usuario a partir de la salida de un algoritmo de privacidad diferencial, independientemente de que su registro aparezca o no en el conjunto de datos subyacente. Esto implica protecciones sólidas para las personas: cualquier inferencia que se realice sobre una persona solo puede deberse a propiedades agregadas del conjunto de datos que se conservarían con o sin el registro de esa persona.

En el contexto del aprendizaje automático, la salida del algoritmo debe considerarse como los parámetros del modelo entrenado. La frase casi lo mismo está cuantificada matemáticamente con dos parámetros (ε, ε), en los que ε se elige generalmente para que sea una constante pequeña y Y≪1/(número de usuarios).

Semántica de privacidad

El diseño de ODP busca garantizar que cada ejecución de entrenamiento sea (ε,ε) del nivel del usuario y una privacidad diferencial. A continuación, se describe nuestro enfoque para alcanzar esta semántica.

Modelo de amenaza

Definimos las distintas partes y planteamos suposiciones sobre cada una:

Usuario: Es el usuario propietario del dispositivo y consumidores de productos o servicios proporcionados por el desarrollador. Su información privada está completamente disponible para ellos mismos.
Entorno de ejecución confiable (TEE): Los datos y los cálculos confiables que ocurren dentro de los TEE están protegidos de los atacantes que usan una variedad de tecnologías. Por lo tanto, el procesamiento y los datos no requieren protección adicional. Los TEE existentes pueden permitir que los administradores de proyectos accedan a la información que contienen. Proponemos capacidades personalizadas para rechazar y validar que el acceso no esté disponible para un administrador.
El atacante: Puede tener información complementaria sobre el usuario y tiene acceso completo a toda la información que sale del TEE (como los parámetros del modelo publicado).
Desarrollador: Es quien define y entrena el modelo. No se considera de confianza (y tiene todo el alcance de la capacidad del atacante).

Buscamos diseñar la ODP con la siguiente semántica de privacidad diferencial:

Límite de confianza: Desde la perspectiva de un usuario, el límite de confianza consta del propio dispositivo del usuario junto con el TEE. Cualquier información que salga de este límite de confianza debe estar protegida con la privacidad diferencial.
Atacante: Protección diferencial total de la privacidad con respecto al atacante. Cualquier entidad fuera del límite de confianza puede ser un atacante (esto incluye al desarrollador y a otros usuarios, y todos pueden colisionar). El atacante, a partir de toda la información que está fuera del límite de confianza (por ejemplo, el modelo publicado), cualquier información complementaria sobre el usuario y recursos infinitos, no puede inferir datos privados adicionales sobre el usuario (más allá de los que ya se encuentran en la información complementaria), hasta las probabilidades que determina el presupuesto de privacidad. En particular, esto implica una protección diferencial total de la privacidad con respecto al desarrollador. Toda la información proporcionada al desarrollador (como parámetros de modelos entrenados o inferencias agregadas) está protegida por la privacidad diferencial.

Parámetros del modelo local

La semántica de privacidad anterior se adapta al caso en el que algunos de los parámetros del modelo son locales para el dispositivo (por ejemplo, un modelo que contiene una incorporación de usuario específica para cada usuario y no compartida entre usuarios). Para estos modelos, estos parámetros locales permanecen dentro del límite de confianza (no están publicados) y no requieren protección, mientras que los parámetros del modelo compartido se publican (y están protegidos por privacidad diferencial). A veces, este modelo se denomina modelo de privacidad de billboard⁴.

Características públicas

En algunas aplicaciones, algunas funciones son públicas. Por ejemplo, en un problema de recomendación de películas, las características de una película (el director, el género o el año de estreno de la película) son información pública y no requieren protección, mientras que las características relacionadas con el usuario (como la información demográfica o las películas que miró) son datos privados y requieren protección.

La información pública se formaliza como una matriz de atributos públicos (en el ejemplo anterior, esta matriz contendría una fila por película y una columna por atributo de película) que está disponible para todas las partes. El algoritmo de entrenamiento con privacidad diferencial puede usar esta matriz sin la necesidad de protegerla. Consulta el ejemplo ⁵. La plataforma de ODP planea implementar esos algoritmos.

Un enfoque sobre la privacidad durante la predicción o inferencia

Las inferencias se basan en los parámetros del modelo y en los atributos de entrada. Los parámetros del modelo se entrenan con semántica de privacidad diferencial. Aquí, se analiza el rol de los atributos de entrada.

En algunos casos de uso, cuando el desarrollador ya tiene acceso completo a las funciones utilizadas en la inferencia, no se preocupa la privacidad por inferencia, y el resultado de la inferencia puede ser visible para el desarrollador.

En otros casos (cuando las funciones que se usan en la inferencia son privadas y el desarrollador no puede acceder a ellas), es posible que el desarrollador no pueda acceder al resultado de la inferencia, por ejemplo, si se hace que la inferencia (y cualquier proceso descendente que use el resultado de la inferencia) se ejecute en el dispositivo, en un área de visualización y proceso propiedad del SO, con comunicación restringida fuera de ese proceso.

Procedimiento de entrenamiento

**Figura 1:** Arquitectura de alto nivel del sistema de entrenamiento.

Descripción general

En esta sección, se ofrece una descripción general de la arquitectura y el progreso del entrenamiento; consulta la Figura 1. La ODP implementa los siguientes componentes:

Un distribuidor de confianza, como la selección federada, la descarga confiable o la recuperación de información privada, que desempeña el papel de los parámetros de los modelos de transmisión. Se da por sentado que el distribuidor de confianza puede enviar un subconjunto de parámetros a cada cliente, sin revelar qué parámetros descargó cada cliente. Esta "transmisión parcial" permite que el sistema minimice la huella en el dispositivo del usuario final: en lugar de enviar una copia completa del modelo, solo se envía una fracción de los parámetros del modelo a un usuario determinado.
Un agregador de confianza, que recopila información de varios clientes (p.ej., gradientes y otras estadísticas), agrega ruido y envía el resultado al servidor. La suposición es que existen canales de confianza entre el cliente y el agregador, y entre el cliente y el distribuidor.
Algoritmos de entrenamiento de DP que se ejecutan en esta infraestructura. Cada algoritmo de entrenamiento consta de diferentes cálculos que se ejecutan en los distintos componentes (servidor, cliente, agregador, distribuidor).

Una ronda típica de entrenamiento consta de los siguientes pasos:

El servidor transmite los parámetros del modelo al distribuidor de confianza.
Procesamiento del cliente
- Cada dispositivo cliente recibe el modelo de transmisión (o el subconjunto de parámetros relevantes para el usuario).
- Cada cliente realiza algún cálculo (por ejemplo, calcula gradientes o alguna otra estadística suficiente).
- Cada cliente envía el resultado del cálculo al agregador de confianza.
- El agregador de confianza recopila, agrega y protege las estadísticas de los clientes con los mecanismos adecuados de privacidad diferencial y, luego, envía el resultado al servidor.
Procesamiento del servidor
El servidor (no confiable) ejecuta cálculos en las estadísticas protegidas de privacidad diferencial (por ejemplo, usa gradientes agregados con privacidad diferencial para actualizar los parámetros del modelo).

Modelos factorizados y minimización alternada con privacidad diferencial

La plataforma de ODP planea proporcionar algoritmos de entrenamiento con privacidad diferencial de uso general que se puedan aplicar a cualquier arquitectura de modelo (como DP-SGD ⁶ ⁷ ⁸ o DP-FTRL ⁹ ¹⁰, así como algoritmos especializados para modelos factorizados.

Los modelos factorizados son modelos que se pueden descomponer en submodelos (denominados codificadores o torres). Por ejemplo, considera un modelo con el formato f(u(θu, xu), v(θv, xv)), en el que u() codifica los atributos del usuario xu (y tiene los parámetros θu) y v() codifica los atributos que no son del usuario xv (y tiene los parámetros θv). Las dos codificaciones se combinan con f() para producir la predicción del modelo final. Por ejemplo, en un modelo de recomendación de películas, xu son los atributos del usuario y xv son los atributos de película.

Estos modelos son adecuados para la arquitectura de sistema distribuido antes mencionada (ya que separan los atributos de usuario y no usuario).

Los modelos factorizados se entrenarán con la minimización alternada con privacidad diferencial (DPAM), que alterna entre optimizar los parámetros θu (mientras que θv es fijo) y viceversa. Se demostró que los algoritmos de DPAM son más útiles en diversos parámetros de configuración ⁴ ¹¹, en particular en la presencia de funciones públicas.