Esta página foi traduzida pela API Cloud Translation.

Semântica de privacidade diferencial para personalização no dispositivo

Este documento resume a abordagem de privacidade para a personalização no dispositivo (ODP, na sigla em inglês) especificamente no contexto de privacidade diferencial. Outras implicações de privacidade e decisões de design, como minimização de dados, são intencionalmente deixadas de fora para manter o foco deste documento.

Privacidade diferencial

A privacidade diferencial ¹ é um padrão de proteção de privacidade amplamente adotado na análise de dados estatísticos e no aprendizado de máquina ² ³. De maneira informal, ele diz que um adversário aprende quase a mesma coisa sobre um usuário com base na saída de um algoritmo com privacidade diferencial, independentemente do registro dele aparecer ou não no conjunto de dados subjacente. Isso implica proteções fortes para os indivíduos: qualquer inferência feita sobre uma pessoa só pode ser devido às propriedades agregadas do conjunto de dados que seriam mantidas com ou sem o registro dessa pessoa.

No contexto do machine learning, a saída do algoritmo deve ser considerada os parâmetros do modelo treinado. A frase quase a mesma coisa é matematicamente quantificada por dois parâmetros (ε, ₹), em que ε é normalmente escolhido como uma constante pequena, e ε≪1/(número de usuários).

Semântica de privacidade

O design da ODP busca garantir que cada execução de treinamento seja (ε,ε) de maneira particular diferenciada no nível do usuário. A seguir, descrevemos nossa abordagem para alcançar essa semântica.

Modelo de ameaça

Definimos as diferentes partes e estabelecemos suposições sobre cada uma:

Usuário:é o proprietário do dispositivo e consumidor de produtos ou serviços fornecidos pelo desenvolvedor. As informações particulares deles estão totalmente disponíveis para eles.
Ambiente de execução confiável (TEE): os dados e cálculos confiáveis que ocorrem nos TEEs são protegidos contra invasores que usam várias tecnologias. Portanto, a computação e os dados não exigem proteção extra. Os TEEs já existentes podem permitir que os administradores do projeto acessem as informações internas. Propomos recursos personalizados para proibir e validar que o acesso não está disponível para um administrador.
O invasor:pode ter informações secundárias sobre o usuário e ter acesso total a todas as informações que saem do TEE (como os parâmetros do modelo publicados).
Desenvolvedor:é quem define e treina o modelo. é considerado não confiável (e tem toda a capacidade de um atacante).

Procuramos projetar a ODP com a seguinte semântica de privacidade diferencial:

Limite de confiança:do ponto de vista de um usuário, ele consiste no próprio dispositivo do usuário e no TEE. Qualquer informação que saia desse limite de confiança deve ser protegida pela privacidade diferencial.
Atacante:proteção de privacidade diferencial completa em relação ao invasor. Qualquer entidade fora do limite de confiança pode ser um invasor (isso inclui o desenvolvedor e outros usuários, todos potencialmente colidindo). O invasor, com todas as informações fora do limite de confiança (por exemplo, o modelo publicado), informações secundárias sobre o usuário e recursos infinitos, não é capaz de inferir dados particulares adicionais sobre o usuário (além daqueles que já estão nas informações secundárias), até a probabilidade dada pelo orçamento de privacidade. Em particular, isso implica uma proteção de privacidade diferencial completa em relação ao desenvolvedor. Todas as informações liberadas para o desenvolvedor (como parâmetros de modelo treinados ou inferências agregadas) são protegidas pela privacidade diferencial.

Parâmetros do modelo local

A semântica de privacidade anterior acomoda o caso em que alguns dos parâmetros do modelo são locais ao dispositivo (por exemplo, um modelo que contém um embedding de usuário específico para cada usuário e não compartilhado entre usuários). Nesses modelos, os parâmetros locais permanecem dentro do limite de confiança (não são publicados) e não exigem proteção. Já os parâmetros de modelo compartilhados são publicados (e protegidos pela privacidade diferencial). Às vezes, ele é chamado de modelo de privacidade do outdoor ⁴.

Recursos públicos

Em determinados aplicativos, alguns dos recursos são públicos. Por exemplo, em um problema de recomendação de filmes, os recursos de um filme (diretor, gênero ou ano de lançamento) são informações públicas e não exigem proteção, enquanto recursos relacionados ao usuário (como informações demográficas ou quais filmes o usuário assistiu) são dados privados e requerem proteção.

As informações públicas são formalizadas como uma matriz de características públicas (no exemplo anterior, essa matriz conteria uma linha por filme e uma coluna por longa-metragem), que está disponível para todas as partes. O algoritmo de treinamento com privacidade diferencial pode usar essa matriz sem a necessidade de protegê-la, por exemplo, ⁵. A plataforma ODP planeja implementar esses algoritmos.

uma abordagem de privacidade durante a previsão ou inferência

As inferências são baseadas nos parâmetros do modelo e nos atributos de entrada. Os parâmetros do modelo são treinados com semântica de privacidade diferencial. Aqui, abordamos o papel dos atributos de entrada.

Em alguns casos de uso, quando o desenvolvedor já tem acesso total aos recursos usados na inferência, não há preocupação de privacidade, e o resultado dela pode ficar visível para o desenvolvedor.

Em outros casos, quando os recursos usados na inferência são particulares e não podem ser acessados pelo desenvolvedor, o resultado da inferência pode ser ocultado do desenvolvedor, por exemplo, fazendo com que a inferência (e qualquer processo downstream que a use) seja executada no dispositivo, em um processo e área de exibição do SO, com comunicação restrita fora desse processo.

Procedimento de treinamento

Como treinar a arquitetura de alto nível do sistema — **Figura 1**:arquitetura de alto nível do sistema de treinamento.

Visão geral

Nesta seção, você encontra uma visão geral da arquitetura e de como o treinamento é realizado, conforme a Figura 1. A ODP implementa os seguintes componentes:

Um distribuidor confiável, como seleção federada, download confiável ou recuperação de informações particulares, que desempenha o papel de parâmetros do modelo de transmissão. Presume-se que o distribuidor confiável possa enviar um subconjunto de parâmetros para cada cliente, sem revelar quais parâmetros foram baixados por qual cliente. Essa "transmissão parcial" permite que o sistema minimize o espaço ocupado no dispositivo do usuário final: em vez de enviar uma cópia completa do modelo, somente uma fração dos parâmetros do modelo é enviada a um usuário.
Um agregador confiável que agrega informações de vários clientes (por exemplo, gradientes ou outras estatísticas), adiciona ruído e envia o resultado para o servidor. A suposição é que existem canais confiáveis entre o cliente e o agregador, e entre o cliente e o distribuidor.
Algoritmos de treinamento de DP que são executados nessa infraestrutura. Cada algoritmo de treinamento consiste em diferentes cálculos executados em diferentes componentes (servidor, cliente, agregador, distribuidor).

Uma rodada típica de treinamento consiste nas seguintes etapas:

O servidor transmite os parâmetros do modelo para o distribuidor confiável.
Computação do cliente
- Cada dispositivo cliente recebe o modelo de transmissão (ou o subconjunto de parâmetros relevantes para o usuário).
- Cada cliente realiza alguns cálculos (por exemplo, computação de gradientes ou outras estatísticas suficientes).
- Cada cliente envia o resultado do cálculo para o agregador confiável.
- O agregador confiável coleta, agrega e protege as estatísticas de clientes usando mecanismos de privacidade diferencial adequados e, em seguida, envia o resultado para o servidor.
Computação do servidor
O servidor (não confiável) executa cálculos nas estatísticas com proteção de privacidade diferenciada. Por exemplo, usa gradientes agregados com privacidade diferencial para atualizar os parâmetros do modelo.

Modelos fatoração e minimização alternada diferencialmente particular

A plataforma ODP planeja fornecer algoritmos de treinamento diferencialmente particular de uso geral que possam ser aplicados a qualquer arquitetura de modelo (como DP-SGD ⁶ ⁷ ⁸ ou DP-FTRL ⁹ ¹⁰), além de algoritmos especializados para modelos fatoração.

Modelos fatorados são aqueles que podem ser decompostos em submodelos, chamados de codificadores, ou torres. Por exemplo, considere um modelo no formato f(u(θu, xu), v(θv, xv)), em que u() codifica os atributos do usuário xu (e tem parâmetros θu) e v() codifica os atributos que não são do usuário xv (e tem parâmetros θv). As duas codificações são combinadas usando f() para produzir a previsão final do modelo. Por exemplo, em um modelo de recomendação de filmes, xu são os recursos do usuário e xv são os recursos do filme.

Esses modelos são adequados para a arquitetura de sistema distribuído mencionada acima (já que eles separam os recursos de usuário e não usuário).

Os modelos fatoração serão treinados com a minimização alternada diferencialmente particular (DPAM), que alterna entre otimizar os parâmetros θu (enquanto que θv é fixo) e vice-versa. Os algoritmos de DPAM têm demonstrado uma utilidade melhor em várias configurações ⁴ ¹¹, principalmente na presença de recursos públicos.