이 페이지는 Cloud Translation API를 통해 번역되었습니다.

온디바이스 맞춤설정을 위한 개인 정보 차등 보호 시맨틱스

이 문서에서는 특히 개인 정보 차등 보호 맥락에서 온디바이스 맞춤설정 (ODP)의 개인 정보 보호 접근 방식을 요약합니다. 이 문서의 초점을 유지하기 위해 데이터 수집 최소화와 같은 기타 개인 정보 보호 영향 및 설계 결정은 의도적으로 생략합니다.

개인 정보 차등 보호

개인 정보 차등 보호¹는 통계 데이터 분석 및 머신러닝에서 널리 사용되는 개인 정보 보호 표준² ³입니다. 비공식적으로는 공격자가 기록이 기본 데이터 세트에 표시되는지 여부와 관계없이 개인 정보 차등 보호 알고리즘의 출력으로부터 사용자에 대해 거의 동일한 것을 학습한다는 의미입니다. 이는 개인을 강력하게 보호한다는 것을 의미합니다. 한 사람에 대한 모든 추론은 그 사람의 기록 유무와 관계없이 보유할 수 있는 데이터 세트의 집계된 속성으로만 가능합니다.

머신러닝의 맥락에서 알고리즘의 출력은 학습된 모델 매개변수로 간주되어야 합니다. 거의 동일한 것이라는 구는 수학적으로 두 개의 매개변수 (en, Service)로 정량화됩니다. 여기서, 이 두 매개변수는 일반적으로 작은 상수로 선택되고 정표는 작은 상수로 되고 정표는 1/(사용자 수)입니다.

개인 정보 보호 의미 체계

ODP 설계는 각 학습 실행이 차등적으로 개인 정보 차등 보호를 갖추도록 하기 위해 (킵,게재됩니다) 사용자 수준입니다. 다음은 이러한 시맨틱에 도달하기 위한 Google의 접근 방식을 간략히 설명합니다.

위협 모델

Google은 다양한 당사자를 정의하고 각 당사자에 대해 다음과 같은 가정을 합니다.

사용자: 기기를 소유한 사용자로, 개발자가 제공하는 제품 또는 서비스의 소비자입니다. 자녀의 개인 정보는 전적으로 본인만 사용할 수 있습니다.
신뢰할 수 있는 실행 환경 (TEE): TEE 내에서 발생하는 데이터 및 신뢰할 수 있는 계산은 다양한 기술을 사용하여 공격자로부터 보호됩니다. 따라서 연산과 데이터에 추가 보호가 필요하지 않습니다. 기존 TEE를 통해 프로젝트 관리자가 내부 정보에 액세스할 수 있습니다. Google은 관리자가 액세스할 수 없는 것을 허용하지 않고 검증하기 위해 커스텀 기능을 제안합니다.
공격자: 사용자에 관한 부차 정보를 보유할 수 있으며 또한 TEE를 벗어나는 모든 정보 (예: 게시된 모델 매개변수)에 대한 전체 액세스 권한이 있습니다.
개발자: 모델을 정의하고 학습시키는 담당자입니다. 신뢰할 수 없는 것으로 간주됨 (공격자의 모든 역량을 갖추고 있음)

Google은 개인 정보 차등 보호의 다음과 같은 의미 체계를 사용하여 ODP를 설계하려고 합니다.

신뢰 경계: 한 사용자의 관점에서 신뢰 경계는 TEE와 함께 사용자 자체 기기로 구성됩니다. 이 신뢰 경계를 벗어나는 모든 정보는 개인 정보 차등 보호로 보호되어야 합니다.
공격자: 공격자에 관한 완전한 개인 정보 차등 보호가 제공됩니다. 신뢰 경계 외부의 모든 법인은 공격자가 될 수 있습니다 (개발자 및 다른 사용자가 모두 결탁 가능성이 있음). 신뢰 경계 밖에 있는 모든 정보 (예: 게시된 모델), 사용자에 대한 부수 정보, 무한한 리소스를 감안할 때 공격자는 (이미 부가 정보에 있는 정보 외에) 개인 정보 보호 예산이 할 수 있는 확률까지 사용자에 대한 추가적인 개인 데이터를 추론할 수 없습니다. 특히, 이는 개발자와 관련하여 완전한 개인 정보 차등 보호가 적용된다는 의미입니다. 개발자에게 공개되는 모든 정보 (예: 학습된 모델 매개변수 또는 집계 추론)는 개인 정보 차등 보호로 보호됩니다.

로컬 모델 매개변수

이전의 개인 정보 보호 의미 체계는 일부 모델 매개변수가 기기에 로컬인 경우 (예: 각 사용자와 관련된 사용자 삽입을 포함하고 사용자 간에 공유되지 않는 모델)를 적용합니다. 이러한 모델의 경우 이러한 로컬 매개변수는 신뢰 경계(게시되지 않음) 내에 유지되며 보호가 필요하지 않은 반면, 공유 모델 매개변수는 게시되고 개인 정보 차등 보호로 보호됩니다. 이를 빌보드 개인 정보 보호 모델⁴이라고도 합니다.

공개 기능

특정 애플리케이션에서는 일부 기능이 공개되어 있습니다. 예를 들어 영화 추천 문제에서 영화의 기능 (영화 감독, 장르 또는 개봉 연도)은 공개 정보로 보호가 필요 없는 반면, 사용자와 관련된 기능 (예: 인구통계 정보 또는 사용자가 시청한 영화)은 비공개 데이터이므로 보호가 필요합니다.

공개 정보는 모든 당사자가 사용할 수 있는 공개 특성 행렬 (이전 예의 경우 이 행렬에는 영화당 하나의 행과 영화 특성당 하나의 열이 포함됨)으로 형식화됩니다. 개인 정보 차등 보호 학습 알고리즘은 보호 없이도 이 행렬을 사용할 수 있습니다. 예 ⁵를 참고하세요. ODP 플랫폼은 이러한 알고리즘을 구현할 계획입니다.

예측 또는 추론 중 개인 정보 보호에 대한 접근 방식

추론은 모델 매개변수와 입력 특성을 기반으로 합니다. 모델 매개변수는 개인 정보 차등 보호 시맨틱스로 학습됩니다. 여기서는 입력 특성의 역할을 설명합니다.

일부 사용 사례에서는 개발자가 이미 추론에 사용된 기능에 대한 전체 액세스 권한을 가지고 있으면 추론의 개인 정보 보호 관련 우려사항이 없으며 추론 결과가 개발자에게 표시될 수 있습니다.

다른 경우 (추론에 사용된 기능이 비공개이고 개발자가 액세스할 수 없는 경우) 추론 결과가 개발자에게 숨겨질 수도 있습니다. 예를 들어 추론 (및 추론 결과를 사용하는 모든 다운스트림 프로세스)이 기기 내, OS 소유 프로세스 및 디스플레이 영역에서 실행되고 프로세스 외부에서는 제한된 통신으로 실행되도록 하면 됩니다.

학습 절차

학습 시스템 대략적인 아키텍처 — **그림 1:** 학습 시스템의 대략적인 아키텍처

개요

이 섹션에서는 아키텍처의 개요와 학습 진행 방법을 설명합니다. 그림 1을 참고하세요. ODP는 다음 구성요소를 구현합니다.

모델 매개변수 브로드캐스팅 역할을 하는 신뢰할 수 있는 배포자(예: 제휴 선택, 신뢰할 수 있는 다운로드, 개인 정보 검색)입니다. 여기서는 신뢰할 수 있는 배포자가 어떤 클라이언트가 어떤 매개변수를 다운로드했는지 공개하지 않고 매개변수 하위 집합을 각 클라이언트에 전송할 수 있다고 가정합니다. 이러한 '부분 브로드캐스트'를 통해 시스템은 최종 사용자 기기에서 차지하는 공간을 최소화할 수 있습니다. 즉, 모델의 전체 사본을 전송하는 대신 모델 매개변수의 일부만 지정된 사용자에게 전송됩니다.
신뢰할 수 있는 애그리게이터는 여러 클라이언트의 정보 (예: 경사, 기타 통계)를 집계하고 노이즈를 추가한 후 결과를 서버로 전송합니다. 클라이언트와 애그리게이터 간에, 클라이언트와 배급사 간에 신뢰할 수 있는 채널이 있다고 가정합니다.
이 인프라에서 실행되는 DP 학습 알고리즘. 각 학습 알고리즘은 여러 구성요소 (서버, 클라이언트, 애그리게이터, 배포자)에서 실행되는 다양한 계산으로 구성됩니다.

일반적인 학습 과정은 다음 단계로 구성됩니다.

서버는 모델 매개변수를 신뢰할 수 있는 배포자에게 브로드캐스트합니다.
클라이언트 계산
- 각 클라이언트 기기는 브로드캐스트 모델 (또는 사용자와 관련된 매개변수의 하위 집합)을 수신합니다.
- 각 클라이언트는 일정한 계산을 수행합니다 (예: 경사 계산 또는 기타 충분한 통계).
- 각 클라이언트는 계산 결과를 신뢰할 수 있는 애그리게이터로 전송합니다.
- 신뢰할 수 있는 애그리게이터는 적절한 개인 정보 차등 보호 메커니즘을 사용하여 클라이언트의 통계를 수집, 집계, 보호하고 결과를 서버로 전송합니다.
서버 계산
신뢰할 수 없는 서버는 개인 정보 차등 보호로 보호되는 통계에서 계산을 실행합니다(예: 개인 정보 차등 보호 집계 경사를 사용하여 모델 매개변수를 업데이트).

인수분해 모델 및 개인 정보 차등 보호 교번 최소화

ODP 플랫폼은 모든 모델 아키텍처 (예: DP-SGD ⁶ ⁷ ⁸ 또는 DP-FTRL ⁹ ¹⁰)에 적용할 수 있는 범용 개인 정보 차등 보호 학습 알고리즘과 분해된 모델에 특화된 알고리즘을 제공할 계획입니다.

분해된 모델은 하위 모델 (인코더 또는 타워라고 함)으로 분해할 수 있는 모델입니다. 예를 들어 f(u(θu, xu), v(θv, xv)) 형식의 모델을 생각해 보세요. 여기서 u()는 사용자 특징 xu를 인코딩하고 θu 매개변수를 보유하며 v()는 비사용자 특성 xv를 인코딩하며 θv 매개변수를 포함합니다. 두 인코딩은 f()를 사용하여 결합되어 최종 모델 예측을 생성합니다. 예를 들어 영화 추천 모델에서 xu은 사용자 특성이고 xv는 영화 특성입니다.

이러한 모델은 사용자와 비사용자 기능을 구분하므로 앞서 언급한 분산 시스템 아키텍처에 적합합니다.

분해된 모델은 개인 정보 차등 보호 대체 최소화 (DPAM)를 사용하여 학습됩니다. DPAM은 θu 매개변수 (θv가 고정된 상태에서)를 최적화하고 그 반대로 최적화합니다. DPAM 알고리즘은 특히 공개 기능이 있을 때 다양한 설정⁴ ¹¹에서 더 나은 유용성을 달성하는 것으로 나타났습니다.