ความหมายของ Differential Privacy สําหรับการปรับเปลี่ยนในอุปกรณ์ในแบบของคุณ

เอกสารนี้จะสรุปแนวทางด้านความเป็นส่วนตัวสำหรับการปรับโฆษณาตามโปรไฟล์ของผู้ใช้ (ODP) โดยเฉพาะในบริบทของ Differential Privacy เราตั้งใจจะไม่ส่งผลกระทบอื่นๆ ด้านความเป็นส่วนตัวและการตัดสินใจออกแบบ เช่น ขอบเขตการใช้ข้อมูล เพื่อให้ความสำคัญกับเอกสารนี้

Differential Privacy

Differential Privacy 1 คือมาตรฐานการคุ้มครองความเป็นส่วนตัวที่ได้รับการยอมรับอย่างแพร่หลายในการวิเคราะห์ข้อมูลทางสถิติและแมชชีนเลิร์นนิง 2 3 กล่าวอย่างไม่เป็นทางการว่าฝ่ายตรงข้ามเรียนรู้เกือบเหมือนกันเกี่ยวกับผู้ใช้จากเอาต์พุตของอัลกอริทึม Differentially Private ไม่ว่าบันทึกของผู้ใช้จะปรากฏในชุดข้อมูลพื้นฐานหรือไม่ก็ตาม ซึ่งกล่าวเป็นนัยถึงการปกป้องบุคคลอย่างเข้มงวด การอนุมานเกี่ยวกับบุคคลหนึ่งๆ จะเกิดจากพร็อพเพอร์ตี้แบบรวมของชุดข้อมูลที่จะเก็บหรือไม่บันทึกข้อมูลของบุคคลนั้นเท่านั้น

ในบริบทของแมชชีนเลิร์นนิง คุณควรมองว่าเอาต์พุตของอัลกอริทึมเป็นพารามิเตอร์โมเดลที่ผ่านการฝึก วลีที่แทบจะเหมือนกันจะได้รับการระบุจำนวนทางคณิตศาสตร์ด้วยพารามิเตอร์ 2 ตัว (ยิ, ) โดยมักจะเลือก ÷ ให้เป็นค่าคงที่เล็กๆ และ ÷ ≪1/(จํานวนผู้ใช้)

ความหมายของความเป็นส่วนตัว

การออกแบบ ODP พยายามดูแลให้การเรียกใช้การฝึกแต่ละครั้งมีความเป็นส่วนตัว (แฟ้ม) ระดับผู้ใช้ที่แตกต่างกัน วิธีการต่อไปนี้จะสรุปวิธีเข้าถึงความหมายดังกล่าว

โมเดลภัยคุกคาม

เราได้ให้คำจำกัดความของฝ่ายต่างๆ และระบุสมมติฐานเกี่ยวกับแต่ละฝ่าย ดังนี้

  • ผู้ใช้: ผู้ใช้ที่เป็นเจ้าของอุปกรณ์ และเป็นผู้บริโภคผลิตภัณฑ์หรือบริการที่นักพัฒนาแอปมีให้ ข้อมูลส่วนบุคคลจะเข้าถึงได้ทั้งหมดด้วยตัวเอง
  • สภาพแวดล้อมการดำเนินการที่เชื่อถือได้ (TEE): ข้อมูลและการคำนวณที่เชื่อถือได้ซึ่งเกิดขึ้นภายใน TEE ได้รับการปกป้องจากผู้โจมตีที่ใช้เทคโนโลยีต่างๆ ดังนั้น การคำนวณและข้อมูลจึงไม่ต้องการการป้องกันเพิ่มเติม TEE ที่มีอยู่อาจอนุญาตให้ผู้ดูแลระบบของโปรเจ็กต์เข้าถึงข้อมูลภายในได้ เราเสนอความสามารถที่กําหนดเองเพื่อไม่อนุญาตและตรวจสอบว่าผู้ดูแลระบบเข้าถึงไม่ได้
  • ผู้โจมตี: อาจมีข้อมูลด้านข้างเกี่ยวกับผู้ใช้และมีสิทธิ์เข้าถึงข้อมูลทั้งหมดที่ออกจาก TEE (เช่น พารามิเตอร์โมเดลที่เผยแพร่)
  • นักพัฒนาแอป: ผู้กำหนดและฝึกโมเดล ถือว่าไม่น่าเชื่อถือ (และมีความสามารถทั้งหมดของผู้โจมตี)

เราพยายามออกแบบ ODP โดยใช้ความหมายของ Differential Privacy ดังต่อไปนี้

  • ขอบเขตความน่าเชื่อถือ: จากมุมมองของผู้ใช้ 1 ราย ขอบเขตความน่าเชื่อถือประกอบด้วยอุปกรณ์ของผู้ใช้เองพร้อมกับ TEE ข้อมูลใดๆ ที่ออกจากขอบเขตความน่าเชื่อถือนี้ควรได้รับการปกป้องโดย Differential Privacy
  • ผู้โจมตี: การคุ้มครองความเป็นส่วนตัวเต็มรูปแบบที่เกี่ยวข้องกับผู้โจมตี บุคคลใดๆ ที่อยู่นอกขอบเขตความน่าเชื่อถืออาจเป็นผู้โจมตีได้ (ซึ่งรวมถึงนักพัฒนาซอฟต์แวร์และผู้ใช้คนอื่นๆ ซึ่งอาจติดต่อกันได้ทั้งหมด) ผู้โจมตีที่ให้ข้อมูลทั้งหมดนอกขอบเขตความน่าเชื่อถือ (เช่น โมเดลที่เผยแพร่) ข้อมูลด้านต่างๆ เกี่ยวกับผู้ใช้ และทรัพยากรอนันต์ไม่สามารถสรุปข้อมูลส่วนตัวเพิ่มเติมเกี่ยวกับผู้ใช้ได้ (นอกเหนือจากที่อยู่ในข้อมูลด้านข้างอยู่แล้ว) ไม่เกินความเป็นไปได้ที่งบประมาณความเป็นส่วนตัวระบุไว้ โดยเฉพาะอย่างยิ่งการคุ้มครองความเป็นส่วนตัวเต็มรูปแบบที่เกี่ยวข้องกับนักพัฒนาแอป ข้อมูลใดๆ ที่เผยแพร่ให้แก่นักพัฒนาซอฟต์แวร์ (เช่น พารามิเตอร์โมเดลที่ผ่านการฝึกหรือการอนุมานรวม) จะได้รับการคุ้มครองด้วย Differential Privacy

พารามิเตอร์โมเดลในเครื่อง

ความหมายความเป็นส่วนตัวก่อนหน้านี้รองรับกรณีที่พารามิเตอร์โมเดลบางส่วนอยู่ภายในอุปกรณ์ (เช่น โมเดลที่มีผู้ใช้ฝังเฉพาะสำหรับผู้ใช้แต่ละราย และไม่ได้แชร์ระหว่างผู้ใช้) สำหรับโมเดลดังกล่าว พารามิเตอร์ภายในเหล่านี้จะยังคงอยู่ในขอบเขตความน่าเชื่อถือ (ไม่มีการเผยแพร่) และไม่ต้องการการปกป้อง ขณะเผยแพร่พารามิเตอร์โมเดลที่แชร์ (และได้รับการคุ้มครองโดย Differential Privacy) ซึ่งบางครั้งเรียกว่าโมเดลความเป็นส่วนตัวของบิลบอร์ด 4

สถานที่สาธารณะ

ในบางแอปพลิเคชัน ฟีเจอร์บางอย่างอาจเป็นแบบสาธารณะ ตัวอย่างเช่น สำหรับปัญหาการแนะนำภาพยนตร์ ฟีเจอร์ของภาพยนตร์ (ผู้กำกับ ประเภท หรือปีที่ฉายภาพยนตร์) เป็นข้อมูลสาธารณะและไม่จำเป็นต้องมีการปกป้อง ส่วนฟีเจอร์ที่เกี่ยวข้องกับผู้ใช้ (เช่น ข้อมูลประชากรหรือภาพยนตร์ที่ผู้ใช้รับชม) ถือเป็นข้อมูลส่วนตัวและต้องมีการปกป้อง

ข้อมูลสาธารณะถูกกำหนดรูปแบบเป็นเมทริกซ์ฟีเจอร์สาธารณะอย่างเป็นทางการ (ในตัวอย่างก่อนหน้านี้ เมทริกซ์นี้จะประกอบด้วย 1 แถวต่อ 1 ภาพยนตร์ และ 1 คอลัมน์ต่อภาพยนตร์ 1 เรื่อง) ซึ่งทุกฝ่ายสามารถใช้งานได้ อัลกอริทึมการฝึก Differentially Private สามารถใช้เมทริกซ์นี้ได้โดยไม่ต้องป้องกัน ดูตัวอย่าง 5 แพลตฟอร์ม ODP มีแผนที่จะนำอัลกอริทึมดังกล่าวไปใช้

แนวทางด้านความเป็นส่วนตัวระหว่างการคาดการณ์หรือการอนุมาน

การอนุมานจะอิงตามพารามิเตอร์โมเดลและตามฟีเจอร์อินพุต พารามิเตอร์โมเดลจะได้รับการฝึกด้วยความหมายของ Differential Privacy ในส่วนนี้ เราจะกล่าวถึงบทบาทของฟีเจอร์อินพุต

ในบางกรณี เมื่อนักพัฒนาแอปมีสิทธิ์เข้าถึงฟีเจอร์ที่ใช้ในการอนุมานโดยสมบูรณ์อยู่แล้ว ก็จะไม่มีข้อกังวลด้านความเป็นส่วนตัวจากการอนุมาน และนักพัฒนาแอปอาจเห็นผลการอนุมาน

ในกรณีอื่นๆ (เมื่อฟีเจอร์ที่ใช้อนุมานเป็นแบบส่วนตัวและนักพัฒนาแอปเข้าถึงไม่ได้) ผลการอนุมานอาจซ่อนไว้ไม่ให้นักพัฒนาแอปเห็น เช่น โดยการอนุมาน (และกระบวนการดาวน์สตรีมที่ใช้ผลลัพธ์การอนุมาน) ทำงานในอุปกรณ์ในกระบวนการและพื้นที่แสดงผลของระบบปฏิบัติการ ซึ่งมีการสื่อสารที่จำกัดนอกกระบวนการดังกล่าว

ขั้นตอนการฝึก

สถาปัตยกรรมระดับสูงของระบบการฝึก
ภาพที่ 1: สถาปัตยกรรมระดับสูงของระบบการฝึก

ภาพรวม

ส่วนนี้จะแสดงภาพรวมของสถาปัตยกรรมและความคืบหน้าของการฝึก โปรดดูรูปที่ 1 ODP ใช้คอมโพเนนต์ต่อไปนี้

  • ผู้จัดจำหน่ายที่เชื่อถือได้ เช่น การเลือกแบบรวมศูนย์ การดาวน์โหลดที่เชื่อถือได้ หรือการดึงข้อมูลส่วนตัว ซึ่งจะมีบทบาทในพารามิเตอร์โมเดลการออกอากาศ โดยสมมติว่าผู้จัดจำหน่ายที่เชื่อถือได้สามารถส่งชุดย่อยของพารามิเตอร์ไปยังไคลเอ็นต์แต่ละราย โดยไม่เปิดเผยว่าไคลเอ็นต์ใดที่ดาวน์โหลดพารามิเตอร์ใด "การออกอากาศบางส่วน" นี้ช่วยให้ระบบลดร่องรอยในอุปกรณ์ของผู้ใช้ปลายทางให้เหลือน้อยที่สุด กล่าวคือ แทนที่จะส่งสำเนาแบบเต็มของโมเดล ระบบจะส่งเฉพาะพารามิเตอร์โมเดลเพียงส่วนน้อยไปให้ผู้ใช้ที่กำหนด

  • ผู้รวบรวมข้อมูลที่เชื่อถือได้ ซึ่งรวบรวมข้อมูลจากลูกค้าหลายราย (เช่น การไล่ระดับสีหรือสถิติอื่นๆ) จะเพิ่มข้อมูล และส่งผลลัพธ์ไปยังเซิร์ฟเวอร์ สมมติฐานคือมีแชแนลที่เชื่อถือได้ระหว่างลูกค้าและผู้รวบรวมข้อมูล รวมถึงระหว่างลูกค้ากับผู้จัดจำหน่าย

  • อัลกอริทึมการฝึก DP ที่ทำงานบนโครงสร้างพื้นฐานนี้ อัลกอริทึมการฝึกแต่ละรายการประกอบด้วยการคำนวณที่แตกต่างกันที่ทำงานบนองค์ประกอบต่างๆ (เซิร์ฟเวอร์ ไคลเอ็นต์ ผู้รวบรวมข้อมูล ผู้จัดจำหน่าย)

รอบการฝึกอบรมโดยทั่วไปมีขั้นตอนดังต่อไปนี้

  1. เซิร์ฟเวอร์จะกระจายพารามิเตอร์โมเดลไปยังผู้จัดจำหน่ายที่เชื่อถือได้
  2. การคำนวณไคลเอ็นต์
    • อุปกรณ์ไคลเอ็นต์แต่ละเครื่องจะได้รับรูปแบบการออกอากาศ (หรือชุดย่อยของพารามิเตอร์ที่เกี่ยวข้องกับผู้ใช้)
    • ลูกค้าแต่ละรายจะต้องคำนวณค่าบางอย่าง (เช่น การคำนวณการไล่ระดับสีหรือค่าสถิติอื่นๆ ที่เพียงพอ)
    • ลูกค้าแต่ละรายจะส่งผลลัพธ์การคำนวณไปยังผู้รวบรวมข้อมูลที่เชื่อถือได้
    • ผู้รวบรวมข้อมูลที่เชื่อถือได้จะรวบรวม รวบรวม และปกป้องโดยใช้กลไก Differential Privacy ที่เหมาะสมจากสถิติของลูกค้า แล้วส่งผลลัพธ์ไปยังเซิร์ฟเวอร์
  3. การคำนวณเซิร์ฟเวอร์
  4. เซิร์ฟเวอร์ (ที่ไม่น่าเชื่อถือ) จะเรียกใช้การคำนวณในสถิติที่มีการคุ้มครองความเป็นส่วนตัวแตกต่างกัน (เช่น ใช้การไล่ระดับสีที่มีความเป็นส่วนตัวแตกต่างกันเพื่ออัปเดตพารามิเตอร์โมเดล)

โมเดลแยกตัวประกอบและการลดสัดส่วนการสลับส่วนตัวที่แตกต่างกัน

แพลตฟอร์ม ODP มีแผนที่จะให้บริการอัลกอริทึมการฝึก Differentially Private ที่มีวัตถุประสงค์ทั่วไป ซึ่งสามารถนําไปใช้กับสถาปัตยกรรมโมเดลใดก็ได้ (เช่น DP-SGD 6 7 8 หรือ DP-FTRL 9 10 รวมถึงอัลกอริทึมที่เฉพาะสำหรับโมเดล แฟคทอเรียล

โมเดลแยกตัวประกอบคือโมเดลที่สามารถแยกย่อยเป็นโมเดลย่อย (เรียกว่าโปรแกรมเปลี่ยนไฟล์หรือหอคอย) ตัวอย่างเช่น ลองพิจารณาโมเดลของฟอร์ม f(u(θu, xu), v(θv, xv)) โดยที่ u() เข้ารหัสฟีเจอร์ของผู้ใช้ xu (และมีพารามิเตอร์ θu) และ v() จะเข้ารหัสฟีเจอร์ที่ไม่ใช่ของผู้ใช้ xv (และมีพารามิเตอร์ θv) การเข้ารหัสทั้ง 2 รายการจะรวมกันโดยใช้ f() เพื่อสร้างการคาดการณ์โมเดลสุดท้าย ตัวอย่างเช่น ในรูปแบบการแนะนำภาพยนตร์ xu คือฟีเจอร์ของผู้ใช้ และ xv คือฟีเจอร์ภาพยนตร์

โมเดลดังกล่าวเหมาะสมอย่างยิ่งกับสถาปัตยกรรมระบบแบบกระจายที่กล่าวไว้ข้างต้น (เนื่องจากโมเดลแยกฟีเจอร์ของผู้ใช้กับฟีเจอร์ที่ไม่ใช่ผู้ใช้)

โมเดลแบบแยกตัวจะได้รับการฝึกโดยใช้ Differentially Private Alternating Minimization (DPAM) ซึ่งจะสลับระหว่างการเพิ่มประสิทธิภาพพารามิเตอร์ θu (เมื่อแก้ไข θv) และในทางกลับกัน เราพบว่าอัลกอริทึม DPAM มีประโยชน์มากขึ้นในการตั้งค่าต่างๆ 4 11 โดยเฉพาะเมื่อมีฟีเจอร์สาธารณะ

รายการอ้างอิง