การประมาณการถดถอยสำหรับรายการกลุ่มเป้าหมาย

คุณคาดการณ์ได้โดยใช้โมเดลการถดถอยเชิงเส้นหรือแบบโลจิสติกที่มีอยู่ซึ่งมีน้ำหนักที่ทราบโดยไม่ต้องใช้ ML.PREDICT แม้จะเข้าถึงโมเดลไม่ได้ก็ตาม ในการดำเนินการนี้ คุณจะต้องใช้วิธีแก้ปัญหาเฉพาะสำหรับการใช้โมเดลการถดถอยแบบ Differentially Private (DP) ภายในการค้นหาการเปิดใช้งานกลุ่มเป้าหมายใน Ads Data Hub

ตัวอย่างแบบทีละขั้นตอนนี้จะสอนวิธีการอนุมานจำลองสำหรับโมเดลการถดถอยแบบลอจิสติกส์แบบเชิงเส้นและแบบไบนารีจริง จากนั้นเปรียบเทียบผลลัพธ์กับผลลัพธ์ของ ML.PREDICT เพื่อแสดงความแม่นยำของผลลัพธ์ที่จำลอง และยังจะแสดงให้เห็นตัวอย่างจริงของวิธีสร้างรายการกลุ่มเป้าหมายด้วยโมเดลโลจิสติกส์แบบไบนารี ซึ่งจะใช้ในการนํารูปแบบ Conversion ไปใช้กับการเปิดใช้งานกลุ่มเป้าหมาย

ภาพรวมของตัวอย่าง:

  1. สร้างข้อมูล
  2. ฝึกโมเดล
  3. ดูค่าน้ำหนักและจุดตัด
  4. จำลองการคาดการณ์
  5. เปรียบเทียบผลลัพธ์

ตัวอย่างแบบทีละขั้นตอน

1. สร้างข้อมูล

สร้างตารางที่มีข้อมูลจำลองสำหรับการฝึกโมเดล ทำเครื่องหมายบางส่วนของแถว สำหรับชุดการยกเว้น

การถดถอยเชิงเส้น

CREATE OR REPLACE TABLE DATASET_NAME.LIN_REG_TRAINING_SET AS
  WITH
  A AS (
    SELECT
      *
    FROM
      UNNEST(GENERATE_ARRAY(1, 100000)) AS row_number),
  B AS (
    SELECT
      row_number,
      RAND() AS rand_label,
      RAND() AS rand_feature_1,
      RAND() AS rand_feature_2,
      RAND() AS rand_feature_3,
      RAND() AS rand_feature_4,
      RAND() AS rand_feature_5,
      RAND() AS rand_feature_6,
      RAND() AS rand_feature_7,
      RAND() AS rand_feature_8,
      RAND() AS rand_feature_9,
      RAND() AS rand_feature_10
    FROM
      A),
  C AS (
    SELECT
      rand_label AS label,
      *
    FROM
      B),
  D AS (
    SELECT
    row_number,
    CAST(round(10 * label) AS INT64) AS label,
    (rand_label + rand_feature_1) / 2 AS feature_1,
    (rand_label + rand_feature_2) / 2 AS feature_2,
    (rand_label + rand_feature_3) / 2 AS feature_3,
    (rand_label + rand_feature_4) / 2 AS feature_4,
    (rand_label + rand_feature_5) / 2 AS feature_5,
    (rand_label + rand_feature_6) / 2 AS feature_6,
    (rand_label + rand_feature_7) / 2 AS feature_7,
    (rand_label + rand_feature_8) / 2 AS feature_8,
    (rand_label + rand_feature_9) / 2 AS feature_9,
    (rand_label + rand_feature_10) / 2 AS feature_10
    FROM
    C)

SELECT
  label,
  feature_1,
  feature_2,
  feature_3,
  feature_4,
  feature_5,
  feature_6,
  feature_7,
  feature_8,
  feature_9,
  feature_10,
  RAND() < 0.1 AS holdback -- Ten percent will be true.
FROM
  D

การถดถอยแบบไบนารีโลจิสติก

SELECT
  CASE
    WHEN label < 5 THEN 0
    WHEN label >= 5 THEN 1
  END
  AS label,
  * EXCEPT (label)
FROM
  `DATASET_NAME.BIN_LOG_REG_TRAINING_SET`

2. ฝึกโมเดล

ฝึกโมเดลการถดถอยจากชุดการฝึก

การถดถอยเชิงเส้น

CREATE OR REPLACE MODEL `DATASET_NAME.LIN_REG_MODEL` OPTIONS (model_type="linear_reg") AS
  SELECT
    * except (holdback)
  FROM
    `DATASET_NAME.LIN_REG_TRAINING_SET`
  WHERE
    NOT holdback

โปรดทราบว่าเราได้เพิ่มสัญญาณรบกวนที่เพียงพอในข้อมูลจําลองแล้ว เพื่อให้ได้โมเดลที่มี R2 = 0.9009

การวัด ค่า
ค่าเฉลี่ยความผิดพลาดสัมบูรณ์ 0.7359
ความคลาดเคลื่อนเฉลี่ยกำลังสอง 0.8432
ค่าเฉลี่ยความผิดพลาดของบันทึกกำลังสอง 0.0810
ค่ามัธยฐานความผิดพลาดสัมบูรณ์ 0.6239
ค่า R ยกกำลังสอง 0.9009

การถดถอยแบบไบนารีโลจิสติก

CREATE OR REPLACE MODEL `DATASET_NAME.BIN_LOG_REG_MODEL` OPTIONS (model_type="logistic_reg") AS
  SELECT
    * EXCEPT (holdback)
  FROM
    `DATASET_NAME.BIN_LOG_REG_TRAINING_SET`
  WHERE
    NOT holdback

ผลลัพธ์ตัวอย่าง สังเกตความแม่นยำของ 0.9260

การวัด ค่า
คลาสที่เป็นบวก 1
คลาสที่เป็นลบ 0
ความแม่นยำ 0.0810
การจดจำ 0.9315
ความแม่นยำ 0.9260
คะแนน F1 0.9328

ค่าตัวหนาในเมทริกซ์ความสับสนนี้แสดงความถี่ที่โมเดลจัดหมวดหมู่ป้ายกำกับแต่ละรายการอย่างถูกต้อง และค่าที่ไม่ใช่ตัวหนาจะแสดงความถี่ที่โมเดลจัดหมวดหมู่ป้ายกำกับแต่ละรายการผิด

ป้ายกำกับจริง ป้ายกำกับที่คาดการณ์ 1 ป้ายกำกับที่คาดการณ์ 2
1 93% 7%
0 8% 92%

3. รับน้ำหนักและจุดตัด

หาน้ำหนักและจุดตัดของโมเดล:

การถดถอยเชิงเส้น

SELECT
  *
FROM
  ML.WEIGHTS(MODEL `DATASET_NAME.LIN_REG_MODEL`)
น้ำหนัก category_weights.category
feature_1 1.8263055528635743
feature_2 1.8143804404490813
feature_3 1.8601204874033492
feature_4 1.8507603439031859
feature_5 1.7899764387123640
feature_6 1.8645246630251291
feature_7 1.8698005281925356
feature_8 1.7904637080330201
feature_9 1.8036887855406274
feature_10 1.8117115890624449
ตัดผ่าน -4.1428754911504306

การถดถอยแบบไบนารีโลจิสติก

SELECT
  *
FROM
  ML.WEIGHTS(MODEL `DATASET_NAME.BIN_LOG_REG_MODEL`)
น้ำหนัก category_weights.category
feature_1 3.823533928
feature_2 3.734812819
feature_3 3.842239823
feature_4 3.785488823
feature_5 3.737386716
feature_6 3.567663961
feature_7 3.819643052
feature_8 3.734673763
feature_9 3.839301406
feature_10 3.787306994
ตัดผ่าน -17.922169920

4. จำลองการคาดการณ์

การถดถอยเชิงเส้น

ใช้ผลิตภัณฑ์แบบจุดของค่าฟีเจอร์พร้อมน้ำหนัก แล้วเพิ่มจุดตัดเพื่อสร้างการคาดการณ์โดยใช้ SQL มาตรฐานโดยไม่ต้องใช้ ML.PREDICT คำค้นหานี้จะเปรียบเทียบการคาดการณ์ที่ใช้เทคนิคนี้กับการคาดคะเนที่ใช้ ML.PREDICT สังเกตว่าบรรทัด SQL ตัวหนามีประสิทธิภาพการทำงานของ Dot Product ของค่าฟีเจอร์สำหรับแถวที่มีน้ำหนักโมเดลอย่างไร แล้วเพิ่มจุดตัด

WITH
T AS (
SELECT
  label AS actual_label,
  predicted_label AS ml_predicted_label,
  [feature_1,
  feature_2,
  feature_3,
  feature_4,
  feature_5,
  feature_6,
  feature_7,
  feature_8,
  feature_9,
  feature_10] AS features,
  [1.8263055528635743,
  1.8143804404490813,
  1.8601204874033492,
  1.8507603439031859,
  1.789976438712364,
  1.8645246630251291,
  1.8698005281925356,
  1.7904637080330201,
  1.8036887855406274,
  1.8117115890624449] AS weights
FROM
  ML.PREDICT(MODEL `DATASET_NAME.LIN_REG_MODEL`,
    (
    SELECT
      *
    FROM
      `PROJECT_NAME.DATASET_NAME.LIN_REG_TRAINING_SET`))
WHERE
  holdback),
P AS (
SELECT
  actual_label,
  ml_predicted_label,
  (
   SELECT
    SUM(element1 * element2) - 4.1428754911504306
  FROM
    T.features element1
  WITH
  OFFSET
    pos
  JOIN
    T.weights element2
  WITH
  OFFSET
    pos
  USING
    (pos) ) sql_predicted_label,
  features,
  weights
FROM
  T)
SELECT
  actual_label,
  ml_predicted_label,
  sql_predicted_label,
  ABS(ml_predicted_label - sql_predicted_label) < 0.00000000001 AS diff_is_negligible
FROM
  P

การถดถอยแบบไบนารีโลจิสติก

สำหรับการถดถอยแบบโลจิสติกส์แบบไบนารี เทคนิคการจำลองการคาดการณ์คล้ายกับการถดถอยเชิงเส้นเป็นอย่างมาก โดยเพิ่มการใช้ฟังก์ชัน sigmoid ในขั้นตอนสุดท้ายด้วยเกณฑ์ที่ต้องการ

ใช้ผลิตภัณฑ์แบบจุดของค่าฟีเจอร์พร้อมน้ำหนัก แล้วเพิ่มจุดตัดเพื่อสร้างการคาดการณ์โดยใช้ SQL มาตรฐานโดยไม่ใช้ ML.PREDICT จากนั้นใช้ฟังก์ชัน sigmoid ที่มีเกณฑ์เป็น 0.5 ในผลลัพธ์เพื่อคาดการณ์ 0 หรือ 1 คำค้นหานี้จะเปรียบเทียบการคาดการณ์ที่ใช้เทคนิคนี้กับการคาดคะเนที่ใช้ ML.PREDICT

WITH
T AS (
SELECT
  label AS actual_label,
  predicted_label AS ml_predicted_label,
  [feature_1,
  feature_2,
  feature_3,
  feature_4,
  feature_5,
  feature_6,
  feature_7,
  feature_8,
  feature_9,
  feature_10] AS features,
  [3.8235339279050287,
  3.7348128191185244,
  3.8422398227859471,
  3.7854888232502479,
  3.7373867156553713,
  3.5676639605351026,
  3.8196430517007811,
  3.7346737628343032,
  3.8393014063170749,
  3.7873069939244743] AS weights
FROM
  ML.PREDICT(MODEL `DATASET_NAME.BIN_LOG_REG_MODEL`,
    (
    SELECT
      *
    FROM
      `PROJECT_NAME.DATASET_NAME.BIN_LOG_REG_TRAINING_SET`))
WHERE
  holdback),
P AS (
SELECT
  actual_label,
  ml_predicted_label,
  (
   SELECT
    IF((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)
  FROM
    T.features element1
  WITH
  OFFSET
    pos
  JOIN
    T.weights element2
  WITH
  OFFSET
    pos
  USING
    (pos) ) sql_predicted_label,
  features,
  weights
FROM
  T)
SELECT
  actual_label,
  ml_predicted_label,
  sql_predicted_label,
  ml_predicted_label = sql_predicted_label AS simulation_is_accurate
FROM
  P

บล็อกโค้ด SQL ที่เป็นตัวหนาในการค้นหาด้านบนจะใช้ผลิตภัณฑ์จุดของค่าฟีเจอร์สำหรับแต่ละแถวที่มีน้ำหนักของโมเดล และบวกจุดตัดเพื่อรับการคาดการณ์การถดถอยเชิงเส้นดังนี้

IF((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)

จากนั้นจึงใช้ฟังก์ชัน sigmoid Y = 1 / (1+e^-z) กับผลิตภัณฑ์เครื่องหมายจุดและตัดโดยใช้ SQL มาตรฐาน

IF((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)

สุดท้าย ผลลัพธ์ของฟังก์ชัน sigmoid จะถูกนำไปเปรียบเทียบกับค่าเกณฑ์ของ 0.5 เพื่อให้ได้การคาดการณ์การถดถอยแบบโลจิสติกส์แบบไบนารีของ 0 ถ้าค่าน้อยกว่า 0.5 หรือ 1 ถ้าไม่ใช่ โปรดทราบว่าคุณสามารถใช้ค่าเกณฑ์ระหว่าง 0 ถึง 1

IF((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)

เทคนิคนี้อาจขยายไปสู่การถดถอยแบบโลจิสติกส์แบบหลายคลาสด้วย ในกรณีนั้น น้ำหนักของโมเดลจะเป็นเมทริกซ์ nxn แทนที่จะเป็นเวกเตอร์ และน้ำหนักจะเป็นเวกเตอร์แทนที่จะเป็นสเกลาร์ คุณจะต้องคูณเวกเตอร์ของค่าจุดสนใจด้วยเมทริกซ์น้ำหนัก และเพิ่มเวกเตอร์จุดตัด เวกเตอร์ที่เป็นผลลัพธ์จะมีคะแนนสำหรับแต่ละป้ายกำกับ และคุณจะเลือกป้ายกำกับที่มีคะแนนสูงสุดสำหรับการคาดการณ์ได้ หากต้องการแสดงผลอาร์เรย์ความน่าจะเป็น ให้ใช้ฟังก์ชัน sigmoid กับแต่ละองค์ประกอบของอาร์เรย์

5. เปรียบเทียบผลลัพธ์

การถดถอยเชิงเส้น

ผลลัพธ์ตัวอย่างแทบจะเหมือนกันทุกประการ ยกเว้นข้อผิดพลาดในการปัดเศษขนาดเล็ก

actual_label ml_predicted_label sql_predicted_label diff_is_negligible
6 5.2062349420751834 5.2062349420751826 จริง
0 0.40318472770048075 0.403184727700479 จริง
3 3.0703766078249597 3.0703766078249597 จริง
7 7.0588171538562 7.0588171538562 จริง
6 6.7802375930646 6.7802375930646 จริง
6 5.1088569571339368 5.1088569571339377 จริง
4 4.051839078116874 4.051839078116874 จริง
4 5.1810254680219243 5.1810254680219234 จริง
6 6.1440349466401223 6.1440349466401205 จริง
1 2.0842399472783519 2.0842399472783519 จริง
2 2.1911209811886847 2.1911209811886838 จริง
3 3.0236086790006622 3.0236086790006613 จริง
2 2.573083132964213 2.5730831329642125 จริง
7 5.68662973136732 5.6866297313673186 จริง
9 8.1860026312677938 8.1860026312677938 จริง

การถดถอยแบบไบนารีโลจิสติก

การเปรียบเทียบการอนุมานที่จำลองกับผลลัพธ์จริงของ ML.PREDICT นั้นสมบูรณ์แบบ ไม่ใช่การขัดแย้งแบบเดียวในชุดการยกเว้น 10,000 แถว มี 2-3 แถวที่ทั้ง ML.PREDICT และการอนุมานที่จำลองทั้งคู่ไม่เห็นด้วยกับป้ายกำกับจริง ซึ่งเป็นไปตามที่คาดไว้เนื่องจากความแม่นยำของโมเดลอยู่ที่ประมาณ 93% และในเซลล์นอกแนวทแยงมุมของเมทริกซ์ความสับสนมีค่าขนาดเล็กแต่ไม่เป็น 0

actual_label ml_predicted_label sql_predicted_label simulation_is_accurate
0 1 1 จริง
0 0 0 จริง
0 0 0 จริง
0 0 0 จริง
0 0 0 จริง
0 0 0 จริง
0 0 0 จริง
0 0 0 จริง
0 0 0 จริง
0 0 0 จริง
0 1 1 จริง
0 0 0 จริง

สร้างรายการเปิดใช้งานกลุ่มเป้าหมายด้วย ML

กรณีการใช้งานทั่วไปคือการสร้างรูปแบบการถดถอยโลจิสติกของไบนารีที่มีความเป็นส่วนตัวที่แตกต่างเพื่อคาดการณ์ Conversion จากนั้นจึงใช้การอนุมานกับรูปแบบนี้ขณะสร้างรายการกลุ่มเป้าหมาย สมมติว่าโมเดลโลจิสติกส์ไบนารีที่สร้างในตัวอย่างข้างต้นเป็นการประมาณ Conversion และแต่ละแถวในชุดการฝึกและการประเมินแสดงถึงผู้ใช้ 1 คน

คำค้นหาต่อไปนี้แสดงวิธีสร้างรายการกลุ่มเป้าหมายกับผู้ใช้ที่โมเดลคาดการณ์ไว้จะแปลง

WITH
T AS (
SELECT
  *,
  label AS actual_label,
  [feature_1,
  feature_2,
  feature_3,
  feature_4,
  feature_5,
  feature_6,
  feature_7,
  feature_8,
  feature_9,
  feature_10] AS features,
  [3.8235339279050287,
  3.7348128191185244,
  3.8422398227859471,
  3.7854888232502479,
  3.7373867156553713,
  3.5676639605351026,
  3.8196430517007811,
  3.7346737628343032,
  3.8393014063170749,
  3.7873069939244743] AS weights
FROM
  `PROJECT_NAME.DATASET_NAME.BIN_LOG_REG_TRAINING_SET`
WHERE
  holdback),
P AS (
SELECT
  *,
  (
  SELECT
  IF
    ((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)
  FROM
    T.features element1
  WITH
  OFFSET
    pos
  JOIN
    T.weights element2
  WITH
  OFFSET
    pos
  USING
    (pos) ) predicted_label,
  features,
  weights
FROM
  T),
SELECT
  user_id
FROM
  P
WHERE
  predicted_label = 1;