คุณคาดการณ์ได้โดยใช้โมเดลการถดถอยเชิงเส้นหรือแบบโลจิสติกที่มีอยู่ซึ่งมีน้ำหนักที่ทราบโดยไม่ต้องใช้ ML.PREDICT
แม้จะเข้าถึงโมเดลไม่ได้ก็ตาม ในการดำเนินการนี้ คุณจะต้องใช้วิธีแก้ปัญหาเฉพาะสำหรับการใช้โมเดลการถดถอยแบบ Differentially Private (DP) ภายในการค้นหาการเปิดใช้งานกลุ่มเป้าหมายใน Ads Data Hub
ตัวอย่างแบบทีละขั้นตอนนี้จะสอนวิธีการอนุมานจำลองสำหรับโมเดลการถดถอยแบบลอจิสติกส์แบบเชิงเส้นและแบบไบนารีจริง จากนั้นเปรียบเทียบผลลัพธ์กับผลลัพธ์ของ ML.PREDICT
เพื่อแสดงความแม่นยำของผลลัพธ์ที่จำลอง
และยังจะแสดงให้เห็นตัวอย่างจริงของวิธีสร้างรายการกลุ่มเป้าหมายด้วยโมเดลโลจิสติกส์แบบไบนารี ซึ่งจะใช้ในการนํารูปแบบ Conversion ไปใช้กับการเปิดใช้งานกลุ่มเป้าหมาย
ภาพรวมของตัวอย่าง:
- สร้างข้อมูล
- ฝึกโมเดล
- ดูค่าน้ำหนักและจุดตัด
- จำลองการคาดการณ์
- เปรียบเทียบผลลัพธ์
ตัวอย่างแบบทีละขั้นตอน
1. สร้างข้อมูล
สร้างตารางที่มีข้อมูลจำลองสำหรับการฝึกโมเดล ทำเครื่องหมายบางส่วนของแถว สำหรับชุดการยกเว้น
การถดถอยเชิงเส้น
CREATE OR REPLACE TABLE DATASET_NAME.LIN_REG_TRAINING_SET AS
WITH
A AS (
SELECT
*
FROM
UNNEST(GENERATE_ARRAY(1, 100000)) AS row_number),
B AS (
SELECT
row_number,
RAND() AS rand_label,
RAND() AS rand_feature_1,
RAND() AS rand_feature_2,
RAND() AS rand_feature_3,
RAND() AS rand_feature_4,
RAND() AS rand_feature_5,
RAND() AS rand_feature_6,
RAND() AS rand_feature_7,
RAND() AS rand_feature_8,
RAND() AS rand_feature_9,
RAND() AS rand_feature_10
FROM
A),
C AS (
SELECT
rand_label AS label,
*
FROM
B),
D AS (
SELECT
row_number,
CAST(round(10 * label) AS INT64) AS label,
(rand_label + rand_feature_1) / 2 AS feature_1,
(rand_label + rand_feature_2) / 2 AS feature_2,
(rand_label + rand_feature_3) / 2 AS feature_3,
(rand_label + rand_feature_4) / 2 AS feature_4,
(rand_label + rand_feature_5) / 2 AS feature_5,
(rand_label + rand_feature_6) / 2 AS feature_6,
(rand_label + rand_feature_7) / 2 AS feature_7,
(rand_label + rand_feature_8) / 2 AS feature_8,
(rand_label + rand_feature_9) / 2 AS feature_9,
(rand_label + rand_feature_10) / 2 AS feature_10
FROM
C)
SELECT
label,
feature_1,
feature_2,
feature_3,
feature_4,
feature_5,
feature_6,
feature_7,
feature_8,
feature_9,
feature_10,
RAND() < 0.1 AS holdback -- Ten percent will be true.
FROM
D
การถดถอยแบบไบนารีโลจิสติก
SELECT
CASE
WHEN label < 5 THEN 0
WHEN label >= 5 THEN 1
END
AS label,
* EXCEPT (label)
FROM
`DATASET_NAME.BIN_LOG_REG_TRAINING_SET`
2. ฝึกโมเดล
ฝึกโมเดลการถดถอยจากชุดการฝึก
การถดถอยเชิงเส้น
CREATE OR REPLACE MODEL `DATASET_NAME.LIN_REG_MODEL` OPTIONS (model_type="linear_reg") AS
SELECT
* except (holdback)
FROM
`DATASET_NAME.LIN_REG_TRAINING_SET`
WHERE
NOT holdback
โปรดทราบว่าเราได้เพิ่มสัญญาณรบกวนที่เพียงพอในข้อมูลจําลองแล้ว เพื่อให้ได้โมเดลที่มี R2 = 0.9009
การวัด | ค่า |
---|---|
ค่าเฉลี่ยความผิดพลาดสัมบูรณ์ | 0.7359 |
ความคลาดเคลื่อนเฉลี่ยกำลังสอง | 0.8432 |
ค่าเฉลี่ยความผิดพลาดของบันทึกกำลังสอง | 0.0810 |
ค่ามัธยฐานความผิดพลาดสัมบูรณ์ | 0.6239 |
ค่า R ยกกำลังสอง | 0.9009 |
การถดถอยแบบไบนารีโลจิสติก
CREATE OR REPLACE MODEL `DATASET_NAME.BIN_LOG_REG_MODEL` OPTIONS (model_type="logistic_reg") AS
SELECT
* EXCEPT (holdback)
FROM
`DATASET_NAME.BIN_LOG_REG_TRAINING_SET`
WHERE
NOT holdback
ผลลัพธ์ตัวอย่าง สังเกตความแม่นยำของ 0.9260
การวัด | ค่า |
---|---|
คลาสที่เป็นบวก | 1 |
คลาสที่เป็นลบ | 0 |
ความแม่นยำ | 0.0810 |
การจดจำ | 0.9315 |
ความแม่นยำ | 0.9260 |
คะแนน F1 | 0.9328 |
ค่าตัวหนาในเมทริกซ์ความสับสนนี้แสดงความถี่ที่โมเดลจัดหมวดหมู่ป้ายกำกับแต่ละรายการอย่างถูกต้อง และค่าที่ไม่ใช่ตัวหนาจะแสดงความถี่ที่โมเดลจัดหมวดหมู่ป้ายกำกับแต่ละรายการผิด
ป้ายกำกับจริง | ป้ายกำกับที่คาดการณ์ 1 | ป้ายกำกับที่คาดการณ์ 2 |
---|---|---|
1 | 93% | 7% |
0 | 8% | 92% |
3. รับน้ำหนักและจุดตัด
หาน้ำหนักและจุดตัดของโมเดล:
การถดถอยเชิงเส้น
SELECT
*
FROM
ML.WEIGHTS(MODEL `DATASET_NAME.LIN_REG_MODEL`)
น้ำหนัก | category_weights.category |
---|---|
feature_1 | 1.8263055528635743 |
feature_2 | 1.8143804404490813 |
feature_3 | 1.8601204874033492 |
feature_4 | 1.8507603439031859 |
feature_5 | 1.7899764387123640 |
feature_6 | 1.8645246630251291 |
feature_7 | 1.8698005281925356 |
feature_8 | 1.7904637080330201 |
feature_9 | 1.8036887855406274 |
feature_10 | 1.8117115890624449 |
ตัดผ่าน | -4.1428754911504306 |
การถดถอยแบบไบนารีโลจิสติก
SELECT
*
FROM
ML.WEIGHTS(MODEL `DATASET_NAME.BIN_LOG_REG_MODEL`)
น้ำหนัก | category_weights.category |
---|---|
feature_1 | 3.823533928 |
feature_2 | 3.734812819 |
feature_3 | 3.842239823 |
feature_4 | 3.785488823 |
feature_5 | 3.737386716 |
feature_6 | 3.567663961 |
feature_7 | 3.819643052 |
feature_8 | 3.734673763 |
feature_9 | 3.839301406 |
feature_10 | 3.787306994 |
ตัดผ่าน | -17.922169920 |
4. จำลองการคาดการณ์
การถดถอยเชิงเส้น
ใช้ผลิตภัณฑ์แบบจุดของค่าฟีเจอร์พร้อมน้ำหนัก แล้วเพิ่มจุดตัดเพื่อสร้างการคาดการณ์โดยใช้ SQL มาตรฐานโดยไม่ต้องใช้ ML.PREDICT
คำค้นหานี้จะเปรียบเทียบการคาดการณ์ที่ใช้เทคนิคนี้กับการคาดคะเนที่ใช้ ML.PREDICT
สังเกตว่าบรรทัด SQL ตัวหนามีประสิทธิภาพการทำงานของ Dot Product ของค่าฟีเจอร์สำหรับแถวที่มีน้ำหนักโมเดลอย่างไร แล้วเพิ่มจุดตัด
WITH
T AS (
SELECT
label AS actual_label,
predicted_label AS ml_predicted_label,
[feature_1,
feature_2,
feature_3,
feature_4,
feature_5,
feature_6,
feature_7,
feature_8,
feature_9,
feature_10] AS features,
[1.8263055528635743,
1.8143804404490813,
1.8601204874033492,
1.8507603439031859,
1.789976438712364,
1.8645246630251291,
1.8698005281925356,
1.7904637080330201,
1.8036887855406274,
1.8117115890624449] AS weights
FROM
ML.PREDICT(MODEL `DATASET_NAME.LIN_REG_MODEL`,
(
SELECT
*
FROM
`PROJECT_NAME.DATASET_NAME.LIN_REG_TRAINING_SET`))
WHERE
holdback),
P AS (
SELECT
actual_label,
ml_predicted_label,
(
SELECT
SUM(element1 * element2) - 4.1428754911504306
FROM
T.features element1
WITH
OFFSET
pos
JOIN
T.weights element2
WITH
OFFSET
pos
USING
(pos) ) sql_predicted_label,
features,
weights
FROM
T)
SELECT
actual_label,
ml_predicted_label,
sql_predicted_label,
ABS(ml_predicted_label - sql_predicted_label) < 0.00000000001 AS diff_is_negligible
FROM
P
การถดถอยแบบไบนารีโลจิสติก
สำหรับการถดถอยแบบโลจิสติกส์แบบไบนารี เทคนิคการจำลองการคาดการณ์คล้ายกับการถดถอยเชิงเส้นเป็นอย่างมาก โดยเพิ่มการใช้ฟังก์ชัน sigmoid ในขั้นตอนสุดท้ายด้วยเกณฑ์ที่ต้องการ
ใช้ผลิตภัณฑ์แบบจุดของค่าฟีเจอร์พร้อมน้ำหนัก แล้วเพิ่มจุดตัดเพื่อสร้างการคาดการณ์โดยใช้ SQL มาตรฐานโดยไม่ใช้ ML.PREDICT
จากนั้นใช้ฟังก์ชัน sigmoid ที่มีเกณฑ์เป็น 0.5 ในผลลัพธ์เพื่อคาดการณ์ 0 หรือ 1 คำค้นหานี้จะเปรียบเทียบการคาดการณ์ที่ใช้เทคนิคนี้กับการคาดคะเนที่ใช้ ML.PREDICT
WITH
T AS (
SELECT
label AS actual_label,
predicted_label AS ml_predicted_label,
[feature_1,
feature_2,
feature_3,
feature_4,
feature_5,
feature_6,
feature_7,
feature_8,
feature_9,
feature_10] AS features,
[3.8235339279050287,
3.7348128191185244,
3.8422398227859471,
3.7854888232502479,
3.7373867156553713,
3.5676639605351026,
3.8196430517007811,
3.7346737628343032,
3.8393014063170749,
3.7873069939244743] AS weights
FROM
ML.PREDICT(MODEL `DATASET_NAME.BIN_LOG_REG_MODEL`,
(
SELECT
*
FROM
`PROJECT_NAME.DATASET_NAME.BIN_LOG_REG_TRAINING_SET`))
WHERE
holdback),
P AS (
SELECT
actual_label,
ml_predicted_label,
(
SELECT
IF((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)
FROM
T.features element1
WITH
OFFSET
pos
JOIN
T.weights element2
WITH
OFFSET
pos
USING
(pos) ) sql_predicted_label,
features,
weights
FROM
T)
SELECT
actual_label,
ml_predicted_label,
sql_predicted_label,
ml_predicted_label = sql_predicted_label AS simulation_is_accurate
FROM
P
บล็อกโค้ด SQL ที่เป็นตัวหนาในการค้นหาด้านบนจะใช้ผลิตภัณฑ์จุดของค่าฟีเจอร์สำหรับแต่ละแถวที่มีน้ำหนักของโมเดล และบวกจุดตัดเพื่อรับการคาดการณ์การถดถอยเชิงเส้นดังนี้
IF((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)
จากนั้นจึงใช้ฟังก์ชัน sigmoid Y = 1 / (1+e^-z)
กับผลิตภัณฑ์เครื่องหมายจุดและตัดโดยใช้ SQL มาตรฐาน
IF((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)
สุดท้าย ผลลัพธ์ของฟังก์ชัน sigmoid จะถูกนำไปเปรียบเทียบกับค่าเกณฑ์ของ 0.5 เพื่อให้ได้การคาดการณ์การถดถอยแบบโลจิสติกส์แบบไบนารีของ 0 ถ้าค่าน้อยกว่า 0.5 หรือ 1 ถ้าไม่ใช่ โปรดทราบว่าคุณสามารถใช้ค่าเกณฑ์ระหว่าง 0 ถึง 1
IF((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)
เทคนิคนี้อาจขยายไปสู่การถดถอยแบบโลจิสติกส์แบบหลายคลาสด้วย ในกรณีนั้น น้ำหนักของโมเดลจะเป็นเมทริกซ์ nxn แทนที่จะเป็นเวกเตอร์ และน้ำหนักจะเป็นเวกเตอร์แทนที่จะเป็นสเกลาร์ คุณจะต้องคูณเวกเตอร์ของค่าจุดสนใจด้วยเมทริกซ์น้ำหนัก และเพิ่มเวกเตอร์จุดตัด เวกเตอร์ที่เป็นผลลัพธ์จะมีคะแนนสำหรับแต่ละป้ายกำกับ และคุณจะเลือกป้ายกำกับที่มีคะแนนสูงสุดสำหรับการคาดการณ์ได้ หากต้องการแสดงผลอาร์เรย์ความน่าจะเป็น ให้ใช้ฟังก์ชัน sigmoid กับแต่ละองค์ประกอบของอาร์เรย์
5. เปรียบเทียบผลลัพธ์
การถดถอยเชิงเส้น
ผลลัพธ์ตัวอย่างแทบจะเหมือนกันทุกประการ ยกเว้นข้อผิดพลาดในการปัดเศษขนาดเล็ก
actual_label | ml_predicted_label | sql_predicted_label | diff_is_negligible |
---|---|---|---|
6 | 5.2062349420751834 | 5.2062349420751826 | จริง |
0 | 0.40318472770048075 | 0.403184727700479 | จริง |
3 | 3.0703766078249597 | 3.0703766078249597 | จริง |
7 | 7.0588171538562 | 7.0588171538562 | จริง |
6 | 6.7802375930646 | 6.7802375930646 | จริง |
6 | 5.1088569571339368 | 5.1088569571339377 | จริง |
4 | 4.051839078116874 | 4.051839078116874 | จริง |
4 | 5.1810254680219243 | 5.1810254680219234 | จริง |
6 | 6.1440349466401223 | 6.1440349466401205 | จริง |
1 | 2.0842399472783519 | 2.0842399472783519 | จริง |
2 | 2.1911209811886847 | 2.1911209811886838 | จริง |
3 | 3.0236086790006622 | 3.0236086790006613 | จริง |
2 | 2.573083132964213 | 2.5730831329642125 | จริง |
7 | 5.68662973136732 | 5.6866297313673186 | จริง |
9 | 8.1860026312677938 | 8.1860026312677938 | จริง |
การถดถอยแบบไบนารีโลจิสติก
การเปรียบเทียบการอนุมานที่จำลองกับผลลัพธ์จริงของ ML.PREDICT
นั้นสมบูรณ์แบบ ไม่ใช่การขัดแย้งแบบเดียวในชุดการยกเว้น 10,000 แถว มี 2-3 แถวที่ทั้ง ML.PREDICT
และการอนุมานที่จำลองทั้งคู่ไม่เห็นด้วยกับป้ายกำกับจริง ซึ่งเป็นไปตามที่คาดไว้เนื่องจากความแม่นยำของโมเดลอยู่ที่ประมาณ 93% และในเซลล์นอกแนวทแยงมุมของเมทริกซ์ความสับสนมีค่าขนาดเล็กแต่ไม่เป็น 0
actual_label | ml_predicted_label | sql_predicted_label | simulation_is_accurate |
---|---|---|---|
0 | 1 | 1 | จริง |
0 | 0 | 0 | จริง |
0 | 0 | 0 | จริง |
0 | 0 | 0 | จริง |
0 | 0 | 0 | จริง |
0 | 0 | 0 | จริง |
0 | 0 | 0 | จริง |
0 | 0 | 0 | จริง |
0 | 0 | 0 | จริง |
0 | 0 | 0 | จริง |
0 | 1 | 1 | จริง |
0 | 0 | 0 | จริง |
สร้างรายการเปิดใช้งานกลุ่มเป้าหมายด้วย ML
กรณีการใช้งานทั่วไปคือการสร้างรูปแบบการถดถอยโลจิสติกของไบนารีที่มีความเป็นส่วนตัวที่แตกต่างเพื่อคาดการณ์ Conversion จากนั้นจึงใช้การอนุมานกับรูปแบบนี้ขณะสร้างรายการกลุ่มเป้าหมาย สมมติว่าโมเดลโลจิสติกส์ไบนารีที่สร้างในตัวอย่างข้างต้นเป็นการประมาณ Conversion และแต่ละแถวในชุดการฝึกและการประเมินแสดงถึงผู้ใช้ 1 คน
คำค้นหาต่อไปนี้แสดงวิธีสร้างรายการกลุ่มเป้าหมายกับผู้ใช้ที่โมเดลคาดการณ์ไว้จะแปลง
WITH
T AS (
SELECT
*,
label AS actual_label,
[feature_1,
feature_2,
feature_3,
feature_4,
feature_5,
feature_6,
feature_7,
feature_8,
feature_9,
feature_10] AS features,
[3.8235339279050287,
3.7348128191185244,
3.8422398227859471,
3.7854888232502479,
3.7373867156553713,
3.5676639605351026,
3.8196430517007811,
3.7346737628343032,
3.8393014063170749,
3.7873069939244743] AS weights
FROM
`PROJECT_NAME.DATASET_NAME.BIN_LOG_REG_TRAINING_SET`
WHERE
holdback),
P AS (
SELECT
*,
(
SELECT
IF
((1 / (1 + EXP(-(SUM(element1 * element2) -17.922169920432161)))) < 0.5, 0, 1)
FROM
T.features element1
WITH
OFFSET
pos
JOIN
T.weights element2
WITH
OFFSET
pos
USING
(pos) ) predicted_label,
features,
weights
FROM
T),
SELECT
user_id
FROM
P
WHERE
predicted_label = 1;