רגרסיה לוגיסטית: חישוב הסתברות

משך זמן משוער: 10 דקות

בעיות רבות דורשות אומדן הסתברות כפלט. רגרסיה לוגיסטית היא מנגנון יעיל ביותר לחישוב ההסתברות. באופן מעשי, תוכלו להשתמש בהסתברות שמוחזרת באחת משתי השיטות הבאות:

• "As is"
• בוצע המרה לקטגוריה בינארית.

נשקול איך אנחנו משתמשים בהסתברות&quot. נניח שאנחנו יוצרים מודל רגרסיה לוגיסטית כדי לחזות את ההסתברות שהכלב נובח באמצע הלילה. אנחנו קוראים להסתברות:

\[p(bark | night)\]

אם מודל הרגרסיה הלוגיסטית חוזה את \(p(bark | night) = 0.05\), הבעלים של הכלב צריך להיות ערנות בערך כ-18 פעמים:

\[\begin{align} startled &= p(bark | night) \cdot nights \\ &= 0.05 \cdot 365 \\ &~= 18 \end{align} \]

במקרים רבים, צריך למפות את פלט הרגרסיה הלוגיסטית לפתרון לבעיה של סיווג בינארי, שבה המטרה היא לחזות בצורה נכונה אחת מתוך שתי תוויות אפשריות (למשל, "spam" או " לא ספאם"). מודול מאוחר יותר מתמקד בנושא הזה.

יכול להיות שלא ברור לכם איך מודל רגרסיה לוגיסטי יכול להבטיח שהפלט תמיד יהיה בין 0 ל-1. בזמן אמת, פונקציה sigmoid, שהוגדרה כך, יוצרת פלט עם אותם מאפיינים:

$$y = \frac{1}{1 + e^{-z}}$$

הפונקציה sigmoid מספקת את התרשים הבא:

איור 1: פונקציה של Sigmoid.

אם \(z\) הוא מייצג את הפלט של השכבה הלינארית של מודל שעבר רגרסיה לוגיסטית, \(sigmoid(z)\) יפיק ערך (הסתברות) בין 0 ל-1. במונחים מתמטיים:

$$y' = \frac{1}{1 + e^{-z}}$$

כאשר:

• \(y'\) פלט של רגרסיה לוגיסטית בדוגמה מסוימת.
• \(z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\)
  • הערכים \(w\) הם המשקל של המודל& \(b\) הוא ההטיה.
  • ערכי \(x\) הם ערכי התכונות של דוגמה מסוימת.

שימו לב ש \(z\) מכונה גם log-odds כי ההיפוך של הסיגמויד \(z\) ניתן להגדיר אותו בתור יומן ההסתברות של \(1\) (למשל, "כלב נובח" חלקי ההסתברות \(0\) של התווית (למשל, "dog do't Bark" :

$$ z = \log\left(\frac{y}{1-y}\right) $$

זוהי הפונקציה של sigmoid עם תוויות ML:

איור 2: פלט רגרסיה לוגיסטית.

יש ללחוץ על סמל הפלוס כדי לראות חישוב של מסקנות רגרסיה לוגית.

נניח שיש לנו מודל רגרסיה לוגיסטי עם שלוש תכונות שלמדו את ההטיה והמשקלים הבאים:

$$\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} $$

נניח גם את ערכי התכונות הבאים עבור דוגמה נתונה:

$$\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} $$

לכן, קודי היומן:

$$b + w_1x_1 + w_2x_2 + w_3x_3$$

תהיה:

$$(1) + (2)(0) + (-1)(10) + (5)(2) = 1$$

כתוצאה מכך, חיזוי הרגרסיה הלוגיסטית בדוגמה הספציפית הזו יהיה 0.731:

$$y' = \frac{1}{1 + e^{-1}} = 0.731$$

איור 3: הסתברות של 73.1%.

תנאי מפתח

סיווג בינארי	רגרסיה לוגיסטית
פונקציית sigmoid