במקום לחזות בדיוק 0 או 1, רגרסיה לוגיסטית יוצרת הסתברות — ערך בין 0 ל-1, לא כולל. לדוגמה, אפשר לשקול מודל רגרסיה לוגיסטי לזיהוי ספאם. אם לפי המודל הזה הערך הזה הוא 0.932, הודעת האימייל מרמזת על הסתברות של 93.2% שהודעת האימייל היא ספאם. למען הדיוק רב, פירוש הדבר הוא שבמקרה של דוגמאות לאימון אינסופי, קבוצת הדוגמאות שהמודל חוזה שהיא 0.932 היא למעשה ספאם 93.2% מהזמן, ו-6.8% הנותרים, לא.
רגרסיה לוגיסטית
יש סיכוי להיפוך מטבעות?
- דמיינו את הבעיה של חיזוי ההסתברות לראשים למטבעות מכופפים
- ניתן להשתמש בתכונות כמו זווית של כיפוף, מסת מטבע וכו'.
- מהו הדגם הפשוט ביותר שאפשר להשתמש בו?
- מה כבר יכול להשתבש?
רגרסיה לוגיסטית
- בעיות רבות דורשות אומדן הסתברות כפלט
- מזינים רגרסיה לוגיסטית
רגרסיה לוגיסטית
- בעיות רבות דורשות אומדן הסתברות כפלט
- מזינים רגרסיה לוגיסטית
- שימושי כי אומדני ההסתברות מכוילים
- לדוגמה, p(בית יימכר) * price = תוצאה צפויה
רגרסיה לוגיסטית
- בעיות רבות דורשות אומדן הסתברות כפלט
- מזינים רגרסיה לוגיסטית
- שימושי כי אומדני ההסתברות מכוילים
- לדוגמה, p(בית יימכר) * price = תוצאה צפויה
- שימושי גם למקרים שבהם אנחנו צריכים סיווג בינארי
- ספאם או לא ספאם? ← p(ספאם)
רגרסיה לוגיסטית – חיזויים
$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$
\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)
בהגדרת LogLoss
$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$
רגרסיה לוגיסטית וסירוגין
- רגרסיה חשובה במיוחד לרגרסיה לוגיסטית.
- כדאי לזכור את האסימפטומים
- זה ימשיך לנסות להוביל ל-0 במידות גדולות
רגרסיה לוגיסטית וסירוגין
- רגרסיה חשובה במיוחד לרגרסיה לוגיסטית.
- כדאי לזכור את האסימפטומים
- זה ימשיך לנסות להוביל ל-0 במידות גדולות
- שתי אסטרטגיות שימושיות במיוחד:
- L2 תקני תקינות (נקרא גם L2דעיכה במשקל) - עוסק במשקלים עצומים.
- עצירה מוקדמת – הגבלת שלבי האימון או קצב הלמידה.
רגרסיה לוגיסטית לינארית
- רגרסיה לוגיסטית לינארית היא יעילה ביותר.
- הדרכה מהירה וזמני חיזוי.
- מודלים קצרים / רחבים משתמשים בהרבה זיכרון RAM.