במודול הזה נסביר את המושגים שקשורים לרגרסיה לינארית.
רגרסיה ליניארית היא טכניקה סטטיסטית שמשמשת למציאת הקשר בין משתנים. בהקשר של ML, רגרסיה לינארית מוצאת את הקשר בין תכונות לבין תווית.
לדוגמה, נניח שאנחנו רוצים לחזות את צריכת הדלק של מכונית במיילים לגלון, על סמך משקל המכונית, ויש לנו את מערך הנתונים הבא:
| פאונד באלפים (תכונה) | מיילים לגלון (תווית) |
|---|---|
| 3.5 | 18 |
| 3.69 | 15 |
| 3.44 | 18 |
| 3.43 | 16 |
| 4.34 | 15 |
| 4.42 | 14 |
| 2.37 | 24 |
אם נשרטט את הנקודות האלה, נקבל את הגרף הבא:
איור 1. משקל המכונית (בליבראות) לעומת דירוג מיילים לגלון. ככל שהמכונית כבדה יותר, כך דירוג הקילומטרים שלה לליטר בדרך כלל נמוך יותר.
אפשר ליצור מודל משלנו על ידי שרטוט קו ההתאמה הטוב ביותר בין הנקודות:
איור 2. קו ההתאמה הטובה ביותר ששורטט על סמך הנתונים מהאיור הקודם.
משוואת רגרסיה לינארית
במונחים אלגבריים, המודל יוגדר כ- $ y = mx + b $, כאשר
- $ y $ הוא מיילים לגלון – הערך שאנחנו רוצים לחזות.
- $ m $ הוא השיפוע של הקו.
- $ x $ הוא פאונד – ערך הקלט שלנו.
- $ b $ היא נקודת החיתוך עם ציר Y.
בלמידת מכונה, אנחנו כותבים את המשוואה של מודל רגרסיה ליניארית באופן הבא:
where:
- $ y' $ הוא התווית החזויה – הפלט.
- $ b $ הוא ההטיה של המודל. ההטיה היא אותו מושג כמו נקודת החיתוך עם ציר ה-y במשוואה האלגברית של קו. בלמידת מכונה, הטיה נקראת לפעמים $ w_0 $. הטיה היא פרמטר של המודל ומחושבת במהלך האימון.
- $ w_1 $ הוא המשקל של התכונה. המשקל הוא אותו קונספט כמו השיפוע $ m $ במשוואה האלגברית של קו. משקל הוא פרמטר של המודל, והוא מחושב במהלך האימון.
- $ x_1 $ הוא מאפיין – הקלט.
במהלך האימון, המודל מחשב את המשקל וההטיה שמפיקים את המודל הטוב ביותר.
איור 3. ייצוג מתמטי של מודל לינארי.
בדוגמה שלנו, נחשב את המשקל וההטיה מהקו שציירנו. ההטיה היא 34 (הנקודה שבה הקו חוצה את ציר ה-Y), והמשקל הוא –4.6 (שיפוע הקו). המודל יוגדר כך: $ y' = 34 + (-4.6)(x_1) $, ואפשר יהיה להשתמש בו כדי ליצור תחזיות. לדוגמה, לפי המודל הזה, צריכת הדלק של מכונית במשקל 4,000 פאונד תהיה 15.6 מייל לגלון.
איור 4. לפי המודל, צריכת הדלק של מכונית במשקל 4,000 פאונד היא 15.6 מייל לגלון.
מודלים עם כמה תכונות
בדוגמה שבקטע הזה נעשה שימוש רק במאפיין אחד – משקל המכונית – אבל במודל מתוחכם יותר יכול להיות שיהיו כמה מאפיינים, ולכל אחד מהם יהיה משקל נפרד ($ w_1 $, $ w_2 $, וכו'). לדוגמה, מודל שמסתמך על חמישה מאפיינים ייכתב כך:
$ y' = b + w_1x_1 + w_2x_2 + w_3x_3 + w_4x_4 + w_5x_5 $
לדוגמה, מודל שמנבא את צריכת הדלק יכול להשתמש גם בתכונות כמו:
- נפח מנוע
- האצה
- מספר הצילינדרים
- כוחות סוס
המודל הזה ייכתב כך:
איור 5. מודל עם חמישה מאפיינים לחיזוי דירוג צריכת הדלק של מכונית (מיילים לגלון).
אם נשרטט גרף של כמה מהתכונות הנוספות האלה, נראה שגם להן יש קשר ליניארי לתווית, מיילים לגלון:
איור 6. נפח המנוע של מכונית בסמ"ק ודירוג המיילים לגלון שלה. ככל שמנוע של מכונית גדול יותר, בדרך כלל דירוג הקילומטרים לגלון שלה יורד.
איור 7. ההאצה של המכונית ודירוג המיילים לגלון דלק שלה. ככל שלוקח יותר זמן להאיץ את המכונית, כך דירוג הקילומטרים לליטר בדרך כלל עולה.