המודול הזה מציג מושגים של רגרסיה ליניארית.
רגרסיה לינארית היא שיטה סטטיסטיות שמשמשת למציאת הקשר בין משתנים. בלמידת מכונה רגרסיה ליניארית מוצאת את הקשר תכונות label.
לדוגמה, נניח שאנחנו רוצים לחזות את צריכת הדלק של מכונית במיילים לגלון על סמך המשקל של המכונית, ויש לנו את מערך הנתונים הבא:
| לירה 2000 ש"ח (תכונה) | מיילים לגלון (תווית) |
|---|---|
| 3.5 | 18 |
| 3.69 | 15 |
| 3.44 | 18 |
| 3.43 | 16 |
| 4.34 | 15 |
| 4.42 | 14 |
| 2.37 | 24 |
אם נציג את הנקודות האלה, נקבל את הגרף הבא:
איור 1. משקל הרכב (בפאונד) לעומת מיילים לדירוג לגלון. בתור המכונית הופכת לכבדה יותר, הדירוג של המיילים לגלון שלה יורד בדרך כלל.
נוכל ליצור מודל משלנו על ידי שרטוט הקו המתאים ביותר בין הנקודות:
איור 2. הקו המתאים ביותר שמופיע על סמך הנתונים מהמספר הקודם.
משוואת רגרסיה לינארית
במונחים אלגבריים, המודל יוגדר בתור $ y = mx + b $, כאשר
- $ y $ הוא מיילים לגלון – הערך שאנחנו רוצים לחזות.
- $ m $ הוא השיפוע של הקו.
- $ x $ הוא פאונד – ערך הקלט שלנו.
- $ b $ הוא נקודת חיתוך ה-y.
בלמידת מכונה, אנחנו כותבים את המשוואה למודל רגרסיה ליניארית באופן הבא:
איפה:
- $ y' $ הוא התווית החזויה – הפלט.
- $ b $ הוא ההטיה של המודל. דעות קדומות הן אותו קונספט כמו נקודת החיתוך עם ציר ה-Y באלגברה של קו. בלמידת מכונה, ההטיה נקראת לפעמים $ w_0 $. דעה קדומה הוא פרמטר של המודל מחושב במהלך האימון.
- $ w_1 $ הוא המשקל של . המשקל הוא אותו עיקרון כמו השיפוע $ m $ בחישוב האלגברי של קו. המשקל הוא parameter של המודל, והוא שמחושב במהלך האימון.
- $ x_1 $ היא תכונה – של הקלט.
במהלך האימון, המודל מחשב את המשקל ואת ההטיות שמפיקות את הערך הגבוה ביותר מודל טרנספורמר.
איור 3. ייצוג מתמטי של מודל ליניארי.
בדוגמה שלנו, נחשב את המשקל ואת ההטיות מהקו ששרטטנו. הטיה היא 30 (כאשר הקו חוצה את ציר ה-Y), והמשקל הוא 3.6- שיפוע הקו). המודל יוגדר כ-$ y' = 30 + (-3.6)(x_1) $, וגם אנחנו יכולים להשתמש בו כדי ליצור חיזויים. לדוגמה, באמצעות המודל הזה, צריכת הדלק הצפויה של מכונית במשקל 1,600 ק"ג תהיה 25.6 מיילים לגלון.
איור 4. באמצעות המודל, למכונית במשקל 1,000 ק"ג יש צפי צריכת דלק של 25.6 ק"מ לגלון.
דגמים עם מספר תכונות
למרות שהדוגמה בקטע הזה משתמשת בתכונה אחת בלבד – הכבדות של הרכב – מודל מתוחכם יותר עשוי להסתמך על כמה תכונות, לכל אחד מהם יש משקל נפרד ($ w_1 $, $ w_2 $ וכו'). לדוגמה, שמבוסס על חמש תכונות, ייכתב כך:
$ y' = b + w_1x_1 + w_2x_2 + w_3x_3 + w_4x_4 + w_5x_5 $
לדוגמה, מודל שחוזה את צריכת הדלק יכול להשתמש גם בתכונות כמו:
- העברת מנוע
- האצה
- מספר הגלילים
- כוחות סוס
המודל הזה ייכתב כך:
איור 5. מודל עם חמש תכונות לחיזוי מיילים של מכונית לגלון דירוג.
באמצעות גרפים של חלק מהתכונות הנוספות האלה, אפשר לראות שיש להן גם קשר לינארי לתווית, מיילים לגלון:
איור 6. תזוזה של רכב בסנטימנטים מעוקבים ומיילים לגלון דירוג. ככל שהמנוע של הרכב גדל, הדירוג שלו במיילים לגלון בדרך כלל בירידה.
איור 7. תאוצה של מכונית ודירוג המיילים שלה לגלון. כמכונית התאוצה נמשכת יותר זמן, ודירוג המיילים לגלון בדרך כלל עולה.
איור 8. כוח הסוס של מכונית ודירוג המיילים שלה לגלון. כמכונית כוחות הסוס עולה, הדירוג של מיילים לגלון בדרך כלל יורד.