דף זה תורגם על ידי Cloud Translation API.

צמצום הפסד: ירידה הדרגתית

בתרשים הגישה האיטרטיבית (איור 1) מופיעה תיבה ירוקה עם גלגול ביד, שנקראת 'עדכוני פרמטרים של Compute'. עכשיו נחליף את אבק הפיות האלגוריתמי במשהו משמעותי יותר.

נניח שיש לנו את הזמן ואת משאבי המחשוב לחשב את ההפסד של כל הערכים האפשריים של $w_1$. בסוג של בעיות הרגרסיה שבדקנו, העלילה המתקבלת של הפסד לעומת $w_1$ תהיה תמיד קמורה. במילים אחרות, העלילה תמיד תהיה בצורת קערה, בערך כך:

גרף של עקומה בצורת U, שבה הציר האנכי מסומן כ 'הפסד' והציר האופקי מסומן כערך של משקל עם w i.

איור 2. בעיות רגרסיה יוצרות ירידה קמורה לעומת תרשים משקל.

לבעיות קמורות יש רק מינימום אחד. כלומר, רק מקום אחד שבו השיפוע הוא בדיוק 0. המינימום הזה הוא המקום שבו פונקציית האובדן מתכנסת.

החישוב של פונקציית האובדן לכל ערך של $w_1$ בכל קבוצת הנתונים לא יהיה יעיל כדרך למצוא את נקודת ההתכנסות. נבחן מנגנון טוב יותר, פופולרי מאוד בלמידת מכונה, שנקרא ירידה הדרגתית.

השלב הראשון בירידה הדרגתית הוא בחירת ערך התחלה (נקודת התחלה) עבור $w_1$. לנקודת ההתחלה אין חשיבות רבה, ולכן אלגוריתמים רבים מגדירים את הערך $w_1$ כ-0 או בוחרים בערך אקראי. האיור הבא מראה שבחרנו נקודת התחלה קצת יותר מ-0:

שרטוט של עקומה בצורת U. נקודה שנמצאת בערך במחצית הצד השמאלי של העקומה, מסומנת בתווית 'נקודת התחלה'.

איור 3. נקודת התחלה לירידה הדרגתית.

לאחר מכן, האלגוריתם של הירידה ההדרגתית מחשב את השיפוע של עקומת האובדן בנקודת ההתחלה. כאן באיור 3, השיפוע של האובדן שווה לנגזרת (השיפוע) של העקומה, ומציין איזה דרך "חם יותר" או "קר". כשיש כמה משקולות, הדרגה היא וקטור של נגזרות חלקיות ביחס למשקולות.

לוחצים על סמל הפלוס כדי לקבל מידע נוסף על נגזרות חלקיות ומעברים הדרגתיים.

השימוש בלמידה חישובית מרתק, ואנחנו שמחים שלחצתם על הקישור כדי לקבל מידע נוסף. עם זאת, שימו לב ש-TensorFlow מטפלת עבורכם בכל החישובים של ההדרגתיות, כך שאתם לא צריכים להבין את החישובים האלה.

נגזרות חלקיות

פונקציה מרובת משתנים היא פונקציה שיש לה יותר מארגומנט אחד, למשל:

$$f(x,y) = e^{2y}\sin(x)$$

הנגזרת החלקית $f$ ביחס ל- $x$, מסומנת באופן הבא:

$$ \partial f \over \partial x $$

הוא הנגזרת של $f$ נחשבת כפונקציה של $x$ לבדה. כדי למצוא את הפריטים הבאים:

$$\partial f \over \partial x $$

חייב להיות $y$ קבוע (לכן $f$ הוא עכשיו פונקציה של משתנה אחד $x$), ולהשתמש בנגזרת הרגילה של $f$ ביחס ל- $x$. לדוגמה, אם הערך של $y$ קבוע ב-1, הפונקציה הקודמת הופכת:

$$ f(x) = e^2\sin(x) $$

זו רק פונקציה של משתנה אחד $x$, שהנגזרת שלו היא:

$$ e^2\cos(x) $$

באופן כללי, אפשר להתייחס ל $y$ כקבועה, שהנגזרה החלקית של $f$ בכבוד אל $x$ מחושבת באופן הבא:

$$\frac{\partial f}{\partial x}(x,y) = e^{2y}\cos(x)$$

באופן דומה, אם נחליט ש $x$ קבועה במקום זאת, הנגזרת החלקית של $f$ בכבוד $y$ היא:

$$ \frac{\partial f}{\partial y}(x,y) = 2e^{2y}\sin(x) $$

באופן אינטואיטיבי, נגזרת חלקית אומרת עד כמה הפונקציה משתנה כשמשנים קצת משתנה. בדוגמה הקודמת:

$$ \frac{\partial f}{\partial x} (0,1) = e^2 \approx 7.4 $$

לכן כשמתחילים מ- $(0,1)$, מחזיקים $y$ קבועים ומתנועעים $x$ קצת, $f$ הגודל משתנה פי 7.4 בערך מהסכום ששיניתם $x$.

בלמידת מכונה משתמשים בעיקר בנגזרות חלקיות בשילוב עם הדרגתיות של פונקציה.

צבעים הדרגתיים

המדרגת של פונקציה, שמסומנת כך, היא הווקטור של נגזרות חלקיות ביחס לכל המשתנים הבלתי תלויים:

$$ \nabla f $$

לדוגמה, אם:

$$ f(x,y) = e^{2y}\sin(x) $$

ואז:

$$\nabla f(x,y) = \left(\frac{\partial f}{\partial x}(x,y), \frac{\partial f}{\partial y}(x,y)\right) = (e^{2y}\cos(x), 2e^{2y}\sin(x))$$

שימו לב לנקודות הבאות:

$$\nabla f$$	מצביע על הכיוון של העלייה הגבוהה ביותר של הפונקציה.
$$ {-\nabla f} $$	מצביעה על כיוון ההפחתה החזקה ביותר של הפונקציה.

מספר המאפיינים בווקטור שווה למספר המשתנים בנוסחה של $f$. במילים אחרות, הווקטור נמצא בתוך מרחב הדומיין של הפונקציה. למשל, התרשים של הפונקציה הבאה $f(x,y)$:

$$ f(x,y) = 4 + (x - 2)^2 + 2y^2 $$

כשמציגים אותו בשלושה ממדים עם $z = f(x,y)$ נראה כמו עמק עם מינימום של $(2,0,4)$:

ההדרגתיות של $f(x,y)$ היא וקטור דו-ממדי שמראה לכם באיזה כיוון$(x,y)$ לנוע כדי להשיג את העלייה המקסימלית בגובה. כך, הערך השלילי של ההדרגתיות מזיע בכיוון של הירידה המקסימלית בגובה. במילים אחרות, הנתון השלילי של וקטור ההדרגתיות מצביע על העמק.

בלמידת מכונה, משתמשים בהדרגות בירידה הדרגתית. לעיתים קרובות יש לנו פונקציית הפסד של משתנים רבים שאנחנו מנסים למזער, ואנחנו מנסים לעשות זאת על ידי מעקב אחר ההדרגתיות השלילית של הפונקציה.

שימו לב שהדרגה היא וקטור, ולכן היא כוללת את שני המאפיינים הבאים:

מסלול
גדול

ההדרגה תמיד מצביעה בכיוון של העלייה התלולה ביותר בפונקציית הפסד. האלגוריתם של הירידה ההדרגתית פועל צעד אחד בכיוון של השיפוע השלילי כדי להפחית את הירידה במהירות האפשרית.

שרטוט של עקומה בצורת U. נקודה בצד שמאל של העקומה נקראת 'נקודת התחלה'. חץ עם התווית 'הדרגה שלילית' מצביע מנקודה זו משמאל.

איור 4. ירידה הדרגתית מבוססת על הדרגה שלילית.

כדי לקבוע את הנקודה הבאה בעקומה של פונקציית האובדן, האלגוריתם של הירידה ההדרגתית מוסיף שבר מסוים מגודל השיפוע לנקודת ההתחלה, כפי שמוצג באיור הבא:

שרטוט של עקומה בצורת U. נקודה בצד שמאל של העקומה נקראת 'נקודת התחלה'. חץ עם התווית 'הדרגה שלילית' מצביע מנקודה זו משמאל. חץ נוסף מצביע מקצה החץ הראשון למטה עד לנקודה השנייה בעקומה. הנקודה השנייה מסומנת בתור 'הנקודה הבאה'.

איור 5. שלב הדרגתי מעביר אותנו לנקודה הבאה בעקומת האובדן.

הירידה ההדרגתית חוזרת על התהליך הזה ומתקרבת למינימום.

גישה איטרטיבית

קצב למידה