רגרסיה לינארית: תרגיל בנושא ירידה בגרדינט

בתרגול הזה נבחן מחדש את התרשים של נתוני צריכת הדלק מתרגיל הפרמטרים. אבל הפעם תשתמשו בירידת שיפוע כדי ללמוד את ערכי המשקל וההטיה האופטימליים למודלים לינאריים שמצמצמים את האובדן.

מבצעים את שלוש המשימות שמתחת לתרשים.

התצוגה החזותית האינטראקטיבית הזו עשויה לכלול תוכן חזותי מהבהב כשהיא מוגדרת לקצב למידה גבוה, ויכול להיות שהיא תשפיע על אנשים עם רגישות לאור.

משימה מס' 1: משנים את פס ההזזה Learning Rate מתחת לתרשים כדי להגדיר שיעור למידה של 0.03. לוחצים על הלחצן Start כדי להריץ את ירידה בגרדינט.

כמה זמן נמשך אימון המודל עד שהוא מתכנס (מגיע לערך אובדן מינימלי יציב)? מהו ערך ה-MSE בנקודת ההתכנסות של המודל? אילו ערכי משקל וסה"כ מניבים את הערך הזה?

לוחצים על סמל הפלוס כדי לראות את הפתרון שלנו

כשהגדרתם את קצב הלמידה ל-0.03, המודל הגיע להסכמה אחרי כ-30 שניות, והשיג ערך MSE של קצת פחות מ-3 עם ערכי משקל ונטייה של -2.08 ו-23.098, בהתאמה. זה אומר שבחרנו ערך טוב של קצב הלמידה.

הערה: הנקודות בגרף משתנות מעט בכל פעם שטענת את הדף, לכן הפתרונות שלכם עשויים להיות שונים במקצת מהפתרונות שלנו.

משימה מס' 2: לוחצים על הלחצן Reset מתחת לתרשים כדי לאפס את הערכים של המשקל וההטיה בתרשים. משנים את פס ההזזה של Learning Rate לערך של כ-1.10e^–5. לוחצים על הלחצן Start כדי להריץ את ירידה בגרדינט.

מה שמתם לב לגבי משך הזמן שלוקח לאימון המודל להגיע להסכמה הפעם?

לוחצים על סמל הפלוס כדי לראות את הפתרון

אחרי כמה דקות, אימון המודל עדיין לא הושלם. עדכונים קטנים בערכים של המשקל וההטיה ממשיכים להוביל לערכים נמוכים יותר של אובדן. הנתונים האלה מראים שבחירת שיעור למידה גבוה יותר תאפשר לירידה בגרדינט למצוא מהר יותר את ערכי המשקל וההטיה האופטימליים.

משימה מס' 3: לוחצים על הלחצן Reset מתחת לתרשים כדי לאפס את הערכים של המשקל וההטיה בתרשים. מעבירים את פס ההזזה של שיעור הלמידה עד לערך 1. לוחצים על הלחצן Start כדי להריץ את ירידה בגרדינט.

מה קורה לערכי האובדן במהלך הירידה בגרדינט? כמה זמן ייקח לאימון המודל להגיע להסכמה הפעם?

לוחצים על סמל הפלוס כדי לראות את הפתרון

ערכי ההפסד משתנים באופן קיצוני בערכים גבוהים (MSE מעל 300). המשמעות היא ששיעור הלמידה גבוה מדי, ואימון המודל לעולם לא יגיע להסכמה.