בתרגול הזה נבחן שוב את התרשים של נתוני צריכת הדלק מתרגיל הפרמטרים. אבל הפעם, תשתמשו בירידת שיפוע כדי ללמוד את ערכי המשקל וההטיה האופטימליים למודלים לינאריים שמצמצמים את האובדן.
מבצעים את שלוש המשימות שמתחת לתרשים.
משימה מס' 1: משנים את המחוון Learning Rate מתחת לתרשים כדי להגדיר שיעור למידה של 0.03. לוחצים על הלחצן Start כדי להריץ את ירידה בגרדינט.
כמה זמן נמשך אימון המודל עד שהוא מתכנס (מגיע לערך אובדן מינימלי יציב)? מהו ערך ה-MSE בנקודת ההתכנסות של המודל? אילו ערכי משקל ונטייה יוצרים את הערך הזה?
כדי לראות את הפתרון שלנו, צריך ללחוץ על סמל הפלוס
כשהגדרתם את קצב הלמידה ל-0.03, המודל הגיע להסכמה אחרי כ-30 שניות, והשיג שגיאת MSE של קצת פחות מ-3 עם ערכי משקל וסטייה (bias) של -2.08 ו-23.098, בהתאמה. זה אומר שבחרנו ערך טוב של קצב הלמידה.
משימה מס' 2: לוחצים על הלחצן Reset מתחת לתרשים כדי לאפס את הערכים של המשקל וההטיה בתרשים. מכווננים את פס ההזזה Learning Rate לערך שבסביבות 1.10e–5. לוחצים על הלחצן Start כדי להפעיל ירידה הדרגתית.
מה שמתם לב לגבי משך הזמן שלוקח לאימון המודל להגיע להסכמה הפעם?
לוחצים על סמל הפלוס כדי לראות את הפתרון
אחרי כמה דקות, אימון המודל עדיין לא הושלם. עדכונים קטנים בערכי המשקל וההטיות ימשיכו לגרום לערכי ירידה מעטים נמוכים יותר. הנתונים האלה מראים שבחירת שיעור למידה גבוה יותר תאפשר לירידה בגרדינט למצוא מהר יותר את ערכי המשקל וההטיה האופטימליים.
משימה מס' 3: לוחצים על הלחצן Reset מתחת לתרשים כדי לאפס את הערכים של המשקל וההטיה בתרשים. מכווננים את פס ההזזה קצב למידה עד 1. לוחצים על הלחצן Start כדי להריץ את ירידה בגרדינט.
מה קורה לערכי האובדן במהלך הירידה בגרדינט? כמה זמן ייקח לאימון המודל להגיע להסכמה הפעם?
לוחצים על סמל הפלוס כדי לראות את הפתרון
ערכי ההפסד משתנים באופן קיצוני בערכים גבוהים (MSE מעל 300). המשמעות היא ששיעור הלמידה גבוה מדי, ואימון המודל לעולם לא יגיע לשיווי משקל.