רגרסיה לינארית: תרגיל בנושא ירידה בגרדינט

בתרגול הזה נבחן מחדש את התרשים של נתוני צריכת הדלק מתרגיל הפרמטרים. אבל הפעם תשתמשו בירידת שיפוע כדי ללמוד את ערכי המשקל וההטיה האופטימליים למודלים לינאריים שמצמצמים את האובדן.

מבצעים את שלוש המשימות שמתחת לתרשים.

משימה מס' 1: משנים את פס ההזזה Learning Rate מתחת לתרשים כדי להגדיר שיעור למידה של 0.03. לוחצים על הלחצן Start כדי להריץ את ירידה בגרדינט.

כמה זמן נמשך אימון המודל עד שהוא מתכנס (מגיע לערך אובדן מינימלי יציב)? מהו ערך ה-MSE בנקודת ההתכנסות של המודל? אילו ערכי משקל וסה"כ מניבים את הערך הזה?

משימה מס' 2: לוחצים על הלחצן Reset מתחת לתרשים כדי לאפס את הערכים של המשקל וההטיה בתרשים. משנים את פס ההזזה של Learning Rate לערך של כ-1.10e–5. לוחצים על הלחצן Start כדי להריץ את ירידה בגרדינט.

מה שמתם לב לגבי משך הזמן שלוקח לאימון המודל להגיע להסכמה הפעם?

משימה מס' 3: לוחצים על הלחצן Reset מתחת לתרשים כדי לאפס את הערכים של המשקל וההטיה בתרשים. מעבירים את פס ההזזה של שיעור הלמידה עד לערך 1. לוחצים על הלחצן Start כדי להריץ את ירידה בגרדינט.

מה קורה לערכי האובדן במהלך הירידה בגרדינט? כמה זמן ייקח לאימון המודל להגיע להסכמה הפעם?