در این تمرین، نمودار داده‌های بهره‌وری سوخت از تمرین پارامترها را مجدداً مشاهده خواهید کرد. اما این بار، از شیب نزول برای یادگیری وزن بهینه و مقادیر بایاس برای یک مدل خطی استفاده خواهید کرد که تلفات را به حداقل می رساند.
سه کار زیر نمودار را کامل کنید.
وظیفه شماره 1: لغزنده نرخ یادگیری را در زیر نمودار تنظیم کنید تا نرخ یادگیری 0.03 تنظیم شود. برای اجرای gradient descent روی دکمه Start کلیک کنید.
چه مدت طول می کشد تا آموزش مدل همگرا شود (به حداقل مقدار تلفات پایدار برسد)؟ مقدار MSE در همگرایی مدل چقدر است؟ چه وزن و ارزش سوگیری این مقدار را ایجاد می کند؟
برای مشاهده راه حل ما روی نماد مثبت کلیک کنید
وقتی نرخ یادگیری را 0.03 تنظیم کردیم، مدل پس از تقریباً 30 ثانیه همگرا شد و به MSE کمی کمتر از 3 با مقادیر وزن و بایاس به ترتیب -2.08 و 23.098 رسید. این نشان می دهد که ما مقدار نرخ یادگیری خوبی را انتخاب کرده ایم.
وظیفه شماره 2: برای تنظیم مجدد مقادیر Weight و Bias در نمودار، روی دکمه Reset در زیر نمودار کلیک کنید. لغزنده نرخ یادگیری را روی مقداری در حدود 1.10e -5 تنظیم کنید. برای اجرای gradient descent روی دکمه Start کلیک کنید.
در مورد اینکه چقدر طول می کشد تا آموزش مدل این بار همگرا شود، چه چیزی را متوجه می شوید؟
برای مشاهده راه حل روی نماد مثبت کلیک کنید
پس از چند دقیقه، آموزش مدل هنوز همگرا نشده است. به‌روزرسانی‌های کوچک مقادیر Weight و Bias همچنان منجر به کاهش کمی کاهش می‌شوند. این نشان می‌دهد که انتخاب نرخ یادگیری بالاتر، نزول گرادیان را قادر می‌سازد تا وزن بهینه و مقادیر سوگیری را سریع‌تر پیدا کند.
وظیفه شماره 3: برای تنظیم مجدد مقادیر Weight و Bias در نمودار، روی دکمه Reset در زیر نمودار کلیک کنید. لغزنده نرخ یادگیری را تا 1 تنظیم کنید. برای اجرای گرادیان نزول، روی دکمه Start کلیک کنید.
با اجرای گرادیان نزول چه اتفاقی برای مقادیر تلفات می افتد؟ این بار آموزش مدل چقدر طول می کشد تا همگرا شود؟
برای مشاهده راه حل روی نماد مثبت کلیک کنید
مقادیر زیان به شدت در مقادیر بالا (MSE بیش از 300) در نوسان است. این نشان می دهد که نرخ یادگیری بسیار بالا است و آموزش مدل هرگز به همگرایی نمی رسد.