کاهش تلفات: بهینه سازی نرخ یادگیری

زمان تخمینی: 15 دقیقه

تمرین 1

نرخ یادگیری را روی نوار لغزنده 0.03 تنظیم کنید. فشار دادن دکمه STEP را تا زمانی که الگوریتم شیب نزولی به حداقل نقطه منحنی ضرر برسد ادامه دهید. چند مرحله انجام شد؟

راه حل

نزول گرادیان در 40 مرحله به حداقل منحنی می رسد.

تمرین 2

آیا می توانید با نرخ یادگیری بالاتر سریعتر به حداقل ها برسید؟ نرخ یادگیری را 0.1 تنظیم کنید و تا زمانی که شیب نزول به حداقل برسد، STEP را بزنید. این بار چند قدم طول کشید؟

راه حل

نزول گرادیان در 11 مرحله به حداقل منحنی می رسد.

تمرین 3

در مورد نرخ یادگیری حتی بزرگتر چطور؟ نمودار را تنظیم مجدد کنید، نرخ یادگیری را 1 تنظیم کنید و سعی کنید به حداقل منحنی ضرر برسید. این بار چه شد؟

راه حل

نزول گرادیان هرگز به حداقل نمی رسد . در نتیجه، اندازه مراحل به تدریج افزایش می یابد. هر مرحله از کاسه به جلو و عقب می پرد و به جای پایین آمدن به پایین، از منحنی بالا می رود.

چالش اختیاری

آیا می توانید نرخ یادگیری Goldilocks را برای این منحنی پیدا کنید، جایی که نزول گرادیان در کمترین تعداد قدم به حداقل نقطه می رسد؟ کمترین تعداد مراحل لازم برای رسیدن به حداقل چقدر است؟

راه حل

نرخ یادگیری Goldilocks برای این داده ها چیزی بین 0.2 و 0.3 است که در سه یا چهار مرحله به حداقل می رسد.

توجه: در عمل، یافتن نرخ یادگیری "عالی" (یا تقریباً کامل) برای آموزش مدل موفق ضروری نیست. هدف یافتن نرخ یادگیری به اندازه کافی بزرگ است که شیب نزول به طور موثر همگرا شود، اما نه آنقدر بزرگ که هرگز همگرا نشود.