Regresi linear: Latihan penurunan gradien

Dalam latihan ini, Anda akan meninjau kembali grafik data efisiensi bahan bakar dari Latihan Parameter. Tapi kali ini, Anda akan menggunakan penurunan gradien untuk mempelajari bobot optimal dan nilai bias untuk yang meminimalkan kerugian.

Selesaikan tiga tugas di bawah grafik.

Tugas #1: Sesuaikan penggeser Kecepatan Pembelajaran di bawah grafik untuk menetapkan pembelajaran sebesar 0,03. Klik tombol Start untuk menjalankan penurunan gradien.

Berapa lama waktu yang dibutuhkan pelatihan model untuk dikonvergensi (mencapai nilai minimum stabil nilai kerugian)? Berapa nilai MSE pada konvergensi model? Berapa bobot dan bias menghasilkan nilai ini?

Klik ikon plus untuk melihat solusi kami

Ketika kita menetapkan kecepatan pembelajaran 0,03, model dikonvergensi setelah sekitar 30 detik, mencapai MSE kurang dari 3 dengan berat dan bias pada -2,08 dan 23,098, masing-masing. Hal ini menunjukkan bahwa kita sudah memilih nilai kecepatan pembelajaran yang baik.

Catatan: Titik data pada grafik sedikit berbeda setiap kali Anda memuat halaman, jadi solusi Anda di sini mungkin sedikit berbeda dari milik kita.

Tugas #2: Klik tombol Reset di bawah grafik untuk mereset Berat dan Nilai bias dalam grafik. Sesuaikan penggeser Kecepatan Pembelajaran ke nilai di sekitar 1,10e^–5. Klik tombol Start untuk menjalankan penurunan gradien.

Apa yang Anda perhatikan tentang waktu yang dibutuhkan pelatihan model untuk dikonvergensi kali ini?

Klik ikon plus untuk melihat solusinya

Setelah beberapa menit, pelatihan model masih belum dikonvergensi. Kecil pembaruan nilai Bobot dan Bias terus menghasilkan sedikit lebih rendah nilai kerugian. Hal ini menunjukkan bahwa memilih kecepatan pembelajaran yang lebih tinggi akan memungkinkan penurunan gradien untuk menemukan bobot yang optimal dan nilai bias lebih dengan cepat.

Tugas #3: Klik tombol Reset di bawah grafik untuk mereset Berat dan nilai Bias dalam grafik. Sesuaikan penggeser Kecepatan Pembelajaran ke 1. Klik tombol Start untuk menjalankan penurunan gradien.

Apa yang terjadi pada nilai kerugian saat penurunan gradien berjalan? Berapa lama pemodelan akan yang dibutuhkan untuk konvergensi kali ini?

Klik ikon plus untuk melihat solusinya

Nilai kerugian berfluktuasi sangat tinggi pada nilai tinggi (MSE di atas 300). Hal ini menunjukkan bahwa kecepatan pembelajaran terlalu tinggi, dan pelatihan model tidak akan pernah mencapai konvergensi.