Regresi linear: Latihan penurunan gradien

Dalam latihan ini, Anda akan meninjau kembali grafik data efisiensi bahan bakar dari Latihan parameter. Namun, kali ini, Anda akan menggunakan gradien turun untuk mempelajari nilai bobot dan bias yang optimal untuk model linear yang meminimalkan kerugian.

Selesaikan tiga tugas di bawah grafik.

Visualisasi interaktif ini dapat menghasilkan visual yang berkedip jika disetel ke Kecepatan Belajar yang tinggi, yang dapat memengaruhi individu yang sensitif terhadap cahaya.

Tugas #1: Sesuaikan penggeser Learning Rate di bawah grafik untuk menetapkan kecepatan pemelajaran 0,03. Klik tombol Start untuk menjalankan gradient descent.

Berapa lama pelatihan model untuk berkonvergensi (mencapai nilai loss minimum yang stabil)? Berapa nilai MSE pada konvergensi model? Nilai bobot dan bias apa yang menghasilkan nilai ini?

Klik ikon plus untuk melihat solusi kami

Saat kita menetapkan kecepatan pembelajaran 0,03, model akan berkonvergensi setelah sekitar 30 detik, mencapai MSE yang sedikit di bawah 3 dengan nilai bobot dan bias masing-masing –2,08 dan 23,098. Hal ini menunjukkan bahwa kita telah memilih nilai kecepatan pembelajaran yang baik.

Catatan: Titik data dalam grafik sedikit bervariasi setiap kali Anda memuat halaman, sehingga solusi Anda di sini mungkin sedikit berbeda dengan solusi kami.

Tugas #2: Klik tombol Reset di bawah grafik untuk mereset nilai Bobot dan Bias dalam grafik. Sesuaikan penggeser Learning Rate ke nilai sekitar 1,10e^–5. Klik tombol Start untuk menjalankan gradient descent.

Apa yang Anda perhatikan tentang waktu yang diperlukan pelatihan model untuk berkonvergensi kali ini?

Klik ikon plus untuk melihat solusinya

Setelah beberapa menit, pelatihan model masih belum berkonvergensi. Pembaruan kecil pada nilai Bobot dan Bias terus menghasilkan nilai kerugian yang sedikit lebih rendah. Hal ini menunjukkan bahwa memilih kecepatan pembelajaran yang lebih tinggi akan memungkinkan gradien menurun untuk menemukan nilai bobot dan bias yang optimal dengan lebih cepat.

Tugas #3: Klik tombol Reset di bawah grafik untuk mereset nilai Berat dan Bias dalam grafik. Sesuaikan penggeser Kecepatan Pemelajaran hingga 1. Klik tombol Start untuk menjalankan gradient descent.

Apa yang terjadi pada nilai loss saat gradient descent berjalan? Berapa lama waktu yang diperlukan untuk melakukan pelatihan model agar dapat berkonvergensi kali ini?

Klik ikon plus untuk melihat solusinya

Nilai kerugian berfluktuasi secara drastis pada nilai tinggi (MSE lebih dari 300). Hal ini menunjukkan bahwa kecepatan pembelajaran terlalu tinggi, dan pelatihan model tidak akan pernah mencapai konvergensi.