Untuk melatih model, kita memerlukan cara yang tepat untuk mengurangi kerugian model. Pendekatan berulang adalah salah satu metode yang banyak digunakan untuk mengurangi kerugian, serta mudah dan efisien seperti berjalan menuruni bukit.
Mengurangi Kerugian
Bagaimana cara mengurangi kerugian?
- Hyperparameter adalah setelan konfigurasi yang digunakan untuk menyesuaikan cara model dilatih.
- Turunan (y - y')2 sehubungan dengan bobot dan bias menunjukkan perubahan kerugian untuk contoh yang diberikan
- Mudah dihitung dan dibuat menjadi konveks
- Jadi kita berulang kali mengambil langkah kecil ke arah yang meminimalkan kerugian
- Kita menyebutnya Langkah Gradien (Tapi langkah tersebut sebenarnya adalah Langkah Gradien negatif)
- Strategi ini disebut Penurunan Gradien
Diagram Blok Penurunan Gradien
- Coba Latihan Penurunan Gradien
- Setelah Anda selesai latihan, tekan putar ▶ untuk melanjutkan
Inisialisasi Bobot
- Untuk masalah konveks, bobot dapat dimulai di mana saja (misalnya, semua 0)
- Konveks: bayangkan bentuk mangkuk
- Hanya satu minimum
Inisialisasi Bobot
- Untuk masalah konveks, bobot dapat dimulai di mana saja (misalnya, semua 0)
- Konveks: bayangkan bentuk mangkuk
- Hanya satu minimum
- Foreshadowing: tidak benar untuk jaringan neural
- Bukan konveks: bayangkan tempat telur
- Lebih dari satu nilai minimum
- Dependensi yang kuat pada nilai awal
SGD & Penurunan Gradien Tumpukan Mini
- Dapat menghitung gradien atas seluruh set data di setiap langkah, tetapi hal ini ternyata tidak perlu
- Menghitung gradien pada sampel data kecil bekerja dengan baik
- Di setiap langkah, dapatkan sampel acak baru
- Penurunan Gradien Stokastik: satu contoh dalam satu waktu
- Penurunan Gradien Tumpukan Mini: tumpukan antara 10-1.000
- Kehilangan & gradien dirata-ratakan pada tumpukan