Machine learning akan jauh lebih sederhana jika semua
kurva kerugian
terlihat seperti ini saat pertama kali Anda melatih model:
Gambar 20. Kurva kerugian yang ideal.
Sayangnya, kurva kerugian sering kali sulit ditafsirkan. Gunakan
intuisi Anda tentang kurva kerugian untuk menyelesaikan latihan di halaman ini.
Latihan 1: Kurva kerugian berosilasi
Gambar 21. Kurva kerugian yang berosilasi.
Tiga hal apa yang dapat Anda lakukan untuk mencoba meningkatkan kurva kerugian
yang ditampilkan dalam Gambar 21.
Tingkatkan kecepatan pembelajaran.
Secara umum, hindari meningkatkan kecepatan pembelajaran saat kurva
pembelajaran model menunjukkan masalah.
Kurangi kecepatan pembelajaran.
Ya, mengurangi kecepatan belajar sering kali merupakan ide yang baik saat men-debug
masalah pelatihan.
Periksa data Anda dengan skema data untuk mendeteksi contoh yang buruk, lalu
hapus contoh yang buruk dari set pelatihan.
Ya, ini adalah praktik yang baik untuk semua model.
Kurangi set pelatihan menjadi sejumlah kecil contoh yang tepercaya.
Meskipun teknik ini terdengar artifisial, sebenarnya ini adalah ide yang baik. Dengan asumsi bahwa model berkonvergensi pada sekumpulan contoh
tepercaya yang kecil, Anda dapat menambahkan lebih banyak contoh secara bertahap,
mungkin menemukan contoh mana yang menyebabkan kurva kerugian
berosilasi.
Tingkatkan jumlah contoh dalam set pelatihan.
Ini adalah ide yang menarik, tetapi sangat tidak mungkin memperbaiki masalah.
Latihan 2. Kurva kerugian dengan lonjakan tajam
Gambar 22. Peningkatan kerugian yang signifikan.
Dua pernyataan manakah dari pernyataan berikut yang mengidentifikasi kemungkinan
alasan terjadinya ledakan kerugian yang ditunjukkan pada Gambar 22.
Rasio regularisasi terlalu tinggi.
Benar, regularisasi yang sangat tinggi dapat mencegah model
berkonvergensi; tetapi, hal ini tidak akan menyebabkan kurva loss yang aneh
yang ditampilkan dalam Gambar 22.
Kecepatan pembelajaran terlalu rendah.
Kecepatan pembelajaran yang sangat rendah dapat meningkatkan waktu pelatihan, tetapi
bukan penyebab kurva kerugian yang aneh.
Data input berisi satu atau beberapa NaN—misalnya, nilai
yang disebabkan oleh pembagian dengan nol.
Hal ini lebih sering terjadi daripada yang Anda kira.
Data input berisi sekelompok outlier.
Terkadang, karena pengacakan batch yang tidak tepat, batch mungkin
berisi banyak pencilan.
Latihan 3. Kerugian pengujian berbeda dengan kerugian pelatihan
Gambar 23. Peningkatan tajam dalam kehilangan validasi.
Mana dari pernyataan berikut yang paling baik mengidentifikasi
alasan perbedaan ini antara kurva kerugian set pelatihan
dan pengujian?
Kecepatan pembelajaran terlalu tinggi.
Jika kecepatan pembelajaran terlalu tinggi, kurva kerugian untuk set pelatihan
kemungkinan tidak akan berperilaku seperti yang dilakukannya.
Model melakukan overfitting pada set pelatihan.
Ya, mungkin saja. Kemungkinan solusi:
Buat model lebih sederhana, mungkin dengan mengurangi jumlah
fitur.
Tingkatkan derajat regularisasi.
Pastikan set pelatihan dan set pengujian secara statistik
setara.
Latihan 4. Kurva penyimpangan macet
Gambar 24. Kerugian acak setelah sejumlah langkah tertentu.
Manakah dari pernyataan berikut yang paling mungkin
menjadi penjelasan untuk kurva kerugian yang tidak menentu yang ditampilkan dalam Gambar 24?
Rasio regularisasi terlalu tinggi.
Hal ini tidak mungkin menjadi penyebabnya.
Set pelatihan berisi terlalu banyak fitur.
Hal ini tidak mungkin menjadi penyebabnya.
Set pelatihan berisi urutan contoh yang berulang.
Hal ini mungkin terjadi. Pastikan Anda mengacak contoh
dengan cukup.
[null,null,["Terakhir diperbarui pada 2024-11-14 UTC."],[[["This document helps you understand and interpret Machine Learning loss curves through a series of exercises and visual examples."],["You will learn how to identify common issues like oscillating loss, exploding loss, overfitting, and erratic behavior in your models."],["Solutions are provided for each exercise, along with explanations for various loss curve patterns."],["Techniques to address these issues are discussed, including adjusting learning rate, cleaning training data, and applying regularization."],["A glossary of key Machine Learning terminology related to loss curves and model training is included for quick reference."]]],[]]