Machine learning akan jauh lebih sederhana jika semua kurva kerugian terlihat seperti ini saat pertama kali melatih model:
Sayangnya, kurva kerugian sering kali sulit ditafsirkan. Gunakan intuisi tentang kurva kerugian untuk menyelesaikan latihan di halaman ini.
Latihan 1: Kurva penyimpangan osilasi
Apa tiga hal yang dapat Anda lakukan untuk mencoba memperbaiki kurva kerugian
yang ditunjukkan pada Gambar 21.
Periksa data Anda dengan skema data untuk mendeteksi contoh yang buruk, dan
lalu menghapus contoh yang buruk dari set pelatihan.
Ya, ini adalah praktik yang baik untuk semua model.
Mengurangi kecepatan pembelajaran.
Ya, mengurangi kecepatan pemelajaran adalah ide yang baik saat melakukan {i>debugging<i}
masalah pelatihan.
Kurangi set pelatihan menjadi contoh tepercaya dalam jumlah kecil.
Meskipun teknik ini terdengar palsu, sebenarnya cara ini bagus
ide. Dengan asumsi bahwa model konvergensi pada
yang tepercaya, Anda dapat secara bertahap menambahkan lebih banyak contoh,
mungkin menemukan contoh mana yang
menyebabkan kurva kerugian
osilasi.
Tambah jumlah contoh di set pelatihan.
Ini adalah ide yang menggoda, tetapi sangat
tidak mungkin untuk memperbaikinya
menyelesaikan masalah.
Meningkatkan kecepatan pembelajaran.
Secara umum, hindari meningkatkan kecepatan pemelajaran saat model
learning menunjukkan adanya masalah.
Latihan 2. Kurva turun dengan lompatan tajam
Manakah dua dari pernyataan berikut yang mengidentifikasi potensi
penyebab kerugian yang meledak pada Gambar 22.
Data input berisi satu atau beberapa NaN—misalnya, nilai
yang disebabkan oleh pembagian dengan nol.
Ini lebih umum dari yang mungkin Anda duga.
Data input berisi burst pencilan.
Terkadang, karena pengacakan batch
yang tidak tepat, sebuah batch mungkin
mengandung banyak {i>outlier<i}.
Kecepatan pembelajaran terlalu rendah.
Kecepatan pembelajaran yang sangat rendah dapat
memperpanjang waktu pelatihan, tetapi
bukan penyebab kurva kerugian
yang aneh.
Tingkat regularisasi terlalu tinggi.
Benar, regularisasi yang sangat tinggi dapat mencegah suatu model
converging; Namun, hal itu tidak akan menyebabkan
kurva kerugian yang aneh
yang ditunjukkan pada Gambar 22.
Latihan 3. Kerugian pengujian menyimpang dari kerugian pelatihan
Manakah satu dari pernyataan berikut yang paling mengidentifikasi
alasan terjadinya perbedaan antara kurva kerugian pelatihan
dan set pengujian?
Model ini melakukan overfitting ke set pelatihan.
Ya, mungkin itu benar. Solusi yang memungkinkan:
- Membuat model lebih sederhana, mungkin dengan mengurangi jumlah fitur baru.
- Tingkatkan derajat regularisasi.
- Memastikan set pelatihan dan set pengujian bersifat statistik ekuivalen.
Kecepatan pembelajaran terlalu tinggi.
Jika kecepatan pembelajaran terlalu tinggi, kurva kerugian untuk set pelatihan
mungkin tidak akan berperilaku
seperti yang seharusnya.
Latihan 4. Kurva penurunan macet
Manakah salah satu dari pernyataan berikut yang paling mungkin
penjelasan kurva kerugian yang tidak menentu yang ditunjukkan pada Gambar 24.
Set pelatihan berisi urutan contoh yang berulang.
Ini adalah kemungkinan. Pastikan Anda mengacak contoh
tidak memadai.
Tingkat regularisasi terlalu tinggi.
Kemungkinan besar ini adalah penyebabnya.
Set pelatihan berisi terlalu banyak fitur.
Kemungkinan besar ini adalah penyebabnya.