Overfitting: Menafsirkan kurva kerugian

Machine learning akan jauh lebih sederhana jika semua kurva kerugian terlihat seperti ini saat pertama kali Anda melatih model:

Gambar 20. Plot yang menunjukkan kurva kerugian ideal saat melatih
            model machine learning. Kurva kerugian memetakan kerugian pada sumbu y
            terhadap jumlah langkah pelatihan pada sumbu x. Seiring meningkatnya jumlah langkah pelatihan, kerugian mulai tinggi, lalu menurun secara eksponensial, dan pada akhirnya menjadi datar untuk mencapai kerugian minimum.
Gambar 20. Kurva kerugian yang ideal.

Sayangnya, kurva kerugian sering kali sulit ditafsirkan. Gunakan intuisi Anda tentang kurva kerugian untuk menyelesaikan latihan di halaman ini.

Latihan 1: Kurva kerugian berosilasi

Gambar 21. Kurva kerugian (kerugian pada sumbu y; jumlah langkah pelatihan
            pada sumbu x) yang kerugiannya tidak datar.
            Sebaliknya, kerugian berosilasi secara tidak teratur.
Gambar 21. Kurva kerugian yang berosilasi.
Tiga hal apa yang dapat Anda lakukan untuk mencoba meningkatkan kurva kerugian yang ditampilkan dalam Gambar 21.
Tingkatkan kecepatan pembelajaran.
Kurangi kecepatan pembelajaran.
Periksa data Anda dengan skema data untuk mendeteksi contoh yang buruk, lalu hapus contoh yang buruk dari set pelatihan.
Kurangi set pelatihan menjadi sejumlah kecil contoh yang tepercaya.
Tingkatkan jumlah contoh dalam set pelatihan.

Latihan 2. Kurva kerugian dengan lonjakan tajam

Gambar 22. Plot kurva kerugian yang menunjukkan penurunan kerugian hingga
            sejumlah langkah pelatihan tertentu, lalu tiba-tiba meningkat
            dengan langkah pelatihan lebih lanjut.
Gambar 22. Peningkatan kerugian yang signifikan.
Dua pernyataan manakah dari pernyataan berikut yang mengidentifikasi kemungkinan alasan terjadinya ledakan kerugian yang ditunjukkan pada Gambar 22.
Rasio regularisasi terlalu tinggi.
Kecepatan pembelajaran terlalu rendah.
Data input berisi satu atau beberapa NaN—misalnya, nilai yang disebabkan oleh pembagian dengan nol.
Data input berisi sekelompok outlier.

Latihan 3. Kerugian pengujian berbeda dengan kerugian pelatihan

Gambar 23. Kurva kerugian pelatihan tampaknya berkonvergensi, tetapi
            kerugian validasi mulai meningkat setelah sejumlah langkah
            pelatihan tertentu.
Gambar 23. Peningkatan tajam dalam kehilangan validasi.
Mana dari pernyataan berikut yang paling baik mengidentifikasi alasan perbedaan ini antara kurva kerugian set pelatihan dan pengujian?
Kecepatan pembelajaran terlalu tinggi.
Model melakukan overfitting pada set pelatihan.

Latihan 4. Kurva penyimpangan macet

Gambar 24. Plot kurva kerugian yang menunjukkan kerugian mulai
            konvergen dengan pelatihan, tetapi kemudian menampilkan pola berulang yang
            terlihat seperti gelombang persegi panjang.
Gambar 24. Kerugian acak setelah sejumlah langkah tertentu.
Manakah dari pernyataan berikut yang paling mungkin menjadi penjelasan untuk kurva kerugian yang tidak menentu yang ditampilkan dalam Gambar 24?
Rasio regularisasi terlalu tinggi.
Set pelatihan berisi terlalu banyak fitur.
Set pelatihan berisi urutan contoh yang berulang.