Versi baru dan peningkatan dari Kursus Singkat Machine Learning akan hadir pada Agustus 2024. Nantikan kabar terbaru.
Modul ini berfokus pada persyaratan khusus untuk model yang mempelajari vektor fitur yang memiliki banyak dimensi.
Regularisasi untuk Ketersebaran
Mari Kita Kembali ke Persilangan Fitur
- Peringatan: Persilangan fitur yang renggang dapat meningkatkan ruang fitur secara signifikan
- Kemungkinan masalah:
- Ukuran model (RAM) dapat menjadi besar
- Koefisien "derau" (menyebabkan overfit)
Regularisasi L1
- Ingin mengganjar norma bobot L0
- Pengoptimalan tidak konveks; NP-hard
Regularisasi L1
- Ingin mengganjar norma bobot L0
- Pengoptimalan tidak konveks; NP-hard
- Mengistirahatkan regularisasi L1:
- Mengganjar jumlah abs(bobot)
- Masalah konveks
- Mendorong ketersebaran yang tidak seperti L2