Regularisasi untuk Ketersebaran: Latihan Playground

Perkiraan Waktu: 8 menit

Menguji Regularisasi L₁

Latihan ini berisi set data pelatihan yang kecil dan memiliki sedikit derau. Dalam setelan semacam ini, overfit adalah masalah yang nyata. Regularisasi dapat membantu, tetapi bentuk regularisasi yang mana?

Latihan ini terdiri dari lima tugas terkait. Untuk menyederhanakan perbandingan kelima tugas tersebut, jalankan setiap tugas di tab terpisah. Perhatikan bahwa ketebalan garis yang menghubungkan FITUR dan OUTPUT mewakili bobot relatif dari setiap fitur.

Tugas	Jenis Regularisasi	Laju Regularisasi (lambda)
1	L2	0,1
2	L2	0.3
3	L1	0,1
4	L1	0.3
5	L1	eksperimen

Pertanyaan:

1. Bagaimana peralihan dari regularisasi L₂ ke L₁ dapat memengaruhi variasi variabel antara kerugian pengujian dan kerugian pelatihan?
2. Bagaimana peralihan dari regularisasi L₂ ke L₁ dapat memengaruhi bobot yang dipelajari?
3. Bagaimana peningkatan derajat regularisasi L₁ (lambda) dapat memengaruhi bobot yang dipelajari?

(Jawaban muncul tepat di bawah latihan.)

---

---

Klik ikon plus untuk jawaban.

1. Beralih dari regularisasi L₂ ke L₁ akan mengurangi delta antara kerugian pengujian dan kerugian pelatihan secara signifikan.
2. Beralih dari regularisasi L₂ ke L₁ akan mengurangi semua bobot yang dipelajari.
3. Meningkatkan derajat regularisasi L₁ umumnya mengurangi bobot yang dipelajari; namun, jika tingkat regularisasi terlalu tinggi, model tidak dapat dikonvergensi dan kerugian akan menjadi sangat tinggi.