Regularisasi L2
Pelajari opsi di bawah ini.
Bayangkan model linear dengan fitur input 100:
10 sangat informatif.
90 tidak informatif.
Asumsikan bahwa semua fitur memiliki nilai antara -1 dan 1.
Manakah dari pernyataan berikut ini yang tepat?
Regularisasi L2 akan mendorong banyak bobot non-informatif mendekati (tetapi tidak persis) 0,0.
Ya, regularisasi L2 mendorong bobot mendekati 0,0, tetapi tidak persis 0,0.
Regularisasi L2 akan mendorong sebagian besar bobot non-informatif menjadi persis 0,0.
Regularisasi L2 tidak cenderung memaksa bobot menjadi persis 0,0. Regularisasi L2 menghukum bobot yang lebih besar lebih besar daripada bobot yang lebih kecil. Saat bobot mendekati 0,0, L2 sedikit "mendorong" ke 0,0.
Regularisasi L2 dapat menyebabkan model mempelajari bobot sedang untuk beberapa fitur non-informatif.
Anehnya, hal ini dapat terjadi saat fitur non-informatif memiliki korelasi dengan label. Dalam hal ini, model salah memberikan fitur non-informatif semacam "kredit" yang seharusnya menjadi fitur informatif.
Regularisasi L2 dan Fitur Terkait
Pelajari opsi di bawah ini.
Bayangkan model linear dengan dua fitur yang berkorelasi kuat; yaitu, kedua fitur ini hampir mirip satu sama lain, tetapi salah satu fitur berisi sejumlah kecil derau acak. Jika kita melatih model ini dengan regularisasi L2, apa yang akan terjadi pada bobot kedua fitur tersebut?
Kedua fitur akan memiliki bobot sedang yang kurang lebih sama.
Regularisasi L2 akan memaksa fitur menuju bobot yang kurang lebih setara yang kira-kira setengah dari yang seharusnya hanya satu dari dua fitur dalam model.
Satu fitur akan memiliki bobot yang besar; fitur lainnya akan memiliki bobot hampir 0,0.
Regularisasi L2 menghukum bobot yang lebih besar daripada bobot yang kecil. Jadi, meskipun satu bobot mulai turun lebih cepat dari yang lain, regularisasi L2 akan cenderung memaksa bobot yang lebih besar untuk turun lebih cepat daripada bobot yang lebih kecil.
Satu fitur akan memiliki bobot yang besar; fitur lainnya akan memiliki bobot persis 0,0.
Regularisasi L2 jarang memaksa bobot menjadi persis 0,0. Sebaliknya, regularisasi L1 (akan dibahas nanti) memaksa bobot menjadi persis 0,0.