L1 रेगुलराइज़ेशन की जांच करना
इस व्यायाम में एक छोटा, थोड़ा शोर वाला, ट्रेनिंग डेटा सेट शामिल है. इस तरह की सेटिंग में, ज़रूरत से ज़्यादा फ़िट होना एक चिंता का विषय है. रेगुलराइज़ेशन से मदद मिल सकती है, लेकिन ऐसा किस तरह से किया जा सकता है?
इस एक्सरसाइज़ में पांच टास्क हैं. सभी पांच टास्क की तुलना आसान बनाने के लिए, हर टास्क को एक अलग टैब में चलाएं. ध्यान दें कि FEATURES और OUTPUT को कनेक्ट करने वाली लाइनों की मोटाई, हर सुविधा का एक जैसे वज़न को दिखाती है.
टास्क | रेगुलराइज़ेशन का टाइप | रेगुलराइज़ेशन रेट (लैम्डा) |
---|---|---|
1 | L2 | 0.1 |
2 | L2 | 0.3 |
3 | L1 | 0.1 |
4 | L1 | 0.3 |
5 | L1 | प्रयोग |
सवाल:
- L2 से L1 रेगुलराइज़ेशन पर स्विच करने से, टेस्ट लॉस और ट्रेनिंग लॉस के बीच के डेल्टा पर क्या असर पड़ता है?
- L2 से L1 रेगुलराइज़ेशन पर स्विच करने से, सीखे गए वेट पर क्या असर पड़ता है?
- L1 रेगुलराइज़ेशन रेट (लैम्डा) को बढ़ाने से, सीखे गए वज़न पर क्या असर पड़ता है?
(जवाब, कसरत के ठीक नीचे दिखेंगे.)