स्पैर्सिटी के लिए रेगुलराइज़ेशन: प्लेग्राउंड एक्सरसाइज़

अनुमानित समय: 8 मिनट

L₁ रेगुलराइज़ेशन की जांच करना

इस व्यायाम में एक छोटा, थोड़ा शोर वाला, ट्रेनिंग डेटा सेट शामिल है. इस तरह की सेटिंग में, ज़रूरत से ज़्यादा फ़िट होना एक चिंता का विषय है. रेगुलराइज़ेशन से मदद मिल सकती है, लेकिन ऐसा किस तरह से किया जा सकता है?

इस एक्सरसाइज़ में पांच टास्क हैं. सभी पांच टास्क की तुलना आसान बनाने के लिए, हर टास्क को एक अलग टैब में चलाएं. ध्यान दें कि FEATURES और OUTPUT को कनेक्ट करने वाली लाइनों की मोटाई, हर सुविधा का एक जैसे वज़न को दिखाती है.

टास्क	रेगुलराइज़ेशन का टाइप	रेगुलराइज़ेशन रेट (लैम्डा)
1	L2	0.1
2	L2	0.3
3	L1	0.1
4	L1	0.3
5	L1	प्रयोग

सवाल:

1. L₂ से L₁ रेगुलराइज़ेशन पर स्विच करने से, टेस्ट लॉस और ट्रेनिंग लॉस के बीच के डेल्टा पर क्या असर पड़ता है?
2. L₂ से L₁ रेगुलराइज़ेशन पर स्विच करने से, सीखे गए वेट पर क्या असर पड़ता है?
3. L₁ रेगुलराइज़ेशन रेट (लैम्डा) को बढ़ाने से, सीखे गए वज़न पर क्या असर पड़ता है?

(जवाब, कसरत के ठीक नीचे दिखेंगे.)

---

---

जवाबों के लिए प्लस आइकॉन पर क्लिक करें.

1. L₂ से L₁ रेगुलराइज़ेशन पर स्विच करने से, टेस्ट लॉस और ट्रेनिंग लॉ के बीच का डेल्टा काफ़ी कम हो जाता है.
2. L₂ से L₁ रेगुलराइज़ेशन पर स्विच करने से, सीखे गए सभी वेटेज पर असर पड़ता है.
3. L₁ रेगुलराइज़ेशन की दर बढ़ाने से, आम तौर पर आकलन किए गए वेटेज पर असर पड़ता है. हालांकि, अगर रेगुलराइज़ेशन की दर बहुत ज़्यादा हो जाती है, तो मॉडल एक जैसा नहीं हो सकता और नुकसान बहुत ज़्यादा होते हैं.