ओवरफ़िटिंग: लॉस कर्व की व्याख्या करना

मशीन लर्निंग बहुत आसान होता, अगर आपके लॉस कर्व जब आपने पहली बार अपने मॉडल को ट्रेनिंग दी, तो ऐसा दिखेगा:

इमेज 20. किसी ट्रेनिंग को देते समय, सबसे अच्छे लॉस कर्व को दिखाने वाला प्लॉट मशीन लर्निंग मॉडल पर काम करता है. लॉस कर्व, y-ऐक्सिस पर नुकसान दिखाता है x-ऐक्सिस पर ट्रेनिंग के चरणों की संख्या से मेल खाती हो. संख्या के तौर पर ट्रेनिंग के चरण बढ़ते हैं, लॉस ज़्यादा शुरू होता है, फिर कम हो जाता है तेज़ी से बढ़ता है और आखिर में ज़रूरत के मुताबिक नुकसान.
इमेज 20. आदर्श नुकसान वक्र.

दुर्भाग्य से, लॉस कर्व की व्याख्या करना अक्सर चुनौती भरा होता है. अपने इस पेज पर दिए गए एक्सरसाइज़ से जुड़े सवालों को हल करने के लिए, लॉस कर्व के बारे में इतना समझ.

व्यायाम 1: ऑसिलेटिंग लॉस कर्व

इमेज 21. लॉस कर्व (y-ऐक्सिस पर नुकसान; ट्रेनिंग की संख्या) x-ऐक्सिस पर मौजूद चरण) जिनमें डेटा का नुकसान कम न होता हो. इसके बजाय, इसमें तेज़ी से गिरावट आती है.
इमेज 21. ऑसिलेटिंग लॉस कर्व.
नुकसान पहुंचाने वाले कर्व को बढ़ाने के लिए, कौनसे तीन कदम उठाए जा सकते हैं इमेज 21 में दिखाई गई है.
खराब उदाहरणों का पता लगाने के लिए, डेटा स्कीमा से अपने डेटा की जांच करें और फिर ट्रेनिंग सेट से खराब उदाहरण हटा दें.
हां, यह सभी मॉडल के लिए अच्छा तरीका है.
सीखने की दर कम करें.
हां, किसी साइट को डीबग करते समय, सीखने की दर को कम करना अच्छा होता है ट्रेनिंग से जुड़ी समस्या.
ट्रेनिंग सेट को कम भरोसेमंद उदाहरणों के तौर पर सीमित करें.
वैसे तो यह तकनीक इंसानों की तरह लगती है, लेकिन असल में यह एक अच्छी सुझाव. यह मानते हुए कि मॉडल भरोसेमंद उदाहरणों के लिए, फिर धीरे-धीरे ज़्यादा उदाहरण जोड़े जा सकते हैं. शायद यह पता लगाना कि किन उदाहरणों की वजह से लॉस कर्व होता है हिलते-डुलते रहते हैं.
ट्रेनिंग सेट में उदाहरणों की संख्या बढ़ाएं.
यह एक लुभावना आइडिया है, लेकिन इसके ठीक होने की संभावना बहुत कम है उस समस्या को हल कर सकें.
सीखने की दर बढ़ाएं.
आम तौर पर, सीखने की दर को बढ़ाने से बचें. ऐसा तब ही करें, जब मॉडल लर्निंग कर्व से पता चलता है कि कोई समस्या है.

व्यायाम 2. तेज़ छलांग से नुकीला कर्व

इमेज 22. ऐसा लॉस कर्व प्लॉट, जिसमें नुकसान को ऊपर की ओर घटता हुआ दिखाया गया है ट्रेनिंग के चरणों की तय संख्या और फिर अचानक बढ़ोतरी हो रही है जिसमें ट्रेनिंग पूरी करनी होगी.
इमेज 22. नुकसान में तेज़ी से बढ़ोतरी हुई.
नीचे दिए गए दो स्टेटमेंट से किसकी पहचान होती है में विस्फोट होने की वजह से होने वाली गिरावट की वजहें दी गई हैं, जो इमेज 22 में दिखाई गई हैं.
इनपुट डेटा में एक या उससे ज़्यादा NaNs होते हैं—उदाहरण के लिए, कोई वैल्यू शून्य से भाग देने की वजह से होता है.
यह आपकी उम्मीद से ज़्यादा सामान्य है.
इनपुट डेटा में आउटलायर का बर्स्ट शामिल होता है.
कभी-कभी, बैच की गलत शफ़ल की वजह से, बैच उसमें कई आउटलायर शामिल होते हैं.
सीखने की दर बहुत कम है.
सीखने की दर बहुत कम होने पर, ट्रेनिंग में लगने वाला समय बढ़ सकता है. हालांकि, जो अजीब लॉस कर्व की वजह नहीं है.
रेगुलराइज़ेशन दर बहुत ज़्यादा है.
सही है, रेगुलराइज़ेशन का बहुत ज़्यादा इस्तेमाल करने पर, मॉडल converging; हालांकि, इससे अजीब लॉस वक्र इमेज 22 में दिखाई गई है.

व्यायाम 3. टेस्ट लॉस की वजह से, ट्रेनिंग न मिली

इमेज 23. ट्रेनिंग लॉस कर्व एक जैसा दिखता है, लेकिन ट्रेनिंग पूरी करने के बाद, पुष्टि करने की क्षमता में कमी आना शुरू हो जाता है चरण पूरे करें.
23 इमेज. पुष्टि करने की प्रोसेस में अचानक बढ़ोतरी हुई.
नीचे दिए गए एक कथन में से कौन सा ट्रेनिंग के लॉस कर्व के बीच इस अंतर की वजह और टेस्ट सेट?
मॉडल, ट्रेनिंग सेट में ज़रूरत से ज़्यादा फ़िट हो रहा है.
हां, शायद ऐसा है. संभावित समाधान:
  • शायद संख्या कम करके मॉडल को आसान बनाएं सुविधाएं मौजूद हैं.
  • रेगुलराइज़ेशन रेट बढ़ाएं.
  • पक्का करना कि ट्रेनिंग सेट और टेस्ट सेट आंकड़ों के हिसाब से हों के बराबर है.
सीखने की दर बहुत ज़्यादा है.
अगर सीखने की दर बहुत ज़्यादा थी, तो ट्रेनिंग सेट में मौजूद लॉस कर्व शायद इस तरह व्यवहार नहीं किया होगा.

चौथी कसरत. लॉस कर्व अटक जाता है

इमेज 24. लॉस कर्व का प्लॉट, जिसमें नुकसान की शुरुआत से लेकर ट्रेनिंग के साथ एक हो जाता है, लेकिन उसके पैटर्न को दोहराते हुए दिखाया जाता है आयताकार तरंग जैसी दिखती है.
24 इमेज. कुछ चरणों की तय संख्या के बाद अव्यवस्थित झटका.
इनमें से एक स्टेटमेंट से, इमेज 24 में दिखाए गए अनियमित लॉस कर्व की वजह?
ट्रेनिंग सेट में उदाहरणों के क्रम को दोहराया गया है.
ऐसा हो सकता है. पक्का करें कि उदाहरणों को शफ़ल किया जा रहा है काफ़ी मदद करते हैं.
रेगुलराइज़ेशन दर बहुत ज़्यादा है.
इस वजह से होने की संभावना नहीं है.
ट्रेनिंग सेट में बहुत सारी सुविधाएं हैं.
इस वजह से होने की संभावना नहीं है.
अभी तक किसी भी व्यक्ति ने चेक इन नहीं किया है
पीछे जाएं
L2 रेगुलराइज़ेशन (10 मिनट)
आगे बढ़ें
देखें कि आपको कितना ज्ञान है (10 मिनट)