लीनियर रिग्रेशन: नुकसान

लॉस एक संख्या वाली मेट्रिक है. इससे पता चलता है कि किसी मॉडल के अनुमान कितने गलत हैं. लॉस, मॉडल के अनुमान और असल लेबल के बीच की दूरी को मेज़र करता है. मॉडल को ट्रेनिंग देने का मकसद, नुकसान को कम करना है. इसे कम से कम वैल्यू पर ले जाना है.

नीचे दी गई इमेज में, डेटा पॉइंट से मॉडल तक खींचे गए ऐरो के तौर पर लॉस को विज़ुअलाइज़ किया जा सकता है. ऐरो से पता चलता है कि मॉडल के अनुमान, असल वैल्यू से कितने अलग हैं.

नौवां चित्र. लॉस लाइन, डेटा पॉइंट को मॉडल से कनेक्ट करती हैं.

नौवीं इमेज. नुकसान को असल वैल्यू से अनुमानित वैल्यू के हिसाब से मेज़र किया जाता है.

उपयोगकर्ताओं के चले जाने की दूरी

आंकड़ों और मशीन लर्निंग में, लॉस, अनुमानित और असल वैल्यू के बीच के अंतर को मेज़र करता है. लॉस का फ़ोकस वैल्यू के बीच की दूरी पर होता है, न कि दिशा पर. उदाहरण के लिए, अगर कोई मॉडल 2 का अनुमान लगाता है, लेकिन असल वैल्यू 5 है, तो हम इस बात पर ध्यान नहीं देते कि लॉस -3 डॉलर है ($ 2-5=-3 $). इसके बजाय, हम इस बात पर ध्यान देते हैं कि वैल्यू के बीच का फ़ासला 3 डॉलर है. इसलिए, लॉस का हिसाब लगाने के सभी तरीकों से साइन हटा दिया जाता है.

इस साइन को हटाने के दो सबसे सामान्य तरीके यहां दिए गए हैं:

  • असल वैल्यू और अनुमान के बीच के अंतर की पूरी वैल्यू लें.
  • असल वैल्यू और अनुमानित वैल्यू के बीच के अंतर को स्क्वेयर करें.

नुकसान के टाइप

लीनियर रिग्रेशन में, नुकसान के चार मुख्य प्रकार होते हैं, जिनके बारे में इस टेबल में बताया गया है.

नुकसान का टाइप परिभाषा समीकरण
L1 नुकसान अनुमानित वैल्यू और असल वैल्यू के बीच के अंतर की वैल्यू का योग. $ ∑ | actual\ value - predicted\ value | $
मीन ऐब्सॉल्यूट एरर (एमएई) उदाहरणों के एक सेट में, L1 के नुकसान का औसत. $ \frac{1}{N} ∑ | actual\ value - predicted\ value | $
L2 लॉस अनुमानित वैल्यू और असल वैल्यू के बीच स्क्वेयर डिफ़रेंस का योग. $ ∑(असल\ वैल्यू - अनुमानित\ वैल्यू)^2 $
मीन स्क्वेयर एरर (एमएसई) उदाहरणों के एक सेट में, L2 लॉस का औसत. $ \frac{1}{N} ∑ (actual\ value - predicted\ value)^2 $

L1 लॉस और L2 लॉस (या MAE और MSE के बीच) के काम करने के तरीके में फ़र्क़ स्क्वेयर है. जब अनुमान और लेबल के बीच का अंतर ज़्यादा होता है, तो स्क्वेयर करने पर लॉस और भी ज़्यादा हो जाता है. जब अंतर कम हो (1 से कम), तो स्क्वेयर में भी अंतर कम हो जाता है.

एक साथ कई उदाहरणों को प्रोसेस करते समय, हमारा सुझाव है कि सभी उदाहरणों के लिए, लॉस का औसत निकालें. भले ही, एमएई या एमएसई का इस्तेमाल किया जा रहा हो.

नुकसान का हिसाब लगाने का उदाहरण

पिछली सबसे सही फ़िट लाइन का इस्तेमाल करके, हम एक उदाहरण के लिए, L2 लॉस का हिसाब लगाएंगे. सबसे अच्छी तरह से फ़िट होने वाली लाइन से, हमारे पास वज़न और बायस के लिए ये वैल्यू थीं:

  • $ \small{वज़न: -3.6} $
  • $ \small{बायस: 30} $

अगर मॉडल का अनुमान है कि 2,370 पाउंड की कार को 21.5 मील प्रति गैलन का माइलेज मिलता है, लेकिन उसे असल में 24 मील प्रति गैलन का माइलेज मिलता है, तो हम L2 लॉस का हिसाब इस तरह लगाएंगे:

मान समीकरण नतीजा
अनुमान

$\small{bias + (weight * feature\ value)}$

$\small{30 + (-3.6*2.37)}$

$\small{21.5}$
वास्तविक मान $ \small{ label } $ $ \small{ 24 } $
L2 लॉस

$ \small{ (prediction - actual\ value)^2} $

$\small{ (21.5 - 24)^2 }$

$\small{6.25}$

इस उदाहरण में, उस एक डेटा पॉइंट के लिए L2 की कमी 6.25 है.

नुकसान चुनना

MAE का इस्तेमाल करना है या MSE का, यह तय करना कि डेटासेट को इस्तेमाल करना है या नहीं, यह डेटासेट के आधार पर हो सकता है. साथ ही, यह इस बात पर भी निर्भर करता है कि कुछ सुझावों को किस तरह इस्तेमाल करना है. आम तौर पर, किसी डेटासेट में मौजूद ज़्यादातर सुविधा की वैल्यू, एक अलग रेंज में होती हैं. उदाहरण के लिए, आम तौर पर कारों की कीमत 2,000 से 5,000 पाउंड के बीच होती है और उनका माइलेज 8 से 50 मील प्रति गैलन होता है. 8,000 पाउंड की कार या ऐसी कार जिसकी माइलेज प्रति गैलन 100 मील है, आम तौर पर कार की सामान्य रेंज से बाहर होती है. ऐसे में, उसे आउटलायर माना जाएगा.

आउटलायर का मतलब यह भी हो सकता है कि मॉडल के अनुमान, असल वैल्यू से कितने अलग हैं. उदाहरण के लिए, 3,000 पाउंड की कार या ऐसी कार जिसकी माइलेज 40 मील प्रति गैलन है, आम तौर पर इन रेंज में आती है. हालांकि, 3,000 पाउंड की ऐसी कार जिसका माइलेज 40 मील प्रति गैलन हो, वह मॉडल के अनुमान के हिसाब से आउटलायर होगी. ऐसा इसलिए, क्योंकि मॉडल का अनुमान होगा कि 3,000 पाउंड की कार का माइलेज 18 से 20 मील प्रति गैलन होगा.

सबसे अच्छा लॉस फ़ंक्शन चुनते समय, इस बात का ध्यान रखें कि मॉडल को आउटलायर के साथ कैसे व्यवहार करना है. उदाहरण के लिए, MSE मॉडल को आउटलेयर की तरफ़ ज़्यादा आगे ले जाता है, जबकि MAE ऐसा नहीं करता. L2 लॉस में, आउटलायर के लिए L1 लॉस की तुलना में ज़्यादा जुर्माना लगता है. उदाहरण के लिए, नीचे दी गई इमेज में एक मॉडल दिखाया गया है जिसे MAE का इस्तेमाल करके ट्रेनिंग दी गई है. वहीं, मॉडल को MSE का इस्तेमाल करके ट्रेनिंग दी गई है. लाल लाइन, पूरी तरह से ट्रेन किए गए मॉडल को दिखाती है. इसका इस्तेमाल अनुमान लगाने के लिए किया जाएगा. आउटलायर, एमएई के साथ ट्रेन किए गए मॉडल के मुकाबले, एमएसई के साथ ट्रेन किए गए मॉडल के ज़्यादा करीब होते हैं.

दसवां चित्र. मॉडल, आउटलायर की ओर ज़्यादा झुका हुआ है.

10वीं इमेज. एमएसई से ट्रेन किया गया मॉडल, आउटलायर के करीब पहुंच जाता है.

इमेज 11. मॉडल, आउटलायर से दूर हो जाता है.

11वीं इमेज. एमएई की मदद से ट्रेन किया गया मॉडल, आउटलायर से दूर होता है.

मॉडल और डेटा के बीच के संबंध पर ध्यान दें:

  • MSE. मॉडल, आउटलायर के करीब है, लेकिन ज़्यादातर अन्य डेटा पॉइंट से दूर है.

  • MAE. मॉडल, आउटलायर से दूर है, लेकिन ज़्यादातर अन्य डेटा पॉइंट के करीब है.

देखें कि आपको विषय की कितनी समझ है

नीचे दिए गए दो प्लॉट देखें:

10 पॉइंट वाला प्लॉट.
      छह पॉइंट के बीच एक लाइन खींची गई है. दो पॉइंट, रेखा के ऊपर एक यूनिट और दो अन्य पॉइंट, रेखा के नीचे एक यूनिट पर हैं. 10 पॉइंट का प्लॉट. एक लाइन, आठ पॉइंट से गुज़रती है. एक बिंदु, रेखा के ऊपर दो यूनिट और दूसरा बिंदु, रेखा के नीचे दो यूनिट पर है.
पिछले प्लॉट में दिखाए गए दो डेटा सेट में से किसका मीन स्क्वेयर्ड एरर (एमएसई) ज़्यादा है?
बाईं ओर मौजूद डेटासेट.
लाइन पर मौजूद छह उदाहरणों में कुल शून्य का नुकसान हुआ है. लाइन पर न होने वाले चार उदाहरण, लाइन से बहुत दूर नहीं हैं. इसलिए, उनके ऑफ़सेट का वर्ग करने पर भी कम वैल्यू मिलती है: एमएसई = \frac{0^2 + 1^2 + 0^2 + 1^2 + 0^2 + 1^2 + 0^2 + 1^2 + 0^2 + 0^2} {10} = 0.4$
दाईं ओर मौजूद डेटासेट.
लाइन पर मौजूद आठ उदाहरणों में कुल शून्य का नुकसान हुआ है. हालांकि, सिर्फ़ दो पॉइंट लाइन से बाहर हैं, लेकिन दोनों पॉइंट, बाईं ओर दिए गए आंकड़े में मौजूद आउटलायर पॉइंट के मुकाबले लाइन से दोगुना दूर हैं. स्क्वेयर्ड लॉस उन अंतर को बढ़ाता है, इसलिए दो के ऑफ़सेट से, एक के ऑफ़सेट के मुकाबले चार गुना ज़्यादा नुकसान होता है: $MSE = \frac{0^2 + 0^2 + 0^2 + 2^2 + 0^2 + 0^2 + 0^2 + 2^2 + 0^2 + 0^2} {10} = 0.8$