संख्या वाला डेटा: नॉर्मलाइज़ेशन

आंकड़ों और विज़ुअलाइज़ेशन की तकनीकों का इस्तेमाल करके अपने डेटा की जांच करने के बाद, आपको अपने डेटा में बदलाव करने चाहिए, ताकि आपका मॉडल असरदार हैं. इसका लक्ष्य नॉर्मलाइज़ेशन का इस्तेमाल सुविधाएं एक समान स्केल पर होने चाहिए. उदाहरण के लिए, इन दो सुविधाएँ:

• सुविधा X, 154 से 24,917,482 की रेंज में है.
• सुविधा Y, 5 से 22 की रेंज में है.

ये दोनों सुविधाएं बहुत अलग-अलग रेंज में हैं. नॉर्मलाइज़ेशन में हेर-फेर कर सकती है X और Y ताकि वे समान रेंज में हों, शायद 0 से 1 तक.

नॉर्मलाइज़ेशन के ये फ़ायदे हैं:

• इससे मॉडल को ट्रेनिंग के दौरान, ज़्यादा तेज़ी से लोगों के जुड़ने में मदद मिलती है. जब अलग-अलग सुविधाओं की सीमाएं अलग-अलग होती हैं, तो ग्रेडिएंट ढलान "बाउंस" और धीमा अभिसरण होता है. इसका मतलब है कि ज़्यादा बेहतर ऑप्टिमाइज़र ऐडग्राड और एडम इस तरह की समस्या से बचाते हैं: समय के साथ असरदार लर्निंग रेट में बदलाव करना.
• इससे मॉडल को बेहतर अनुमान लगाने में मदद मिलती है. जब अलग-अलग सुविधाओं की सीमाएं अलग-अलग होती हैं, तो नतीजे के तौर पर मॉडल थोड़ा कम उपयोगी सुझाव दे सकता है.
• जब सुविधा की वैल्यू बहुत ज़्यादा हों, तब "NaN ट्रैप" से बचने में मदद मिलती है. NaN, इसका छोटा रूप है संख्या नहीं है. जब किसी मॉडल में एक मान फ़्लोटिंग-पॉइंट सटीक होने की सीमा, सिस्टम इसके बजाय वैल्यू को NaN पर सेट करता है चुनें. जब मॉडल की एक संख्या NaN बन जाती है, तो अन्य संख्याएं NaN में हो जाती हैं मॉडल भी आखिरकार NaN बन गया.
• इससे मॉडल को हर सुविधा के लिए सही वज़न जानने में मदद मिलती है. सुविधा स्केलिंग के बिना, मॉडल बहुत ज़्यादा ध्यान देता है बड़ी रेंज वाली सुविधाओं पर और उन पर काफ़ी ध्यान नहीं दिया है. छोटी रेंज.

हमारा सुझाव है कि अंकों वाली सुविधाओं को नॉर्मलाइज़ करें. इनमें साफ़ तौर पर, अलग-अलग रेंज में हो रहा है (उदाहरण के लिए, उम्र और आय). हमारा सुझाव है कि आप ऐसी किसी एक संख्या वाली सुविधा को नॉर्मलाइज़ करें जो कई तरह की रेंज में हो, जैसे कि city population.

चेतावनी: अगर ट्रेनिंग के दौरान किसी सुविधा को नॉर्मलाइज़ किया जाता है, तो आपको इसे भी नॉर्मलाइज़ करना होगा सुविधा का इस्तेमाल करती हैं.

नीचे दी गई दो सुविधाओं पर विचार करें:

• सुविधा A की सबसे कम वैल्यू -0.5 और सबसे ज़्यादा वैल्यू +0.5 है.
• सुविधा B की सबसे कम वैल्यू -5.0 और सबसे ज़्यादा वैल्यू +5.0 है.

सुविधा A और सुविधा B में काफ़ी कम स्पैन हैं. हालांकि, सुविधा B की स्पैन, सुविधा A के स्पैन से 10 गुना ज़्यादा है. इसलिए:

• ट्रेनिंग की शुरुआत में, मॉडल यह मानता है कि सुविधा A ज़्यादा "ज़रूरी" सुविधा B से कम है.
• ट्रेनिंग में सामान्य से ज़्यादा समय लगेगा.
• ऐसा हो सकता है कि यह मॉडल आपके लिए सटीक न हो.

नॉर्मलाइज़ न होने की वजह से, कम नुकसान होगा; हालांकि, हम अब भी सुविधा A और सुविधा B को समान स्केल पर नॉर्मलाइज़ करने की सलाह देते हैं, शायद -1.0 से +1.0 के बीच.

अब रेंज की ज़्यादा अंतर वाली दो सुविधाओं पर विचार करें:

• सुविधा `C का सबसे कम मान -1 है और सबसे ज़्यादा का मान +1 है.
• सुविधा D की सबसे कम वैल्यू +5,000 और सबसे ज़्यादा वैल्यू +10,00,00,000 है.

अगर सुविधा C और सुविधा D को नॉर्मलाइज़ नहीं किया जाता है, तो आपके मॉडल से कम बेहतर होता है. इसके अलावा, ट्रेनिंग में भी बहुत समय लगेगा. एकजुट होते हैं या पूरी तरह से एक ही नहीं हो पाते!

इस सेक्शन में, नॉर्मलाइज़ेशन के तीन लोकप्रिय तरीकों के बारे में बताया गया है:

• लीनियर स्केलिंग
• ज़ेड-स्कोर स्केलिंग
• लॉग स्केलिंग

इस सेक्शन में क्लिप. हालांकि, यह सही नहीं है नॉर्मलाइज़ेशन तकनीक, क्लिपिंग से रेंज जो बेहतर मॉडल तैयार करती हैं.

रेखीय स्केलिंग

लीनियर स्केलिंग (आम तौर पर, स्केल करने की सुविधा ज़्यादा होती है) इसे छोटा करके सिर्फ़ स्केलिंग किया जाता है) का मतलब है, फ़्लोटिंग-पॉइंट वैल्यू को सामान्य रेंज में उनकी नैचुरल रेंज—आम तौर पर 0 से 1 या -1 से +1.

हिसाब देखने के लिए आइकॉन पर क्लिक करें.

मानक श्रेणी पर स्केल करने के लिए, नीचे दिए गए सूत्र का इस्तेमाल करें 0 से 1 तक, इनमें शामिल हैं:

$$ x' = (x - x_{min}) / (x_{max} - x_{min}) $$

कहां:

• $x'$ स्केल की गई वैल्यू है.
• $x$ मूल वैल्यू है.
• $x_{min}$ इस सुविधा के डेटासेट में सबसे कम वैल्यू है.
• $x_{max}$ इस सुविधा के डेटासेट में सबसे बड़ी वैल्यू है.

उदाहरण के लिए, quantity नाम की किसी सुविधा पर विचार करें जिसका नैचुरल रेंज 100 से 900 तक है. मान लीजिए कि quantity के प्राकृतिक मान को, खास उदाहरण 300 है. इस तरह से, नॉर्मलाइज़्ड वैल्यू को कैलकुलेट किया जा सकता है. में से 300 विकल्प होने चाहिए:

• $x$ = 300 डॉलर
• $x_{min}$ = 100 डॉलर
• $x_{max}$ = 900 डॉलर

x' = (300 - 100) / (900 - 100)
x' = 200 / 800
x' = 0.25

---

नीचे दी गई सभी शर्तें पूरी होने पर, लीनियर स्केलिंग एक अच्छा विकल्प है:

• आपके डेटा की निचली और ऊपरी सीमाओं में समय के साथ ज़्यादा बदलाव नहीं होता.
• इस सुविधा में कुछ या कोई आउटलायर मौजूद नहीं होते. साथ ही, आउटलायर वे नहीं होते बहुत ज़्यादा.
• यह सुविधा अपनी रेंज में करीब-करीब समान रूप से बांटी हुई है. इसका मतलब है कि हिस्टोग्राम में ज़्यादातर उम्र के बार दिखेंगे.

मान लीजिए कि इंसान age एक सुविधा है. लीनियर स्केलिंग एक अच्छा नॉर्मलाइज़ेशन है तकनीक age के लिए है, क्योंकि:

• अनुमानित निचली और ऊपरी सीमाएं 0 से 100 हैं.
• age में, आउटलायर का प्रतिशत बहुत कम होता है. करीब 0.3% ही यहां की जनसंख्या 100 से ज़्यादा है.
• हालांकि, कुछ खास उम्र के लोगों को दूसरों की तुलना में बेहतर तरीके से दिखाया जाता है, लेकिन डेटासेट में सभी उम्र के लोगों के लिए, काफ़ी उदाहरण होने चाहिए.

ध्यान दें: असल दुनिया की ज़्यादातर सुविधाएं, लीनियर स्केलिंग. आम तौर पर, Z-स्कोर स्केलिंग के बजाय लीनियर स्केलिंग.

देखें कि आपको कितना समझ आया है

मान लें कि आपके मॉडल में net_worth नाम की एक सुविधा है, जो करने में मदद करते हैं. क्या लीनियर स्केलिंग एक अच्छा नॉर्मलाइज़ेशन होगा net_worth के लिए तकनीक? ऐसा क्यों है या क्यों नहीं है?

जवाब देखने के लिए आइकॉन पर क्लिक करें.

जवाब: नॉर्मलाइज़ करने के लिए लीनियर स्केलिंग सही विकल्प नहीं होगा net_worth. इस सुविधा में कई आउटलायर और वैल्यू अपनी मुख्य रेंज में समान रूप से नहीं बांटे जाते. ज़्यादातर लोग यह कर पाते पूरी रेंज के बेहद संकरे बैंड में अंदर से दबे हुए हों.

---

ज़ेड-स्कोर स्केलिंग

Z-स्कोर से पता चलता है कि मीन से कोई वैल्यू, मानक विचलन की संख्या कितनी है. उदाहरण के लिए, वह वैल्यू जो मीन से ज़्यादा है और उसमें दो स्टैंडर्ड डीविएशन हैं का Z-स्कोर +2.0 है. ऐसी वैल्यू जो 1.5 स्टैंडर्ड डेविएशन (मानक विचलन) से कम हो मीन का Z-स्कोर -1.5 है.

Z-स्कोर स्केलिंग के साथ किसी सुविधा को दिखाने का मतलब है कि सुविधा के फ़ीचर वेक्टर में Z-स्कोर. उदाहरण के लिए, नीचे दिए गए डायग्राम में दो हिस्टोग्राम:

• बाईं ओर, सामान्य डिस्ट्रिब्यूशन का क्लासिक वर्शन.
• दाईं ओर, वही डिस्ट्रिब्यूशन Z-स्कोर स्केलिंग से नॉर्मलाइज़ किया गया है.

चौथी इमेज. सामान्य डेटा के लिए रॉ डेटा (लेफ़्ट) बनाम Z-स्कोर (राइट) वितरण.

Z-स्कोर स्केलिंग की मदद से, डेटा को आसानी से समझा जा सकता है. दिया गया है, जिसका डिस्ट्रिब्यूशन साफ़ तौर पर नहीं है.

पांचवीं इमेज. रॉ डेटा (लेफ़्ट) बनाम Z-स्कोर स्केलिंग (राइट) गैर-क्लासिक सामान्य वितरण.

हिसाब देखने के लिए आइकॉन पर क्लिक करें.

$x$ वाली वैल्यू को नॉर्मलाइज़ करने के लिए, नीचे दिए गए फ़ॉर्मूला का इस्तेमाल करें इसका Z-स्कोर:

$$ x' = (x - μ) / σ $$

कहां:

• $x'$, Z-स्कोर है.
• रॉ वैल्यू $x$ है; इसका मतलब है कि $x$ वह वैल्यू है जिसे सामान्य बनाया जा रहा है.
• $μ$ औसत है.
• $x$ मानक विचलन (स्टैंडर्ड डेविएशन) है.

उदाहरण के लिए, मान लें:

• माध्य = 100
• मानक विचलन = 20
• ओरिजनल वैल्यू = 130

इसलिए:

  Z-score = (130 - 100) / 20
  Z-score = 30 / 20
  Z-score = +1.5

---

सामान्य वितरणों के बारे में ज़्यादा जानने के लिए आइकॉन पर क्लिक करें.

क्लासिक नॉर्मल डिस्ट्रिब्यूशन में:

• कम से कम 68.27% डेटा का Z-स्कोर -1.0 और +1.0 के बीच है.
• कम से कम 95.45% डेटा का Z-स्कोर -2.0 और +2.0 के बीच है.
• कम से कम 99.73% डेटा का Z-स्कोर -3.0 और +3.0 के बीच है.
• कम से कम 99.994% डेटा का Z-स्कोर -4.0 और +4.0 के बीच है.

इसलिए, -4.0 से कम या +4.0 से ज़्यादा के Z-स्कोर वाले डेटा पॉइंट ऐसे मामले कम ही होते हैं, लेकिन क्या वे वाकई में अलग पहचान देते हैं? क्योंकि _outliers_ एक सिद्धांत है सख्त परिभाषा के बिना, कोई भी पक्के तौर पर यह नहीं कह सकता. ध्यान दें कि काफ़ी बड़ी संख्या में उदाहरणों वाले डेटासेट को उनमें से कम से कम कुछ "दुर्लभ" उदाहरण. उदाहरण के लिए, एक अरब उदाहरण वाली सुविधा, जो क्लासिक नॉर्मल डिस्ट्रिब्यूशन में ज़्यादा से ज़्यादा 60,000 उदाहरण हो सकते हैं -4.0 से +4.0 की सीमा के बाहर का स्कोर.

---

जब डेटा सामान्य डिस्ट्रिब्यूशन का पालन करता है, तब Z-स्कोर एक अच्छा विकल्प है या एक सामान्य डिस्ट्रिब्यूशन जैसा होता है.

ध्यान दें कि कुछ वितरण सीमा में है, लेकिन फिर भी इसमें बहुत ज़्यादा आउटलायर मौजूद होते हैं. उदाहरण के लिए, तकरीबन सभी net_worth सुविधा के पॉइंट, 3 स्टैंडर्ड डिविएशन में फ़िट हो सकते हैं, हालाँकि, इस सुविधा के कुछ उदाहरण सैकड़ों मानक विचलन मीन से दूर होना चाहिए. इन स्थितियों में, Z-स्कोर स्केलिंग को इस स्थिति से निपटने के लिए, नॉर्मलाइज़ेशन का एक अन्य तरीका (आम तौर पर क्लिपिंग) बनाया जा सकता है.

व्यायाम: अपनी समझ की जांच करें

मान लीजिए कि आपका मॉडल height नाम के एक फ़ीचर के आधार पर ट्रेनिंग लेता है, जिसमें वयस्कों के लिए 10 लाख महिलाओं की हाइट. क्या ज़ेड-स्कोर स्केलिंग एक अच्छा नॉर्मलाइज़ेशन है height के लिए तकनीक? ऐसा क्यों है या क्यों नहीं है?

जवाब देखने के लिए आइकॉन पर क्लिक करें.

जवाब: ज़ेड-स्कोर स्केलिंग एक अच्छी नॉर्मलाइज़ेशन तकनीक होगी height के लिए क्योंकि यह सुविधा सामान्य वितरण की तरह है. 10 लाख उदाहरणों में कई आउटलायर्स का इस्तेमाल किया जाता है—शायद आउटलायर्स के लिए इस मॉडल की मदद से, बहुत ज़्यादा या बहुत कम Z-स्कोर के पैटर्न को सीखा जा सकता है.

---

लॉग स्केलिंग

लॉग स्केलिंग, रॉ वैल्यू के लॉगारिद्म को कैलकुलेट करता है. सैद्धांतिक तौर पर, लॉगारिद्म कोई भी बेस हो सकता है; लॉग स्केलिंग से आम तौर पर, नैचुरल लॉगारिद्म (IN).

हिसाब देखने के लिए आइकॉन पर क्लिक करें.

$x$ वाली वैल्यू को नॉर्मलाइज़ करने के लिए, नीचे दिए गए फ़ॉर्मूला का इस्तेमाल करें इसका लॉग:

$$ x' = ln(x) $$

कहां:

• $x'$, $x$ का प्राकृतिक लघुगणक है.
• ओरिजनल वैल्यू = 54.598

इसलिए, ओरिजनल वैल्यू का लॉग करीब 4.0 होता है:

  4.0 = ln(54.598)

---

लॉग स्केलिंग तब मददगार होती है, जब डेटा पावर लॉ के डिस्ट्रिब्यूशन के मुताबिक हो. आम तौर पर, ऊर्जा कानून का डिस्ट्रिब्यूशन इस तरह दिखता है:

• X के कम मानों के Y बहुत ज़्यादा हैं.
• X की वैल्यू बढ़ने पर, Y की वैल्यू भी तेज़ी से घटती है. इस तरह से, X के उच्च मान के Y बहुत कम मान होते हैं.

फ़िल्म की रेटिंग, पावर लॉ डिस्ट्रिब्यूशन का अच्छा उदाहरण है. निम्न में चित्र, सूचना:

• कुछ फ़िल्मों को काफ़ी उपयोगकर्ता रेटिंग मिली हों. (X के कम मान ज़्यादा हैं Y की वैल्यू शामिल हैं.)
• ज़्यादातर फ़िल्मों को बहुत कम उपयोगकर्ता रेटिंग मिलती हैं. (X की सबसे ज़्यादा वैल्यू कम हैं Y की वैल्यू शामिल हैं.)

लॉग स्केलिंग से डिस्ट्रिब्यूशन में बदलाव होता है. इससे, मॉडल को ट्रेनिंग देने में मदद मिलती है करने में मदद मिलती है.

छठी इमेज. रॉ डिस्ट्रिब्यूशन की उसके लॉग में तुलना करना.

दूसरे उदाहरण के रूप में, किताबों की बिक्री, पावर लॉ डिस्ट्रिब्यूशन के तहत आती है, क्योंकि:

• ज़्यादातर पब्लिश की गई किताबों की बिक्री बहुत कम होती है. इस संख्या की एक या दो सौ किताबें भी हो सकती हैं.
• कुछ किताबों की बिक्री ठीक-ठाक होती है. यह संख्या हज़ारों में है.
• सिर्फ़ कुछ सबसे ज़्यादा बिकने वाले प्रॉडक्ट और ब्रैंड की ही दस लाख से ज़्यादा कॉपी बेचें.

मान लीजिए कि आप रैखिक मॉडल को प्रशिक्षण के ज़रिए बिक्री बुक करने के लिए किताब के कवर वर्शन चुनें. रॉ वैल्यू पर लीनियर मॉडल को ट्रेनिंग देने से लाखों कॉपी बेचने वाली किताबों के कवर वर्शन के बारे में कुछ खोजना होगा जो कि सिर्फ़ 100 कॉपी बेचने वाले बुक कवर से 10,000 ज़्यादा असरदार है. हालांकि, बिक्री के सभी आंकड़ों को लॉग करने से यह काम बहुत आसान हो जाता है. उदाहरण के लिए, 100 का लॉग यह होता है:

  ~4.6 = ln(100)

जबकि 1,000,000 का लॉग यह होता है:

  ~13.8 = ln(1,000,000)

इसलिए, 1,000,000 का लॉग, 100 के लॉग की तुलना में सिर्फ़ तीन गुना बड़ा होता है. शायद आप कल्पना कर सकते हैं कि एक सबसे ज़्यादा बिकने वाली किताब का कवर करीब तीन बार किसी छोटे से बिकने वाले किताब कवर की तुलना में ज़्यादा असरदार (किसी भी रूप में)

क्लिपिंग

क्लिपिंग एक तकनीक है, जिसका इस्तेमाल ऐसी चीज़ों के असर को कम करें जो बाहरी वजहों से बहुत कम हों. संक्षेप में, क्लिपिंग आम तौर पर बड़े अक्षरों में होती है (घटता है) आउटलायर की वैल्यू को किसी खास ज़्यादा से ज़्यादा वैल्यू तक कम करता है. क्लिपिंग फिर भी, यह बहुत असरदार हो सकता है.

उदाहरण के लिए, roomsPerPerson नाम की सुविधा वाले डेटासेट की कल्पना करें, जो रूम की संख्या दिखाता है (कुल रूम को भाग देने पर हर घर में होने वाले लोगों की संख्या के हिसाब से) निम्न प्लॉट से पता चलता है कि सुविधा के 99% मान सामान्य डिस्ट्रिब्यूशन की पुष्टि करते हैं (मोटे तौर पर, 1.8 और 0.7 का मानक विचलन). हालांकि, सुविधा में हमें कुछ आउटलायर्स के बारे में बताना है, जिनमें से कुछ पर बहुत ज़्यादा असर है:

सातवीं इमेज. मुख्य रूप से सामान्य, लेकिन पूरी तरह सामान्य नहीं.

उन चरम स्थितियों पर पड़ने वाले असर को कैसे कम किया जा सकता है? हालांकि, हिस्टोग्राम कोई सम डिस्ट्रिब्यूशन, सामान्य डिस्ट्रिब्यूशन या पावर लॉ नहीं होता है वितरण. क्या होगा, अगर आप roomsPerPerson को आर्बिट्रेरी वैल्यू पर, 4.0 मान लें?

आठवीं इमेज. क्लिपिंग सुविधा की वैल्यू 4.0.

सुविधा की वैल्यू को 4.0 पर क्लिप करने का मतलब यह नहीं है कि आपका मॉडल इसे अनदेखा कर देगा वैल्यू 4.0 से ज़्यादा होनी चाहिए. बल्कि, इसका मतलब है कि वे सभी वैल्यू जो से 4.0, अब 4.0 हो गया है. यह 4.0 ऊंची पहाड़ी की खासियत है. इसके बावजूद स्केल किए गए फ़ीचर का सेट अब ओरिजनल डेटा से ज़्यादा काम का है.

कृपया इंतज़ार करें! क्या तुम हर आउटलायर वैल्यू को वाकई में कुछ आर्बिट्रेरी ऊपरी वैल्यू से कम कर सकती हो थ्रेशोल्ड? मॉडल को ट्रेनिंग देते समय इसका इस्तेमाल करें.

नॉर्मलाइज़ेशन के दूसरे तरीके लागू करने के बाद, वैल्यू को क्लिप भी किया जा सकता है. उदाहरण के लिए, मान लें कि ज़ेड-स्कोर स्केलिंग का इस्तेमाल किया जाता है, लेकिन कुछ आउटलायर के पास निरपेक्ष मान 3 से कहीं ज़्यादा हैं. इस स्थिति में, ये काम किए जा सकते हैं:

• अगर क्लिप Z में तीन से ज़्यादा स्कोर मिलता है, तो वह नंबर 3 हो जाएगा.
• अगर क्लिप Z में -3 से कम स्कोर मिलता है, तो वह -3 हो जाएगा.

क्लिप बनाने से, आपके मॉडल को गै़र-ज़रूरी डेटा को इंडेक्स करने से रोका जा सकता है. हालांकि, कुछ आउटलायर असल में अहम होते हैं, इसलिए क्लिप की वैल्यू ध्यान से रखें.

नॉर्मलाइज़ेशन तकनीकों के बारे में खास जानकारी

नॉर्मलाइज़ेशन की सबसे अच्छी तकनीक वह है जो यह अच्छी तरह से काम करता है. इसलिए, अगर आपको लगता है कि नए आइडिया पर भी काम किया जा सकता है, तो उन्हें आज़माएँ सुविधाओं को उपलब्ध नहीं कराना.

नॉर्मलाइज़ेशन तकनीक	फ़ॉर्मूला	कब इस्तेमाल करें
रेखीय स्केलिंग	$$ x' = \frac{x - x_{min}}{x_{max} - x_{min}} $$	जब सुविधा सभी जगहों पर एक जैसी हो तय की गई सीमा में होते हैं.
ज़ेड-स्कोर स्केलिंग	$$ x' = \frac{x - μ}{σ}$$	जब सुविधा के डिस्ट्रिब्यूशन में बहुत ज़्यादा आउटलायर शामिल न हों.
लॉग स्केलिंग	$$ x' = log(x)$$	जब सुविधा, पावर लॉ के मुताबिक हो.
क्लिपिंग	अगर $x > max$, $x पर सेट करें = ज़्यादा से ज़्यादा डॉलर अगर $x < min$, $x' सेट करें = कम से कम कीमत	जब सुविधा में एक्स्ट्रीम आउटलायर मौजूद हों.

व्यायाम: अपने ज्ञान को परखें

किसी सुविधा को नॉर्मलाइज़ करने के लिए, इनमें से कौनसी तकनीक सबसे सही होगी होगा?

ज़ेड-स्कोर स्केलिंग

डेटा पॉइंट आम तौर पर सामान्य डिस्ट्रिब्यूशन के मुताबिक होते हैं, इसलिए Z-स्कोर स्केलिंग उन्हें –3 से +3 की रेंज में ला देगी.

रेखीय स्केलिंग

नॉर्मलाइज़ेशन की तकनीकों के बारे में इस पेज पर चर्चा करें. और फिर से कोशिश करें.

लॉग स्केलिंग

नॉर्मलाइज़ेशन की तकनीकों के बारे में इस पेज पर चर्चा करें. और फिर से कोशिश करें.

क्लिपिंग

नॉर्मलाइज़ेशन की तकनीकों के बारे में इस पेज पर चर्चा करें. और फिर से कोशिश करें.

मान लीजिए कि आप ऐसा मॉडल तैयार कर रहे हैं जो यह अनुमान लगाता है कि किसी डेटा सेंटर डेटा सेंटर में मापे गए तापमान पर आधारित उत्पादकता. आपके डेटासेट में मौजूद करीब सभी temperature वैल्यू आती हैं 15 और 30 (सेल्सियस) के बीच. हालांकि, इसमें ये अपवाद शामिल हैं:

• साल में एक या दो बार, बहुत ज़्यादा गर्मी वाले दिनों में, temperature में 31 और 45 रिकॉर्ड किए गए हैं.
• temperature में हर 1,000वें पॉइंट को 1,000 पर सेट किया जाता है से होता है.

जो साइट के लिए उचित नॉर्मलाइज़ेशन तकनीक होगी temperature?

आउटलायर को 31 से 45 के बीच की क्लिप बनाएं, लेकिन आउटलायर को इसके साथ मिटा दें 1,000 की वैल्यू

1,000 के मान गलतियां हैं और उन्हें इसे मिटाने के बजाय हटाया जाना चाहिए क्लिप किया गया.

31 से 45 के बीच की वैल्यू, मान्य डेटा पॉइंट हैं. इन वैल्यू के लिए क्लिप बनाना अच्छा रहेगा, क्योंकि डेटासेट में इतने उदाहरण मौजूद नहीं हैं कि तापमान की इस रेंज में मॉडल को अच्छे अनुमान लगाने की ट्रेनिंग दें. हालांकि, अनुमान के दौरान, ध्यान दें कि क्लिप किया गया मॉडल तापमान 45 या 35 डिग्री होना चाहिए.

आउटलायर से जुड़े सभी वीडियो को क्लिप करें

नॉर्मलाइज़ेशन की तकनीकों के बारे में इस पेज पर चर्चा करें. और फिर से कोशिश करें.

सभी आउटलायर मिटाएं

नॉर्मलाइज़ेशन की तकनीकों के बारे में इस पेज पर चर्चा करें. और फिर से कोशिश करें.

31 और 45 के बीच की बाहरी वैल्यू मिटाएं, लेकिन क्लिप बनाने के लिए, आउटलायर का मान 1,000 है.

नॉर्मलाइज़ेशन की तकनीकों के बारे में इस पेज पर चर्चा करें. और फिर से कोशिश करें.

अभी तक किसी भी व्यक्ति ने चेक इन नहीं किया है

मुख्य बातें:

• क्लिप
• नान ट्रैप
• नॉर्मलाइज़ेशन
• स्केलिंग
• Z-स्कोर नॉर्मलाइज़ेशन