कैटगरीकल डेटा: शब्दावली और वन-हॉट एन्कोडिंग

डाइमेंशन शब्द, फ़ीचर वेक्टर में मौजूद एलिमेंट की संख्या के लिए एक समानार्थी शब्द है. कैटगरी वाली कुछ सुविधाएं कम डाइमेंशन वाली होती हैं. उदाहरण के लिए:

सुविधा का नाम कैटगरी की संख्या कैटगरी के सैंपल
snowed_today 2 True, False
skill_level 3 शुरुआती, प्रैक्टिशनर, विशेषज्ञ
सीज़न 4 सर्दी, वसंत, गर्मी, पतझड़
day_of_week 7 सोमवार, मंगलवार, बुधवार
ग्रह 8 बुध, शुक्र, पृथ्वी

जब किसी कैटगरी वाली सुविधा में संभावित कैटगरी की संख्या कम हो, तो उसे वॉकेबुलरी के तौर पर कोड में बदला जा सकता है. वॉटरकुलरी को कोड में बदलने की सुविधा की मदद से, मॉडल हर संभावित कैटगरी वैल्यू को अलग-अलग सुविधा के तौर पर इस्तेमाल करता है. ट्रेनिंग के दौरान, मॉडल हर कैटगरी के लिए अलग-अलग वेट सीखता है.

उदाहरण के लिए, मान लें कि आपने car_color नाम की कैटगरी वाली सुविधा के आधार पर, कार की कीमत का अनुमान लगाने के लिए एक मॉडल बनाया है. शायद लाल रंग की कारों की कीमत, हरे रंग की कारों की कीमत से ज़्यादा है. मैन्युफ़ैक्चरर, कार के बाहरी हिस्से के लिए सीमित रंग उपलब्ध कराते हैं. इसलिए, car_color एक कम डाइमेंशन वाली कैटगरी वाली सुविधा है. इस इलस्ट्रेशन में, car_color के लिए शब्दावली (संभावित वैल्यू) का सुझाव दिया गया है:

चित्र 1.  पैलेट में मौजूद हर रंग को एक अलग सुविधा के तौर पर दिखाया जाता है. इसका मतलब है कि फ़ीचर वेक्टर में हर रंग एक अलग फ़ीचर है.
      उदाहरण के लिए, 'लाल' एक सुविधा है, 'नारंगी' एक अलग सुविधा है, और इसी तरह.
पहला डायग्राम. हर कैटगरी के लिए एक यूनीक सुविधा.

एक्सरसाइज़: देखें कि आपको क्या समझ आया

सही या गलत: मशीन लर्निंग मॉडल, "लाल" और "काला" जैसी रॉ स्ट्रिंग वैल्यू पर सीधे ट्रेनिंग कर सकता है. इसके लिए, इन वैल्यू को संख्या वाले वैक्टर में बदलने की ज़रूरत नहीं होती.
सही
गलत

इंडेक्स नंबर

मशीन लर्निंग मॉडल, सिर्फ़ फ़्लोटिंग-पॉइंट वाली संख्याओं में बदलाव कर सकते हैं. इसलिए, आपको हर स्ट्रिंग को यूनीक इंडेक्स नंबर में बदलना होगा, जैसा कि यहां दी गई इमेज में दिखाया गया है:

चित्र 2.  हर रंग, किसी यूनीक इंटिजर वैल्यू से जुड़ा होता है. उदाहरण के लिए, 'लाल' रंग को पूर्णांक 0, 'नारंगी' रंग को पूर्णांक 1 वगैरह से जोड़ा जाता है.
दूसरा डायग्राम. इंडेक्स की गई सुविधाएं.

स्ट्रिंग को यूनीक इंडेक्स नंबर में बदलने के बाद, आपको डेटा को और प्रोसेस करना होगा, ताकि उसे ऐसे तरीके से दिखाया जा सके जिससे मॉडल को वैल्यू के बीच के काम के संबंधों को समझने में मदद मिले. अगर कैटगरी वाली एट्रिब्यूट का डेटा, इंडेक्स किए गए पूर्णांक के तौर पर छोड़ दिया जाता है और उसे मॉडल में लोड किया जाता है, तो मॉडल इंडेक्स की गई वैल्यू को लगातार फ़्लोटिंग-पॉइंट नंबर के तौर पर इस्तेमाल करेगा. इसके बाद, मॉडल "नारंगी" के मुकाबले "बैंगनी" को छह गुना ज़्यादा अहमियत देगा.

वन-हॉट एन्कोडिंग

शब्दावली बनाने का अगला चरण, हर इंडेक्स नंबर को वन-हॉट कोड में बदलना है. वन-हॉट एन्कोडिंग में:

  • हर कैटगरी को N एलिमेंट के वेक्टर (कलेक्शन) से दिखाया जाता है, जहां N कैटगरी की संख्या है. उदाहरण के लिए, अगर car_color में आठ संभावित कैटगरी हैं, तो एक-हॉट वेक्टर में आठ एलिमेंट होंगे.
  • वन-हॉट वेक्टर में मौजूद एक एलिमेंट की वैल्यू 1.0 होती है. बाकी सभी एलिमेंट की वैल्यू 0.0 होती है.

उदाहरण के लिए, नीचे दी गई टेबल में car_color में मौजूद हर एलिमेंट के लिए, एक-हॉट कोडिंग दिखाई गई है:

सुविधा लाल Orange नीला पीला हरा काला बैंगनी भूरा
"लाल" 1 0 0 0 0 0 0 0
"Orange" 0 1 0 0 0 0 0 0
"नीला" 0 0 1 0 0 0 0 0
"पीला" 0 0 0 1 0 0 0 0
"हरा" 0 0 0 0 1 0 0 0
"Black" 0 0 0 0 0 1 0 0
"बैंगनी" 0 0 0 0 0 0 1 0
"Brown" 0 0 0 0 0 0 0 1

स्ट्रिंग या इंडेक्स नंबर के बजाय, फ़ीचर वेक्टर में एक-हॉट वेक्टर पास किया जाता है. मॉडल, फ़ीचर वेक्टर के हर एलिमेंट के लिए अलग-अलग वेट सीखता है.

नीचे दिए गए इलस्ट्रेशन में, शब्दावली के अलग-अलग तौर पर दिखाए जाने के बारे में बताया गया है:

चित्र 3.  कैटगरी को फ़ीचर वेक्टर पर मैप करने के लिए, एंड-टू-एंड प्रोसेस का डायग्राम. डायग्राम में, इनपुट फ़ीचर 'पीला',
      'नारंगी', 'नीला', और दूसरी बार 'नीला' हैं.  सिस्टम, इनपुट वैल्यू को किसी आईडी से मैप करने के लिए, सेव की गई शब्दावली का इस्तेमाल करता है. जैसे, 'लाल' को 0, 'नारंगी' को 1, 'नीला' को 2, 'पीला' को 3 वगैरह. इसलिए, सिस्टम 'पीला',
      'नारंगी', 'नीला', और 'नीला' को 3, 1, 2, 2 पर मैप करता है. इसके बाद, सिस्टम उन वैल्यू को एक-हॉट फ़ीचर वेक्टर में बदल देता है. उदाहरण के लिए, आठ संभावित रंगों वाले सिस्टम के लिए, 3 को 0, 0, 0, 1, 0, 0, 0, 0 में बदल दिया जाता है.
तीसरा डायग्राम. कैटगरी को फ़ीचर वेक्टर में मैप करने की पूरी प्रोसेस.

स्पैर्स रिप्रज़ेंटेशन

जिस एट्रिब्यूट की वैल्यू ज़्यादातर शून्य (या खाली) होती है उसे कम वैल्यू वाली एट्रिब्यूट कहा जाता है. car_color जैसी कई कैटगरी वाली सुविधाएं, आम तौर पर कम होती हैं. स्पैर्स रिप्रज़ेंटेशन का मतलब है, स्पैर्स वेक्टर में 1.0 की पोज़िशन सेव करना. उदाहरण के लिए, "Blue" के लिए वन-हॉट वेक्टर यह है:

[0, 0, 1, 0, 0, 0, 0, 0]

1, 2 नंबर की पोज़िशन पर है (जब गिनती 0 से शुरू की जाती है), तो इससे पहले के वन-हॉट वेक्टर के लिए, स्पैर्स रिप्रज़ेंटेशन यह है:

2

ध्यान दें कि स्पैर्स रिप्रज़ेंटेशन, आठ एलिमेंट वाले वन-हॉट वेक्टर के मुकाबले काफ़ी कम मेमोरी का इस्तेमाल करता है. अहम बात यह है कि मॉडल को एक-हॉट वेक्टर पर ट्रेन करना चाहिए, न कि स्पैर्स रिप्रज़ेंटेशन पर.

कैटगरी वाले डेटा में आउटलेयर

संख्या वाले डेटा की तरह, कैटगरी वाले डेटा में भी आउटलायर होते हैं. मान लें कि car_color में न सिर्फ़ लोकप्रिय रंग हैं, बल्कि "Mauve" या "Avocado" जैसे कुछ ऐसे रंग भी हैं जिनका इस्तेमाल बहुत कम किया जाता है. इन आउटलायर रंगों को अलग-अलग कैटगरी में रखने के बजाय, इन्हें एक ही "कैच-ऑल" कैटगरी में रखा जा सकता है. इसे वॉकेबुलरी से बाहर का शब्द (ओओवी) कहा जाता है. दूसरे शब्दों में, सभी आउटलायर रंगों को एक ही आउटलायर बकेट में रखा जाता है. सिस्टम, आउटलायर बकेट के लिए एक ही वेट सीखता है.

ज़्यादा डाइमेंशन वाली कैटगरी वाली सुविधाओं को एन्कोड करना

कैटगरी वाली कुछ सुविधाओं में डाइमेंशन की संख्या ज़्यादा होती है. जैसे, नीचे दी गई टेबल में मौजूद सुविधाएं:

सुविधा का नाम कैटगरी की संख्या कैटगरी के सैंपल
words_in_english ~5,00,000 "खुश", "चलना"
US_postal_codes ~42,000 "02114", "90301"
last_names_in_Germany ~8,50,000 "श्मिट", "श्नेइडर"

जब कैटगरी की संख्या ज़्यादा होती है, तो आम तौर पर वन-हॉट कोडिंग का इस्तेमाल नहीं किया जाता. आम तौर पर, एम्बेड करना बेहतर होता है. इस बारे में एम्बेड करने के मॉड्यूल में बताया गया है. एम्बेड करने से डाइमेंशन की संख्या काफ़ी कम हो जाती है. इससे मॉडल को दो अहम तरीकों से फ़ायदा होता है:

  • आम तौर पर, मॉडल तेज़ी से ट्रेनिंग करता है.
  • आम तौर पर, बनाया गया मॉडल तेज़ी से अनुमान लगाता है. इसका मतलब है कि मॉडल में इंतज़ार का समय कम होता है.

हैशिंग (इसे हैशिंग ट्रिक भी कहा जाता है), डाइमेंशन की संख्या कम करने का एक सामान्य तरीका नहीं है.

खास तौर पर, हैशिंग किसी कैटगरी (उदाहरण के लिए, रंग) को छोटे पूर्णांक पर मैप करती है. यह उस "बकेट" की संख्या होती है जिसमें उस कैटगरी को रखा जाएगा.

हैशिंग एल्गोरिदम को लागू करने का तरीका यहां बताया गया है:

  1. कैटगरी के वेक्टर में बीन की संख्या को N पर सेट करें, जहां N, बाकी कैटगरी की कुल संख्या से कम हो. उदाहरण के लिए, मान लें कि N = 100 है.
  2. कोई हैश फ़ंक्शन चुनें. (आम तौर पर, आपको हैश वैल्यू की रेंज भी चुननी होगी.)
  3. हर कैटगरी (उदाहरण के लिए, कोई खास रंग) को उस हैश फ़ंक्शन से पास करें, जिससे कोई हैश वैल्यू जनरेट होती है. जैसे, 89237.
  4. हर बिन को आउटपुट हैश वैल्यू के मॉड्यूलो N का इंडेक्स नंबर असाइन करें. इस मामले में, जहां N 100 है और हैश वैल्यू 89237 है, तो मॉड्यूलो का नतीजा 37 है, क्योंकि 89237 % 100 का नतीजा 37 है.
  5. इन नए इंडेक्स नंबर की मदद से, हर बाइन के लिए एक-हॉट कोडिंग बनाएं.

डेटा को हैश करने के बारे में ज़्यादा जानकारी के लिए, प्रोडक्शन मशीन लर्निंग सिस्टम मॉड्यूल का रैंडमाइज़ेशन सेक्शन देखें.