मशीन लर्निंग शब्दावली: फ़ैसले लेने के जंगल

इस पेज में डिसिज़न फ़ॉरेस्ट शब्दावली शब्द हैं. शब्दावली के सभी शब्दों के लिए, यहां क्लिक करें.

जवाब

एट्रिब्यूट सैंपलिंग

#df

डिसिज़न फ़ॉरेस्ट को ट्रेनिंग देने का एक तरीका. इसमें हर फ़ैसले ट्री की स्थिति सीखते समय, किसी भी संभावित सुविधाओं का सिर्फ़ एक सबसेट तय किया जाता है. आम तौर पर, हर नोड के लिए सुविधाओं के एक अलग सबसेट का इस्तेमाल किया जाता है. इसके उलट, एट्रिब्यूट सैंपलिंग के बिना किसी डिसीज़न ट्री को ट्रेनिंग देते समय, हर नोड के लिए सभी संभावित सुविधाओं पर ध्यान दिया जाता है.

ऐक्सिस-अलाइन्ड कंडीशन

#df

डिसिज़न ट्री में, एक स्थिति जिसमें सिर्फ़ एक सुविधा शामिल होती है. उदाहरण के लिए, अगर क्षेत्र एक फ़ीचर है, तो यह ऐक्सिस-अलाइन स्थिति है:

area > 200

तिरछी शर्त के साथ कंट्रास्ट करें.

B

बैगिंग

#df

किसी एसेंबली को ट्रेन करने का तरीका, जिसमें हर कॉम्पोनेंट मॉडल को किसी भी तरह की ट्रेनिंग के कुछ उदाहरण के हिसाब से बनाया जाता है. इसमें रिप्लेसमेंट के साथ सैंपल शामिल किए गए हैं. उदाहरण के लिए, रैंडम फ़ॉरेस्ट एक ऐसा कलेक्शन है जिसमें बैगिंग का इस्तेमाल किया गया है. इसे डिसिज़न ट्री के हिसाब से बनाया गया है.

बैगिंग शब्द, bootstrap aggregateing का छोटा रूप है.

बाइनरी कंडीशन

#df

किसी डिसिज़न ट्री में, एक ऐसी शर्त होती है जिसमें सिर्फ़ दो संभावित नतीजे होते हैं, आम तौर पर हां या नहीं. उदाहरण के लिए, यह बाइनरी स्थिति है:

temperature >= 100

अन्य स्थिति के साथ कंट्रास्ट करें.

C

शर्त

#df

डिसीज़न ट्री में, कोई भी नोड जो किसी एक्सप्रेशन का आकलन करता है. उदाहरण के लिए, डिसिज़न ट्री के नीचे दिए गए हिस्से में दो शर्तें होती हैं:

इस शर्त को स्प्लिट या टेस्ट भी कहा जाता है.

पत्ती की स्थिति के बीच अंतर करें.

यह भी देखें:

• बाइनरी कंडीशन
• अन्य शर्त.
• ऐक्सिस-अलाइन्ड-condition (स्थिति)
• ऑब्लिक-स्थिति

D

डिसिज़न फ़ॉरेस्ट

#df

एक से ज़्यादा डिसीज़न ट्री से बनाया गया मॉडल. डिसिज़न फ़ॉरेस्ट, अपने डिसिज़न ट्री के अनुमानों को इकट्ठा करके अनुमान लगाता है. डिसिज़न फ़ॉरेस्ट के लोकप्रिय टाइप में, रैंडम फ़ॉरेस्ट और ग्रेडिएंट बूस्टेड ट्री शामिल हैं.

डिसिज़न ट्री

#df

यह निगरानी में रखा गया लर्निंग मॉडल है, जो हैरारकी के हिसाब से व्यवस्थित conditions और conditions के सेट से बना है. उदाहरण के लिए, यह एक डिसिज़न ट्री है:

E

एन्ट्रॉपी

#df

इन्फ़ॉर्मेशन थ्योरी में, इस बात की जानकारी दी गई है कि डिस्ट्रिब्यूशन की कितनी संभावना है. इसके अलावा, एंट्रॉपी से यह भी पता चलता है कि हर उदाहरण में कितनी जानकारी मौजूद है. किसी डिस्ट्रिब्यूशन का एंट्रॉपी सबसे ज़्यादा तब होता है, जब रैंडम वैरिएबल की सभी वैल्यू एक जैसी होती हैं.

दो संभावित वैल्यू "0" और "1" वाले सेट की एंट्रॉपी में ये फ़ॉर्मूला हैं: जैसे, बाइनरी क्लासिफ़िकेशन की समस्या वाले लेबल)

  H = -p लॉग p - q लॉग q = -p लॉग p - (1-p) * लॉग (1-p)

कहां:

• H एंट्रॉपी है.
• p, "1" उदाहरणों का कोई हिस्सा है.
• q, "0" उदाहरणों का कोई हिस्सा है. ध्यान दें कि q = (1 - p)
• log आम तौर पर लॉग₂ होता है. इस मामले में, एंट्रॉपी इकाई थोड़ी होती है.

उदाहरण के लिए, मान लें कि:

• 100 उदाहरणों में "1" वैल्यू शामिल है
• 300 उदाहरणों में "0" वैल्यू शामिल है

इसलिए, एंट्रॉपी का मान है:

• p = 0.25
• q = 0.75
• H = (-0.25)लॉग₂(0.25) - (0.75)लॉग₂(0.75) = हर उदाहरण के लिए 0.81 बिट

जो सेट पूरी तरह से बैलेंस हो (उदाहरण के लिए, 200 "0"s और 200 "1"s) में हर उदाहरण के लिए 1.0 बिट की एंट्रॉपी होगी. जैसे-जैसे कोई सेट ज़्यादा असंतुलित होता जाता है, उसका एंट्रॉपी 0.0 की ओर बढ़ता जाता है.

डिसिज़न ट्री में एंट्रॉपी, जानकारी हासिल करने में मदद करता है. इससे स्प्लिटर को क्लासिफ़िकेशन डिसीज़न ट्री के बढ़ने के दौरान शर्तें चुनने में मदद मिलती है.

एंट्रॉपी की तुलना इनके साथ करें:

• गिनी इंप्युरिटी
• क्रॉस-एंट्रॉपी लॉस फ़ंक्शन

एंट्रॉपी को अक्सर शैनन एंट्रॉपी कहा जाता है.

म॰

सुविधाओं की अहमियत

#df

वैरिएबल की अहमियत के लिए समानार्थी शब्द.

G

गिनी इंप्युरिटी

#df

एंट्रॉपी से मिलती-जुलती मेट्रिक. स्प्लिटर डिसिज़न ट्री की कैटगरी तय करने के लिए, शर्तें तय करने के लिए, जीनी इंप्यूरिटी या एंट्रॉपी से मिली वैल्यू का इस्तेमाल करते हैं. जानकारी हासिल करना, एंट्रॉपी से मिलता है. जिनी इंप्युरिटी से बनी मेट्रिक के लिए ऐसा कोई शब्द नहीं है जिसे यूनिवर्सल रूप से स्वीकार किया जाए. हालांकि, यह बिना नाम वाली मेट्रिक, जानकारी हासिल करने जितना ही ज़रूरी है.

जिनी इंप्युरिटी को गिनी इंडेक्स या सिर्फ़ गिनी कहा जाता है.

गिनी इंप्युरिटी के बारे में गणित के बारे में जानकारी पाने के लिए, आइकॉन पर क्लिक करें.

जीनी इंप्युरिटी, उसी डिस्ट्रिब्यूशन से लिए गए डेटा के नए हिस्से को गलत कैटगरी में बांटने की संभावना होती है. दो संभावित वैल्यू "0" और "1" वाले सेट की गिनती की इंप्युरिटी (उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन से जुड़ी समस्या वाले लेबल) का हिसाब इस फ़ॉर्मूला से लगाया जाता है:

   I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

कहां:

• I यानी जिनी इंप्युरिटी है.
• p, "1" उदाहरणों का कोई हिस्सा है.
• q, "0" उदाहरणों का कोई हिस्सा है. ध्यान दें कि q = 1-p

उदाहरण के लिए, यह डेटासेट देखें:

• 100 लेबल (डेटासेट का 0.25) में "1" वैल्यू है
• 300 लेबल (डेटासेट का 0.75) में वैल्यू "0" है

इसलिए, जिनी इंप्युरिटी है:

• p = 0.25
• q = 0.75
• I = 1 - (0.25² + 0.75²) = 0.375

ऐसे में, एक ही डेटासेट के किसी रैंडम लेबल के गलत वर्गीकरण की संभावना 37.5% और सही कैटगरी में रखे जाने की संभावना 62.5% होगी.

पूरी तरह से बैलेंस किए गए लेबल (उदाहरण के लिए, 200 "0" और 200 "1"s) में गिने की इंप्युरिटी 0.5 होगी. अगर लेबल असंतुलित है, तो जिनी इंप्युरिटी 0.0 के करीब होगी.

---

ग्रेडिएंट बूस्टेड (डिसिशन) ट्री (GBT)

#df

एक तरह का डिसिज़न फ़ॉरेस्ट, जिसमें:

• ट्रेनिंग, ग्रेडिएंट बूस्टिंग पर निर्भर करती है.
• कमज़ोर मॉडल, फ़ैसले ट्री है.

ग्रेडिएंट बूस्टिंग

#df

यह एक ट्रेनिंग एल्गोरिदम है, जिसमें कमज़ोर मॉडल को, किसी मज़बूत मॉडल की क्वालिटी को बार-बार सुधारने (जो नुकसान को कम करना है) करने की ट्रेनिंग दी जाती है. उदाहरण के लिए, कमज़ोर मॉडल, लीनियर या छोटा डिसिज़न ट्री मॉडल हो सकता है. मज़बूत मॉडल, पहले से ट्रेन किए गए कमज़ोर मॉडल का योग बन जाता है.

ग्रेडिएंट बूस्टिंग के सबसे आसान रूप में, हर इटरेशन पर, कमज़ोर मॉडल को ट्रेनिंग दी जाती है, ताकि मज़बूत मॉडल की लॉस ग्रेडिएंट का अनुमान लगाया जा सके. इसके बाद, ग्रेडिएंट डिसेंट की तरह, अनुमानित ग्रेडिएंट को घटाकर मज़बूत मॉडल के आउटपुट को अपडेट किया जाता है.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

कहां:

• $F_{0}$ शुरुआती मज़बूत मॉडल है.
• $F_{i+1}$ अगला मज़बूत मॉडल है.
• $F_{i}$ मौजूदा मज़बूत मॉडल है.
• $\xi$, 0.0 और 1.0 के बीच की एक वैल्यू होती है, जिसे शृंकेज कहते हैं. यह ग्रेडिएंट डिसेंंट में लर्निंग रेट के जैसा होता है.
• $f_{i}$ एक कमज़ोर मॉडल है, जिसे $F_{i}$ के लॉस ग्रेडिएंट का अनुमान लगाने के लिए ट्रेन किया गया है.

ग्रेडिएंट बूस्टिंग के आधुनिक वैरिएशन में उनके कंप्यूटेशन में होने वाले नुकसान का दूसरा डेरिवेटिव (हेसियन) भी शामिल है.

आम तौर पर, डिसिज़न ट्री का इस्तेमाल ग्रेडिएंट बूस्टिंग में कमज़ोर मॉडल के तौर पर किया जाता है. ग्रेडिएंट बूस्टेड (डिसिज़न) ट्री देखें.

I

अनुमान का पाथ

#df

डिसिज़न ट्री में, अनुमान के दौरान, एक खास उदाहरण, रूट से अन्य शर्तों तक जाने का रास्ता होता है. यह रूट लीफ़ पर खत्म होता है. उदाहरण के लिए, नीचे दिए गए डिसिज़न ट्री में, थिकर ऐरो एक उदाहरण के लिए अनुमान पाथ दिखाते हैं जिसमें ये सुविधा वैल्यू होती हैं:

• x = 7
• y = 12 साल
• z = -3

नीचे दिए गए उदाहरण में दिया गया अनुमान, लीफ़ (Zeta) तक पहुंचने से पहले तीन स्थितियों से होकर गुज़रता है.

तीन मोटे ऐरो, अनुमान का पाथ दिखाते हैं.

जानकारी का फ़ायदा

#df

फ़ैसलन फ़ॉरेस्ट में, किसी नोड के एंट्रॉपी और उसके चाइल्ड नोड के एंट्रॉपी के योग के बीच का अंतर (उदाहरण की संख्या के हिसाब से) होता है. नोड की एंट्रॉपी उस नोड में मौजूद उदाहरणों की एंट्रॉपी होती है.

उदाहरण के लिए, नीचे दी गई एंट्रॉपी वैल्यू पर विचार करें:

• पैरंट नोड की एंट्रॉपी = 0.6
• काम के 16 उदाहरणों के साथ एक चाइल्ड नोड की एंट्रॉपी = 0.2
• काम के 24 उदाहरणों के साथ दूसरे चाइल्ड नोड की एंट्रॉपी = 0.1

इसलिए, 40% उदाहरण एक चाइल्ड नोड में और 60% उदाहरण दूसरे चाइल्ड नोड में हैं. इसलिए:

• चाइल्ड नोड का वेटेड एंट्रॉपी योग = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

इसलिए, जानकारी का लाभ यह है:

• जानकारी प्राप्त करना = पैरंट नोड की एंट्रॉपी - चाइल्ड नोड का वेटेड एंट्रॉपी योग
• जानकारी का लाभ = 0.6 - 0.14 = 0.46

ज़्यादातर स्प्लिटर ऐसी शर्तें बनाते हैं जो ज़्यादा से ज़्यादा जानकारी हासिल करती हों.

इन-सेट स्थिति

#df

डिसिज़न ट्री में, एक स्थिति है, जो आइटम के सेट में किसी एक आइटम की मौजूदगी का पता लगाती है. उदाहरण के लिए, नीचे दी गई शर्त, सेट की गई है:

  house-style in [tudor, colonial, cape]

अनुमान के दौरान, अगर हाउस स्टाइल की सुविधा की वैल्यू tudor या colonial या cape है, तो इस शर्त का आकलन 'हां' के तौर पर किया जाता है. अगर हाउस-स्टाइल वाली सुविधा की वैल्यू कुछ और है (उदाहरण के लिए, ranch), तो यह शर्त 'नहीं' के तौर पर दिखेगी.

आम तौर पर, वन-हॉट कोड में बदली गई सुविधाओं की जांच करने वाली शर्तों के मुकाबले, इन-सेट स्थिति में डिसिज़न ट्री ज़्यादा असरदार होता है.

L

पत्ती

#df

डिसिज़न ट्री में मौजूद कोई भी एंडपॉइंट. पत्ती की जांच स्थिति से अलग होती है, जबकि पत्ती की कोई जांच नहीं होती. बल्कि, पत्ती का मतलब अनुमान है. लीफ़, किसी अनुमान पाथ का नोड भी होता है.

उदाहरण के लिए, नीचे दिए गए डिसिज़न ट्री में तीन पत्तियां होती हैं:

नहीं

नोड (डिसिज़न ट्री)

#df

डिसिज़न ट्री में, कोई भी स्थिति या पत्ती.

नॉन-बाइनरी कंडीशन

#df

ऐसी शर्त जिसमें दो से ज़्यादा नतीजे हो सकते हैं. उदाहरण के लिए, इस नॉन-बाइनरी शर्त में तीन संभावित नतीजे शामिल हैं:

O

तिरछी शर्त

#df

डिसिज़न ट्री में, ऐसी स्थिति होती है जिसमें एक से ज़्यादा सुविधाएं शामिल होती हैं. उदाहरण के लिए, अगर ऊंचाई और चौड़ाई दोनों ही फ़ीचर हैं, तो ये तिरछी शर्त है:

  height > width

ऐक्सिस अलाइन होने की स्थिति के साथ कंट्रास्ट करें.

आउट-ऑफ़-बैग इवैलुएशन (OOB मूल्यांकन)

#df

यह किसी फ़ैसले वन की क्वालिटी का आकलन करने के लिए एक ऐसा तरीका है जिसका इस्तेमाल उस डिसीज़न ट्री की ट्रेनिंग के दौरान इस्तेमाल किए गए उदाहरणों के हिसाब से हर डिसिज़न ट्री का टेस्ट करके किया जाता है. उदाहरण के लिए, यहां दिए गए डायग्राम में देखें कि सिस्टम हर डिसिज़न ट्री को करीब दो-तिहाई उदाहरणों पर ट्रेनिंग देता है. इसके बाद, बचे हुए एक-तिहाई उदाहरणों से आकलन करता है.

आउट-ऑफ़-बैग का आकलन, क्रॉस-वैलिडेशन करने के तरीके का सटीक और सटीक अनुमान है. क्रॉस-वैलिडेशन में, हर क्रॉस-वैलिडेशन के राउंड के लिए एक मॉडल को ट्रेनिंग दी जाती है (उदाहरण के लिए, 10 मॉडल को 10-फ़ोल्ड क्रॉस-वैलिडेशन में ट्रेनिंग दी जाती है). ओओबी के आकलन से, एक ही मॉडल को ट्रेनिंग दी जाती है. बैगिंग, ट्रेनिंग के दौरान हर ट्री के कुछ डेटा को रोक देती है. इसलिए, ओओबी के आकलन में इस डेटा का इस्तेमाल, क्रॉस-वैलिडेशन का अनुमान लगाने के लिए किया जा सकता है.

P

क्रमचय वैरिएबल की अहमियत

#df

यह एक तरह की वैरिएबल महत्व है, जो सुविधा की वैल्यू को अनुमति देने के बाद किसी मॉडल के अनुमान वाली गड़बड़ी में होने वाली बढ़ोतरी का आकलन करती है. क्रमचय वैरिएबल महत्व एक मॉडल-इंडिपेंडेंट मेट्रिक है.

R

रैंडम फ़ॉरेस्ट

#df

डिसिज़न ट्री का कलेक्शन होता है, जिसमें हर डिसिज़न ट्री को किसी खास रैंडम नॉइज़ के साथ ट्रेनिंग दी जाती है, जैसे कि बैगिंग.

जंगल, भी फ़ैसले लेने वाले जंगल होते हैं.

रूट

#df

डिसिज़न ट्री में शुरुआती नोड (पहली स्थिति). पारंपरिक तरीके के मुताबिक, डायग्राम में रूट को डिसिज़न ट्री के सबसे ऊपर रखा जाता है. उदाहरण के लिए:

S

रिप्लेसमेंट की मदद से सैंपलिंग

#df

कैंडिडेट आइटम के सेट से आइटम चुनने का तरीका, जिसमें एक ही आइटम को कई बार चुना जा सकता है. "रिप्लेसमेंट के साथ" वाक्यांश का मतलब है कि हर बार चुने जाने के बाद, चुने गए आइटम को कैंडिडेट आइटम के पूल में वापस भेज दिया जाता है. रिप्लेसमेंट के बिना सैंपल देने की सुविधा का मतलब है कि किसी कैंडिडेट आइटम को सिर्फ़ एक बार चुना जा सकता है.

उदाहरण के लिए, फलों के इस सेट को देखें:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

मान लें कि सिस्टम, fig को पहले आइटम के तौर पर किसी भी क्रम में चुनता है. अगर सैंपलिंग के साथ सैंपलिंग का इस्तेमाल किया जाता है, तो सिस्टम यहां दिए गए सेट से दूसरा आइटम चुनता है:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

हां, यह पहले जैसा ही सेट है, ताकि सिस्टम fig को फिर से चुन सके.

अगर सैंपलिंग के बिना सैंपलिंग का इस्तेमाल किया जाता है, तो चुने जाने के बाद, किसी सैंपल को फिर से नहीं चुना जा सकता. उदाहरण के लिए, अगर सिस्टम किसी भी क्रम में fig को पहले सैंपल के तौर पर चुनता है, तो fig को फिर से नहीं चुना जा सकता. इसलिए, सिस्टम नीचे दिए गए (कम किए गए) सेट से दूसरा सैंपल चुनता है:

fruit = {kiwi, apple, pear, cherry, lime, mango}

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

रिप्लेसमेंट के साथ सैंपलिंग में रीप्लेसमेंट शब्द कई लोगों को भ्रमित करता है. अंग्रेज़ी में, बदलाव का मतलब "विकल्प" से होता है. हालांकि, रिप्लेसमेंट के साथ सैंपल में, रिप्लेसमेंट के लिए फ़्रेंच परिभाषा का इस्तेमाल होता है, जिसका मतलब है "किसी चीज़ को वापस डालना."

अंग्रेज़ी शब्द reप्लेसमेंट का अनुवाद, फ़्रेंच शब्द remplacement के तौर पर किया जाता है.

---

छोटा करें

#df

ग्रेडिएंट बूस्टिंग में मौजूद हाइपर पैरामीटर, जो ओवरफ़िटिंग को कंट्रोल करता है. ग्रेडिएंट बूस्टिंग में शृंगार, ग्रेडिएंट डिसेंट में लर्निंग रेट के जैसा है. श्रिंकेज, 0.0 और 1.0 के बीच की दशमलव वैल्यू होती है. शृंकेज का कम मान होने से, श्रिंकज वैल्यू की तुलना में ओवरफ़िटिंग कम हो जाती है.

बांटें

#df

डिसिज़न ट्री में, condition का दूसरा नाम होता है.

स्प्लिटर

#df

डिसिज़न ट्री को ट्रेनिंग देते समय, हर नोड पर सबसे सही स्थिति का पता लगाने के लिए रूटीन (और एल्गोरिदम) की ज़िम्मेदारी होती है.

T

जांच

#df

डिसिज़न ट्री में, condition का दूसरा नाम होता है.

थ्रेशोल्ड (फ़ैसले ट्री के लिए)

#df

ऐक्सिस पर अलाइन की गई शर्त में, किसी सुविधा की वैल्यू की तुलना, उस वैल्यू से की जा रही है. उदाहरण के लिए, 75 इस स्थिति में थ्रेशोल्ड वैल्यू है:

grade >= 75

थ्रेशोल्ड शब्द का यह फ़ॉर्म, कैटगरी तय करने के थ्रेशोल्ड से अलग है.

V

वैरिएबल की अहमियत

#df

स्कोर का सेट, जो मॉडल के लिए हर सुविधा की अहमियत बताता है.

उदाहरण के लिए, एक ऐसे डिसिज़न ट्री के बारे में सोचें जिससे घर की कीमत का अनुमान लगाया जा सके. मान लीजिए कि डिसिज़न ट्री तीन सुविधाओं का इस्तेमाल करता है: साइज़, उम्र, और स्टाइल. अगर तीनों सुविधाओं के लिए वैरिएबल की अहमियत के एक सेट को {size=5.8,age=2.5, style=4.7} के तौर पर कैलकुलेट किया गया है, तो उम्र या स्टाइल की तुलना में, डिसिज़न ट्री के लिए साइज़ ज़्यादा ज़रूरी है.

वैरिएबल की अहमियत वाली अलग-अलग मेट्रिक मौजूद हैं, जिनसे मशीन लर्निंग के विशेषज्ञों को मॉडल के अलग-अलग पहलुओं के बारे में जानकारी मिल सकती है.

W

भीड़ की समझ

#df

लोगों के एक बड़े समूह ("भीड़") की राय या अनुमानों की औसत निकालने से अक्सर हैरान कर देने वाले अच्छे नतीजे मिलते हैं. उदाहरण के लिए, ऐसा गेम मानें जिसमें लोग एक बड़े जार में पैक किए गए जेली बीन की संख्या का अनुमान लगाते हैं. हालांकि, ज़्यादातर लोगों का अनुमान गलत होता है, लेकिन सभी अनुमानों का औसत आकर्षक रूप से जार में मौजूद जेली बीन की असल संख्या के काफ़ी करीब दिखाया जाता है.

एनसेंबल, भीड़ की समझ को सॉफ़्टवेयर के तौर पर इस्तेमाल करते हैं. अगर अलग-अलग मॉडल बहुत ज़्यादा गलत अनुमान लगाते हैं, तो भी कई मॉडल के अनुमानों का औसत निकालने से अक्सर अच्छे अनुमान मिलते हैं. उदाहरण के लिए, भले ही कोई व्यक्ति फ़ैसले ट्री अच्छे अनुमान लगा सकता है, लेकिन फ़ैसले फ़ॉरेस्ट अक्सर बहुत अच्छे अनुमान लगाता है.