मशीन लर्निंग ग्लॉसरी

इस शब्दावली में मशीन लर्निंग से जुड़े सामान्य शब्दों और TensorFlow से जुड़े खास शब्दों के बारे में बताया गया है.

क्या आपको मालूम है?

सबसे ऊपर मौजूद नेविगेशन बार में, ग्लॉसरी ड्रॉप-डाउन से कोई विषय चुनकर, शब्दावली को फ़िल्टर किया जा सकता है. अंडे से बाहर निकलते पक्षी का आइकॉन, उन परिभाषाओं को दिखाता है जो मशीन लर्निंग के नए खिलाड़ियों के लिए बनी हैं.

जवाब

एब्लेशन

किसी सुविधा या कॉम्पोनेंट की अहमियत का आकलन करने की तकनीक, जिसे किसी मॉडल से कुछ समय के लिए हटा जाता है. इसके बाद, उस सुविधा या कॉम्पोनेंट के बिना मॉडल को फिर से ट्रेनिंग दें. अगर फिर से ट्रेन किया गया मॉडल काफ़ी खराब परफ़ॉर्म कर रहा है, तो हटाई गई सुविधा या कॉम्पोनेंट शायद ज़रूरी था.

उदाहरण के लिए, मान लें कि आपने 10 सुविधाओं के लिए क्लासिफ़िकेशन मॉडल को ट्रेनिंग दी है और टेस्ट सेट पर 88% सटीक काम किया है. पहली सुविधा की अहमियत जानने के लिए, सिर्फ़ नौ अन्य सुविधाओं का इस्तेमाल करके मॉडल को फिर से ट्रेनिंग दें. अगर फिर से ट्रेन किया गया मॉडल काफ़ी खराब परफ़ॉर्म करता है (उदाहरण के लिए, 55% सटीक), तो शायद हटाई गई सुविधा ज़रूरी थी. इसके ठीक उलट, अगर फिर से ट्रेन किया गया मॉडल इतना अच्छा परफ़ॉर्म करता है, तो शायद वह सुविधा इतना ज़रूरी नहीं थी.

टिशू हटाना इन चीज़ों की अहमियत तय करने में भी मदद कर सकता है:

• बड़े कॉम्पोनेंट, जैसे कि किसी बड़े एमएल सिस्टम का पूरा सबसिस्टम
• प्रोसेस या तकनीकें, जैसे कि डेटा प्रीप्रोसेसिंग का चरण

दोनों ही मामलों में, आपको दिखेगा कि कॉम्पोनेंट को हटाने के बाद, सिस्टम की परफ़ॉर्मेंस कैसे बदलती है (या नहीं बदलती).

A/B टेस्टिंग

दो (या उससे ज़्यादा) तकनीकों—A और B की तुलना करने का एक सांख्यिकीय तरीका. आम तौर पर, A एक मौजूदा तकनीक है और B एक नई तकनीक है. A/B टेस्टिंग से न सिर्फ़ यह पता चलता है कि कौनसी तकनीक बेहतर परफ़ॉर्म कर रही है, बल्कि यह भी पता चलता है कि यह अंतर आंकड़ों के हिसाब से अहम है या नहीं.

A/B टेस्टिंग आम तौर पर, दो तकनीकों पर एक ही मेट्रिक की तुलना करती है. उदाहरण के लिए, दो तकनीकों के लिए मॉडल सटीक होने की तुलना कैसे करता है? हालांकि, A/B टेस्टिंग भी किसी तय संख्या में मेट्रिक की तुलना कर सकती है.

एक्सीलेरेटर चिप

#GoogleCloud

डीप लर्निंग एल्गोरिदम के लिए ज़रूरी कुंजी का हिसाब लगाने के लिए, खास हार्डवेयर कॉम्पोनेंट की एक कैटगरी.

आम तौर पर इस्तेमाल किए जाने वाले सीपीयू की तुलना में, एक्सीलेरेटर चिप (या सिर्फ़ एक्सलेरेटर) ट्रेनिंग और अनुमान से जुड़े टास्क की रफ़्तार और क्षमता को काफ़ी बढ़ा सकते हैं. ये न्यूरल नेटवर्क और इस तरह के कंप्यूटेशनल टास्क को ट्रेनिंग देने के लिए सबसे सही होते हैं.

ऐक्सेलरेटर चिप के उदाहरण:

• Google की Tensor प्रोसेसिंग यूनिट (TPU) जिनमें डीप लर्निंग के लिए खास हार्डवेयर मौजूद है.
• NVIDIA के जीपीयू को शुरुआत में, ग्राफ़िक प्रोसेसिंग के लिए डिज़ाइन किया गया था. हालांकि, इन्हें पैरलल प्रोसेसिंग को चालू करने के लिए डिज़ाइन किया गया है. इससे, प्रोसेसिंग की स्पीड बढ़ सकती है.

सटीक

#fundamentals

सही कैटगरी के अनुमानों की संख्या को, अनुमानों की कुल संख्या से भाग दिया जाता है. यानी:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

उदाहरण के लिए, 40 सही अनुमान और 10 गलत अनुमान देने वाले मॉडल की सटीक जानकारी होगी:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

बाइनरी क्लासिफ़िकेशन में, सही अनुमानों और गलत अनुमानों की अलग-अलग कैटगरी के लिए, खास नाम दिए जाते हैं. इसलिए, बाइनरी क्लासिफ़िकेशन के लिए सटीक फ़ॉर्मूला इस तरह है:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

कहां:

• TP, ट्रू पॉज़िटिव (सही अनुमान) की संख्या है.
• TN, ट्रू नेगेटिव (सही अनुमान) की संख्या है.
• एफ़पी, गलत पॉज़िटिव अनुमान (गलत अनुमान) की संख्या है.
• एफ़एन, गलत अनुमान (गलत अनुमान) की संख्या है.

सटीक तरीके और रीकॉल से, सटीक जानकारी की तुलना करें और उसके बीच अंतर बताएं.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

हालांकि, कुछ स्थितियों के लिए यह एक अहम मेट्रिक होती है, लेकिन सटीक जानकारी देना दूसरों को बहुत गुमराह करता है. खास तौर पर, ऐसे डेटा की कैटगरी तय करने के मॉडल का आकलन करने के लिए, आम तौर पर सटीक मेट्रिक काम नहीं करती जो क्लास-असंतुलित डेटासेट को प्रोसेस करती है.

उदाहरण के लिए, मान लें कि किसी उपोष्णकटिबंधीय शहर में हर सदी में सिर्फ़ 25 दिन बर्फ़बारी होती है. क्योंकि बिना बर्फ़ वाले दिन (नेगेटिव क्लास) बर्फ़ के साथ दिनों की संख्या बहुत ज़्यादा है (पॉज़िटिव क्लास), इसलिए इस शहर के लिए बर्फ़ का डेटासेट क्लास-असंतुलित है. एक ऐसे बाइनरी क्लासिफ़िकेशन मॉडल की कल्पना करें जो हर दिन बर्फ़ पड़ने या न बर्फ़बारी का अनुमान लगाता है, लेकिन हर दिन "कोई बर्फ़बारी नहीं" का अनुमान लगाता है. यह मॉडल बहुत सटीक है, लेकिन इसमें अनुमानित क्षमता नहीं है. नीचे दी गई टेबल में, सदी के अनुमानों के बारे में खास जानकारी दी गई है:

कैटगरी	नंबर
टीपी	0
ट्यूनीशिया (TN)	36500
एफ़पी	25
FN	0

इसलिए, इस मॉडल के सटीक होने की जानकारी यहां दी गई है:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

हालांकि, 99.93% सटीक होने की बात बहुत अच्छी लगती है, लेकिन असल में मॉडल में अनुमान लगाने की कोई क्षमता नहीं है.

आम तौर पर, क्लास-असंतुलित डेटासेट पर ट्रेन किए गए मॉडल का आकलन करने के लिए सटीक तरीके की तुलना में, प्रीसिज़न और रीकॉल ज़्यादा काम की मेट्रिक होती हैं.

---

ऐक्शन गेम

#rl

रीइन्फ़ोर्समेंट लर्निंग में, वह तकनीक जिससे एजेंट, एनवायरमेंट के राज्यों के बीच ट्रांज़िशन करता है. एजेंट नीति का इस्तेमाल करके कार्रवाई चुनता है.

ऐक्टिवेशन फ़ंक्शन

#fundamentals

एक ऐसा फ़ंक्शन जो सुविधाओं और लेबल के बीच nonlinear (जटिल) रिलेशनशिप को सीखने में न्यूरल नेटवर्क की मदद करता है.

ऐक्टिवेशन के ये लोकप्रिय फ़ंक्शन हैं:

• ReLU
• सिगमॉइड

ऐक्टिवेशन फ़ंक्शन के प्लॉट कभी भी सीधी रेखा नहीं होते. उदाहरण के लिए, ReLU ऐक्टिवेशन फ़ंक्शन के प्लॉट में दो सीधी लाइनें होती हैं:

सिग्मॉइड ऐक्टिवेशन फ़ंक्शन का प्लॉट इस तरह दिखता है:

उदाहरण देखने के लिए आइकॉन पर क्लिक करें.

न्यूरल नेटवर्क में, ऐक्टिवेशन फ़ंक्शन किसी न्यूरॉन के सभी इनपुट के वेटेड योग में हेर-फेर करते हैं. भारित योग की गणना करने के लिए, न्यूरॉन काम के मानों और भारों के प्रॉडक्ट जोड़ता है. उदाहरण के लिए, मान लें कि किसी न्यूरॉन के लिए सही इनपुट में ये चीज़ें शामिल हैं:

इनपुट वैल्यू	इनपुट की मोटाई
2	-1.3
-1	0.6
3	0.4

इसलिए, भारित योग यह है:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

मान लें कि इस न्यूरल नेटवर्क का डिज़ाइनर, सिग्मॉइड फ़ंक्शन को ऐक्टिवेशन फ़ंक्शन के तौर पर चुनता है. इस स्थिति में, न्यूरॉन, -2.0 के सिगमॉइड की गणना करता है, जो करीब 0.12 होता है. इसलिए, न्यूरॉन, न्यूरल नेटवर्क की अगली लेयर में 0.12 (-2.0 के बजाय) पास करता है. नीचे दिए गए डायग्राम में, प्रोसेस का ज़रूरी हिस्सा दिखाया गया है:

---

एक्टिव लर्निंग

ट्रेनिंग का एक तरीका, जिसमें एल्गोरिदम उस डेटा को चुन लेता है जिससे वह सीखता है. एक्टिव लर्निंग खास तौर पर तब अहम होती है, जब लेबल किए गए उदाहरण दृष्टिहीन या महंगे हों. बिना सोचे-समझे लेबल किए गए कई तरह के उदाहरणों को खोजने के बजाय, ऐक्टिव लर्निंग एल्गोरिदम, चुनिंदा उदाहरणों की मदद से उन उदाहरणों को खोजता है जिनकी ज़रूरत उसे सीखने के लिए होती है.

AdaGrad

एक ऐसा बेहतर ग्रेडिएंट डिसेंट एल्गोरिदम, जो हर पैरामीटर के ग्रेडिएंट को फिर से स्केल करता है. इससे हर पैरामीटर को एक अलग लर्निंग रेट मिलता है. पूरी जानकारी के लिए, Adagrad का यह पेपर देखें.

एजेंट

#rl

रीइन्फ़ोर्समेंट लर्निंग में, वह इकाई नीति का इस्तेमाल करती है जो एनवायरमेंट के राज्यों के बीच होने वाले बदलाव से, मिलने वाले रिटर्न को ज़्यादा से ज़्यादा हासिल करती है.

आम तौर पर, एजेंट ऐसा सॉफ़्टवेयर होता है जो किसी लक्ष्य को हासिल करने के लिए, अपने-आप कई कार्रवाइयों को प्लान करता है और उन्हें लागू करता है. इसकी मदद से, ये अपने आस-पास के माहौल में होने वाले बदलावों के हिसाब से काम कर सकते हैं. उदाहरण के लिए, एलएलएम में काम करने वाले एजेंट, प्लान बनाने के लिए एलएलएम का इस्तेमाल कर सकते हैं. वे रीइन्फ़ोर्समेंट लर्निंग से जुड़ी नीति लागू करने के बजाय, एलएलएम का इस्तेमाल कर सकते हैं.

एगलोमेरेटिव क्लस्टरिंग

#clustering

हैरारकी क्लस्टरिंग देखें.

गड़बड़ी की पहचान

आउटलेयर की पहचान करने की प्रोसेस. उदाहरण के लिए, अगर किसी खास सुविधा का मीन 100 है और स्टैंडर्ड डेविएशन 10 है, तो गड़बड़ी की पहचान करने वाली वैल्यू, 200 की वैल्यू को संदिग्ध के तौर पर फ़्लैग करेगी.

एआर (ऑगमेंटेड रिएलिटी)

ऑग्मेंटेड रिएलिटी के लिए छोटा नाम.

पीआर कर्व में एरिया

PR AUC (पीआर कर्व के दायरे में आने वाला इलाका) देखें.

आरओसी कर्व के दायरे में आने वाला क्षेत्रफल

AUC (आरओसी कर्व के दायरे में एरिया) देखें.

आर्टिफ़िशियल जनरल इंटेलिजेंस

एक ऐसा गैर-मानवीय तरीका जो समस्या हल करने, क्रिएटिविटी, और अनुकूलन के बड़े पैमाने पर काम करता है. उदाहरण के लिए, आर्टिफ़िशियल जनरल इंटेलिजेंस की मदद से काम करने वाले प्रोग्राम में टेक्स्ट का अनुवाद किया जा सकता है, सिंफ़नी कंपोज़ की जा सकती है, और ऐसे गेम में महारत हासिल की जा सकती है जिनका अभी तक आविष्कार नहीं हुआ है.

आर्टिफ़िशियल इंटेलिजेंस

#fundamentals

ऐसा गैर-मानव प्रोग्राम या model जो मुश्किल टास्क को पूरा कर सकता है. उदाहरण के लिए, टेक्स्ट का अनुवाद करने वाला प्रोग्राम या मॉडल, ऐसे प्रोग्राम या मॉडल जो रेडियोलॉजिक इमेज की मदद से बीमारियों की पहचान करते हैं, दोनों आर्टिफ़िशियल इंटेलिजेंस दिखाते हैं.

मशीन लर्निंग, आर्टिफ़िशियल इंटेलिजेंस का एक सब-फ़ील्ड है. हालांकि, हाल के कुछ सालों में कुछ संगठनों ने आर्टिफ़िशियल इंटेलिजेंस और मशीन लर्निंग जैसे शब्दों का इस्तेमाल एक-दूसरे के बदले शुरू किया है.

ध्यान देना

#language

न्यूरल नेटवर्क में इस्तेमाल किया जाने वाला एक तरीका, जो किसी शब्द या शब्द के हिस्से की अहमियत बताता है. ध्यान दें, उस जानकारी को कम कर दिया जाता है जो मॉडल को अगले टोकन/शब्द का अनुमान लगाने के लिए ज़रूरी होती है. ध्यान देने के सामान्य तरीके में, इनपुट के एक सेट के ऊपर वेटेड योग का इस्तेमाल किया जा सकता है. यहां हर इनपुट के लिए वेट का हिसाब, न्यूरल नेटवर्क का कोई दूसरा हिस्सा कैलकुलेट करता है.

सेल्फ़-अटेंशन और कई बार सेल्फ़-अटेंशन की सुविधा भी देखें. ये ट्रांसफ़ॉर्मर बनाने के मुख्य ब्लॉक हैं.

एट्रिब्यूट

#fairness

feature का समानार्थी शब्द.

मशीन लर्निंग के निष्पक्षता में, एट्रिब्यूट अक्सर लोगों से जुड़े गुणों के बारे में बताते हैं.

एट्रिब्यूट सैंपलिंग

#df

डिसिज़न फ़ॉरेस्ट को ट्रेनिंग देने का एक तरीका. इसमें हर फ़ैसले ट्री की स्थिति सीखते समय, किसी भी संभावित सुविधाओं का सिर्फ़ एक सबसेट तय किया जाता है. आम तौर पर, हर नोड के लिए सुविधाओं के एक अलग सबसेट का इस्तेमाल किया जाता है. इसके उलट, एट्रिब्यूट सैंपलिंग के बिना किसी डिसीज़न ट्री को ट्रेनिंग देते समय, हर नोड के लिए सभी संभावित सुविधाओं पर ध्यान दिया जाता है.

AUC (आरओसी कर्व के दायरे में आने वाला एरिया)

#fundamentals

0.0 से 1.0 के बीच की संख्या, जो दिखाती है कि बाइनरी क्लासिफ़िकेशन मॉडल, पॉज़िटिव क्लास को नेगेटिव क्लास से अलग कर सकता है. AUC 1.0 के जितना करीब होगा, मॉडल की क्लास को एक-दूसरे से अलग करने की क्षमता उतनी ही बेहतर होगी.

उदाहरण के लिए, नीचे दिया गया उदाहरण एक क्लासिफ़ायर मॉडल दिखाता है, जो पॉज़िटिव क्लास (हरे अंडाकार) को नेगेटिव क्लास (बैंगनी रेक्टैंगल) से पूरी तरह अलग करता है. इस बिलकुल सटीक मॉडल का AUC 1.0 है:

इसके ठीक उलट, नीचे दिया गया उदाहरण, कैटगरी तय करने वाले ऐसे मॉडल के नतीजे दिखाता है जो रैंडम तरीके से नतीजे जनरेट करता है. इस मॉडल का AUC 0.5 है:

हां, पिछले मॉडल का AUC 0.5 है, न कि 0.0.

ज़्यादातर मॉडल, दो चरम सीमाओं के बीच में होते हैं. उदाहरण के लिए, नीचे दिया गया मॉडल, पॉज़िटिव और नेगेटिव को कुछ हद तक अलग करता है. इसलिए, इसका AUC 0.5 और 1.0 के बीच कहीं भी है:

AUC, कैटगरी तय करने के थ्रेशोल्ड के लिए सेट की गई किसी भी वैल्यू को अनदेखा करता है. इसके बजाय, AUC, कैटगरी तय करने के सभी थ्रेशोल्ड को ध्यान में रखता है.

AUC और आरओसी कर्व के बीच संबंध के बारे में जानने के लिए, आइकॉन पर क्लिक करें.

AUC, आरओसी कर्व के नीचे एरिया को दिखाता है. उदाहरण के लिए, नेगेटिव वैल्यू और पॉज़िटिव वैल्यू को पूरी तरह से अलग करने वाले मॉडल के लिए, आरओसी कर्व इस तरह दिखता है:

AUC पिछले इलस्ट्रेशन में ग्रे क्षेत्र का क्षेत्र है. इस मामले में, फ़ील्ड सिर्फ़ स्लेटी रंग के क्षेत्र की लंबाई (1.0) को स्लेटी इलाके की चौड़ाई (1.0) से गुणा करने पर मिलता है. इस तरह, 1.0 और 1.0 के प्रॉडक्ट का AUC 1.0 मिलता है, जो सबसे ज़्यादा एयूसी स्कोर है.

इसके ठीक उलट, ऐसे क्लासिफ़ायर के लिए आरओसी कर्व जो क्लास को पूरी तरह से अलग नहीं कर सकता. इस स्लेटी क्षेत्र का क्षेत्रफल 0.5 है.

ज़्यादा सामान्य आरओसी कर्व करीब-करीब ऐसा दिखता है:

इस कर्व में शामिल एरिया का मैन्युअल तरीके से हिसाब लगाना बहुत मुश्किल होता है. इसलिए, आम तौर पर कोई प्रोग्राम ज़्यादातर AUC वैल्यू को ही कैलकुलेट करता है.

---

AUC की ज़्यादा औपचारिक परिभाषा देखने के लिए आइकॉन पर क्लिक करें.

AUC इस बात की संभावना है कि डेटा की कैटगरी तय करने वाला टूल इस बात पर ज़्यादा भरोसा करेगा कि रैंडम तरीके से चुना गया पॉज़िटिव उदाहरण असल में उस पॉज़िटिव उदाहरण के मुकाबले पॉज़िटिव होगा. इसकी तुलना में बेतरतीब तरीके से चुना गया नेगेटिव उदाहरण पॉज़िटिव होता है.

---

बढ़ी हुई वास्तविकता

#image

ऐसी टेक्नोलॉजी जो कंप्यूटर से जनरेट की गई इमेज को, उपयोगकर्ता के असल दुनिया के नज़रिए पर ले जाती है, जिससे एक कंपोज़िट व्यू मिलता है.

ऑटो-एन्कोडर

#language

#image

ऐसा सिस्टम जो इनपुट से सबसे अहम जानकारी निकालने के बारे में सीखता है. ऑटोएनकोडर, एन्कोडर और डीकोडर के कॉम्बिनेशन होते हैं. ऑटोएन्कोडर, नीचे दी गई दो चरणों वाली प्रोसेस पर निर्भर करते हैं:

1. एन्कोडर, इनपुट को (आम तौर पर) नुकसान पहुंचाने वाले लोअर डाइमेंशन (इंटरमीडिएट) फ़ॉर्मैट में मैप करता है.
2. डिकोडर, कम डाइमेंशन वाले फ़ॉर्मैट को हाई-डाइमेंशन इनपुट फ़ॉर्मैट से मैप करके, ओरिजनल इनपुट का नुकसानदेह वर्शन बनाता है.

ऑटोकोडर को एंड-टू-एंड ट्रेनिंग दी जाती है. इसके लिए, डिकोडर टूल की मदद से, एन्कोडर के इंटरमीडिएट फ़ॉर्मैट से ओरिजनल इनपुट को हर तरह के रखने की कोशिश की जाती है. इंटरमीडिएट फ़ॉर्मैट, ओरिजनल फ़ॉर्मैट की तुलना में छोटा (लोअर-डाइमेंशन) होता है. इसलिए, ऑटोएनकोडर को यह सीखने के लिए मजबूर किया जाता है कि इनपुट में कौनसी जानकारी ज़रूरी है और आउटपुट इनपुट से पूरी तरह मेल नहीं खाता.

उदाहरण के लिए:

• अगर इनपुट डेटा ग्राफ़िक है, तो बिलकुल सटीक कॉपी मूल ग्राफ़िक की तरह होगी, लेकिन कुछ हद तक उसमें बदलाव किया गया होगा. ऐसा भी हो सकता है कि सटीक कॉपी न होने पर ओरिजनल ग्राफ़िक से शोर को हटा दें या कुछ पिक्सल में जानकारी भर दें.
• अगर इनपुट डेटा टेक्स्ट है, तो ऑटोएन्कोडर ऐसा नया टेक्स्ट जनरेट करेगा जो ओरिजनल टेक्स्ट की नकल करता हो, लेकिन ओरिजनल टेक्स्ट जैसा न हो.

अलग-अलग तरह के ऑटोएन्कोडर भी देखें.

ऑटोमेशन बायस

#fairness

जब कोई व्यक्ति फ़ैसला लेता है कि कोई व्यक्ति, ऑटोमेशन के बिना तैयार की गई जानकारी के बजाय, अपने-आप काम करने वाला फ़ैसला लेने वाले सिस्टम के सुझावों को स्वीकार करता है, तब भी

AutoML

मशीन लर्निंग मॉडल बनाने के लिए, अपने-आप काम करने वाली कोई भी प्रक्रिया. AutoML अपने-आप ये काम कर सकता है:

• सबसे सही मॉडल खोजें.
• हाइपर पैरामीटर ट्यून करें.
• डेटा तैयार करें (इसमें फ़ीचर इंजीनियरिंग की परफ़ॉर्मेंस भी शामिल है).
• क्लिक करने के बाद मिलने वाले मॉडल को डिप्लॉय करें.

AutoML, डेटा साइंटिस्ट के लिए काम का है. इससे उनका समय और मेहनत कम करने में मदद मिलती है. इससे उन्हें मशीन लर्निंग पाइपलाइन डेवलप करने और अनुमान को ज़्यादा सटीक बनाने में मदद मिलती है. यह मुश्किल मशीन लर्निंग के कामों को आसानी से सुलभ बनाकर, उन लोगों के लिए भी मददगार है जो सामान्य लोग नहीं हैं.

ऑटो-रिग्रेसिव मॉडल

#language

#image

#generativeAI

ऐसा model जो अपने पिछले अनुमानों के आधार पर किसी अनुमान का अनुमान लगाता है. उदाहरण के लिए, ऑटो-रिग्रेसिव लैंग्वेज मॉडल, पहले अनुमानित टोकन के आधार पर अगले टोकन का अनुमान लगाते हैं. ट्रांसफ़ॉर्मर पर आधारित सभी बड़े लैंग्वेज मॉडल, ऑटो-रिग्रेसिव होते हैं.

वहीं दूसरी ओर, GAN पर आधारित इमेज मॉडल आम तौर पर ऑटो-रिग्रेसिव नहीं होते, क्योंकि वे एक ही फ़ॉरवर्ड-पास में इमेज जनरेट करते हैं और बार-बार ऐसे ही चरणों में नहीं बनाए जाते. हालांकि, कुछ इमेज जनरेशन मॉडल ऑटो-रिग्रेसिव होते हैं, क्योंकि वे चरणों में इमेज जनरेट करते हैं.

सहायक डिवाइस का नुकसान

लॉस फ़ंक्शन— इसे न्यूरल नेटवर्क मॉडल के मुख्य लॉस फ़ंक्शन के साथ इस्तेमाल किया जाता है. इससे वेट के रैंडम तरीके से शुरू होने के शुरुआती चरणों के दौरान, ट्रेनिंग को तेज़ी से बढ़ाने में मदद मिलती है.

सहायक लॉस फ़ंक्शन, असरदार ग्रेडिएंट को पहले की लेयर में ले जाते हैं. इससे ट्रेनिंग के दौरान, खत्म होने वाले ग्रेडिएंट की समस्या का मुकाबला करने में मदद मिलती है.

औसत सटीक

नतीजों के रैंक किए गए क्रम की परफ़ॉर्मेंस की खास जानकारी देने वाली मेट्रिक. औसत सटीक जानकारी का हिसाब लगाने के लिए, काम के हर नतीजे की सटीक वैल्यू का औसत निकाला जाता है. हर नतीजे को, रैंक की गई ऐसी सूची में शामिल किया जाता है जिसमें पिछले नतीजे के मुकाबले रीकॉल में बढ़ोतरी होती है.

पीआर कर्व में शामिल इलाका भी देखें.

ऐक्सिस-अलाइन्ड कंडीशन

#df

डिसिज़न ट्री में, एक स्थिति जिसमें सिर्फ़ एक सुविधा शामिल होती है. उदाहरण के लिए, अगर क्षेत्र एक फ़ीचर है, तो यह ऐक्सिस-अलाइन स्थिति है:

area > 200

तिरछी शर्त के साथ कंट्रास्ट करें.

B

बैकप्रोपैगेशन

#fundamentals

वह एल्गोरिदम जो न्यूरल नेटवर्क में ग्रेडिएंट डिसेंट को लागू करता है.

न्यूरल नेटवर्क को ट्रेनिंग देने में, यहां दिए गए टू-पास साइकल के कई दोहराव शामिल होते हैं:

1. फ़ॉरवर्ड पास के दौरान, यह अनुमान लगाने के लिए सिस्टम उदाहरण के बैच को प्रोसेस करता है. सिस्टम हर अनुमान की तुलना, हर लेबल की वैल्यू से करता है. इस उदाहरण के लिए, अनुमान और लेबल वैल्यू के बीच का अंतर लॉस है. सिस्टम, मौजूदा बैच के कुल नुकसान का हिसाब लगाने के लिए, सभी उदाहरणों के नुकसानों को एक जगह इकट्ठा करता है.
2. बैकवर्ड पास (बैकप्रोपेगेशन) के दौरान, सिस्टम सभी छिपी हुई लेयर में मौजूद सभी न्यूरॉन के वेट में बदलाव करके, नुकसान को कम करता है.

न्यूरल नेटवर्क में अक्सर कई छिपी हुई लेयर में कई न्यूरॉन होते हैं. ये सभी न्यूरॉन, नुकसान की कुल घटनाओं में अलग-अलग तरह से योगदान देते हैं. बैकप्रोपैगेशन से, यह तय होता है कि किसी खास न्यूरॉन पर लागू होने वाले वज़न को बढ़ाना है या घटाना है.

लर्निंग रेट एक मल्टीप्लायर है, जो उस डिग्री को कंट्रोल करता है जिसमें हर बैकवर्ड पास के वज़न को बढ़ाया या घटाया जाता है. सीखने की छोटी दर की तुलना में, सीखने की ज़्यादा दर होने से हर वज़न में बढ़ोतरी या वज़न घटता है.

कैलक्युलस की शर्तों में, बैकप्रोपेगेशन, कैलक्युलस से चेन नियम को लागू करता है. इसका मतलब है कि बैकप्रोपेगेशन, हर पैरामीटर के हिसाब से, गड़बड़ी के पार्शियल डेरिवेटिव का हिसाब लगाता है.

सालों पहले, मशीन लर्निंग का इस्तेमाल करने वाले लोगों को बैकप्रोपेगेशन को लागू करने के लिए कोड लिखना पड़ता था. TensorFlow जैसे आधुनिक ML API, अब आपके लिए बैकप्रोपैगेशन लागू करते हैं. वाह!

बैगिंग

#df

किसी एसेंबली को ट्रेन करने का तरीका, जिसमें हर कॉम्पोनेंट मॉडल को किसी भी तरह की ट्रेनिंग के कुछ उदाहरण के हिसाब से बनाया जाता है. इसमें रिप्लेसमेंट के साथ सैंपल शामिल किए गए हैं. उदाहरण के लिए, रैंडम फ़ॉरेस्ट एक ऐसा कलेक्शन है जिसमें बैगिंग का इस्तेमाल किया गया है. इसे डिसिज़न ट्री के हिसाब से बनाया गया है.

बैगिंग शब्द, bootstrap aggregateing का छोटा रूप है.

शब्दों का बक्सा

#language

किसी वाक्यांश या पैसेज में शब्दों को दिखाना, भले ही उनके क्रम कुछ भी हों. उदाहरण के लिए, 'बैग ऑफ़ वर्ड्स' इन तीन वाक्यांशों को एक जैसे तरीके से दिखाता है:

• कुत्ता कूदता है
• कुत्ते को कूदता है
• कुत्ता कूदता है

हर शब्द को स्पार्स वेक्टर में इंडेक्स के साथ मैप किया जाता है, जहां वेक्टर में शब्दावली के हर शब्द के लिए एक इंडेक्स होता है. उदाहरण के लिए, the Dogs वाक्यांश को फ़ीचर वेक्टर में मैप किया जाता है. इस वेक्टर की वैल्यू शून्य नहीं है. यह वैल्यू, the, dot, और jumps शब्दों से जुड़े तीन इंडेक्स में होती है. गैर-शून्य मान इनमें से कोई भी हो सकता है:

• किसी शब्द की मौजूदगी के बारे में बताने के लिए A 1.
• बैग में कोई शब्द दिखाई देने की संख्या. उदाहरण के लिए, अगर वाक्यांश मरून फ़र वाला कुत्ता है, तो मरून और कुत्ते को 2 के तौर पर दिखाया जाएगा, जबकि दूसरे शब्दों को 1 के तौर पर दिखाया जाएगा.
• कुछ अन्य वैल्यू, जैसे कि बैग में कोई शब्द दिखने की संख्या का लॉगारिद्म.

आधारभूत

किसी model का इस्तेमाल, रेफ़रंस पॉइंट के तौर पर किया जाता है. इससे यह तुलना की जाती है कि कोई दूसरा मॉडल (आम तौर पर, ज़्यादा जटिल) कैसा परफ़ॉर्म कर रहा है. उदाहरण के लिए, एक लॉजिस्टिक रिग्रेशन मॉडल, डीप मॉडल के लिए एक अच्छे बेसलाइन के तौर पर काम कर सकता है.

किसी खास समस्या के लिए, बेसलाइन डेवलपर को वह कम से कम परफ़ॉर्मेंस का आकलन करने में मदद करती है जो नए मॉडल को हासिल करना ज़रूरी है. इससे नया मॉडल काम का बनेगा.

बैच

#fundamentals

उदाहरण का एक सेट, जिसे एक ट्रेनिंग में इस्तेमाल किया जाता है. इसे दोहराया जाता है. बैच का साइज़, बैच में उदाहरणों की संख्या तय करता है.

बैच का किसी epoch के साथ क्या संबंध है, इस बारे में जानने के लिए, epoch देखें.

बैच अनुमान

#TensorFlow

#GoogleCloud

ऐसे कई लेबल नहीं किए गए उदाहरणों पर सुझावों को लागू करने की प्रोसेस जो छोटे-छोटे सबसेट ("बैच") में बंटे होते हैं.

बैच अनुमान, ऐक्सेलरेटर चिप की एक साथ काम करने वाली सुविधाओं का फ़ायदा ले सकता है. इसका मतलब है कि एक से ज़्यादा ऐक्सेलरेटर, बिना लेबल वाले उदाहरणों के अलग-अलग बैच के लिए एक साथ अनुमान लगा सकते हैं. इससे हर सेकंड में अनुमानों की संख्या बढ़ जाती है.

बैच नॉर्मलाइज़ेशन

छिपी हुई लेयर में ऐक्टिवेशन फ़ंक्शन के इनपुट या आउटपुट को सामान्य बनाना. बैच नॉर्मलाइज़ेशन से ये फ़ायदे मिल सकते हैं:

• बाहरी वेट से सुरक्षा करके, न्यूरल नेटवर्क को ज़्यादा स्टेबल बनाएं.
• लर्निंग रेट बढ़ाएं. इससे स्पीड ट्रेनिंग की सुविधा मिलती है.
• ओवरफ़िटिंग कम करें.

बैच का आकार

#fundamentals

किसी बैच में मौजूद उदाहरणों की संख्या. उदाहरण के लिए, अगर बैच साइज़ 100 है, तो मॉडल हर दोहराव के 100 उदाहरणों को प्रोसेस करता है.

बैच साइज़ की लोकप्रिय रणनीतियां ये हैं:

• स्टोकेस्टिक ग्रेडिएंट डिसेंट (एसजीडी), जिसमें बैच का साइज़ एक है.
• पूरा बैच, जिसमें बैच का साइज़, पूरे ट्रेनिंग सेट में मौजूद उदाहरणों की संख्या है. उदाहरण के लिए, अगर ट्रेनिंग सेट में एक लाख उदाहरण हैं, तो बैच साइज़ लाखों उदाहरण होगा. आम तौर पर, पूरा बैच एक अच्छी रणनीति नहीं होती है.
• मिनी-बैच, जिसमें आम तौर पर बैच का साइज़ 10 से 1000 के बीच होता है. आम तौर पर, मिनी-बैच सबसे असरदार रणनीति होती है.

बायेसियन न्यूरल नेटवर्क

एक प्रॉबेबिलिस्टिक न्यूरल नेटवर्क, जो वेट और आउटपुट में अनिश्चितता की वजह बनता है. स्टैंडर्ड न्यूरल नेटवर्क रिग्रेशन मॉडल, आम तौर पर स्केलर वैल्यू का अनुमान करता है. उदाहरण के लिए, एक स्टैंडर्ड मॉडल 8,53,000 घर की कीमत का अनुमान लगाता है. इसके उलट, एक बेज़ियन न्यूरल नेटवर्क, वैल्यू के डिस्ट्रिब्यूशन का अनुमान लगाता है. उदाहरण के लिए, एक बेज़ियन मॉडल, 67,200 के स्टैंडर्ड डिविएशन के साथ 8,53,000 घर की कीमत का अनुमान लगाता है.

बायेसियन न्यूरल नेटवर्क, भार और पूर्वानुमान में अनिश्चितता का पता लगाने के लिए, बेज़ थ्योरम पर निर्भर करता है. बायेसियन न्यूरल नेटवर्क उस स्थिति में उपयोगी हो सकता है, जब अनिश्चितता का आकलन करना ज़रूरी हो. जैसे, दवाओं से जुड़े मॉडल में. बायेसियन न्यूरल नेटवर्क, ओवरफ़िट को रोकने में भी मदद कर सकते हैं.

बायेसियन ऑप्टिमाइज़ेशन

प्रॉबेबिलिस्टिक रिग्रेशन मॉडल एक ऐसी तकनीक है जो बेज़ियन लर्निंग तकनीक का इस्तेमाल करके, अनिश्चितता का अनुमान लगाने के लिए सरोगेट को ऑप्टिमाइज़ करती है. इसकी मदद से, कंप्यूटेशनल के तौर पर खर्च होने वाले मकसद फ़ंक्शन को ऑप्टिमाइज़ किया जाता है. बायसियन ऑप्टिमाइज़ेशन अपने-आप में बहुत खर्चा होता है. इसलिए, आम तौर पर इसका इस्तेमाल, आकलन करने वाले ऐसे महंगे टास्क को ऑप्टिमाइज़ करने के लिए किया जाता है जिनमें कम संख्या में पैरामीटर होते हैं. जैसे, हाइपर पैरामीटर चुनना.

बेलमैन इक्वेशन

#rl

रीइन्फ़ोर्समेंट लर्निंग में, इस आइडेंटिटी को सबसे बेहतर क्यू-फ़ंक्शन का इस्तेमाल करके पूरा किया जाता है:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

रीइन्फ़ोर्समेंट लर्निंग एल्गोरिदम, इस आइडेंटिटी को क्यू-लर्निंग बनाने के लिए लागू करते हैं. इसके लिए, अपडेट करने से जुड़े इस नियम का इस्तेमाल किया जाता है:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

रीइन्फ़ोर्समेंट लर्निंग के अलावा, बेलमैन इक्वेशन में डाइनैमिक प्रोग्रामिंग के लिए भी ऐप्लिकेशन मौजूद हैं. बेलमैन समीकरण के लिए विकिपीडिया प्रविष्टि देखें.

BERT (बायडायरेक्शनल एन्कोडर) ट्रांसफ़ॉर्मर से मिले

#language

टेक्स्ट को दिखाने के लिए मॉडल आर्किटेक्चर. एक प्रशिक्षित BERT मॉडल, टेक्स्ट क्लासिफ़िकेशन या अन्य एमएल टास्क के लिए, एक बड़े मॉडल के हिस्से के तौर पर काम कर सकता है.

BERT की विशेषताएं ये हैं:

• यह ट्रांसफ़ॉर्मर आर्किटेक्चर का इस्तेमाल करता है. इसलिए, यह खुद को ध्यान में रखने की क्षमता पर निर्भर करता है.
• यह ट्रांसफ़ॉर्मर के एन्कोडर वाले हिस्से का इस्तेमाल करता है. एन्कोडर का काम, कैटगरी तय करने जैसे खास टास्क के बजाय, टेक्स्ट को अच्छे से दिखाना होता है.
• दोतरफ़ा हो.
• बिना निगरानी वाली ट्रेनिंग के लिए, मास्किंग का इस्तेमाल किया जाता है.

BERT के वैरिएंट में ये शामिल हैं:

• ALBERT, जो A Light BERT का छोटा रूप है.
• LaBSE.

BERT के बारे में खास जानकारी पाने के लिए, Open Sorcing BERT: नैचुरल लैंग्वेज प्रोसेसिंग के लिए स्टेट-ऑफ़-द-आर्ट प्री-ट्रेनिंग देखें.

पक्षपात (नैतिक/निष्पक्षता)

#fairness

#fundamentals

1. कुछ चीज़ों, लोगों या समूहों के बारे में दूसरों की तुलना में रूढ़िवादी, पक्षपात या पक्षपात करना. ये पूर्वाग्रह डेटा के संग्रह और व्याख्या करने, सिस्टम के डिज़ाइन, और उपयोगकर्ताओं के सिस्टम के साथ इंटरैक्ट करने के तरीके को प्रभावित कर सकते हैं. इस तरह के पूर्वाग्रह में ये शामिल हैं:

• ऑटोमेशन बायस
• पुष्टि करने का पक्षपात
• एक्सपेरिमेंट करने वाले का पक्षपात
• ग्रुप एट्रिब्यूशन बायस
• इंप्लिसिट पूर्वाग्रह
• इन-ग्रुप बायस
• ग्रुप के बाहर एक जैसा बायस

2. सैंपलिंग या रिपोर्टिंग प्रोसेस के दौरान होने वाली व्यवस्थित गड़बड़ी. इस तरह के पूर्वाग्रह में ये शामिल हैं:

• कवरेज बायस
• नॉन-रिस्पॉन्स बायस
• हिस्सा लेने पर पक्षपात
• रिपोर्टिंग में पक्षपात
• सैंपलिंग बायस
• चुनाव में पक्षपात

मशीन लर्निंग मॉडल में, पूर्वाग्रह वाले शब्द या पूर्वाग्रह को समझने की कोशिश न करें.

बायस (गणित) या बायस टर्म

#fundamentals

किसी ऑरिजिन से इंटरसेप्ट या ऑफ़सेट. बायस, मशीन लर्निंग मॉडल में एक पैरामीटर है, जिसे इनमें से किसी एक के रूप में दिखाया गया है:

• b
• ₀

उदाहरण के लिए, बायस इस फ़ॉर्मूला में b है:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

सरल द्वि-आयामी रेखा में, पूर्वाग्रह का सिर्फ़ "y-इंटरसेप्ट" मतलब है. उदाहरण के लिए, नीचे दिए गए उदाहरण में लाइन का बायस 2 है.

पूर्वाग्रह मौजूद है, क्योंकि सभी मॉडल ऑरिजिन (0,0) से शुरू नहीं होते हैं. उदाहरण के लिए, मान लें कि किसी मनोरंजन पार्क में जाने के लिए दो यूरो का खर्च होता है और ग्राहक के ठहरने के हर घंटे के लिए 5 यूरो अलग से देना पड़ता है. इसलिए, कुल लागत को मैप करने वाले मॉडल में बायस 2 होता है, क्योंकि सबसे कम लागत दो यूरो की होती है.

पूर्वाग्रह का मतलब नैतिकता और निष्पक्षता में पक्षपात या पूर्वाग्रह से नहीं है.

दो-तरफ़ा

#language

यह ऐसे सिस्टम के बारे में बताने के लिए इस्तेमाल किया जाता है जो टेक्स्ट के टारगेट सेक्शन से पहले वाले और फ़ॉलो करने वाले, दोनों तरह के टेक्स्ट का आकलन करता है. वहीं दूसरी ओर, एकतरफ़ा सिस्टम सिर्फ़ उस टेक्स्ट का आकलन करता है जो टेक्स्ट के टारगेट सेक्शन से पहले आता है.

उदाहरण के लिए, ऐसे मास्क किए गए भाषा के मॉडल पर विचार करें जो इस सवाल में अंडरलाइन किए गए शब्द या शब्दों के लिए संभावनाएं तय करता हो:

आपके साथ _____ क्या है?

एकतरफ़ा भाषा के मॉडल को सिर्फ़ "क्या", "is", और "the" शब्दों में दिए गए संदर्भ के आधार पर संभावनाएं बनानी होंगी. इसके उलट, दोतरफ़ा भाषा वाला मॉडल "के साथ" और "आप" से भी संदर्भ हासिल कर सकता है, जिससे मॉडल को बेहतर अनुमान जनरेट करने में मदद मिल सकती है.

बाईडायरेक्शनल लैंग्वेज मॉडल

#language

ऐसा भाषा का मॉडल जो इस बात की संभावना तय करता है कि कोई टोकन दी गई जगह पर मौजूद है या नहीं. यह टेक्स्ट के किसी हिस्से में पहले से मौजूद और फ़ॉलो किए जा रहे टेक्स्ट के आधार पर तय किया जाता है.

Bigram

#seq

#language

N-gram, जिसमें N=2 है.

बाइनरी क्लासिफ़िकेशन

#fundamentals

कैटगरी तय करने वाला एक ऐसा टास्क जो म्युचुअली एक्सक्लूसिव दो में से किसी एक क्लास के बारे में अनुमान लगाता है:

• पॉज़िटिव क्लास
• नेगेटिव क्लास

उदाहरण के लिए, नीचे दिए गए दो मशीन लर्निंग मॉडल में से हर एक बाइनरी क्लासिफ़िकेशन करता है:

• वह मॉडल जो तय करता है कि ईमेल मैसेज स्पैम (पॉज़िटिव क्लास) हैं या स्पैम नहीं (नेगेटिव क्लास).
• ऐसा मॉडल जो स्वास्थ्य के लक्षणों का आकलन करके यह पता लगाता है कि किसी व्यक्ति को कोई खास बीमारी (पॉज़िटिव क्लास) है या उसे कोई ऐसी बीमारी (नेगेटिव क्लास) तो नहीं है.

कई कैटगरी में बांटी जाने वाली कैटगरी के बीच अंतर करें.

लॉजिस्टिक रिग्रेशन और क्लासिफ़िकेशन थ्रेशोल्ड भी देखें.

बाइनरी कंडीशन

#df

किसी डिसिज़न ट्री में, एक ऐसी शर्त होती है जिसमें सिर्फ़ दो संभावित नतीजे होते हैं, आम तौर पर हां या नहीं. उदाहरण के लिए, यह बाइनरी स्थिति है:

temperature >= 100

अन्य स्थिति के साथ कंट्रास्ट करें.

बिनिंग

बकेटिंग का समानार्थी शब्द.

BLEU (बाइनिंगुअल इवैलुएशन अंडरस्टडी)

#language

0.0 और 1.0 के बीच का स्कोर, जो दो इंसानी भाषाओं (उदाहरण के लिए, अंग्रेज़ी और रशियन के बीच) के बीच अनुवाद की क्वालिटी को दिखाता है. 1.0 का BLEU स्कोर अच्छा अनुवाद दिखाता है. वहीं, 0.0 का BLEU स्कोर अच्छा अनुवाद दिखाता है.

बूस्टिंग

यह मशीन लर्निंग की ऐसी तकनीक है जो बार-बार आसान और कम सटीक क्लासिफ़ायर (जिन्हें "कमज़ोर" कैटगरी तय करने वाले एल्गोरिदम कहा जाता है) के सेट को बहुत ज़्यादा सटीक ("मज़बूत" कैटगरी तय करने वाला एल्गोरिदम) में उन उदाहरणों के साथ अप करके जोड़ती है जिन्हें फ़िलहाल मॉडल गलत कैटगरी में बांट रहा है.

बाउंडिंग बॉक्स

#image

एक इमेज में, दिलचस्पी वाली जगह के चारों ओर एक रेक्टैंगल के (x, y) निर्देशांक, जैसे कि नीचे दी गई इमेज में कुत्ते का नाम.

ब्रॉडकास्ट कर रही हूँ

मैट्रिक्स मैथ ऑपरेशन में किसी ऑपरैंड के आकार को उस कार्रवाई के साथ काम करने वाले डाइमेंशन तक बढ़ाया जाता है. उदाहरण के लिए, लीनियर ऐलजेब्रा के लिए ज़रूरी है कि मैट्रिक्स जोड़ने की कार्रवाई में, दो ऑपरेंड के डाइमेंशन एक जैसे हों. इस वजह से, n लंबाई वाले वेक्टर में आकार (m, n) का मैट्रिक्स नहीं जोड़ा जा सकता. ब्रॉडकास्ट करने से यह कार्रवाई होती है. इसके लिए, लंबाई n के वेक्टर को वर्चुअल तौर पर आकार के मैट्रिक्स (m, n) तक बड़ा किया जाता है. ऐसा करने के लिए, हर कॉलम में एक ही वैल्यू दिखाई जाती है.

उदाहरण के लिए, नीचे दी गई परिभाषाओं के मुताबिक, लीनियर बीजगणित A+B को प्रतिबंधित करता है, क्योंकि A और B के डाइमेंशन अलग-अलग हैं:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

हालांकि, ब्रॉडकास्ट करने के दौरान B को वर्चुअल तरीके से बड़ा करके, A+B ऑपरेशन किया जा सकता है, ताकि:

 [[2, 2, 2],
  [2, 2, 2]]

इसलिए, A+B अब एक मान्य कार्रवाई है:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

ज़्यादा जानकारी के लिए, NumPy में ब्रॉडकास्ट करने से जुड़ी यह जानकारी देखें.

बकेटिंग

#fundamentals

आम तौर पर, वैल्यू की रेंज के आधार पर किसी एक सुविधा को बकेट या बिन नाम की कई बाइनरी सुविधाओं में बदलता है. कटी हुई सुविधा, आम तौर पर लगातार रहने वाली एक सुविधा होती है.

उदाहरण के लिए, तापमान को एक लगातार फ़्लोटिंग-पॉइंट सुविधा के तौर पर दिखाने के बजाय, तापमान की रेंज को अलग-अलग बकेट में बांटा जा सकता है, जैसे कि:

• <= 10 डिग्री सेल्सियस का मान "ठंडा" बकेट होगा.
• 11 से 24 डिग्री सेल्सियस का मतलब "सामान्य" बकेट है.
• "वॉर्म " बकेट>= 25 डिग्री सेल्सियस होगी.

यह मॉडल, एक ही बकेट में मौजूद सभी वैल्यू को एक जैसा मानेगा. उदाहरण के लिए, 13 और 22 दोनों मान समशीतोष बकेट में हैं, इसलिए मॉडल दोनों मानों को समान रूप से मानता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

अगर तापमान को लगातार दिखाने वाली सुविधा के तौर पर दिखाया जाता है, तो मॉडल तापमान को एक फ़ीचर के तौर पर देखता है. अगर तापमान को तीन बकेट के तौर पर दिखाया जाता है, तो मॉडल हर बकेट को अलग सुविधा मानता है. इसका मतलब है कि कोई मॉडल, हर बकेट के लेबल से अलग-अलग संबंध को समझ सकता है. उदाहरण के लिए, एक लीनियर रिग्रेशन मॉडल, हर बकेट के लिए अलग-अलग वेट सीख सकता है.

बकेट की संख्या बढ़ाने से आपके मॉडल को और भी पेचीदा हो जाता है. ऐसा करने से, उन संबंधों की संख्या बढ़ जाती है जिन्हें आपके मॉडल को सीखना चाहिए. उदाहरण के लिए, ठंडा, सामान्य तापमान, और वॉर्म बकेट, आपके मॉडल को ट्रेनिंग देने के लिए तीन अलग-अलग सुविधाएं हैं. अगर आपने दो और बकेट जोड़ने का फ़ैसला किया है, जैसे कि फ़्रीज़िंग और हॉट-- तो आपके मॉडल को अब पांच अलग-अलग सुविधाओं के आधार पर ट्रेनिंग देनी होगी.

आपको कैसे पता चलेगा कि कितनी बकेट बनानी है या हर बकेट के लिए रेंज कितनी होनी चाहिए? आम तौर पर, जवाबों के लिए काफ़ी प्रयोग की ज़रूरत होती है.

---

C

कैलिब्रेशन लेयर

अनुमान के बाद किए जाने वाले अडजस्टमेंट, आम तौर पर पूर्वाग्रह के हिसाब से होते हैं. बदले गए अनुमान और संभावनाएं, निगरानी वाले लेबल के सेट के डिस्ट्रिब्यूशन से मेल खानी चाहिए.

कैंडिडेट जनरेशन

#recsystems

सुझावों का शुरुआती सेट, जिसे सुझाव देने वाले सिस्टम ने चुना है. उदाहरण के लिए, किसी ऐसे बुकस्टोर का इस्तेमाल करें जिस पर 1,00,000 किताबें मिलती हैं. कैंडिडेट जनरेशन फ़ेज़, किसी खास उपयोगकर्ता के लिए सही किताबों की बहुत छोटी सूची बनाता है, जैसे कि 500. हालांकि, किसी उपयोगकर्ता को 500 किताबें भी ज़्यादा सुझाव के तौर पर नहीं दिखाती हैं. इसके बाद, ज़्यादा महंगा, सुझाव देने वाले सिस्टम के चरण (जैसे कि स्कोरिंग और री-रैंकिंग) उन 500 को कम कर देते हैं और सुझाव के ज़्यादा छोटे और काम के सेट हो जाते हैं.

कैंडिडेट सैंपलिंग

ट्रेनिंग-टाइम ऑप्टिमाइज़ेशन, जो सभी पॉज़िटिव लेबल के लिए प्रॉबबिलिटी कैलकुलेट करता है. इसके लिए, यह सॉफ़्टमैक्स जैसे लेबल का इस्तेमाल करता है. हालांकि, नेगेटिव लेबल के किसी भी सैंपल के लिए इसका इस्तेमाल किया जाता है. उदाहरण के लिए, बीगल और कुत्ता लेबल वाले उदाहरण में, कैंडिडेट सैंपलिंग के तहत, अनुमानित संभावना और नुकसान की आशंकाओं का पता लगाया जाता है:

• बीगल
• कुत्ता
• बाकी नेगेटिव क्लास का एक रैंडम सबसेट (उदाहरण के लिए, बिल्ली, लॉलीपॉप, बाड़).

कोशिश यह है कि नेगेटिव क्लास को बार-बार दिखाए जाने वाले नेगेटिव क्लास से भी समझा जा सकता है. हालांकि, इसके लिए ज़रूरी है कि पॉज़िटिव क्लास को हमेशा सही तरीके से लागू किया जाए और यह अनुभव कभी-कभार देखा जाता है.

कैंडिडेट सैंपलिंग, ट्रेनिंग एल्गोरिदम की तुलना में कम्प्यूटेशनल तरीके से ज़्यादा बेहतर तरीके से काम करती है. यह एल्गोरिदम सभी नेगेटिव क्लास के लिए अनुमान लगाता है. खास तौर पर तब, जब नेगेटिव क्लास की संख्या बहुत ज़्यादा हो.

कैटगरी से जुड़ा डेटा

#fundamentals

ऐसी सुविधाएं जिनमें संभावित वैल्यू का एक खास सेट होता है. उदाहरण के लिए, traffic-light-state नाम की कैटगरी के आधार पर दी गई सुविधा का इस्तेमाल करें. इसकी वैल्यू, इन तीन संभावित वैल्यू में से सिर्फ़ एक हो सकती है:

• red
• yellow
• green

traffic-light-state को कैटगरी वाली सुविधा के तौर पर दिखाकर, कोई मॉडल ड्राइवर के व्यवहार पर red, green, और yellow के अलग-अलग असर के बारे में जान सकता है.

कैटगरी के हिसाब से मिलने वाली सुविधाओं को कभी-कभी अलग-अलग सुविधाएं कहा जाता है.

संख्या वाले डेटा के बीच अंतर करें.

कैज़ुअल लैंग्वेज मॉडल

#language

एकतरफ़ा भाषा मॉडल का समानार्थी शब्द.

लैंग्वेज मॉडलिंग में, अलग-अलग डायरेक्शनल अप्रोच के उलट, बाईडायरेक्शनल लैंग्वेज मॉडल देखें.

सेंट्रोइड

#clustering

क्लस्टर का केंद्र, जिसे k-means या k-median एल्गोरिदम से तय किया जाता है. उदाहरण के लिए, अगर k 3 है, तो k-मीन या k-मीडियन एल्गोरिदम को तीन सेंट्रोइड मिलेंगे.

सेंट्रोइड-आधारित क्लस्टरिंग

#clustering

क्लस्टरिंग एल्गोरिदम की एक कैटगरी, जो डेटा को नॉन-हैरारकी वाले क्लस्टर में व्यवस्थित करती है. k-means, सबसे ज़्यादा इस्तेमाल किया जाने वाला सेंट्रोइड पर आधारित क्लस्टरिंग एल्गोरिदम है.

हैरारकी क्लस्टरिंग एल्गोरिदम के बीच कंट्रास्ट.

सोच-विचार की चेन

#language

#generativeAI

यह प्रॉम्प्ट इंजीनियरिंग की ऐसी तकनीक है जो लार्ज लैंग्वेज मॉडल (एलएलएम) को इसके पीछे की वजह समझाने के लिए, सिलसिलेवार तरीके से बताती है. उदाहरण के लिए, नीचे दिए गए प्रॉम्प्ट पर विचार करें और दूसरे वाक्य पर खास ध्यान दें:

7 सेकंड में 0 से 60 मील प्रति घंटे की रफ़्तार से चलने वाली कार में, ड्राइवर को कितने ग्राम फ़ोर्स होंगे? जवाब में, काम की सभी कैलकुलेशन दिखाएं.

एलएलएम के जवाब में ये बातें हो सकती हैं:

• भौतिकी के सूत्रों का अनुक्रम दिखाएं, वैल्यू 0, 60, और 7 को सही जगहों पर प्लग इन करें.
• समझाएं कि इन फ़ॉर्मूले को क्यों चुना गया और अलग-अलग वैरिएबल का क्या मतलब है.

सोच-विचार की मदद से एलएलएम को सभी कैलकुलेशन करने के लिए मजबूर किया जाता है. इससे ज़्यादा सटीक जवाब मिल सकता है. इसके अलावा, सोच-विचार करने के निर्देश, उपयोगकर्ता को एलएलएम के चरणों की जांच करने में मदद करते हैं. इससे, यह पता लगाया जाता है कि जवाब सही है या नहीं.

चैट

#language

#generativeAI

एमएल सिस्टम के ज़रिए आगे-पीछे बातचीत का कॉन्टेंट. आम तौर पर, यह बड़े लैंग्वेज मॉडल का इस्तेमाल करता है. किसी चैट में पिछली बातचीत (आपने क्या टाइप किया और बड़े लैंग्वेज मॉडल ने क्या जवाब दिया), चैट के बाद के हिस्सों के लिए कॉन्टेक्स्ट बन जाता है.

चैटबॉट, एक बड़े लैंग्वेज मॉडल का ऐप्लिकेशन है.

COVID-19 की जांच के लिए बनी चेकपोस्ट

ऐसा डेटा जो किसी खास ट्रेनिंग को दोहराने के दौरान मॉडल के पैरामीटर की स्थिति को कैप्चर करता है. चेकपॉइंट से मॉडल वेट को एक्सपोर्ट किया जा सकता है या कई सेशन के लिए ट्रेनिंग की जा सकती है. चेकपॉइंट, पिछली गड़बड़ियों को जारी रखने के लिए ट्रेनिंग की सुविधा भी देता है. उदाहरण के लिए, नौकरी शुरू होने से पहले.

फ़ाइन ट्यूनिंग करते समय, नए मॉडल को ट्रेनिंग के लिए सबसे पहले बनाया जाता है. यह पहले से ट्रेन किए गए मॉडल की खास चेकपॉइंट होगी.

क्लास

#fundamentals

एक ऐसी कैटगरी जिससे label जुड़ा हो सकता है. उदाहरण के लिए:

• बाइनरी क्लासिफ़िकेशन मॉडल में, स्पैम का पता लगाने वाले मॉडल में ये दो कैटगरी हो सकती हैं: स्पैम और स्पैम नहीं.
• मल्टी-क्लास क्लासिफ़िकेशन मॉडल में कुत्ते की नस्लों की पहचान की जाती है. इनमें पूडल, बीगल, पग वगैरह शामिल हो सकते हैं.

क्लासिफ़िकेशन मॉडल किसी क्लास का अनुमान लगाता है. वहीं दूसरी ओर, रिग्रेशन मॉडल, क्लास के बजाय नंबर का अनुमान लगाता है.

क्लासिफ़िकेशन मॉडल

#fundamentals

ऐसा model जिसका अनुमान, model होता है. उदाहरण के लिए, नीचे दिए गए सभी क्लासिफ़िकेशन मॉडल देखें:

• ऐसा मॉडल जो किसी इनपुट वाक्य की भाषा का अनुमान लगाता है (फ़्रेंच? स्पैनिश? इटैलियन?).
• वह मॉडल जो पेड़ों की प्रजातियों का अनुमान लगाता है (मेपल? Oak? बेओबैब?)
• ऐसा मॉडल जो किसी खास मेडिकल स्थिति के लिए पॉज़िटिव या नेगेटिव क्लास का अनुमान लगाता है.

वहीं दूसरी ओर, रिग्रेशन मॉडल, क्लास के बजाय संख्याओं का अनुमान लगाते हैं.

आम तौर पर, क्लासिफ़िकेशन मॉडल दो तरह के होते हैं:

• बाइनरी क्लासिफ़िकेशन
• मल्टी-क्लास क्लासिफ़िकेशन

श्रेणी में बाँटने की सीमा

#fundamentals

बाइनरी क्लासिफ़िकेशन में, 0 और 1 के बीच की कोई संख्या होती है, जो किसी लॉजिस्टिक रिग्रेशन मॉडल के रॉ आउटपुट को पॉज़िटिव क्लास या नेगेटिव क्लास के अनुमान में बदल देती है. ध्यान दें कि क्लासिफ़िकेशन थ्रेशोल्ड वह वैल्यू होती है जिसे कोई व्यक्ति चुनता है, न कि मॉडल ट्रेनिंग से चुनी गई वैल्यू.

लॉजिस्टिक रिग्रेशन मॉडल, 0 और 1 के बीच की रॉ वैल्यू देता है. इसके बाद:

• अगर यह रॉ वैल्यू, क्लासिफ़िकेशन के थ्रेशोल्ड से ज़्यादा है, तो पॉज़िटिव क्लास का अनुमान लगाया जाता है.
• अगर यह रॉ वैल्यू, क्लासिफ़िकेशन के थ्रेशोल्ड से कम है, तो नेगेटिव क्लास का अनुमान लगाया जाता है.

उदाहरण के लिए, मान लें कि कैटगरी तय करने की सीमा 0.8 है. अगर रॉ वैल्यू 0.9 है, तो मॉडल पॉज़िटिव क्लास का अनुमान लगाता है. अगर रॉ वैल्यू 0.7 है, तो मॉडल नेगेटिव क्लास का अनुमान लगाता है.

कैटगरी तय करने के लिए थ्रेशोल्ड चुनने का असर, फ़ॉल्स पॉज़िटिव और फ़ॉल्स नेगेटिव की संख्या पर भी पड़ता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

मॉडल या डेटासेट के बेहतर होने पर, इंजीनियर कभी-कभी क्लासिफ़िकेशन थ्रेशोल्ड भी बदल देते हैं. जब क्लासिफ़िकेशन के थ्रेशोल्ड में बदलाव होता है, तो पॉज़िटिव क्लास के अनुमान अचानक से नेगेटिव क्लास बन सकते हैं और इसका उलटा भी हो सकता है.

उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन की बीमारी का अनुमान लगाने वाले मॉडल पर विचार करें. मान लें कि जब सिस्टम पहले साल चलता है:

• किसी खास मरीज़ के लिए रॉ वैल्यू 0.95 है.
• डेटा की कैटगरी तय करने की सीमा 0.94 है.

इसलिए, सिस्टम पॉज़िटिव क्लास का विश्लेषण करता है. (मरीज हांफ़ रहा है, "अरे नहीं! मैं बीमार हूं!")

एक साल बाद, शायद ये वैल्यू अब इस तरह दिखेंगी:

• वहीं, किसी मरीज़ का रॉ डेटा 0.95 ही रहता है.
• डेटा की कैटगरी तय करने की सीमा 0.97 हो जाती है.

इसलिए, सिस्टम अब उस मरीज़ को नेगेटिव क्लास के तौर पर फिर से बांटता है. ("आपका दिन शुभ हो! मैं बीमार नहीं हूं.") एक ही मरीज़. अलग-अलग तरीके से बीमारी की पहचान हुई है.

---

क्लास-असंतुलित डेटासेट

#fundamentals

कैटगरी की समस्या के लिए ऐसा डेटासेट जिसमें हर क्लास के लेबल की कुल संख्या काफ़ी अलग हो. उदाहरण के लिए, एक बाइनरी क्लासिफ़िकेशन डेटासेट देखें, जिसके दो लेबल को इस तरह बांटा गया है:

• 10,00,000 नेगेटिव लेबल
• 10 पॉज़िटिव लेबल

नेगेटिव और पॉज़िटिव लेबल का अनुपात 1,00,000 से 1 है. इसलिए, यह क्लास-असंतुलित डेटासेट है.

इसके उलट, नीचे दिया गया डेटासेट क्लास-असंतुलित नहीं है, क्योंकि पॉज़िटिव लेबल के लिए नेगेटिव लेबल का अनुपात, एक के करीब है:

• 517 नेगेटिव लेबल
• 483 पॉज़िटिव लेबल

मल्टी-क्लास डेटासेट भी क्लास-असंतुलित हो सकते हैं. उदाहरण के लिए, नीचे दी गई एक से ज़्यादा क्लास वाला यह डेटासेट क्लास-असंतुलित है, क्योंकि एक लेबल में बाकी दो की तुलना में ज़्यादा उदाहरण हैं:

• "ग्रीन" क्लास के साथ 10,00,000 लेबल
• "बैंगनी" क्लास के साथ 200 लेबल
• "नारंगी" क्लास के साथ 350 लेबल

एंट्रॉपी, मेजरिटी क्लास, और अल्पसंख्यक क्लास भी देखें.

क्लिपिंग

#fundamentals

इनमें से कोई एक या दोनों काम करके, आउटलेयर से निपटने की तकनीक:

• feature की उन वैल्यू को कम करना जो थ्रेशोल्ड की तय सीमा से ज़्यादा हों.
• सुविधा की वैल्यू को कम से कम थ्रेशोल्ड तक बढ़ाना.

उदाहरण के लिए, मान लें कि किसी सुविधा के लिए <0.5% वैल्यू, 40-60 की सीमा से बाहर हैं. इस स्थिति में, ये काम किए जा सकते हैं:

• ज़्यादा से ज़्यादा 60 से ज़्यादा वैल्यू को क्लिप करके, ठीक 60 पर सेट करें.
• अगर सभी वैल्यू को 40 (कम से कम थ्रेशोल्ड) से कम पर सेट करना है, तो उन्हें 40 पर सेट करें.

आउटलेयर से मॉडल को नुकसान पहुंच सकता है. इसकी वजह से कभी-कभी ट्रेनिंग के दौरान वज़न ओवरफ़्लो हो जाता है. कुछ आउटलायर भी मेट्रिक को बहुत खराब कर सकते हैं, जैसे कि सटीक काम करना. नुकसान को कम करने के लिए, क्लिपिंग एक आम तकनीक है.

ग्रेडिएंट क्लिपिंग की मदद से, ट्रेनिंग के दौरान तय रेंज में ग्रेडिएंट की वैल्यू सेट की जाती है.

Cloud TPU

#TensorFlow

#GoogleCloud

यह एक खास हार्डवेयर ऐक्सेलरेटर है. इसे Google Cloud पर मशीन लर्निंग के वर्कलोड को तेज़ी से लोड करने के लिए डिज़ाइन किया गया है.

क्लस्टरिंग

#clustering

इनसे मिलते-जुलते उदाहरण को ग्रुप करना. खास तौर पर, अनसुपरवाइज़्ड लर्निंग के दौरान. सभी उदाहरणों को ग्रुप कर लेने के बाद, कोई व्यक्ति हर क्लस्टर को मतलब बता सकता है. हालांकि, ऐसा करना ज़रूरी नहीं है.

कई क्लस्टरिंग एल्गोरिदम मौजूद हैं. उदाहरण के लिए, k-means एल्गोरिदम के क्लस्टर के उदाहरण, जो सेंट्रोइड से उनकी नज़दीकी के आधार पर दिए जाते हैं, जैसा कि यहां दिखाया गया है:

इसके बाद, मानवीय शोधकर्ता इन क्लस्टर की समीक्षा कर सकता है. उदाहरण के लिए, क्लस्टर 1 को "बौने ट्री" और क्लस्टर 2 को "फ़ुल-साइज़ ट्री" के तौर पर लेबल किया जा सकता है.

एक अन्य उदाहरण के तौर पर, किसी उदाहरण के केंद्र बिंदु से दूरी के आधार पर क्लस्टरिंग एल्गोरिदम पर विचार करें. इसका उदाहरण नीचे दिया गया है:

को-अडैप्टेशन

जब न्यूरॉन, नेटवर्क के व्यवहार पर भरोसा करने के बजाय, खास तौर पर कुछ अन्य न्यूरॉन के आउटपुट पर भरोसा करके, ट्रेनिंग वाले डेटा में मौजूद पैटर्न का अनुमान लगाते हैं. जब पुष्टि करने वाले डेटा में को-अडैप्टेशन बनाने वाले पैटर्न मौजूद नहीं होते हैं, तो को-अडैप्टेशन से ज़्यादा फ़िट हो जाते हैं. ड्रॉपआउट रेगुलराइज़ेशन के बाद, साथ मिलकर काम करना कम होता है, क्योंकि ड्रॉपआउट पक्का करता है कि न्यूरॉन सिर्फ़ कुछ खास न्यूरॉन पर भरोसा न कर सकें.

सहयोगी फ़िल्टरिंग

#recsystems

कई दूसरे उपयोगकर्ताओं की दिलचस्पी के आधार पर, किसी उपयोगकर्ता की दिलचस्पी के बारे में अनुमान लगाना. कोलैबोरेटिव फ़िल्टरिंग का इस्तेमाल अक्सर सुझाव देने वाले सिस्टम में किया जाता है.

कॉन्सेप्ट ड्रिफ़्ट

सुविधाओं और लेबल के बीच के संबंध में बदलाव. समय के साथ, कॉन्सेप्ट ड्रिफ़्ट की वजह से मॉडल की क्वालिटी कम हो जाती है.

ट्रेनिंग के दौरान, मॉडल को ट्रेनिंग सेट में मौजूद सुविधाओं और उसके लेबल के बीच के संबंध के बारे में पता चलता है. अगर ट्रेनिंग सेट में मौजूद लेबल असल दुनिया के लिए अच्छे प्रॉक्सी हैं, तो मॉडल को असली दुनिया का अनुमान लगाना चाहिए. हालांकि, कॉन्सेप्ट ड्रिफ़्ट की वजह से, इस मॉडल का अनुमान समय के साथ कम होता जा रहा है.

उदाहरण के लिए, एक बाइनरी क्लासिफ़िकेशन मॉडल पर विचार करें, जो यह अनुमान लगाता है कि कार का कोई खास मॉडल "ईंधन की कम खपत" करने वाला मॉडल है या नहीं. इसका मतलब है कि इसमें ये सुविधाएं शामिल हैं:

• कार का वज़न
• इंजन कंप्रेशन
• ट्रांसमिशन टाइप

जबकि लेबल इनमें से कोई एक हो:

• ईंधन की बचत
• ईंधन की कम खपत

हालांकि, "ईंधन की कम खपत वाली कार" का कॉन्सेप्ट बदलता रहता है. साल 1994 में ईंधन की बचत लेबल वाली कार के मॉडल को शायद 2024 में ईंधन की बचत नहीं के तौर पर लेबल किया जाएगा. कॉन्सेप्ट ड्रिफ़्ट से पीड़ित मॉडल, समय के साथ कम और कम उपयोगी अनुमान लगाते हैं.

नॉनस्टेशनरिटी से तुलना करें और इनके बीच अंतर बताएं.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

कॉन्सेप्ट ड्रिफ़्ट की दर के मुकाबले तेज़ी से मॉडल को फिर से ट्रेन करें, ताकि कॉन्सेप्ट ड्रिफ़्ट की भरपाई की जा सके. उदाहरण के लिए, अगर कॉन्सेप्ट ड्रिफ़्ट से, मॉडल को हर दो महीने में सिर्फ़ ज़रूरी मार्जिन के हिसाब से सटीक बनाया जाता है, तो अपने मॉडल को हर दो महीने से ज़्यादा बार फिर से ट्रेनिंग दें.

---

शर्त

#df

डिसीज़न ट्री में, कोई भी नोड जो किसी एक्सप्रेशन का आकलन करता है. उदाहरण के लिए, डिसिज़न ट्री के नीचे दिए गए हिस्से में दो शर्तें होती हैं:

इस शर्त को स्प्लिट या टेस्ट भी कहा जाता है.

पत्ती की स्थिति के बीच अंतर करें.

यह भी देखें:

• बाइनरी कंडीशन
• अन्य शर्त.
• ऐक्सिस-अलाइन्ड-condition (स्थिति)
• ऑब्लिक-स्थिति

बातचीत

#language

गलत जानकारी का पर्यायवाची.

गलत जानकारी के बजाय, भ्रम की स्थिति में भ्रम की स्थिति दिखाना तकनीकी रूप से ज़्यादा सटीक शब्द होता है. हालांकि, सबसे पहले भ्रम की स्थिति पैदा हुई.

कॉन्फ़िगरेशन

किसी मॉडल को ट्रेनिंग देने के लिए इस्तेमाल की जाने वाली शुरुआती प्रॉपर्टी की वैल्यू असाइन करने की प्रोसेस, जैसे कि:

• मॉडल की लिखने वाली लेयर
• डेटा की जगह
• हाइपर पैरामीटर, जैसे:
  • लर्निंग रेट
  • दोहराव
  • ऑप्टिमाइज़र
  • लॉस फ़ंक्शन

मशीन लर्निंग प्रोजेक्ट में, एक खास कॉन्फ़िगरेशन फ़ाइल से या कॉन्फ़िगरेशन लाइब्रेरी का इस्तेमाल करके कॉन्फ़िगरेशन किया जा सकता है, जैसे कि:

• HParam
• जिन
• फ़िडल

एक पक्ष की पुष्टि करना

#fairness

जानकारी को इस तरह खोजने, समझने, उसके पक्ष में रखने, और उसे याद करने की आदत हो जाती है जो किसी व्यक्ति की पहले से मौजूद मान्यताओं या परिकल्पनाओं की पुष्टि करती हो. मशीन लर्निंग डेवलपर अनजाने में डेटा को इस तरह इकट्ठा या लेबल कर सकते हैं जिससे उनकी मौजूदा मान्यताओं पर असर पड़ता है. पुष्टि करने वाला पूर्वाग्रह एक तरह का इंप्लिसिट पूर्वाग्रह है.

प्रयोग करने वाले का पूर्वाग्रह पुष्टि करने से जुड़ा एक तरह का पूर्वाग्रह है. इसमें एक प्रयोग करने वाला व्यक्ति, मॉडल को तब तक ट्रेनिंग देना जारी रखता है, जब तक कि वह पहले से मौजूद किसी परिकल्पना की पुष्टि नहीं हो जाती.

कन्फ़ेशन मैट्रिक्स

#fundamentals

NxN टेबल में, किसी क्लासिफ़िकेशन मॉडल की मदद से लगाए गए सही और गलत अनुमानों की जानकारी होती है. उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन मॉडल के लिए, भ्रम की स्थिति वाले इस तरह के मैट्रिक्स पर विचार करें:

	ट्यूमर (अनुमानित)	ट्यूमर के अलावा (अनुमानित)
ट्यूमर (ग्राउंड ट्रूथ)	18 (टीपी)	1 (एफ़एन)
नॉन-ट्यूमर (ग्राउंड ट्रूथ)	6 (FP)	452 (टीएन)

भ्रम की स्थिति से पहले का भ्रम यह दिखाता है कि:

• जिन 19 अनुमानों में ग्राउंड ट्रुथ, Tumor था, उसके अनुमान को सही तरीके से 18 की कैटगरी में रखा गया और 1 को गलत कैटगरी में रखा गया.
• इनमें से 458 अनुमानों में नॉन-ट्यूमर था. मॉडल ने सही कैटगरी में 452 और 6 को गलत कैटगरी में रखा.

मल्टी-क्लास क्लासिफ़िकेशन से जुड़ी समस्या के लिए, भ्रम की मैट्रिक्स से, गलतियों के पैटर्न को पहचानने में मदद मिल सकती है. उदाहरण के लिए, तीन-क्लास मल्टी-क्लास क्लासिफ़िकेशन मॉडल के लिए यहां दिए गए भ्रम की मैट्रिक्स पर विचार करें. यह मॉडल तीन अलग-अलग आइरिस टाइप (वर्जीनिका, वर्सीकलर, और सेतोसा) को कैटगरी में बांटता है. जब ज़मीनी हकीकत वर्ज़िनिका थी, तो कन्फ़्यूजन मैट्रिक्स दिखाता है कि सेटोसा की तुलना में मॉडल में गलती से वर्सिकलर का अनुमान लगाने की संभावना ज़्यादा है:

	Setosa (अनुमानित)	वर्सिकलर (अनुमानित)	वर्जीनिया (अनुमानित)
सेटोसा (ग्राउंड ट्रुथ)	88	12	0
वर्सिकलर (ग्राउंड ट्रूथ)	6	141	7
वर्ज़िनिका (ग्राउंड ट्रुथ)	2	27	109

इसी तरह, एक और उदाहरण से यह पता चल सकता है कि हाथ से लिखे गए अंकों की पहचान करने वाला मॉडल, ग़लती से 4 के बजाय 9 का अनुमान लगाता है या ग़लती से 7 के बजाय 1 का अनुमान लगाता है.

कन्फ़्यूजन मैट्रिक्स में कई तरह की परफ़ॉर्मेंस मेट्रिक का हिसाब लगाने के लिए ज़रूरी जानकारी होती है. इसमें सटीक जानकारी और रीकॉल भी शामिल होती है.

संसदीय क्षेत्र पार्सिंग

#language

किसी वाक्य को व्याकरण के हिसाब से छोटे-छोटे वाक्यों में बांटा गया है ("इसे शामिल करने वाले लोग"). मशीन लर्निंग सिस्टम के बाद वाले हिस्से में, मूल वाक्य की तुलना में कॉम्पोनेंट को ज़्यादा आसानी से पार्स किया जा सकता है. जैसे, नैचुरल लैंग्वेज समझ मॉडल. उदाहरण के लिए, यहां दिए गए वाक्य का इस्तेमाल करें:

मेरे दोस्त ने दो बिल्लियों को गोद लिया.

एक विधानसभा पार्सर इस वाक्य को इन दो हिस्सों में बांट सकता है:

• मेरे दोस्त को संज्ञा के लिए इस्तेमाल किया जाता है.
• added दो cats एक क्रिया वाक्यांश है.

इन कॉम्पोनेंट को अलग-अलग छोटे-छोटे हिस्सों में बांटा जा सकता है. उदाहरण के लिए, क्रिया वाक्यांश

दो बिल्लियों को गोद लिया

इन्हें इनमें अलग-अलग ग्रुप में बांटा जा सकता है:

• added एक क्रिया है.
• two cats दूसरा संज्ञा है.

कीवर्ड के हिसाब से कॉन्टेंट को एम्बेड करना

#language

#generativeAI

ऐसा एम्बेड करना, जिसमें शब्दों और वाक्यांशों को "समझने" वाले शब्दों और वाक्यांशों को इस तरह पेश किया जाता है कि स्थानीय लोग इन्हें आसानी से समझ सकें. संदर्भ के हिसाब से भाषा को एम्बेड करने से, मुश्किल सिंटैक्स, सिमैंटिक, और संदर्भ को समझना आसान हो जाता है.

उदाहरण के लिए, अंग्रेज़ी शब्द cow को एम्बेड करने के बारे में सोचें. पहले एम्बेड किए गए शब्द, जैसे कि word2vec, अंग्रेज़ी के शब्दों को इस तरह से दिखा सकते हैं कि एम्बेड किए जाने वाले स्पेस में गाय से सांड की दूरी, ईव (महिला भेड़) से राम (पुरुष भेड़) या महिला से पुरुष तक की दूरी के बराबर होती है. संदर्भ के हिसाब से किसी भाषा को एम्बेड करने से, एक कदम आगे बढ़ सकता है. ऐसा तब होता है, जब अंग्रेज़ी बोलने वाले लोग कभी-कभी अनजाने में गाय शब्द का इस्तेमाल करते हैं, जिसका मतलब 'गाय' या 'बैल' होता है.

कॉन्टेक्स्ट विंडो

#language

#generativeAI

किसी दिए गए प्रॉम्प्ट में, प्रोसेस किए जा सकने वाले टोकन की संख्या. कॉन्टेक्स्ट विंडो जितनी बड़ी होगी, मॉडल उतनी ही ज़्यादा जानकारी का इस्तेमाल करके, प्रॉम्प्ट के लिए सटीक और एक जैसा जवाब दे सकता है.

लगातार मिलने वाली सुविधा

#fundamentals

फ़्लोटिंग-पॉइंट सुविधा जिसमें तापमान या वज़न जैसे वैल्यू की अनगिनत वैल्यू दी गई हों.

अलग-अलग सुविधा के बीच अंतर है.

आसानी से इकट्ठा किया जाने वाला सैंपल

तेज़ी से प्रयोग करने के लिए, वैज्ञानिक तरीके से इकट्ठा न किए गए डेटासेट का इस्तेमाल करना. बाद में, वैज्ञानिक रूप से इकट्ठा किए गए डेटासेट का इस्तेमाल करना ज़रूरी है.

अभिसरण

#fundamentals

वह स्थिति जब लॉस की वैल्यू में हर दोहराव के साथ बहुत कम या बिलकुल भी बदलाव न हो. उदाहरण के लिए, यहां दिया गया लॉस कर्व, करीब 700 बार कन्वर्जन पर स्विच करने का सुझाव देता है:

जब अतिरिक्त ट्रेनिंग से मॉडल में सुधार नहीं होता, तो मॉडल एक जैसा होता है.

डीप लर्निंग में, नुकसान की वैल्यू कभी-कभी स्थिर रहती है या कई बार में इतनी बार बदलाव होती है कि आखिर में वैल्यू घटती या बढ़ जाती है. लंबे समय तक लगातार वैल्यू खोने होने पर, हो सकता है कि कुछ समय के लिए आपको एक जैसा अनुभव न हो.

तय समय से पहले रुकने के बारे में भी जानें.

उत्तल फ़ंक्शन

ऐसा फ़ंक्शन जिसमें फ़ंक्शन के ग्राफ़ के ऊपर मौजूद क्षेत्र, एक कॉन्टेक्स्ट सेट होता है. प्रोटोटाइपिक उत्तल फ़ंक्शन का आकार, U अक्षर की तरह होता है. उदाहरण के लिए, नीचे दिए गए सभी उत्तल फ़ंक्शन हैं:

इसके उलट, यहां दिया गया फ़ंक्शन उत्तल नहीं है. ध्यान दें कि कैसे ग्राफ़ के ऊपर वाला क्षेत्र, एक उत्तल सेट नहीं है:

पूरी तरह से उत्तल फ़ंक्शन में एक स्थानीय सबसे कम पॉइंट होता है, जो कि ग्लोबल सबसे कम पॉइंट भी होता है. U के आकार वाले क्लासिक फ़ंक्शन, पूरी तरह से उत्तल फ़ंक्शन होते हैं. हालांकि, कुछ उत्तल फ़ंक्शन (जैसे, सीधी रेखाएं) U के आकार के नहीं होते.

गणित के बारे में ज़्यादा जानने के लिए, आइकॉन पर क्लिक करें.

कई सामान्य लॉस फ़ंक्शन, उत्तल फ़ंक्शन होते हैं. इनमें नीचे दिए गए फ़ंक्शन भी शामिल हैं:

• एल₂ लेवल का नुकसान
• लॉग लॉस
• L₁ रेगुलराइज़ेशन
• L₂ रेगुलराइज़ेशन

ग्रेडिएंट डिसेंट के कई वैरिएंट से, ऐसे पॉइंट का पता चलता है जो पूरी तरह से उत्तल फ़ंक्शन के कम से कम के करीब होता है. इसी तरह, स्टोकेस्टिक ग्रेडिएंट डीसेंट के कई वैरिएशन से बहुत ज़्यादा संभावना (हालांकि, इसकी कोई गारंटी नहीं है) है कि ऐसा पॉइंट, जो सटीक रूप से उत्तल फ़ंक्शन के कम से कम के करीब हो.

दो उत्तल फ़ंक्शन का योग (उदाहरण के लिए, L₂ हानि + L₁ रेगुलराइज़ेशन) एक उत्तल फ़ंक्शन होता है.

डीप मॉडल कभी भी उत्तल फ़ंक्शन नहीं होते. खास तौर पर, कॉन्टेक्स्ट ऑप्टिमाइज़ेशन के लिए डिज़ाइन किए गए एल्गोरिदम, डीप नेटवर्क पर ऐसे समाधान ढूंढ लेते हैं जो काफ़ी अच्छा हों. हालांकि, इस बात की कोई गारंटी नहीं है कि ये समाधान, ग्लोबल लेवल पर काम करेंगे.

---

उत्तल ऑप्टिमाइज़ेशन

गणित की तकनीकों का इस्तेमाल करने की प्रोसेस, जैसे कि ग्रेडिएंट डिसेंट की मदद से, सबसे कम कॉन्टेक्स्ट फ़ंक्शन का पता लगाना. मशीन लर्निंग में काफ़ी रिसर्च की गई है, जिसमें कई तरह की समस्याओं को उत्तल ऑप्टिमाइज़ेशन समस्याओं के रूप में तैयार करने और उन समस्याओं को बेहतर तरीके से हल करने पर ध्यान दिया गया है.

पूरी जानकारी के लिए, बॉयड और वैंडेनबर्ग, कॉन्वेक्स ऑप्टिमाइज़ेशन सेक्शन देखें.

उत्तल सेट

यूक्लिडियन स्पेस का एक सबसेट, जैसे कि सबसेट में किसी भी दो पॉइंट के बीच बनाई गई लाइन, सबसेट के अंदर पूरी तरह से बनी रहती है. उदाहरण के लिए, नीचे दिए गए दो आकार उत्तल सेट हैं:

इसके उलट, नीचे दिए गए दो आकार उत्तल सेट नहीं हैं:

कॉन्वलूशन

#image

गणित में, सामान्य तौर पर, दो फलनों का मिश्रण. मशीन लर्निंग में, कॉन्वोलूशन, कंवोलूशनल फ़िल्टर और इनपुट मैट्रिक्स को मिलाता है, ताकि वज़न को ट्रेनिंग दी जा सके.

मशीन लर्निंग में "कॉन्वोल्यूशन" शब्द, अक्सर कॉन्वोलूशनल ऑपरेशन या कॉन्वोलूशनल लेयर के बारे में बताने का आसान तरीका होता है.

कॉन्वलूशन के बिना, मशीन लर्निंग एल्गोरिदम को बड़े टेन्सर में हर सेल के लिए अलग वज़न सीखना होगा. उदाहरण के लिए, 2K x 2K इमेज पर ट्रेनिंग लेने वाले मशीन लर्निंग एल्गोरिदम को 4M अलग-अलग वेट ढूंढने के लिए मजबूर किया जाएगा. कॉन्वलूशन की वजह से, मशीन लर्निंग एल्गोरिदम को कंवोल्यूशनल फ़िल्टर में मौजूद हर सेल के लिए वेट का पता लगाना पड़ता है. इससे मॉडल को ट्रेनिंग देने के लिए ज़रूरी मेमोरी काफ़ी कम हो जाती है. जब कॉन्वलूशनल फ़िल्टर को लागू किया जाता है, तो उसकी कॉपी को सेल पर इस तरह से दोहराया जाता है कि हर सेल को फ़िल्टर से गुणा किया जाए.

कॉन्वलूशनल फ़िल्टर

#image

कॉन्वलेशनल ऑपरेशन में काम कर रहे दो अभिनेताओं में से एक. (दूसरा ऐक्टर इनपुट मैट्रिक्स का एक हिस्सा है.) कॉन्वलूशनल फ़िल्टर, ऐसा मैट्रिक्स होता है जिसका रैंक इनपुट मैट्रिक्स जैसा ही होता है. हालांकि, इसका आकार छोटा होता है. उदाहरण के लिए, अगर 28x28 इनपुट मैट्रिक्स दिया गया है, तो फ़िल्टर 28x28 से छोटा कोई भी 2D मैट्रिक्स हो सकता है.

फ़ोटोग्राफ़िक मैनिप्यूलेशन में, कॉन्वलूशनल फ़िल्टर में मौजूद सभी सेल आम तौर पर एक और शून्य के कॉन्स्टेंट पैटर्न पर सेट होती हैं. मशीन लर्निंग में, कन्वर्ज़न वाले फ़िल्टर आम तौर पर रैंडम नंबर के साथ शामिल किए जाते हैं और फिर नेटवर्क सही वैल्यू को ट्रेन करता है.

कॉन्वलूशनल लेयर

#image

डीप न्यूरल नेटवर्क की एक लेयर, जिसमें कंवोलूशनल फ़िल्टर किसी इनपुट मैट्रिक्स के साथ पास होता है. उदाहरण के लिए, यहां दिए गए 3x3 कॉन्वोलूशनल फ़िल्टर का इस्तेमाल करें:

नीचे दिए गए ऐनिमेशन में एक कन्वलूशनल लेयर दिखाई गई है, जिसमें 5x5 इनपुट मैट्रिक्स वाले नौ कन्वर्ज़न हैं. ध्यान दें कि हर कन्वर्ज़न ऐक्शन, इनपुट मैट्रिक्स के अलग-अलग 3x3 स्लाइस पर काम करता है. बनने वाले 3x3 मैट्रिक्स (दाईं ओर) में, नौ कन्वर्ज़न कार्रवाइयों के नतीजे होते हैं:

कॉन्वलूशनल न्यूरल नेटवर्क

#image

न्यूरल नेटवर्क, जिसमें कम से कम एक लेयर, कंवोल्यूशनल लेयर होती है. किसी सामान्य कॉन्वलूशनल न्यूरल नेटवर्क में नीचे दी गई लेयर के कुछ कॉम्बिनेशन होते हैं:

• कॉन्वोलूशनल लेयर
• पूलिंग लेयर
• गंभीर लेयर

कॉन्वोलूशनल न्यूरल नेटवर्क को इमेज पहचानने जैसी कुछ समस्याओं में काफ़ी सफलता मिली है.

कॉन्वलूशनल ऑपरेशन

#image

नीचे दिए गए दो चरणों वाले गणितीय तरीके:

1. कॉन्वोलूशनल फ़िल्टर और किसी इनपुट मैट्रिक्स के स्लाइस के एलिमेंट के हिसाब से गुणा करना. (इनपुट मैट्रिक्स के स्लाइस की रैंक और साइज़ वही होता है जो कॉन्वलूशनल फ़िल्टर की होती है.)
2. प्रॉडक्ट मैट्रिक्स में सभी वैल्यू का योग.

उदाहरण के लिए, नीचे दिए गए 5x5 इनपुट मैट्रिक्स पर विचार करें:

अब नीचे दिए गए 2x2 कॉन्वलूशनल फ़िल्टर की कल्पना करें:

हर कन्वलूशनल ऑपरेशन में इनपुट मैट्रिक्स का एक 2x2 स्लाइस होता है. उदाहरण के लिए, मान लें कि हम इनपुट मैट्रिक्स के ऊपर बाईं ओर 2x2 स्लाइस का इस्तेमाल करते हैं. इसलिए, इस स्लाइस पर कन्वर्ज़न ऑपरेशन इस तरह दिखता है:

कॉन्वोलूशनल लेयर में कॉन्वलूशनल ऑपरेशन की सीरीज़ होती है. हर कार्रवाई, इनपुट मैट्रिक्स के अलग स्लाइस पर काम करती है.

लागत

loss का समानार्थी शब्द.

को-ट्रेनिंग

सेमी-सुपरवाइज़्ड लर्निंग का तरीका खास तौर पर तब काम आता है, जब नीचे दी गई सभी स्थितियां सही हों:

• डेटासेट में, लेबल नहीं किए गए उदाहरणों और लेबल किए गए उदाहरणों का अनुपात ज़्यादा है.
• यह, कैटगरी तय करने से जुड़ी समस्या है (बाइनरी या मल्टी-क्लास).
• डेटासेट में अनुमानित सुविधाओं के दो अलग-अलग सेट होते हैं, जो एक-दूसरे से अलग और कॉम्प्लिमेंटरी हैं.

को-ट्रेनिंग से, इंडिपेंडेंट सिग्नल को ज़्यादा बेहतर सिग्नल मिलता है. उदाहरण के लिए, ऐसे क्लासिफ़िकेशन मॉडल पर ध्यान दें जिसमें इस्तेमाल की गई अलग-अलग कारों को अच्छी या खराब की कैटगरी में रखा जाता है. ऐसा हो सकता है कि आने वाली सुविधाओं के एक सेट में, कार के साल, मैन्युफ़ैक्चरर, और मॉडल जैसी एग्रीगेट विशेषताओं पर फ़ोकस किया गया हो. अनुमानित सुविधाओं का दूसरा सेट, कार के रखरखाव के इतिहास और पिछले मालिक के ड्राइविंग रिकॉर्ड पर फ़ोकस कर सकता है.

को-ट्रेनिंग के लिए, ब्लूम ऐंड मिशेल ने लेबल और बिना लेबल वाले डेटा को को-ट्रेनिंग के साथ को-ट्रेनिंग के तौर पर शामिल किया.

काउंटरफ़ैक्चुअल फ़ेयरनेस

#fairness

फ़ेयरनेस मेट्रिक, जिससे यह पता चलता है कि कैटगरी तय करने वाला टूल, एक या उससे ज़्यादा संवेदनशील एट्रिब्यूट को छोड़कर, किसी एक व्यक्ति के लिए एक जैसे नतीजे दिखाता है या नहीं. काउंटरफ़ैक्चुअल फ़ेयरनेस के लिए क्लासिफ़ायर का मूल्यांकन करना, किसी मॉडल में पक्षपात वाले संभावित सोर्स को सामने लाने का एक तरीका है.

काउंटरफ़ैक्चुअल फ़ेयरनेस के बारे में ज़्यादा जानने के लिए, "जब वर्ल्ड्स कोलाइड: निष्पक्षता में अलग-अलग काउंटरफ़ैक्चुअल आकलन को इंटिग्रेट करना" देखें.

कवरेज बायस

#fairness

चुनाव में पक्षपात देखें.

क्रैश ब्लॉसम

#language

ऐसा वाक्य या वाक्यांश जिसका मतलब साफ़ न हो. क्रैश ब्लॉसम, स्वाभाविक भाषा की समझ में एक बड़ी समस्या पेश करते हैं. उदाहरण के लिए, हेडलाइन Red Tape Holds अप स्काईस्क्रेपर क्रैश ब्लॉसम है. इसकी वजह यह है कि एनएलयू मॉडल, हेडलाइन को लिटरल तौर पर या आकर्षक तरीके से समझ सकता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

बस इस रहस्यमयी हेडलाइन को साफ़ करने के लिए:

• रेड टेप का मतलब इनमें से किसी एक हो सकता है:
  • चिपकने वाला
  • अत्यधिक नौकरशाही
• होल्ड अप करने की सुविधा का मतलब है कि इनमें से कोई एक स्थिति हो सकती है:
  • स्ट्रक्चर के लिए सहायता
  • पैसे ट्रांसफ़र करने में देरी

---

आलोचक

#rl

Deep Q-Network का समानार्थी शब्द.

क्रॉस-एंट्रॉपी

लॉग लॉस को एक से ज़्यादा कैटगरी में बांटने से जुड़ी समस्याओं के बारे में जानकारी देना. क्रॉस-एंट्रॉपी दो प्रॉबबिलिटी डिस्ट्रिब्यूशन के बीच के अंतर को मापती है. यह भी देखें मुश्किल.

क्रॉस-वैलिडेशन

कोई model, model से रोके गए एक या एक से ज़्यादा डेटा सबसेट के साथ ओवरलैप न होने वाले डेटा सबसेट के साथ टेस्ट करके, नए डेटा का अनुमान लगा सकता है.

क्यूमुलेटिव डिस्ट्रिब्यूशन फ़ंक्शन (सीडीएफ़)

यह एक ऐसा फ़ंक्शन है जो टारगेट वैल्यू से कम या उसके बराबर, सैंपल की फ़्रीक्वेंसी तय करता है. उदाहरण के लिए, सतत मानों के सामान्य वितरण पर विचार करें. सीडीएफ़ से आपको पता चलता है कि करीब 50% नमूने, मीन से कम या उसके बराबर होने चाहिए. साथ ही, करीब 84% सैंपल, मीन से ज़्यादा एक स्टैंडर्ड डिविएशन के बराबर या उससे कम होने चाहिए.

D

डेटा का विश्लेषण

सैंपल, मेज़रमेंट, और विज़ुअलाइज़ेशन पर विचार करके डेटा को समझना. डेटा का विश्लेषण करना खास तौर पर तब काम आ सकता है, जब कोई डेटासेट पहली बार मिलने पर यानी पहला model बनने से पहले, डेटासेट मिल जाए. प्रयोगों को समझने और सिस्टम की समस्याओं को डीबग करने के लिए भी यह ज़रूरी है.

डेटा में सुधार

#image

ट्रेनिंग के उदाहरणों की रेंज और उनकी संख्या को आर्टिफ़िशियल तरीके से बढ़ावा देना. इसके लिए, मौजूदा उदाहरणों को बदलकर कोई और उदाहरण बनाया जा सकता है. उदाहरण के लिए, मान लें कि इमेज आपकी सुविधाओं में से एक हैं, लेकिन आपके डेटासेट में मॉडल के लिए, काम के असोसिएशन सीखने के लिए, इमेज के ज़रूरी उदाहरण नहीं हैं. आम तौर पर, आपको अपने डेटासेट में लेबल वाली ज़रूरत के मुताबिक इमेज जोड़नी होंगी, ताकि मॉडल को सही तरीके से ट्रेन किया जा सके. अगर ऐसा नहीं किया जा सकता, तो डेटा को बेहतर बनाने की सुविधा हर इमेज को घुमा सकती है, फैला सकती है, और दिखा सकती है, ताकि मूल तस्वीर के कई वैरिएंट बनाए जा सकें. इससे बेहतरीन ट्रेनिंग चालू करने के लिए, लेबल किया गया डेटा मिल सकता है.

DataFrame

#fundamentals

एक लोकप्रिय पांडा डेटा टाइप, जो मेमोरी में डेटासेट को दिखाता है.

DataFrame, किसी टेबल या स्प्रेडशीट के जैसा होता है. DataFrame के हर कॉलम का एक नाम (हेडर) होता है और हर लाइन की पहचान एक यूनीक नंबर से की जाती है.

DataFrame के हर कॉलम को 2D कलेक्शन की तरह बनाया जाता है. हालांकि, हर कॉलम को अपना डेटा टाइप असाइन किया जा सकता है.

आधिकारिक pandas.DataFrame रेफ़रंस पेज भी देखें.

डेटा समानता

ट्रेनिंग या अनुमान को स्केल करने का एक तरीका, जो एक पूरे मॉडल को कई डिवाइसों पर कॉपी करता है और फिर इनपुट डेटा का सबसेट हर डिवाइस में भेजता है. डेटा एक साथ काम करने से, बहुत बड़े बैच साइज़ पर ट्रेनिंग और अनुमान लगाया जा सकता है. हालांकि, डेटा एक साथ काम करने के लिए ज़रूरी है कि मॉडल, सभी डिवाइसों पर फ़िट होने के हिसाब से छोटा हो.

आम तौर पर, डेटा पैरललिज़्म ट्रेनिंग और अनुमान की प्रोसेस को तेज़ी से पूरा करता है.

मॉडल पैरललिज़्म भी देखें.

डेटा सेट या डेटासेट

#fundamentals

रॉ डेटा का कलेक्शन, आम तौर पर (हालांकि, खास तौर पर नहीं), यहां दिए गए किसी एक फ़ॉर्मैट में व्यवस्थित किया जाता है:

• एक स्प्रेडशीट
• CSV (कॉमा से अलग की गई वैल्यू) फ़ॉर्मैट में कोई फ़ाइल

डेटासेट एपीआई (tf.data)

#TensorFlow

यह हाई-लेवल TensorFlow एपीआई है. यह डेटा पढ़ने और उसे ऐसे फ़ॉर्म में बदलने के लिए है जो मशीन लर्निंग एल्गोरिदम के लिए ज़रूरी है. tf.data.Dataset ऑब्जेक्ट, एलिमेंट का क्रम दिखाता है. इसमें हर एलिमेंट में एक या उससे ज़्यादा टेन्सर होते हैं. tf.data.Iterator ऑब्जेक्ट, Dataset के एलिमेंट का ऐक्सेस देता है.

डेटासेट एपीआई के बारे में ज़्यादा जानकारी के लिए, TensorFlow प्रोग्रामर की गाइड में दिया गया tf.data: Build TensorFlow इनपुट पाइपलाइन देखें.

फ़ैसले की सीमा

क्लास के बीच सेपरेटर को, जिसे किसी मॉडल ने बाइनरी क्लास या मल्टी-क्लास क्लासिफ़िकेशन की समस्याओं में सीखा है. उदाहरण के लिए, नीचे दी गई इमेज में बाइनरी क्लासिफ़िकेशन की समस्या दिखाई गई है. फ़ैसले की सीमा, ऑरेंज क्लास और ब्लू क्लास के बीच की सीमा है:

डिसिज़न फ़ॉरेस्ट

#df

एक से ज़्यादा डिसीज़न ट्री से बनाया गया मॉडल. डिसिज़न फ़ॉरेस्ट, अपने डिसिज़न ट्री के अनुमानों को इकट्ठा करके अनुमान लगाता है. डिसिज़न फ़ॉरेस्ट के लोकप्रिय टाइप में, रैंडम फ़ॉरेस्ट और ग्रेडिएंट बूस्टेड ट्री शामिल हैं.

फ़ैसला लेने के लिए ज़रूरी आमदनी

कैटगरी तय करने के थ्रेशोल्ड के लिए समानार्थी शब्द.

डिसिज़न ट्री

#df

यह निगरानी में रखा गया लर्निंग मॉडल है, जो हैरारकी के हिसाब से व्यवस्थित conditions और conditions के सेट से बना है. उदाहरण के लिए, यह एक डिसिज़न ट्री है:

डिकोडर

#language

आम तौर पर, ऐसा कोई भी एमएल सिस्टम जो प्रोसेस किए गए, सघन या अंदरूनी वर्शन से ज़्यादा रॉ, स्पार्स या बाहरी वर्शन में बदलता है.

डिकोडर अक्सर किसी बड़े मॉडल का हिस्सा होते हैं. इन्हें अक्सर एन्कोडर के साथ जोड़ा जाता है.

क्रम से चलने वाले टास्क में, डिकोडर अगले क्रम का अनुमान लगाने के लिए, एन्कोडर की अंदरूनी स्थिति से शुरू होता है.

ट्रांसफ़ॉर्मर आर्किटेक्चर में, डिकोडर की परिभाषा जानने के लिए, ट्रांसफ़ॉर्मर पढ़ें.

डीप मॉडल

#fundamentals

ऐसा न्यूरल नेटवर्क जिसमें एक से ज़्यादा छिपी हुई लेयर हों.

डीप मॉडल को डीप न्यूरल नेटवर्क भी कहा जाता है.

चौड़ा मॉडल के साथ कंट्रास्ट.

डीप न्यूरल नेटवर्क

डीप मॉडल के लिए समानार्थी शब्द.

डीप क्यू-नेटवर्क (DQN)

#rl

Q-लर्निंग में, एक डीप न्यूरल नेटवर्क है, जो Q-फ़ंक्शन का अनुमान लगाता है.

आलोचक, डीप क्यू-नेटवर्क का एक समानार्थी शब्द है.

डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) की समानता

#fairness

फ़ेयरनेस मेट्रिक का इस्तेमाल तब किया जाता है, जब किसी मॉडल की कैटगरी के नतीजे, दिए गए संवेदनशील एट्रिब्यूट पर निर्भर न हों.

उदाहरण के लिए, अगर लिलिपुटियन और ब्रोबडिंगनागियन, दोनों ग्लबडबड्रिब यूनिवर्सिटी में आवेदन करते हैं, तो डेमोग्राफ़िक समानता तब मिलती है, जब लिलिप्युटियन लोगों का प्रतिशत बराबर हो.

समान स्थिति और अवसर की समानता के बीच अंतर है. इससे, कैटगरी तय करने के नतीजों को संवेदनशील विशेषताओं पर निर्भर होने की अनुमति मिलती है. हालांकि, संवेदनशील एट्रिब्यूट पर निर्भर होने के लिए, बताए गए बुनियादी तथ्य वाले लेबल के लिए, कैटगरी में बांटने के नतीजों की अनुमति नहीं दी जाती. विज़ुअलाइज़ेशन में अंतर जानने के लिए, "स्मार्ट मशीन लर्निंग की मदद से भेदभाव करना" लेख पढ़ें.

ग़ैर-ज़रूरी आवाज़ें कम करना

#language

सेल्फ़-सुपरवाइज़्ड लर्निंग का एक सामान्य तरीका है, जिसमें:

1. डेटासेट में शोर को गलत तरीके से जोड़ा गया है.
2. model, ग़ैर-ज़रूरी आवाज़ों को हटाने की कोशिश करता है.

आवाज़ को बंद करने पर, बिना लेबल वाले उदाहरणों से सीखने की सुविधा मिलती है. ओरिजनल डेटासेट, टारगेट या लेबल के तौर पर और शोर वाले डेटा को इनपुट के तौर पर इस्तेमाल करता है.

कुछ मास्क किए गए भाषा के मॉडल, ग़ैर-ज़रूरी आवाज़ों का इस्तेमाल इस तरह करते हैं:

1. कुछ टोकन को मास्क करके, बिना लेबल वाले वाक्य में गलत तरीके से नॉइज़ जोड़ा जाता है.
2. मॉडल, ओरिजनल टोकन का अनुमान लगाने की कोशिश करता है.

सघन सुविधा

#fundamentals

ऐसी सुविधा जिसमें ज़्यादातर या सभी वैल्यू ज़ीरो नहीं हैं. आम तौर पर, फ़्लोटिंग-पॉइंट वैल्यू का टेन्सर होता है. उदाहरण के लिए, यहां दिए गए 10 एलिमेंट Tensor काफ़ी सघन हैं, क्योंकि इसकी 9 वैल्यू ज़ीरो नहीं हैं:

8

3

7

5

2

4

0

4

9

6

स्पार्स सुविधा के बीच अंतर है.

सघन लेयर

पूरी तरह से कनेक्ट की गई लेयर के लिए समानार्थी शब्द.

गहराई

#fundamentals

न्यूरल नेटवर्क में इन चीज़ों का योग:

• छिपी हुई लेयर की संख्या
• आउटपुट लेयर की संख्या, जो आम तौर पर एक होती है
• एम्बेड की जा रही लेयर की संख्या

उदाहरण के लिए, पांच छिपी हुई लेयर और एक आउटपुट लेयर वाले न्यूरल नेटवर्क की गहराई 6 है.

ध्यान दें कि इनपुट लेयर, डेप्थ पर असर नहीं डालती है.

डेप्थवाइज़ सेपरेबल कॉन्वलूशनल न्यूरल नेटवर्क (sepCNN)

#image

कंवोलूशनल न्यूरल नेटवर्क इनसेप्शन पर आधारित एक आर्किटेक्चर है. हालांकि, इसमें इंसेप्शन मॉड्यूल को बेहतर तरीके से अलग किए जा सकने वाले कॉन्वलेशन से बदला जाता है. इसे Xसेप्शन के नाम से भी जाना जाता है.

गहराई से अलग किए जा सकने वाले कन्वलूशन (इसे अलग किए जा सकने वाले कन्वलूशन भी कहा जाता है) से, स्टैंडर्ड 3D कन्वलूशन को दो अलग-अलग कन्वलूशन ऑपरेशंस में शामिल किया जाता है. ये कंप्यूटेशन के हिसाब से ज़्यादा असरदार होते हैं: पहला, ज़्यादा गहराई वाला कॉन्वलूशन, जिसमें एक की डेप्थ (न गु गु गुन 1 1) और फिर दूसरी नंबर 1 पॉइंट की चौड़ाई के साथ.

ज़्यादा जानने के लिए, Xception: Deep Learning के साथ डेप्थवाइज़ सेपरेबल कन्वर्ज़न लेख पढ़ें.

डिराइव्ड लेबल

प्रॉक्सी लेबल का समानार्थी शब्द.

डिवाइस

#TensorFlow

#GoogleCloud

ओवरलोड हुए शब्द, जिसकी ये दो संभावित परिभाषाएं हैं:

1. हार्डवेयर की ऐसी कैटगरी जो TensorFlow सेशन चला सकती है. इसमें सीपीयू, जीपीयू, और TPU शामिल हैं.
2. ऐक्सेलरेटर चिप पर एमएल मॉडल को ट्रेनिंग देते समय, सिस्टम का वह हिस्सा होता है जो टेन्सर और एम्बेड करने में हेर-फेर करता है. डिवाइस, ऐक्सेलरेटर चिप पर काम करता है. वहीं दूसरी ओर, होस्ट आम तौर पर सीपीयू पर चलता है.

डिफ़रेंशियल प्राइवसी

मशीन लर्निंग में, किसी मॉडल की ट्रेनिंग सेट में मौजूद संवेदनशील जानकारी (जैसे, किसी व्यक्ति की निजी जानकारी) को सार्वजनिक करने के लिए, पहचान छिपाने का एक तरीका इस्तेमाल किया जाता है. इससे यह पक्का होता है कि model किसी व्यक्ति के बारे में ज़्यादा जानकारी नहीं रखता या याद नहीं रखता. इसके लिए, सैंपल ट्रेनिंग के दौरान नॉइज़ जोड़कर और अलग-अलग डेटा पॉइंट को धुंधला किया जा सकता है. इससे संवेदनशील ट्रेनिंग डेटा के सार्वजनिक होने का जोखिम कम हो जाता है.

मशीन लर्निंग के अलावा, डिफ़रेंशियल प्राइवसी का भी इस्तेमाल किया जाता है. उदाहरण के लिए, डेटा साइंटिस्ट, अलग-अलग डेमोग्राफ़िक्स के लिए प्रॉडक्ट के इस्तेमाल के आंकड़ों का हिसाब लगाते समय, व्यक्तिगत निजता की सुरक्षा के लिए कभी-कभी डिफ़रेंशियल प्राइवसी का इस्तेमाल करते हैं.

डाइमेंशन में कमी

किसी फ़ीचर वेक्टर में किसी खास सुविधा को दिखाने के लिए इस्तेमाल किए जाने वाले डाइमेंशन की संख्या को कम करना. आम तौर पर, ऐसा एम्बेड किए जाने वाले वेक्टर में बदलकर किया जाता है.

आयाम

ओवरलोड हुए शब्द, जिसकी कोई भी परिभाषा दी गई है:

• Tensor में निर्देशांक के लेवल की संख्या. उदाहरण के लिए:

  • किसी स्केलर का डाइमेंशन शून्य होता है. उदाहरण के लिए, ["Hello"].
  • किसी वेक्टर में एक डाइमेंशन होता है, जैसे कि [3, 5, 7, 11].
  • मैट्रिक्स में दो डाइमेंशन होते हैं. उदाहरण के लिए, [[2, 4, 18], [5, 7, 14]].

  आप एक-विमीय वेक्टर में किसी विशेष सेल को खास तौर पर एक निर्देशांक के साथ तय कर सकते हैं; किसी द्वि-आयामी मैट्रिक्स में किसी खास सेल को खास तौर से बताने के लिए आपको दो निर्देशांकों की ज़रूरत होगी.

• किसी फ़ीचर वेक्टर में एंट्री की संख्या.

• एम्बेड की जाने वाली लेयर में एलिमेंट की संख्या.

सीधे तौर पर सूचना देना

#language

#generativeAI

ज़ीरो-शॉट प्रॉम्प्टिंग का पर्यायवाची.

डिस्क्रीट सुविधा

#fundamentals

ऐसी सुविधा जिसमें संभावित वैल्यू के सीमित सेट हों. उदाहरण के लिए, ऐसी सुविधा जिसकी वैल्यू सिर्फ़ जानवर, सब्ज़ियां या मिनरल हो सकती हैं, वह अलग (या कैटगरी के हिसाब से) सुविधा है.

लगातार मिलने वाली सुविधा के बीच अंतर है.

डिस्क्रिमिनेटिव मॉडल

ऐसा model जो एक या एक से ज़्यादा model के सेट से model का अनुमान लगाता है. आधिकारिक तौर पर, डिस्क्रिमिनेटिव मॉडल, सुविधाओं और वज़न के आधार पर किसी आउटपुट की शर्त के हिसाब से प्रॉबबिलिटी तय करते हैं; जैसे:

p(output | features, weights)

उदाहरण के लिए, ऐसा मॉडल जो अनुमान लगाता है कि सुविधाओं और वेट में मौजूद ईमेल स्पैम है या नहीं, यह भेदभाव वाला मॉडल है.

सुपरवाइज़्ड लर्निंग के ज़्यादातर मॉडल, क्लासिफ़िकेशन और रिग्रेशन मॉडल के साथ-साथ, डिस्क्रिमिनेटिव मॉडल हैं.

जनरेटिव मॉडल के बीच कंट्रास्ट करें.

डिस्क्रिमिनेटर

एक ऐसा सिस्टम जो तय करता है कि उदाहरण असली हैं या नकली.

इसके अलावा, जनरेटिव ऐडवर्सल नेटवर्क का सबसिस्टम, यह तय करता है कि जनरेटर के बनाए गए उदाहरण असली हैं या नकली.

अलग-अलग तरह का असर

#fairness

ऐसे लोगों के बारे में फ़ैसले लेना जिनसे जनसंख्या के अलग-अलग सबग्रुप पर बुरा असर पड़ता है. आम तौर पर, यह उन स्थितियों के बारे में बताता है जिनमें एल्गोरिदम की वजह से फ़ैसला लेने की प्रक्रिया, कुछ सबग्रुप को दूसरों की तुलना में ज़्यादा नुकसान पहुंचाती है या उन्हें फ़ायदा पहुंचाती है.

उदाहरण के लिए, मान लीजिए कि किसी लिलिप्यूटियन को मिनिएचर-होम लोन के लिए मंज़ूरी देने वाला एल्गोरिदम, उन्हें "मंज़ूरी नहीं है" कैटगरी में रख सकता है. ऐसा तब होगा, जब उनके डाक पते में कोई पिन कोड हो. अगर इस बात की संभावना ज़्यादा है कि बिग-एंडियन लिलिपुटियन, लिटल-एंडियन लिलिप्यूटियन की तुलना में इस पिन कोड वाले डाक पते वाले ईमेल पते रखते हैं, तो इस एल्गोरिदम का असर अलग-अलग हो सकता है.

अलग-अलग ट्रीटमेंट के उलट, दोनों में अंतर होता है. इन असमानताओं पर तब ध्यान दिया जाता है, जब सबग्रुप की विशेषताएं एल्गोरिदम से जुड़ी फ़ैसला लेने की प्रोसेस के लिए साफ़ तौर पर इनपुट होती हैं.

अलग-अलग ट्रीटमेंट

#fairness

किसी व्यक्ति की संवेदनशील विशेषताओं को एल्गोरिदम की मदद से फ़ैसला लेने के लिए इस प्रोसेस में शामिल करना. इससे, लोगों के अलग-अलग सबग्रुप के साथ अलग-अलग तरह का व्यवहार किया जाता है.

उदाहरण के लिए, एक ऐसा एल्गोरिदम देखें जो लिलीप्युटीन के क़र्ज़ के आवेदन में दिए गए डेटा के आधार पर, यह तय करता है कि उनके लिए मिनिएचर-होम लोन लेने की शर्तें क्या हैं. अगर एल्गोरिदम, इनपुट के तौर पर लिलिपुटियन की अफ़िलिएशन को बिग-एंडियन या लिटिल-एंडियन के तौर पर इस्तेमाल करता है, तो यह उस डाइमेंशन के साथ अलग व्यवहार लागू कर रहा है.

असमान प्रभाव के विपरीत, जिसमें सबग्रुप पर एल्गोरिदम से जुड़े फ़ैसलों के सामाजिक असर में असमानता पर ध्यान दिया जाता है, भले ही वे सबग्रुप मॉडल के लिए इनपुट हों या नहीं.

चेतावनी: संवेदनशील एट्रिब्यूट, डेटा की अन्य सुविधाओं से हमेशा जुड़े होते हैं. इसलिए, एट्रिब्यूट की संवेदनशील जानकारी को साफ़ तौर पर हटाने से इस बात की गारंटी नहीं मिलती कि सबग्रुप को एक जैसा मान लिया जाएगा. उदाहरण के लिए, ट्रेनिंग डेटासेट से डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) की संवेदनशील विशेषताओं को हटाने से, जिसमें अब भी पिन कोड है.

डिस्टिलेशन

#generativeAI

किसी model (जिसे model कहा जाता है) के साइज़ को कम करके एक ऐसा छोटा मॉडल (जिसे model कहा जाता है) बनाने की प्रोसेस जो ओरिजनल मॉडल के अनुमानों को पूरी ईमानदारी से फ़ॉलो करती है. डिस्टिलेशन करना फ़ायदेमंद है, क्योंकि बड़े मॉडल (शिक्षक) की तुलना में छोटे मॉडल के दो मुख्य फ़ायदे होते हैं:

• कम समय में अनुमान लगाएं
• कम मेमोरी और ऊर्जा का इस्तेमाल

हालांकि, छात्र-छात्राओं के अनुमान आम तौर पर उतने अच्छे नहीं होते जितने शिक्षक के.

डिस्टिलेशन, छात्र-छात्राओं के मॉडल को ट्रेनिंग देता है, ताकि लॉस फ़ंक्शन को कम किया जा सके. यह मॉडल, छात्र-छात्रा और शिक्षक के मॉडल के अनुमान के आउटपुट के बीच के अंतर के आधार पर बनाया जाता है.

डिस्टिलेशन की तुलना, नीचे दिए गए शब्दों से करें:

• फ़ाइन-ट्यूनिंग
• प्रॉम्प्ट-आधारित लर्निंग

डिस्ट्रिब्यूशन

किसी सुविधा या लेबल के लिए, अलग-अलग वैल्यू की फ़्रीक्वेंसी और रेंज. डिस्ट्रिब्यूशन से यह पता चलता है कि किसी खास वैल्यू की कितनी संभावना है.

नीचे दी गई इमेज में दो अलग-अलग डिस्ट्रिब्यूशन के हिस्टोग्राम दिखाए गए हैं:

• बाईं ओर, संपत्ति के अधिकार वाले कानून के हिसाब से ऐसेट के अधिकार रखने वाले लोगों की संख्या की तुलना में दिखाया गया है.
• दाईं ओर, ऊंचाई का सामान्य डिस्ट्रिब्यूशन, उस ऊंचाई वाले लोगों की संख्या की तुलना में दिखाया गया है.

हर सुविधा और लेबल के डिस्ट्रिब्यूशन को समझने से, आपको वैल्यू नॉर्मलाइज़ करने और आउटलेयर का पता लगाने का तरीका पता चलेगा.

डिस्ट्रिब्यूशन से बाहर वाक्यांश ऐसी वैल्यू को दिखाता है जो डेटासेट में नहीं दिखती है या बहुत कम मिलती है. उदाहरण के लिए, शनि ग्रह की इमेज को बिल्ली की इमेज वाले डेटासेट के लिए डिस्ट्रिब्यूशन में शामिल नहीं किया जाएगा.

डिवीसिव क्लस्टरिंग

#clustering

हैरारकी क्लस्टरिंग देखें.

डाउनसैंपलिंग

#image

इन शब्दों में से किसी एक का मतलब ओवरलोड हो सकता है:

• किसी मॉडल को ज़्यादा बेहतर तरीके से ट्रेन करने के लिए, सुविधा में जानकारी की मात्रा कम करना. उदाहरण के लिए, इमेज पहचानने वाले मॉडल को ट्रेनिंग देने से पहले, हाई रिज़ॉल्यूशन वाली इमेज को लो-रिज़ॉल्यूशन वाले फ़ॉर्मैट में डाउनसैंपल करना.
• क्लास में ज़्यादा प्रतिनिधित्व किए गए उदाहरणों के आधार पर ट्रेनिंग करना. इसका मकसद उन क्लास के लिए मॉडल ट्रेनिंग को बेहतर बनाना है जिन्हें ज़्यादा लोग नहीं देते. उदाहरण के लिए, किसी क्लास-असंतुलित डेटासेट में, मॉडल मॉजरिटी क्लास के बारे में काफ़ी जानकारी हासिल करते हैं और अल्पसंख्यक क्लास के बारे में काफ़ी जानकारी नहीं देते. डाउनसैंपलिंग से, बहुसंख्यक और अल्पसंख्यक क्लास के बीच मिलने वाली ट्रेनिंग को संतुलित रखने में मदद मिलती है.

डीक्यूएन

#rl

Deep Q-Network का छोटा नाम.

ड्रॉप-आउट रेगुलराइज़ेशन

न्यूरल नेटवर्क की ट्रेनिंग में रेगुलराइज़ेशन का एक तरीका. ड्रॉप-आउट रेगुलराइज़ेशन, एक ही ग्रेडिएंट चरण के लिए नेटवर्क लेयर में यूनिट की तय संख्या के रैंडम सिलेक्शन को हटा देता है. जितनी ज़्यादा इकाइयां हटाई जाएंगी, नियमित रूप से उतना ही मज़बूत होगा. यह नेटवर्क को बहुत बड़े साइज़ के छोटे नेटवर्क के इकट्ठा किए हुए नेटवर्क को एम्युलेट करने की ट्रेनिंग देने के जैसा है. पूरी जानकारी के लिए, ड्रॉपआउट: न्यूरल नेटवर्क को ज़रूरत से ज़्यादा फ़िट होने से रोकने का एक आसान तरीका देखें.

डाइनैमिक

#fundamentals

कुछ ऐसा जो बार-बार या लगातार होता रहे. डाइनैमिक और ऑनलाइन शब्द, मशीन लर्निंग में एक जैसे मतलब वाले शब्द हैं. मशीन लर्निंग में डाइनैमिक और ऑनलाइन इस्तेमाल के कुछ सामान्य तरीके यहां दिए गए हैं:

• डाइनैमिक मॉडल (या ऑनलाइन मॉडल) ऐसा मॉडल है जिसे बार-बार या लगातार फिर से ट्रेनिंग दी जाती है.
• डाइनैमिक ट्रेनिंग (या ऑनलाइन ट्रेनिंग), बार-बार या लगातार होने वाली ट्रेनिंग की प्रोसेस है.
• डाइनैमिक अनुमान (या ऑनलाइन अनुमान), मांग के आधार पर अनुमान जनरेट करने की प्रोसेस है.

डाइनैमिक मॉडल

#fundamentals

ऐसा model जिसे बार-बार (बार-बार भी हो सकता है) फिर से ट्रेनिंग दी जाती है. डाइनैमिक मॉडल, "हमेशा सीखते रहने वाला व्यक्ति" होता है. यह लगातार बदलते डेटा के हिसाब से ढलता रहता है. डाइनैमिक मॉडल को ऑनलाइन मॉडल भी कहा जाता है.

स्टैटिक मॉडल के बीच कंट्रास्ट करें.

E

ईगर एक्ज़ीक्यूशन

#TensorFlow

TensorFlow प्रोग्रामिंग का ऐसा प्लैटफ़ॉर्म जिसमें operations तुरंत चलते हैं. वहीं दूसरी ओर, ग्राफ़ लागू करने में बताई गई कार्रवाइयां तब तक नहीं चलती हैं, जब तक उनका साफ़ तौर पर आकलन नहीं किया जाता. एक्ज़ीक्यूशन एक ज़रूरी इंटरफ़ेस है. यह बहुत कुछ प्रोग्रामिंग भाषाओं के कोड की तरह है. आम तौर पर, तेज़ी से काम करने वाले प्रोग्राम को ग्राफ़ पर एक्ज़ीक्यूशन प्रोग्राम के मुकाबले डीबग करना ज़्यादा आसान होता है.

तय समय से पहले रुकना

#fundamentals

रेगुलराइज़ेशन का एक तरीका, जिसमें ट्रेनिंग में कमी खत्म होने से पहले ट्रेनिंग खत्म की जाती है. शुरुआत में, जब पुष्टि किए जाने वाले डेटासेट की परफ़ॉर्मेंस में गिरावट बढ़ने लगती है, तब आप जान-बूझकर मॉडल को ट्रेनिंग देना बंद कर देते हैं. इसका मतलब है कि जब सामान्य तौर पर लागू होने वाली सुविधा की परफ़ॉर्मेंस खराब हो जाती है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

शुरुआत में ही रुकना थोड़ा मुश्किल लग सकता है. नुकसान कम होने के बावजूद, मॉडल को ट्रेनिंग बंद करने के लिए कहना शायद ऐसा लग सकता है कि मीठा पूरी तरह बनने से पहले शेफ़ को शेफ़ को खाना पकाना बंद करने के लिए कहना हो. हालांकि, किसी मॉडल को बहुत लंबे समय तक ट्रेनिंग देने पर, ओवरफ़िटिंग की ज़रूरत पड़ सकती है. इसका मतलब है कि अगर आपने किसी मॉडल को बहुत लंबे समय के लिए ट्रेनिंग दी है, तो वह मॉडल ट्रेनिंग डेटा में इतना फ़िट हो सकता है कि वह नए उदाहरणों के लिए सही अनुमान न लगा पाए.

---

अर्थ मूवर की दूरी (EMD)

दो डिस्ट्रिब्यूशन की सापेक्षिकता का माप. अर्थ मूवर की दूरी जितनी कम होगी, वितरण भी उतना ही समान होंगे.

दूरी में बदलाव करें

#language

इस बात का मेज़रमेंट कि दो मिलती-जुलती टेक्स्ट स्ट्रिंग एक-दूसरे से कितनी मिलती-जुलती हैं. मशीन लर्निंग में, दूरी में बदलाव करना काम का होता है, क्योंकि इससे कंप्यूट करना आसान होता है. साथ ही, एक जैसी दिखने वाली दो स्ट्रिंग की तुलना करने या किसी दी गई स्ट्रिंग से मिलती-जुलती स्ट्रिंग ढूंढने का असरदार तरीका होता है.

बदलाव की दूरी की कई परिभाषाएं हैं, जिनमें से हर एक में अलग-अलग स्ट्रिंग ऑपरेशन का इस्तेमाल होता है. उदाहरण के लिए, लेवेनशेटिन की दूरी कम से कम मिटाएं, डालें, और विकल्प के तौर पर दूसरी कार्रवाइयां तय करती है.

उदाहरण के लिए, "हार्ट" और "डार्ट" शब्दों के बीच लेवेनशेटिन की दूरी तीन है, क्योंकि नीचे दिए गए तीन बदलाव ऐसे हैं जो एक शब्द को दूसरे में बदलने के लिए कम से कम बदलाव हैं:

1. दिल → बंद करें ("h" की जगह "d") का इस्तेमाल करें
2. deart → dart (delete "e")
3. डार्ट → डार्ट ("s" डालें)

इनंसम नोटेशन

दो टेन्सर को एक साथ जोड़ने का तरीका बताने वाला नोटेशन. एक टेंसर के एलिमेंट को दूसरे टेंसर के एलिमेंट से गुणा करके, टेंसर को जोड़ा जाता है, तो इन एलिमेंट को आपस में जोड़ा जाता है. आइनसम नोटेशन में, हर टेंसर के ऐक्सिस की पहचान करने के लिए, सिंबल का इस्तेमाल किया जाता है. इन सिंबल को नए टेंसर का आकार तय करने के लिए फिर से व्यवस्थित किया जाता है.

NumPy एक सामान्य Einsum को लागू करने की सुविधा देता है.

लेयर एम्बेड करना

#language

#fundamentals

एक खास छिपी हुई लेयर, जो हाई-डाइमेंशन वाली कैटगरिकल सुविधा की मदद से धीरे-धीरे ट्रेनिंग लेती है, ताकि लो डाइमेंशन एम्बेडिंग वेक्टर को धीरे-धीरे समझा जा सके. एम्बेड करने वाली लेयर, न्यूरल नेटवर्क को सिर्फ़ हाई-डाइमेंशन कैटगरीकल सुविधा की ट्रेनिंग देने के बजाय, बेहतर तरीके से ट्रेनिंग देने में मदद करती है.

उदाहरण के लिए, फ़िलहाल पृथ्वी में पेड़ों की करीब 73,000 प्रजातियों को इकट्ठा किया जाता है. मान लीजिए कि आपके मॉडल में पेड़ों की प्रजातियां एक सुविधा है. इसलिए, आपके मॉडल की इनपुट लेयर में 73,000 एलिमेंट लंबा वन-हॉट वेक्टर है. उदाहरण के लिए, शायद baobab को कुछ इस तरह से दिखाया जाएगा:

73,000 एलिमेंट वाला कलेक्शन बहुत बड़ा होता है. अगर मॉडल में एम्बेडिंग लेयर नहीं जोड़ी जाती है, तो ट्रेनिंग में बहुत समय लग सकता है. ऐसा 72,999 शून्य को गुणा करने की वजह से होता है. हो सकता है कि आपने 12 डाइमेंशन शामिल करने के लिए, एम्बेड करने वाली लेयर चुनी हो. ऐसे में, एम्बेड करने वाली लेयर, पेड़ की हर प्रजाति के लिए धीरे-धीरे एक नया एम्बेडिंग वेक्टर सीखेगी.

कुछ मामलों में, एम्बेड करने वाली लेयर का हैशिंग एक अच्छा विकल्प है.

एम्बेड किया जा रहा स्पेस

#language

हाई-डाइमेंशन वेक्टर स्पेस में मौजूद डी-डाइमेंशन वेक्टर स्पेस को मैप किया जाता है. आम तौर पर, एम्बेड करने की जगह में ऐसा स्ट्रक्चर होता है जिससे गणित के सही नतीजे मिलते हैं. उदाहरण के लिए, एम्बेड करने की बेहतरीन जगह में, एम्बेड करने की जगह को जोड़ने और घटाने से, शब्दों से जुड़ी तुलनाओं को हल किया जा सकता है.

दो एम्बेड के डॉट प्रॉडक्ट से पता चलता है कि वे कितने मिलते-जुलते हैं.

एम्बेडिंग वेक्टर

#language

मोटे तौर पर, यह किसी भी छिपी हुई लेयर से लिए गए फ़्लोटिंग-पॉइंट नंबर का कलेक्शन होता है. यह लेयर, छिपे हुए लेयर के इनपुट के बारे में बताती है. अक्सर, एम्बेडिंग वेक्टर, फ़्लोटिंग-पॉइंट नंबर का कलेक्शन होता है, जिसे एम्बेडिंग लेयर में ट्रेन किया जाता है. उदाहरण के लिए, मान लें कि एम्बेड करने वाली किसी लेयर को, पृथ्वी पर मौजूद पेड़ों की 73,000 प्रजातियों में से हर प्रजाति के लिए, एम्बेड करने वाला वेक्टर सीखना चाहिए. शायद यहां दिया गया कलेक्शन, बैओबैब ट्री के लिए एम्बेडिंग वेक्टर है:

एम्बेडिंग वेक्टर, रैंडम नंबरों का ग्रुप नहीं होता. एम्बेड करने वाली लेयर, ट्रेनिंग के ज़रिए इन वैल्यू को तय करती है. ठीक उसी तरह, जिस तरह ट्रेनिंग के दौरान न्यूरल नेटवर्क अन्य वैल्यू के बारे में सीखता है. कलेक्शन का हर एलिमेंट, पेड़ों की प्रजातियों की कुछ विशेषताओं को ध्यान में रखकर रेटिंग है. कौनसा एलिमेंट, पेड़ की किस प्रजाति की विशेषता के बारे में बताता है? यह इंसानों के लिए तय करना बहुत मुश्किल है.

एम्बेडिंग वेक्टर का गणितीय रूप से अहम हिस्सा यह है कि मिलते-जुलते आइटम में फ़्लोटिंग-पॉइंट नंबर के मिलते-जुलते सेट होते हैं. उदाहरण के लिए, पेड़ की मिलती-जुलती प्रजातियों में, पेड़ की मिलती-जुलती प्रजातियों की तुलना में फ़्लोटिंग पॉइंट की संख्या ज़्यादा मिलती-जुलती होती है. रेडवुड और सिक्वॉया, पेड़ों की प्रजाति से जुड़े हैं. इसलिए, उनके पास रेडवुड और नारियल के पेड़ों की तुलना में, फ़्लोटिंग-पॉइंटिंग नंबर ज़्यादा होंगे. हर बार मॉडल को फिर से ट्रेनिंग देने पर, एम्बेडिंग वेक्टर की संख्याएं बदल जाएंगी. भले ही, मॉडल को एक जैसे इनपुट के साथ फिर से ट्रेनिंग दी जाए.

एंपिरिकल क्यूमुलेटिव डिस्ट्रिब्यूशन फ़ंक्शन (eCDF या EDF)

किसी असली डेटासेट से प्रयोग से जुड़े माप पर आधारित क्यूमुलेटिव डिस्ट्रिब्यूशन फ़ंक्शन. x-ऐक्सिस पर किसी भी पॉइंट पर फ़ंक्शन की वैल्यू, डेटासेट में मौजूद निगरानी के वे हिस्से होती हैं जो तय की गई वैल्यू से कम या उसके बराबर होते हैं.

एंपिरिकल रिस्क मिनिमाइज़ेशन (ईआरएम)

ऐसा फ़ंक्शन चुनना जिससे ट्रेनिंग सेट में होने वाले नुकसान को कम किया जा सके. स्ट्रक्चरल जोखिम कम करने के साथ कंट्रास्ट.

एन्कोडर

#language

सामान्य तौर पर, ऐसा कोई भी एमएल सिस्टम जो रॉ, स्पैर्स या बाहरी रूप से बने कॉन्टेंट को ज़्यादा प्रोसेस, डेंसिटी या ज़्यादा इंटरनल रिप्रज़ेंटेशन में बदलता है.

एन्कोडर, बड़े मॉडल के कॉम्पोनेंट होते हैं और उन्हें बार-बार डीकोडर के साथ जोड़ा जाता है. कुछ ट्रांसफ़ॉर्मर , एन्कोडर को डिकोडर के साथ जोड़ते हैं. हालांकि, अन्य ट्रांसफ़ॉर्मर, सिर्फ़ एन्कोडर या डीकोडर का इस्तेमाल करते हैं.

कुछ सिस्टम, डेटा की कैटगरी तय करने या रिग्रेशन नेटवर्क के इनपुट के तौर पर, एन्कोडर के आउटपुट का इस्तेमाल करते हैं.

सीक्वेंस-टू-सीक्वेंस टास्क में, एन्कोडर एक इनपुट सीक्वेंस लेता है और एक इंटरनल स्टेट (वेक्टर) दिखाता है. इसके बाद, डिकोडर अगले क्रम का अनुमान लगाने के लिए, उस अंदरूनी स्थिति का इस्तेमाल करता है.

ट्रांसफ़ॉर्मर आर्किटेक्चर में एन्कोडर की परिभाषा जानने के लिए, ट्रांसफ़ॉर्मर पेज पर जाएं.

एन्सेंबल

ऐसे मॉडल का कलेक्शन जिन्हें अलग से ट्रेनिंग दी जाती है, जिनके अनुमानों का औसत निकाला जाता है या इन्हें इकट्ठा किया जाता है. कई मामलों में, एक मॉडल से बेहतर अनुमान मिलता है. उदाहरण के लिए, रैंडम फ़ॉरेस्ट कई डिसीज़न ट्री से बनाया गया ग्रुप है. ध्यान दें कि सभी फ़ैसले लेने वाले जंगल एक जैसे नहीं होते.

एन्ट्रॉपी

#df

इन्फ़ॉर्मेशन थ्योरी में, इस बात की जानकारी दी गई है कि डिस्ट्रिब्यूशन की कितनी संभावना है. इसके अलावा, एंट्रॉपी से यह भी पता चलता है कि हर उदाहरण में कितनी जानकारी मौजूद है. किसी डिस्ट्रिब्यूशन का एंट्रॉपी सबसे ज़्यादा तब होता है, जब रैंडम वैरिएबल की सभी वैल्यू एक जैसी होती हैं.

दो संभावित वैल्यू "0" और "1" वाले सेट की एंट्रॉपी में ये फ़ॉर्मूला हैं: जैसे, बाइनरी क्लासिफ़िकेशन की समस्या वाले लेबल)

  H = -p लॉग p - q लॉग q = -p लॉग p - (1-p) * लॉग (1-p)

कहां:

• H एंट्रॉपी है.
• p, "1" उदाहरणों का कोई हिस्सा है.
• q, "0" उदाहरणों का कोई हिस्सा है. ध्यान दें कि q = (1 - p)
• log आम तौर पर लॉग₂ होता है. इस मामले में, एंट्रॉपी इकाई थोड़ी होती है.

उदाहरण के लिए, मान लें कि:

• 100 उदाहरणों में "1" वैल्यू शामिल है
• 300 उदाहरणों में "0" वैल्यू शामिल है

इसलिए, एंट्रॉपी का मान है:

• p = 0.25
• q = 0.75
• H = (-0.25)लॉग₂(0.25) - (0.75)लॉग₂(0.75) = हर उदाहरण के लिए 0.81 बिट

जो सेट पूरी तरह से बैलेंस हो (उदाहरण के लिए, 200 "0"s और 200 "1"s) में हर उदाहरण के लिए 1.0 बिट की एंट्रॉपी होगी. जैसे-जैसे कोई सेट ज़्यादा असंतुलित होता जाता है, उसका एंट्रॉपी 0.0 की ओर बढ़ता जाता है.

डिसिज़न ट्री में एंट्रॉपी, जानकारी हासिल करने में मदद करता है. इससे स्प्लिटर को क्लासिफ़िकेशन डिसीज़न ट्री के बढ़ने के दौरान शर्तें चुनने में मदद मिलती है.

एंट्रॉपी की तुलना इनके साथ करें:

• गिनी इंप्युरिटी
• क्रॉस-एंट्रॉपी लॉस फ़ंक्शन

एंट्रॉपी को अक्सर शैनन एंट्रॉपी कहा जाता है.

वातावरण

#rl

रीइन्फ़ोर्समेंट लर्निंग में, वह दुनिया जिसमें एजेंट होता है और एजेंट को दुनिया के राज्य की जानकारी देता है. उदाहरण के लिए, यहां दिखाई गई दुनिया शतरंज जैसा खेल या भूलभुलैया जैसी फ़िज़िकल दुनिया हो सकती है. जब एजेंट एनवायरमेंट में कोई कार्रवाई लागू करता है, तो एनवायरमेंट, राज्यों के बीच बदल जाता है.

एपिसोड

#rl

रीइन्फ़ोर्समेंट लर्निंग में, एजेंट की ओर से एनवायरमेंट के बारे में जानने की बार-बार कोशिश की जाती है.

epoch

#fundamentals

पूरे ट्रेनिंग सेट के लिए एक पूरा ट्रेनिंग पास, जैसे कि हर उदाहरण को एक बार प्रोसेस किया गया हो.

epoch N/बैच साइज़ की ट्रेनिंग दोहरावों को दिखाता है. यहां N, उदाहरणों की कुल संख्या है.

उदाहरण के लिए, मान लें कि:

• इस डेटासेट में 1,000 उदाहरण हैं.
• बैच साइज़ में 50 उदाहरण दिए गए हैं.

इसलिए, एक epoch को 20 बार दोहराने की ज़रूरत होती है:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

ऐपसिलॉन लालची नीति

#rl

रीइन्फ़ोर्समेंट लर्निंग के लिए, ऐसी नीति जो या तो ऐसी रैंडम नीति का पालन करती हो जिसमें ऐपसिलॉन की संभावना हो या लालची नीति हो. उदाहरण के लिए, अगर Epsilon 0.9 है, तो यह नीति 90% बार रैंडम नीति का और 10% बार लालची नीति का पालन करती है.

एक के बाद एक आने वाले एपिसोड में, एल्गोरिदम, ऐपिलॉन की वैल्यू को कम कर देता है, ताकि किसी भी क्रम में लगाई गई नीति के बजाय लालची नीति का पालन किया जा सके. नीति को बदलने से एजेंट, पहले किसी भी क्रम में एनवायरमेंट को एक्सप्लोर करता है और फिर बिना सोचे-समझे रैंडम एक्सप्लोरेशन (विश्लेषण का तरीका) के नतीजों का फ़ायदा उठाता है.

समान अवसर

#fairness

फ़ेयरनेस मेट्रिक. इससे यह पता लगाया जाता है कि कोई मॉडल, संवेदनशील एट्रिब्यूट की सभी वैल्यू के लिए, मनमुताबिक नतीजे का बराबर अनुमान लगा रहा है या नहीं. दूसरे शब्दों में, अगर किसी मॉडल के लिए ज़रूरी नतीजा पॉज़िटिव क्लास है, तो लक्ष्य यह होगा कि सही पॉज़िटिव रेट सभी ग्रुप के लिए एक ही हो.

अवसरों की समानता, समान संभावना से जुड़ी है, जिसके लिए ज़रूरी है कि सभी ग्रुप के लिए, ट्रू पॉज़िटिव रेट और फ़ॉल्स पॉज़िटिव रेट, दोनों एक जैसे हों.

मान लीजिए कि ग्लूबडबड्रिब यूनिवर्सिटी, लिलीपुटियन और ब्रोबडिंगनागियन, दोनों को गणित के कड़े प्रोग्राम में शामिल करती है. लिलिप्युटियन के सेकंडरी स्कूलों में गणित की कक्षाओं का बेहतरीन पाठ्यक्रम उपलब्ध है. इनमें से ज़्यादातर छात्र-छात्राएं यूनिवर्सिटी के प्रोग्राम की ज़रूरी शर्तें पूरी करते हैं. ब्रोबडिंगनागियन के सेकंडरी स्कूलों में गणित की कोई भी क्लास नहीं होती. इसकी वजह से, उनके छात्र-छात्राओं की संख्या बहुत कम है. राष्ट्रीयता (लिलिप्यूटियन या ब्रोबडिंगनाजियन) के हिसाब से "मंज़ूरी दिए गए" लेबल के पसंदीदा लेबल के लिए समान अवसर की बराबरी है, अगर काबिल छात्र-छात्राओं को भी अनुमति मिलने की एक ही संभावना है, चाहे वे लिलिपुटियन हों या ब्रोबडिंगनैजियन.

उदाहरण के लिए, मान लें कि ग्लबडुबड्रिब यूनिवर्सिटी में 100 लिलिप्यूटियन और 100 ब्रोबडिंगनैगियन आवेदन करते हैं और इनमें दाखिला लेने का फ़ैसला इस तरह लिया जाता है:

टेबल 1. लिलिप्यूटियन आवेदक (90% क्वालिफ़ाइड)

	क्वालिफ़ाई किया है	अयोग्य
शामिल किया गया	45	3
अस्वीकार किया गया	45	7
कुल	90	10
योग्य छात्र-छात्राओं का प्रतिशत: 45/90 = 50% काबिल न होने वाले छात्र-छात्राओं का प्रतिशत अस्वीकार किया गया: 7/10 = 70% लिलीप्यूट के छात्र-छात्राओं का कुल प्रतिशत: (45+3)/100 = 48%

 

टेबल 2. ब्रोबडिंगनागियन आवेदक (10% योग्यता रखने वाले हैं):

	क्वालिफ़ाई किया है	अयोग्य
शामिल किया गया	5	9
अस्वीकार किया गया	5	81
कुल	10	90
आवेदन करने वाले योग्य छात्र-छात्राओं का प्रतिशत: 5/10 = 50% आवेदन नहीं कर पाने वाले छात्र-छात्राओं का प्रतिशत: 81/90 = 90% ब्रोबडिंगनागियन छात्र-छात्राओं का कुल प्रतिशत: (5+9)/100 = 14%

पहले दिए गए उदाहरण, योग्यता पूरी करने वाले छात्र-छात्राओं को मंज़ूरी पाने के समान अवसर देते हैं. इसकी वजह यह है कि क्वालीफ़ाइड लिलिप्यूटियन और ब्रोबडिंगनागियन, दोनों के पास एडमिशन मिलने की 50% संभावना है.

हालांकि, अवसरों के समान अवसर सही हैं, लेकिन इन दो निष्पक्षता मेट्रिक से संतुष्ट नहीं हैं:

• डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) के हिसाब से: लिलिप्यूटियन और ब्रोबडिंगनागियन को यूनिवर्सिटी में अलग-अलग रेट पर दाखिला मिलता है. लिलिपुटियन के 48% छात्र-छात्राओं को इसमें शामिल किया जाता है, लेकिन ब्रोबडिंगनागियन के सिर्फ़ 14% छात्र-छात्राओं को ही इसमें शामिल किया जाता है.
• एक जैसी शर्तें: लिलिप्युटियन और ब्रोबडिंगनाजियन, दोनों ही योग्यता पूरी करने वाले छात्र-छात्राओं को इसमें शामिल होने का एक जैसा मौका मिलता है. हालांकि, योग्यता न पाने वाले लिलिपुटियन और ब्रोबडिंगनैगियन, दोनों के पास एक जैसी दिक्कतें हैं. इससे संतुष्ट नहीं है. ज़रूरी शर्तें पूरी न करने वाले लिलिप्युटियन के लोगों की अस्वीकार किए जाने की दर 70% है, जबकि ज़रूरी शर्तें पूरी न करने वाले ब्रोबडिंगनैगियन के अस्वीकार करने की दर 90% है.

अवसरों में समानता के बारे में ज़्यादा जानकारी के लिए, "सुपरवाइज़्ड लर्निंग में अवसर की समानता" देखें. इसके अलावा, "स्मार्ट मशीन लर्निंग के साथ भेदभाव पर हमला करना" भी देखें. ऐसा करने से, आपको बराबरी का मौका देने के लिए ऑप्टिमाइज़ करते समय, आंकड़ों के विज़ुअलाइज़ेशन को समझने में मदद मिलेगी.

बराबरी की संभावना

#fairness

यह फ़ेयरनेस मेट्रिक से पता चलता है कि कोई मॉडल, किसी संवेदनशील एट्रिब्यूट की सभी वैल्यू के लिए, नतीजों का बराबर अनुमान लगा रहा है या नहीं. यह मेट्रिक, पॉज़िटिव क्लास और नेगेटिव क्लास, दोनों के लिए होती है. सिर्फ़ एक क्लास या किसी अन्य क्लास के लिए नहीं. दूसरे शब्दों में, सभी ग्रुप के लिए ट्रू पॉज़िटिव रेट और गलत नेगेटिव रेट, दोनों एक ही होने चाहिए.

समान संभावना, अवसर की समानता से जुड़ी है, जिसका फ़ोकस सिर्फ़ एक क्लास (पॉज़िटिव या नेगेटिव) के लिए गड़बड़ी की दर पर होता है.

उदाहरण के लिए, मान लें कि ग्लबडुबड्रिब यूनिवर्सिटी, लिलिप्यूटियन और ब्रोब्डिंगनैगियन, दोनों को गणित के मुश्किल प्रोग्राम में शामिल करती है. लिलिप्युटियन के सेकंडरी स्कूलों में गणित की कक्षाओं का बेहतर पाठ्यक्रम उपलब्ध होता है. इनमें से ज़्यादातर छात्र-छात्राएं यूनिवर्सिटी प्रोग्राम के लिए क्वालीफ़ाइड होते हैं. ब्रोबडिंगनागियन के सेकंडरी स्कूल में गणित की कोई क्लास नहीं जाती. इसकी वजह से, उनके छात्र-छात्राओं में बहुत कम छात्र-छात्राएं पढ़ते हैं. शर्तों के मुताबिक

मान लीजिए कि ग्लबडुबड्रिब यूनिवर्सिटी में 100 लिलिपुटियन और 100 ब्रोबडिंगनागियन आवेदन करते हैं और इनमें दाखिला लेने का फ़ैसला इस तरह लिया जाता है:

टेबल 3. लिलिप्यूटियन आवेदक (90% क्वालिफ़ाइड)

	क्वालिफ़ाई किया है	अयोग्य
शामिल किया गया	45	2
अस्वीकार किया गया	45	8
कुल	90	10
योग्य छात्र-छात्राओं का प्रतिशत: 45/90 = 50% काबिल न होने वाले छात्र-छात्राओं का प्रतिशत अस्वीकार किया गया: 8/10 = 80% लिलीप्यूट के छात्र-छात्राओं का कुल प्रतिशत: (45+2)/100 = 47%

 

टेबल 4. ब्रोबडिंगनागियन आवेदक (10% योग्यता रखने वाले हैं):

	क्वालिफ़ाई किया है	अयोग्य
शामिल किया गया	5	18
अस्वीकार किया गया	5	72
कुल	10	90
योग्य छात्र-छात्राओं का प्रतिशत: 5/10 = 50% आवेदन नहीं करने वाले छात्र-छात्राओं का प्रतिशत: 72/90 = 80% ब्रोबडिंगनागियन छात्र-छात्राओं का कुल प्रतिशत: (5+18)/100 = 23%

बराबरी वाली मुश्किलों का सामना करना पड़ता है, क्योंकि लिलिप्यूटियन और ब्रोबडिंगनागियन, दोनों ही छात्र-छात्राओं को इसमें शामिल होने की संभावना 50% है. वहीं, काबिल न होने वाले लिलिप्यूटियन और ब्रोबडिंगनागियन, दोनों के आवेदन अस्वीकार होने की संभावना 80% है.

ध्यान दें: यहां बराबरी की स्थिति का सामना किया जा सकता है, लेकिन डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) के बीच एक जैसी चीज़ें संतुष्ट नहीं हैं. लिलिप्युटियन और ब्रोबडिंगनागियन छात्र-छात्राओं को ग्लबडुबड्रिब यूनिवर्सिटी में अलग-अलग रेट पर दाखिला दिया जाता है. लिलिप्यूटियन में 47% छात्र-छात्राएं और ब्रोबडिंगनैजियन छात्र-छात्राओं में से 23% छात्र-छात्राओं को इसमें शामिल किया जाता है.

समान सीमाओं को औपचारिक तौर पर "सुपरवाइज़्ड लर्निंग में अवसर की समानता" इस तरह परिभाषित किया गया है: "प्रीडिक्टर CANNOT TRANSLATE

ध्यान दें: ज़्यादा आरामदेह अवसर मेट्रिक के साथ कंट्रास्ट को बराबर कर दिया जाता है.

अनुमान

#TensorFlow

TensorFlow एपीआई अब काम नहीं करता. अनुमान के बजाय, tf.keras का इस्तेमाल करें.

इवैलुएशन

किसी मशीन लर्निंग मॉडल के अनुमान की क्वालिटी मापने की प्रोसेस. मॉडल बनाते समय, आम तौर पर इवैलुएशन मेट्रिक को सिर्फ़ ट्रेनिंग सेट पर ही नहीं, बल्कि पुष्टि करने के सेट और टेस्ट सेट पर भी लागू किया जाता है. इवैलुएशन मेट्रिक का इस्तेमाल करके, अलग-अलग मॉडल की तुलना एक-दूसरे से की जा सकती है.

उदाहरण

#fundamentals

सुविधाओं की एक पंक्ति की वैल्यू और किसी लेबल की वैल्यू. सुपरवाइज़्ड लर्निंग के उदाहरणों की ये दो सामान्य कैटगरी हैं:

• लेबल किए गए उदाहरण में एक या उससे ज़्यादा सुविधाएं और एक लेबल होता है. ट्रेनिंग के दौरान लेबल किए गए उदाहरणों का इस्तेमाल किया जाता है.
• लेबल नहीं किए गए उदाहरण में एक या उससे ज़्यादा सुविधाएं होती हैं, लेकिन कोई लेबल नहीं होता. बिना लेबल वाले उदाहरणों का इस्तेमाल अनुमान के दौरान किया जाता है.

उदाहरण के लिए, मान लें कि आपको किसी मॉडल को ट्रेनिंग देनी है, ताकि यह छात्र-छात्राओं के टेस्ट स्कोर पर मौसम की स्थितियों के असर का पता लगा सके. लेबल किए गए तीन उदाहरण यहां दिए गए हैं:

सुविधाएं			लेबल
तापमान	नमी	दबाव	टेस्ट के स्कोर
15	47	998	पसंद आया
19	34	1020	बहुत बढ़िया
18	92	1012	खराब

यहां बिना लेबल वाले तीन उदाहरण दिए गए हैं:

तापमान	नमी	दबाव
12	62	1014
21	47	1017
19	41	1021

उदाहरण के लिए, डेटासेट की लाइन आम तौर पर रॉ सोर्स होती है. आम तौर पर, उदाहरण में डेटासेट में कॉलम का सबसेट होता है. उदाहरण में दिए गए सुविधाओं में, सिंथेटिक सुविधाएं भी शामिल हो सकती हैं, जैसे कि फ़ीचर क्रॉस.

फिर से चलाने की सुविधा का अनुभव

#rl

रीइन्फ़ोर्समेंट लर्निंग में, DQN तकनीक का इस्तेमाल किया जाता है. इसकी मदद से, ट्रेनिंग डेटा के बीच के समय के संबंध को कम किया जाता है. एजेंट, स्टेटस ट्रांज़िशन को रीप्ले बफ़र में सेव करता है. इसके बाद, वह ट्रेनिंग डेटा बनाने के लिए, रीप्ले बफ़र से ट्रांज़िशन के सैंपल लेता है.

एक्सपेरिमेंट करने वाले का बायस

#fairness

पुष्टि का मापदंड देखें.

विस्फोट ग्रेडिएंट की समस्या

#seq

डीप न्यूरल नेटवर्क (खास तौर पर, बार-बार होने वाले न्यूरल नेटवर्क) में ग्रेडिएंट का स्तर बहुत ज़्यादा (ज़्यादा) हो जाता है. तेज़ ग्रेडिएंट की वजह से, डीप न्यूरल नेटवर्क में हर नोड के वेट में अक्सर बहुत ज़्यादा अपडेट होते हैं.

जिस मॉडल में विस्फोट होने की वजह से बदलाव होता है उसे ट्रेन करना मुश्किल या नामुमकिन हो जाता है. ग्रेडिएंट क्लिपिंग से यह समस्या कम हो सकती है.

विलुप्त ग्रेडिएंट समस्या से तुलना करें.

म॰

₁

"रोल-अप" बाइनरी क्लासिफ़िकेशन मेट्रिक, जो सटीक और रीकॉल, दोनों पर निर्भर करती है. यहां फ़ॉर्मूला दिया गया है:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

उदाहरण के लिए, इसके लिए नीचे दी गई जानकारी देखें:

• प्रिसिज़न = 0.6
• रीकॉल = 0.4

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

जब सटीक और रीकॉल बिलकुल एक जैसे होते हैं (जैसा कि पिछले उदाहरण में बताया गया है), तब F₁ अपने मीन के करीब होता है. जब सटीक जानकारी और रीकॉल में बहुत ज़्यादा अंतर होता है, तब F₁, कम वैल्यू के करीब होता है. उदाहरण के लिए:

• प्रिसिज़न = 0.9
• रीकॉल = 0.1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

फ़ेयरनेस कंस्ट्रेंट

#fairness

एल्गोरिदम में कंस्ट्रेंट लागू करके, यह पक्का किया जा सकता है कि निष्पक्षता की एक या उससे ज़्यादा परिभाषाएं पूरी की गई हों. निष्पक्षता से जुड़ी पाबंदियों के कुछ उदाहरण:

• प्रोसेस होने के बाद आपके मॉडल का आउटपुट.
• फ़ेयरनेस मेट्रिक का उल्लंघन करने पर जुर्माना लगाया जा सकता है. इसके लिए, लॉस फ़ंक्शन में बदलाव करना.
• ऑप्टिमाइज़ेशन के सवाल में गणित के सवाल सीधे तौर पर जोड़ना.

फ़ेयरनेस मेट्रिक

#fairness

"निष्पक्षता" की गणितीय परिभाषा, जिसे मापा जा सकता है. निष्पक्षता से जुड़ी आम तौर पर इस्तेमाल की जाने वाली मेट्रिक में ये शामिल हैं:

• समान शर्तें
• अनुमानित समानता
• कानूनी विरोध में निष्पक्षता
• डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) के बीच समानता

फ़ेयरनेस से जुड़ी कई मेट्रिक म्युचुअली एक्सक्लूसिव होती हैं. इनके बारे में जानने के लिए, फ़ेयरनेस मेट्रिक के साथ काम न करने वाली मेट्रिक देखें.

फ़ॉल्स नेगेटिव (एफ़एन)

#fundamentals

एक उदाहरण, जिसमें मॉडल गलती से नेगेटिव क्लास का अनुमान लगा लेता है. उदाहरण के लिए, मॉडल यह अनुमान लगाता है कि कोई ईमेल मैसेज स्पैम नहीं है (नेगेटिव क्लास है), लेकिन वह ईमेल मैसेज असल में स्पैम है.

फ़ॉल्स नेगेटिव रेट

उन वास्तविक सकारात्मक उदाहरणों का अनुपात जिनके लिए मॉडल ने गलती से नेगेटिव क्लास का अनुमान लगाया था. नीचे दिया गया फ़ॉर्मूला, गलत नेगेटिव रेट का हिसाब लगाता है:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

फ़ॉल्स पॉज़िटिव (एफ़पी)

#fundamentals

एक उदाहरण, जिसमें मॉडल गलती से पॉज़िटिव क्लास का अनुमान लगा लेता है. उदाहरण के लिए, मॉडल यह अनुमान लगाता है कि कोई खास ईमेल मैसेज स्पैम (पॉज़िटिव क्लास) है, लेकिन वह ईमेल मैसेज असल में स्पैम नहीं है.

फ़ॉल्स पॉज़िटिव रेट (एफ़पीआर)

#fundamentals

उन असल नेगेटिव उदाहरणों का अनुपात जिनके लिए मॉडल ने गलती से पॉज़िटिव क्लास का अनुमान लगाया था. यह फ़ॉर्मूला, फ़ॉल्स पॉज़िटिव रेट का हिसाब लगाता है:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

फ़ॉल्स पॉज़िटिव रेट, आरओसी कर्व में x-ऐक्सिस है.

सुविधा

#fundamentals

मशीन लर्निंग मॉडल के लिए इनपुट वैरिएबल. किसी उदाहरण में एक या एक से ज़्यादा सुविधाएं होती हैं. उदाहरण के लिए, मान लीजिए कि आपको किसी मॉडल को ट्रेनिंग देनी है, ताकि यह पता लगाया जा सके कि छात्र-छात्राओं के टेस्ट स्कोर पर मौसम की स्थितियों का क्या असर होता है. नीचे दी गई टेबल में तीन उदाहरण दिए गए हैं, जिनमें से हर एक में तीन सुविधाएं और एक लेबल है:

सुविधाएं			लेबल
तापमान	नमी	दबाव	टेस्ट के स्कोर
15	47	998	92
19	34	1020	84
18	92	1012	87

label से कंट्रास्ट करें.

फ़ीचर क्रॉस

#fundamentals

यह एक सिंथेटिक सुविधा है, जिसे "क्रॉसिंग" कैटगरीकल या बकेट की गई सुविधाओं से बनाया जाता है.

उदाहरण के लिए, एक "मूड पूर्वानुमान" मॉडल पर विचार करें, जो इन चार में से किसी एक बकेट में तापमान को दिखाता है:

• freezing
• chilly
• temperate
• warm

साथ ही, यहां दिए गए तीन बकेट में से किसी एक में हवा की रफ़्तार दिखाता है:

• still
• light
• windy

फ़ीचर क्रॉस के बिना, लीनियर मॉडल, पहले से मौजूद सात अलग-अलग बकेट पर अलग-अलग ट्रेनिंग देता है. इसलिए, मॉडल freezing को ट्रेनिंग के बिना, windy पर ट्रेनिंग देता है.

इसके अलावा, आपके पास तापमान और हवा की रफ़्तार का एक फ़ीचर क्रॉस बनाने का विकल्प भी है. इस सिंथेटिक सुविधा की ये 12 संभावित वैल्यू हो सकती हैं:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

क्रॉस की सुविधा की मदद से यह मॉडल, freezing-windy दिन और freezing-still दिन के बीच के मूड के अंतर के बारे में जान सकता है.

अगर आप दो सुविधाओं से कोई सिंथेटिक सुविधा बनाते हैं, जिनमें से हर एक में बहुत सारे अलग-अलग बकेट हैं, तो नतीजे देने वाली सुविधा के क्रॉस को एक बड़ी संख्या में संभावित कॉम्बिनेशन मिलेंगे. उदाहरण के लिए, अगर एक सुविधा में 1,000 बकेट और दूसरी सुविधा में 2,000 बकेट हैं, तो नई सुविधा के क्रॉस में 20,00,000 बकेट होंगी.

औपचारिक तौर पर, क्रॉस एक कार्टीज़न प्रॉडक्ट होता है.

फ़ीचर क्रॉस का इस्तेमाल ज़्यादातर लीनियर मॉडल के साथ किया जाता है और न्यूरल नेटवर्क के साथ बहुत ही कम इस्तेमाल किया जाता है.

फ़ीचर इंजीनियरिंग

#fundamentals

#TensorFlow

ऐसी प्रोसेस जिसमें ये चरण शामिल होते हैं:

1. यह तय करना कि किसी मॉडल की ट्रेनिंग के लिए कौनसी सुविधाएं काम की हो सकती हैं.
2. डेटासेट से रॉ डेटा को उन सुविधाओं के बेहतर वर्शन में बदलना.

उदाहरण के लिए, आपको यह तय करना पड़ सकता है कि temperature काम की सुविधा हो सकती है. इसके बाद, बकेटिंग का इस्तेमाल करके एक्सपेरिमेंट किया जा सकता है, ताकि यह ऑप्टिमाइज़ किया जा सके कि मॉडल, अलग-अलग temperature रेंज से क्या सीख सकता है.

फ़ीचर इंजीनियरिंग को कभी-कभी सुविधा से हटाना या फ़ेचुरेशन कहा जाता है.

TensorFlow के बारे में ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

TensorFlow में, फ़ीचर इंजीनियरिंग का मतलब अक्सर रॉ लॉग फ़ाइल एंट्री को tf.Example प्रोटोकॉल बफ़र में बदलना होता है. यह भी देखें tf.Transform.

---

सुविधा निकालें

ओवरलोड हुए शब्द, जिसकी इनमें से कोई एक परिभाषा है:

• बीच के लेवल पर मिलने वाली सुविधाओं को निगरानी में नहीं रखा गया या पहले से ट्रेनिंग वाले मॉडल (उदाहरण के लिए, न्यूरल नेटवर्क में छिपी हुई लेयर की वैल्यू) के हिसाब से कैलकुलेट किया गया है, ताकि किसी दूसरे मॉडल में इनपुट के तौर पर इस्तेमाल किया जा सके.
• फ़ीचर इंजीनियरिंग का समानार्थी शब्द.

सुविधाओं की अहमियत

#df

वैरिएबल की अहमियत के लिए समानार्थी शब्द.

सुविधाओं का सेट

#fundamentals

आपकी मशीन लर्निंग मॉडल की ट्रेनिंग के लिए इस्तेमाल होने वाली सुविधाओं का ग्रुप. उदाहरण के लिए, पिन कोड, प्रॉपर्टी का साइज़, और प्रॉपर्टी की स्थिति, ऐसे मॉडल के लिए एक सामान्य सुविधा सेट हो सकती है जो घरों की कीमतों का अनुमान लगाती है.

सुविधा की खास बातें

#TensorFlow

यह tf.Example प्रोटोकॉल बफ़र से, सुविधाओं का डेटा एक्सट्रैक्ट करने के लिए ज़रूरी जानकारी देता है. ऐसा इसलिए, क्योंकि tf.Example प्रोटोकॉल बफ़र, सिर्फ़ डेटा के लिए एक कंटेनर है. इसलिए, आपको यह जानकारी देनी होगी:

• एक्सट्रैक्ट किया जाने वाला डेटा (यानी, सुविधाओं की कुंजियां)
• डेटा टाइप (उदाहरण के लिए, फ़्लोट या int)
• लंबाई (तय या अलग-अलग)

फ़ीचर वेक्टर

#fundamentals

feature की वैल्यू के कलेक्शन में एक उदाहरण शामिल है. फ़ीचर वेक्टर को ट्रेनिंग के दौरान और अनुमान लगने के दौरान डाला जाता है. उदाहरण के लिए, दो अलग-अलग सुविधाओं वाले मॉडल के लिए फ़ीचर वेक्टर ये हो सकता है:

[0.92, 0.56]

हर उदाहरण, फ़ीचर वेक्टर के लिए अलग-अलग वैल्यू देता है. इसलिए, अगले उदाहरण के लिए फ़ीचर वेक्टर कुछ इस तरह हो सकता है:

[0.73, 0.49]

फ़ीचर इंजीनियरिंग से यह तय होता है कि फ़ीचर वेक्टर में सुविधाओं को कैसे दिखाया जाए. उदाहरण के लिए, पांच संभावित वैल्यू वाली बाइनरी कैटगरी वाली सुविधा को वन-हॉट एन्कोडिंग के साथ दिखाया जा सकता है. इस मामले में, किसी खास उदाहरण के लिए फ़ीचर वेक्टर के हिस्से में चार शून्य और तीसरी स्थिति में एक 1.0 होगा, जो इस तरह है:

[0.0, 0.0, 1.0, 0.0, 0.0]

एक अन्य उदाहरण के रूप में, मान लें कि आपके मॉडल में तीन सुविधाएं हैं:

• एक बाइनरी कैटगरीकल सुविधा जिसमें पांच संभावित वैल्यू होती हैं. इन्हें एक-हॉट एन्कोडिंग से दिखाया जाता है; उदाहरण के लिए: [0.0, 1.0, 0.0, 0.0, 0.0]
• अन्य बाइनरी कैटगरी से जुड़ी सुविधा, जिसमें तीन संभावित वैल्यू होती हैं. इन्हें वन-हॉट एन्कोडिंग के साथ दिखाया जाता है; उदाहरण के लिए: [0.0, 0.0, 1.0]
• फ़्लोटिंग-पॉइंट वाली सुविधा का इस्तेमाल करें; उदाहरण के लिए: 8.3.

इस मामले में, हर उदाहरण के लिए फ़ीचर वेक्टर को नौ वैल्यू से दिखाया जाएगा. पिछली सूची में उदाहरण के तौर पर दी गई वैल्यू दी गई हैं, तो फ़ीचर वेक्टर यह होगा:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

रंग-रूप की सुविधा

किसी इनपुट सोर्स (जैसे, दस्तावेज़ या वीडियो) से सुविधाओं को निकालने और उन सुविधाओं को फ़ीचर वेक्टर में मैप करने की प्रोसेस.

मशीन लर्निंग के कुछ विशेषज्ञ, फ़ीचर इंजीनियरिंग या सुविधा का इस्तेमाल करने की सुविधा के लिए, फ़ंक्शनलाइज़ेशन का इस्तेमाल करते हैं.

फ़ेडरेटेड लर्निंग

डिस्ट्रिब्यूटेड मशीन लर्निंग का तरीका, जो स्मार्टफ़ोन जैसे डिवाइसों पर मौजूद मशीन लर्निंग मॉडल को डीसेंट्रलाइज़्ड उदाहरण का इस्तेमाल करके ट्रेनिंग देता है. फ़ेडरेटेड लर्निंग में डिवाइसों का एक सबसेट, सेंट्रल कोऑर्डिनिंग सर्वर से मौजूदा मॉडल को डाउनलोड करता है. मॉडल को बेहतर बनाने के लिए डिवाइस, डिवाइस पर सेव किए गए उदाहरणों का इस्तेमाल करते हैं. इसके बाद, डिवाइस, मॉडल में किए गए सुधारों को (लेकिन ट्रेनिंग के उदाहरण नहीं) को कोऑर्डिनेटिंग सर्वर पर अपलोड करते हैं. यहां उन्हें अन्य अपडेट के साथ इकट्ठा किया जाता है, ताकि एक बेहतर ग्लोबल मॉडल तैयार किया जा सके. एग्रीगेशन के बाद, डिवाइसों से गिने गए मॉडल अपडेट की ज़रूरत नहीं रहेगी और उसे खारिज किया जा सकता है.

ट्रेनिंग के उदाहरण कभी अपलोड नहीं किए जाते, इसलिए फ़ेडरेटेड लर्निंग, डेटा कलेक्शन और डेटा इकट्ठा करने पर प्रतिबंध जैसे निजता के सिद्धांतों का पालन करती है.

फ़ेडरेटेड लर्निंग के बारे में ज़्यादा जानकारी के लिए, यह ट्यूटोरियल देखें.

फ़ीडबैक लूप

#fundamentals

मशीन लर्निंग में, एक ऐसी स्थिति जिसमें किसी मॉडल के अनुमान, उसी मॉडल या दूसरे मॉडल के ट्रेनिंग डेटा पर असर डालते हैं. उदाहरण के लिए, फ़िल्मों का सुझाव देने वाला मॉडल, लोगों को दिखने वाली फ़िल्मों पर असर डालेगा. इसके बाद, फ़िल्मों के सुझाव देने वाले मॉडल पर इसका असर पड़ेगा.

फ़ीडफ़ॉरवर्ड न्यूरल नेटवर्क (FFN)

एक न्यूरल नेटवर्क, जिसमें साइलिक या बार-बार होने वाले कनेक्शन नहीं होते. उदाहरण के लिए, ट्रेडिशनल डीप न्यूरल नेटवर्क, feedफ़ॉरवर्ड न्यूरल नेटवर्क हैं. बार-बार होने वाले न्यूरल नेटवर्क के बीच अंतर बताएं, जो चक्रीय होते हैं.

कम समय में सीखना

यह मशीन लर्निंग का एक तरीका है. इसे अक्सर ऑब्जेक्ट की कैटगरी तय करने के लिए इस्तेमाल किया जाता है. इसे ट्रेनिंग के कुछ उदाहरणों में से, सही कैटगरी तय करने वाले टूल को ट्रेनिंग देने के लिए डिज़ाइन किया गया है.

वन-शॉट लर्निंग और ज़ीरो-शॉट लर्निंग भी देखें.

कुछ ही समय में प्रॉम्प्ट भेजना

#language

#generativeAI

ऐसा प्रॉम्प्ट जिसमें एक से ज़्यादा ("कुछ") उदाहरण हों. इससे पता चलता है कि बड़े लैंग्वेज मॉडल को कैसे जवाब देना चाहिए. उदाहरण के लिए, नीचे दिए गए लंबे प्रॉम्प्ट में दो उदाहरण शामिल हैं. इनमें एक बड़ा लैंग्वेज मॉडल दिखाया गया है जिसमें किसी क्वेरी का जवाब देने का तरीका बताया गया है.

एक प्रॉम्प्ट के हिस्से	ज़रूरी जानकारी
किसी देश की आधिकारिक मुद्रा क्या है?	आपको इस सवाल का जवाब एलएलएम से देना है.
फ़्रांस: EUR	एक उदाहरण.
यूनाइटेड किंगडम: GBP	एक और उदाहरण.
भारत:	असल क्वेरी.

आम तौर पर, ज़ीरो-शॉट प्रॉम्प्ट और एक शॉट के लिए प्रॉम्प्ट की तुलना में, कुछ ही शॉट में बेहतर नतीजे मिलते हैं. हालांकि, कुछ ही शॉट में प्रॉम्प्ट भेजने के लिए, ज़्यादा लंबे प्रॉम्प्ट की ज़रूरत होती है.

कुछ शॉट के प्रॉम्प्ट देना, कुछ-कुछ सीखने का एक तरीका है. यह प्रॉम्प्ट पर आधारित लर्निंग पर लागू होता है.

वायलिन

#language

Python की पहली कॉन्फ़िगरेशन लाइब्रेरी, जो इनवेसिव कोड या इंफ़्रास्ट्रक्चर के बिना फ़ंक्शन और क्लास की वैल्यू सेट करती है. Pax और दूसरे एमएल कोडबेस के मामले में, ये फ़ंक्शन और क्लास मॉडल और ट्रेनिंग हाइपर पैरामीटर के बारे में जानकारी देते हैं.

Fiddle यह मानता है कि मशीन लर्निंग कोड बेस को आम तौर पर इनमें बांटा जाता है:

• लाइब्रेरी कोड, जो लेयर और ऑप्टिमाइज़र के बारे में बताता है.
• डेटासेट "ग्लू" कोड, लाइब्रेरी और तारों को एक साथ कॉल करता है.

Fiddle, ग्लू कोड के कॉल स्ट्रक्चर को ऐसे तरीके से कैप्चर करता है जिसकी जांच नहीं की गई है और जिसे बदला जा सकता है.

फ़ाइन ट्यूनिंग

#language

#image

#generativeAI

दूसरा, टास्क के हिसाब से दिया जाने वाला ट्रेनिंग पास, जिसे पहले से ट्रेनिंग दिए गए मॉडल पर परफ़ॉर्म किया जाता है, ताकि इस्तेमाल के किसी खास उदाहरण के लिए पैरामीटर बेहतर बनाए जा सकें. उदाहरण के लिए, कुछ बड़े लैंग्वेज मॉडल की ट्रेनिंग का पूरा सीक्वेंस इस तरह है:

1. प्री-ट्रेनिंग: एक बड़े सामान्य डेटासेट पर एक बड़े लैंग्वेज मॉडल को ट्रेनिंग दें, जैसे कि अंग्रेज़ी भाषा वाले सभी Wikipedia पेज.
2. बेहतर ट्यूनिंग: पहले से ट्रेनिंग वाले मॉडल को कोई खास टास्क करने के लिए ट्रेनिंग दें, जैसे कि चिकित्सा से जुड़ी क्वेरी का जवाब देना. आम तौर पर, फ़ाइन-ट्यूनिंग में किसी खास टास्क पर फ़ोकस करने वाले सैकड़ों या हज़ारों उदाहरण होते हैं.

एक अन्य उदाहरण में, बड़े इमेज मॉडल के लिए ट्रेनिंग का पूरा क्रम इस तरह है:

1. प्री-ट्रेनिंग: एक बड़े सामान्य इमेज डेटासेट का इस्तेमाल करके, एक बड़े इमेज मॉडल को ट्रेनिंग दें, जैसे कि Wikimedia Commons में मौजूद सभी इमेज.
2. बेहतर ट्यूनिंग: पहले से ट्रेनिंग वाले मॉडल को कोई खास काम करने के लिए ट्रेनिंग दें, जैसे कि ओरका की इमेज जनरेट करना.

फ़ाइन-ट्यूनिंग के लिए, नीचे दी गई रणनीतियों का कोई भी कॉम्बिनेशन लागू हो सकता है:

• पहले से ट्रेन किए गए मॉडल के सभी मौजूदा पैरामीटर में बदलाव करना. इसे कभी-कभी फ़ुल फ़ाइन-ट्यूनिंग भी कहा जाता है.
• पहले से ट्रेनिंग वाले मॉडल के सिर्फ़ कुछ मौजूदा पैरामीटर में बदलाव किया जाता है (आम तौर पर, आउटपुट लेयर के सबसे करीब की लेयर). आम तौर पर, अन्य मौजूदा पैरामीटर में कोई बदलाव नहीं किया जाता है. आम तौर पर, ये लेयर इनपुट लेयर के आस-पास होती हैं. पैरामीटर की बेहतर ट्यूनिंग देखें.
• ज़्यादा लेयर जोड़ना, आम तौर पर आउटपुट लेयर के सबसे करीब मौजूद लेयर के ऊपर.

फ़ाइन-ट्यूनिंग, ट्रांसफ़र लर्निंग का एक तरीका है. इसलिए, फ़ाइन-ट्यूनिंग किसी अलग तरह के नुकसान फ़ंक्शन या मॉडल टाइप का इस्तेमाल कर सकती है, जो पहले से ट्रेन किए गए मॉडल को ट्रेनिंग देने वाले फ़ंक्शन से अलग होता है. उदाहरण के लिए, पहले से ट्रेनिंग वाले बड़े इमेज मॉडल को ट्यून किया जा सकता है, ताकि ऐसा रिग्रेशन मॉडल बनाया जा सके जो इनपुट इमेज में पक्षियों की संख्या दिखाता हो.

इन शब्दों से फ़ाइन-ट्यूनिंग की तुलना करें और इनके बीच अंतर बताएं:

• डिस्टिलेशन
• प्रॉम्प्ट-आधारित लर्निंग

फ़्लैक्स

#language

JAX पर बनाई गई डीप लर्निंग के लिए, बेहतर परफ़ॉर्म करने वाली ओपन-सोर्स लाइब्रेरी. Flux ट्रेनिंग न्यूरल नेटवर्क के लिए फ़ंक्शन उपलब्ध कराता है. साथ ही, इसकी परफ़ॉर्मेंस का आकलन करने के तरीके भी देता है.

फ़्लक्सफ़ॉर्मर

#language

Flax पर बनी ओपन सोर्स ट्रांसफ़ॉर्मर लाइब्रेरी को मुख्य तौर पर, नैचुरल लैंग्वेज प्रोसेसिंग और मल्टीमोडल रिसर्च के लिए डिज़ाइन किया गया है.

गेट भूल जाओ

#seq

लॉन्ग शॉर्ट-टर्म मेमोरी सेल का वह हिस्सा जो सेल में जानकारी के फ़्लो को कंट्रोल करता है. सेल की स्थिति से किस जानकारी को खारिज करना है, यह तय करके गेट को हटाएं. इससे कॉन्टेक्स्ट बनाए रखने में मदद मिलती है.

फ़ुल सॉफ़्टमैक्स

softmax का समानार्थी शब्द.

उम्मीदवार से सैंपलिंग के साथ कंट्रास्ट.

पूरी तरह से कनेक्ट लेयर

एक छिपी हुई लेयर, जिसमें हर नोड, अगली छिपी हुई लेयर के हर नोड से जुड़ा होता है.

पूरी तरह से कनेक्ट की गई लेयर को डेंस लेयर भी कहा जाता है.

फ़ंक्शन ट्रांसफ़ॉर्मेशन

ऐसा फ़ंक्शन जो किसी फ़ंक्शन को इनपुट के तौर पर लेता है और बदले गए फ़ंक्शन को आउटपुट के तौर पर दिखाता है. JAX, फ़ंक्शन ट्रांसफ़ॉर्मेशन का इस्तेमाल करता है.

G

जीएएन

जनरेटिव ऐडवर्सल नेटवर्क के लिए छोटा नाम.

सामान्य बनाना

#fundamentals

किसी मॉडल की मदद से, नए और अनदेखे डेटा का सही अनुमान लगाया जा सकता है. जो मॉडल सामान्य हो सकता है वह ओवरफ़िट करने वाले मॉडल के उलट होता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

ट्रेनिंग सेट में दिए गए उदाहरणों के आधार पर किसी मॉडल को ट्रेनिंग दी जाती है. इसी वजह से, मॉडल को ट्रेनिंग सेट में मौजूद डेटा की खास बातों के बारे में पता चलता है. सामान्यीकरण ज़रूरी तौर पर पूछता है कि क्या आपका मॉडल उन उदाहरणों के लिए अच्छे अनुमान लगा सकता है जो ट्रेनिंग सेट में शामिल नहीं हैं.

सामान्य जानकारी को बढ़ावा देने के लिए, रेगुलराइज़ेशन, ट्रेनिंग सेट में मौजूद डेटा की विशेषताओं को कम करके, मॉडल को ट्रेनिंग देने में मदद करता है.

---

सामान्यीकरण कर्व

#fundamentals

ट्रेनिंग में होने वाली कमी और पुष्टि करने में होने वाली कमी, दोनों का एक प्लॉट. इसमें दोहरावों की संख्या बताई गई है.

जनरलाइज़ेशन कर्व की मदद से, ओवरफ़िट का पता लगाया जा सकता है. उदाहरण के लिए, नीचे दिया गया सामान्यीकरण का कर्व ओवरफ़िटिंग का सुझाव देता है, क्योंकि पुष्टि में होने वाली कमी ट्रेनिंग में होने वाली कमी से काफ़ी ज़्यादा हो जाती है.

सामान्य लीनियर मॉडल

लीस्ट स्क्वेयर रिग्रेशन मॉडल का एक सामान्यीकरण, जो गॉसियन नॉइज़ और अन्य तरह के नॉइज़ पर आधारित दूसरे टाइप के मॉडल पर आधारित है. जैसे, पॉइसन नॉइज़ या कैटगरीकल नॉइज़. सामान्य लीनियर मॉडल के उदाहरण में ये शामिल हैं:

• लॉजिस्टिक रिग्रेशन
• मल्टी-क्लास रिग्रेशन
• कम से कम स्क्वेयर रिग्रेशन

सामान्य लीनियर मॉडल के पैरामीटर को कन्वर्ज़न ऑप्टिमाइज़ेशन की मदद से ढूंढा जा सकता है.

सामान्य लीनियर मॉडल में ये प्रॉपर्टी शामिल होती हैं:

• सबसे कम वैल्यू वाले कम से कम स्क्वेयर के रिग्रेशन मॉडल का औसत अनुमान, ट्रेनिंग डेटा पर दिए गए औसत लेबल के बराबर होता है.
• सबसे अच्छे लॉजिस्टिक रिग्रेशन मॉडल से अनुमानित औसत संभावना, ट्रेनिंग डेटा पर दिए गए औसत लेबल के बराबर होती है.

सामान्य लीनियर मॉडल की क्षमता, इसकी सुविधाओं की वजह से सीमित होती है. डीप मॉडल से उलट, सामान्य लीनियर मॉडल "नई सुविधाओं को नहीं सीख सकता".

जनरेटिव ऐडवर्सल नेटवर्क (जीएएन)

नया डेटा बनाने वाला एक सिस्टम जिसमें जनरेटर, डेटा बनाता है और अलग करने वाला टूल यह तय करता है कि जनरेट किया गया डेटा मान्य है या अमान्य.

जनरेटिव एआई

#language

#image

#generativeAI

शिक्षा से जुड़ा एक उभरता हुआ फ़ील्ड, जिसमें औपचारिक परिभाषा शामिल नहीं है. ज़्यादातर विशेषज्ञों का मानना है कि जनरेटिव एआई मॉडल ऐसा कॉन्टेंट बना सकते हैं ("जनरेट") हो सकता है जो नीचे बताई गई बातों में से कोई भी हो:

• जटिल
• अनुकूल
• मूल

उदाहरण के लिए, जनरेटिव एआई मॉडल, बेहतरीन निबंध या इमेज बना सकता है.

कुछ पुरानी टेक्नोलॉजी भी ओरिजनल और दिलचस्प कॉन्टेंट जनरेट कर सकती हैं. इनमें एलएसटीएम और आरएनएन शामिल हैं. कुछ विशेषज्ञ इन शुरुआती टेक्नोलॉजी को जनरेटिव एआई मानते हैं. हालांकि, कुछ लोगों का मानना है कि जनरेटिव एआई के मुकाबले ज़्यादा मुश्किल आउटपुट की ज़रूरत होती है.

अनुमानित एमएल की सेटिंग के बीच अंतर करें.

जनरेटिव मॉडल

आम तौर पर, ऐसा मॉडल जो इनमें से कोई एक काम करता है:

• ट्रेनिंग डेटासेट से नए उदाहरण बनाता (जनरेट करता है). उदाहरण के लिए, कविताओं के डेटासेट की मदद से ट्रेनिंग लेने के बाद जनरेटिव मॉडल, कविता तैयार कर सकता है. जनरेटिव ऐडवर्सल नेटवर्क का जनरेटर वाला हिस्सा इस कैटगरी में आता है.
• इससे इस बात की संभावना तय होती है कि कोई नया उदाहरण ट्रेनिंग सेट से लिया जाएगा या उसी तरीके से बनाया गया है जिससे ट्रेनिंग सेट बनाया गया था. उदाहरण के लिए, अंग्रेज़ी वाक्यों वाले डेटासेट की ट्रेनिंग के बाद, जनरेटिव मॉडल यह तय कर सकता है कि नया इनपुट अंग्रेज़ी का मान्य वाक्य है या नहीं.

जनरेटिव मॉडल, किसी डेटासेट में मौजूद उदाहरणों या खास सुविधाओं के डिस्ट्रिब्यूशन की पहचान कर सकता है. यानी:

p(examples)

बिना निगरानी वाले लर्निंग मॉडल जनरेटिव होते हैं.

अलग-अलग जानकारी देने वाले मॉडल के बीच का अंतर देखें.

जेनरेटर

जनरेटिव ऐडवर्सल नेटवर्क का सबसिस्टम, जो नए उदाहरण बनाता है.

अलग-अलग जानकारी देने वाले मॉडल के कंट्रास्ट की तुलना करें.

गिनी इंप्युरिटी

#df

एंट्रॉपी से मिलती-जुलती मेट्रिक. स्प्लिटर डिसिज़न ट्री की कैटगरी तय करने के लिए, शर्तें तय करने के लिए, जीनी इंप्यूरिटी या एंट्रॉपी से मिली वैल्यू का इस्तेमाल करते हैं. जानकारी हासिल करना, एंट्रॉपी से मिलता है. जिनी इंप्युरिटी से बनी मेट्रिक के लिए ऐसा कोई शब्द नहीं है जिसे यूनिवर्सल रूप से स्वीकार किया जाए. हालांकि, यह बिना नाम वाली मेट्रिक, जानकारी हासिल करने जितना ही ज़रूरी है.

जिनी इंप्युरिटी को गिनी इंडेक्स या सिर्फ़ गिनी कहा जाता है.

गिनी इंप्युरिटी के बारे में गणित के बारे में जानकारी पाने के लिए, आइकॉन पर क्लिक करें.

जीनी इंप्युरिटी, उसी डिस्ट्रिब्यूशन से लिए गए डेटा के नए हिस्से को गलत कैटगरी में बांटने की संभावना होती है. दो संभावित वैल्यू "0" और "1" वाले सेट की गिनती की इंप्युरिटी (उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन से जुड़ी समस्या वाले लेबल) का हिसाब इस फ़ॉर्मूला से लगाया जाता है:

   I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

कहां:

• I यानी जिनी इंप्युरिटी है.
• p, "1" उदाहरणों का कोई हिस्सा है.
• q, "0" उदाहरणों का कोई हिस्सा है. ध्यान दें कि q = 1-p

उदाहरण के लिए, यह डेटासेट देखें:

• 100 लेबल (डेटासेट का 0.25) में "1" वैल्यू है
• 300 लेबल (डेटासेट का 0.75) में वैल्यू "0" है

इसलिए, जिनी इंप्युरिटी है:

• p = 0.25
• q = 0.75
• I = 1 - (0.25² + 0.75²) = 0.375

ऐसे में, एक ही डेटासेट के किसी रैंडम लेबल के गलत वर्गीकरण की संभावना 37.5% और सही कैटगरी में रखे जाने की संभावना 62.5% होगी.

पूरी तरह से बैलेंस किए गए लेबल (उदाहरण के लिए, 200 "0" और 200 "1"s) में गिने की इंप्युरिटी 0.5 होगी. अगर लेबल असंतुलित है, तो जिनी इंप्युरिटी 0.0 के करीब होगी.

---

गोल्डन डेटासेट

मैन्युअल तरीके से चुने गए डेटा का सेट, जो बुनियादी जानकारी को कैप्चर करता है. टीमें, मॉडल की क्वालिटी का आकलन करने के लिए, एक या उससे ज़्यादा गोल्डन डेटासेट का इस्तेमाल कर सकती हैं.

कुछ गोल्डन डेटासेट, ज़मीनी हकीकत के अलग-अलग सबडोमेन को कैप्चर करते हैं. उदाहरण के लिए, इमेज क्लासिफ़िकेशन के लिए गोल्डन डेटासेट, रोशनी की स्थिति और इमेज रिज़ॉल्यूशन को कैप्चर कर सकता है.

GPT (जनरेटिव प्री-ट्रेन्ड ट्रांसफ़ॉर्मर)

#language

ट्रांसफ़ॉर्मर पर आधारित बड़े लैंग्वेज मॉडल का फ़ैमिली ग्रुप, जिसे OpenAI ने बनाया है.

GPT के वैरिएंट कई मोडल पर लागू हो सकते हैं, जिनमें ये शामिल हैं:

• इमेज जनरेट करना (उदाहरण के लिए, ImageGPT)
• टेक्स्ट-टू-इमेज जनरेशन (उदाहरण के लिए, DALL-E).

ग्रेडिएंट

सभी इंडिपेंडेंट वैरिएबल के हिसाब से, पार्शियल डेरिवेटिव का वेक्टर. मशीन लर्निंग में, ग्रेडिएंट मॉडल फ़ंक्शन के पार्शियल डेरिवेटिव का वेक्टर होता है. सबसे ज़्यादा चढ़ाई की दिशा में ग्रेडिएंट पॉइंट.

ग्रेडिएंट कलेक्शन

backproagation तकनीक, जो हर इटरेशन पर एक बार के बजाय, सिर्फ़ हर epoch के लिए एक बार पैरामीटर को अपडेट करती है. हर मिनी-बैच को प्रोसेस करने के बाद, ग्रेडिएंट अक्युमेशन से कुल ग्रेडिएंट को अपडेट किया जाता है. इसके बाद, epoch के आखिरी मिनी-बैच को प्रोसेस करने के बाद, सिस्टम सभी ग्रेडिएंट बदलावों की कुल संख्या के आधार पर पैरामीटर अपडेट करता है.

ग्रेडिएंट ऐक्यूमेशन तब फ़ायदेमंद होता है, जब बैच का साइज़, ट्रेनिंग के लिए उपलब्ध मेमोरी की तुलना में बहुत बड़ा हो. जब मेमोरी से जुड़ी कोई समस्या हो, तो स्वाभाविक रूप से बैच का साइज़ कम हो जाता है. हालांकि, बैकप्रोपेगेशन में बैच का साइज़ कम करने से, पैरामीटर के अपडेट की संख्या बढ़ जाती है. ग्रेडिएंट संचय से मॉडल को मेमोरी की समस्याओं से बचने के साथ-साथ बेहतर तरीके से ट्रेनिंग करने में भी मदद मिलती है.

ग्रेडिएंट बूस्टेड (डिसिशन) ट्री (GBT)

#df

एक तरह का डिसिज़न फ़ॉरेस्ट, जिसमें:

• ट्रेनिंग, ग्रेडिएंट बूस्टिंग पर निर्भर करती है.
• कमज़ोर मॉडल, फ़ैसले ट्री है.

ग्रेडिएंट बूस्टिंग

#df

यह एक ट्रेनिंग एल्गोरिदम है, जिसमें कमज़ोर मॉडल को, किसी मज़बूत मॉडल की क्वालिटी को बार-बार सुधारने (जो नुकसान को कम करना है) करने की ट्रेनिंग दी जाती है. उदाहरण के लिए, कमज़ोर मॉडल, लीनियर या छोटा डिसिज़न ट्री मॉडल हो सकता है. मज़बूत मॉडल, पहले से ट्रेन किए गए कमज़ोर मॉडल का योग बन जाता है.

ग्रेडिएंट बूस्टिंग के सबसे आसान रूप में, हर इटरेशन पर, कमज़ोर मॉडल को ट्रेनिंग दी जाती है, ताकि मज़बूत मॉडल की लॉस ग्रेडिएंट का अनुमान लगाया जा सके. इसके बाद, ग्रेडिएंट डिसेंट की तरह, अनुमानित ग्रेडिएंट को घटाकर मज़बूत मॉडल के आउटपुट को अपडेट किया जाता है.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

कहां:

• $F_{0}$ शुरुआती मज़बूत मॉडल है.
• $F_{i+1}$ अगला मज़बूत मॉडल है.
• $F_{i}$ मौजूदा मज़बूत मॉडल है.
• $\xi$, 0.0 और 1.0 के बीच की एक वैल्यू होती है, जिसे शृंकेज कहते हैं. यह ग्रेडिएंट डिसेंंट में लर्निंग रेट के जैसा होता है.
• $f_{i}$ एक कमज़ोर मॉडल है, जिसे $F_{i}$ के लॉस ग्रेडिएंट का अनुमान लगाने के लिए ट्रेन किया गया है.

ग्रेडिएंट बूस्टिंग के आधुनिक वैरिएशन में उनके कंप्यूटेशन में होने वाले नुकसान का दूसरा डेरिवेटिव (हेसियन) भी शामिल है.

आम तौर पर, डिसिज़न ट्री का इस्तेमाल ग्रेडिएंट बूस्टिंग में कमज़ोर मॉडल के तौर पर किया जाता है. ग्रेडिएंट बूस्टेड (डिसिज़न) ट्री देखें.

ग्रेडिएंट क्लिपिंग

#seq

किसी मॉडल को ट्रेन करने के लिए, ग्रेडिएंट डिसेंट की ज़्यादा से ज़्यादा वैल्यू को आर्टिफ़िशियल

ग्रेडिएंट डिसेंट

#fundamentals

लॉस को कम करने की गणित की तकनीक. ग्रेडिएंट डिसेंट, धीरे-धीरे वज़न और बायस को अडजस्ट करता है, ताकि नुकसान को कम करने के लिए धीरे-धीरे सबसे अच्छा कॉम्बिनेशन ढूंढा जा सके.

ग्रेडिएंट डिसऑर्डर, मशीन लर्निंग से काफ़ी पुराना होता है.

ग्राफ़

#TensorFlow

TensorFlow में, एक कैलकुलेशन स्पेसिफ़िकेशन. ग्राफ़ में मौजूद नोड, ऑपरेशन को दिखाते हैं. किनारे डायरेक्ट किए जाते हैं और इनसे पता चलता है कि किसी कार्रवाई के नतीजे (टेन्सर) को किसी दूसरे ऑपरेशन के तौर पर पास किया जा रहा है. ग्राफ़ को विज़ुअलाइज़ करने के लिए, TensorBoard का इस्तेमाल करें.

ग्राफ़ बनाना

#TensorFlow

TensorFlow का एक प्रोग्रामिंग एनवायरमेंट है, जिसमें प्रोग्राम सबसे पहले ग्राफ़ बनाता है और फिर उस ग्राफ़ के पूरे या कुछ हिस्से को एक्ज़ीक्यूट करता है. TensorFlow 1.x में, ग्राफ़ चलाना डिफ़ॉल्ट रूप से एक्ज़ीक्यूशन मोड है.

एक्ज़ीक्यूशन के साथ कंट्रास्ट करें.

लालची नीति

#rl

रीइन्फ़ोर्समेंट लर्निंग में, ऐसी नीति होती है जो हमेशा उस ऐक्शन को चुनती है जिसकी उम्मीद ज़्यादा होती है कि रिटर्न की संभावना सबसे ज़्यादा होती है.

ज़मीनी हकीकत

#fundamentals

हकीकत.

असल में जो कुछ हुआ था.

उदाहरण के लिए, एक बाइनरी क्लासिफ़िकेशन मॉडल देखें, जो अनुमान लगाता है कि यूनिवर्सिटी के पहले साल का कोई छात्र छह साल में ग्रैजुएट होगा या नहीं. इस मॉडल की बुनियादी बात यह है कि उस छात्र/छात्रा ने छह साल में ग्रैजुएट किया है या नहीं.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

हम मॉडल की क्वालिटी का आकलन, ज़मीनी जानकारी के आधार पर करते हैं. हालांकि, ज़मीनी सच हमेशा पूरी तरह से, अच्छा, और सच्चा नहीं होता. उदाहरण के लिए, नीचे दिए गए उदाहरणों पर विचार करें, जो ज़मीनी तौर पर हो सकने वाली कमियों के उदाहरण हैं:

• ग्रैजुएशन वाले उदाहरण में, क्या हम पक्का हैं कि हर छात्र/छात्रा का ग्रैजुएशन रिकॉर्ड हमेशा सही है या नहीं? क्या यूनिवर्सिटी का रिकॉर्ड बनाए रखने में कोई गड़बड़ी है?
• मान लें कि लेबल एक फ़्लोटिंग-पॉइंट वैल्यू है, जिसे इंस्ट्रुमेंट (जैसे कि बैरोमीटर) से मापा जाता है. हम यह कैसे पक्का कर सकते हैं कि हर इंस्ट्रुमेंट को एक जैसा कैलिब्रेट किया गया हो या हर रीडिंग एक ही स्थिति में ली गई हो?
• अगर लेबल को इंसान की राय का हिस्सा बनाया गया है, तो हम यह कैसे पक्का कर सकते हैं कि हर रेटर, इवेंट का आकलन एक ही तरह से कर रहा है? एक जैसा अनुभव देने के लिए, विशेषज्ञ रेटिंग देने वाले कभी-कभी बीच में दखल देते हैं.

---

ग्रुप एट्रिब्यूशन बायस

#fairness

यह मानते हुए कि किसी व्यक्ति के लिए जो भी सही है, वह उस समूह के सभी लोगों के लिए भी सही होता है. अगर डेटा इकट्ठा करने के लिए सुविधा सैंपलिंग का इस्तेमाल किया जाता है, तो ग्रुप एट्रिब्यूशन बायस का असर बढ़ सकता है. बिना प्रतिनिधित्व वाले सैंपल में, ऐसे एट्रिब्यूशन बनाए जा सकते हैं जो वास्तविकता न दिखाते हों.

आउट-ग्रुप एकरूपता का पूर्वाग्रह और इन-ग्रुप बायस भी देखें.

H

गलत जानकारी

#language

ऐसा जनरेटिव एआई मॉडल का इस्तेमाल करके, भरोसेमंद दिखने वाला, लेकिन तथ्यों के हिसाब से गलत आउटपुट बनाना, जिसका मकसद असल दुनिया के बारे में दावा करना हो. उदाहरण के लिए, ऐसा जनरेटिव एआई मॉडल जो दावा करता है कि बराक ओबामा की 1865 में मौत हो गई थी. यह मॉडल गलती हो सकता है.

हैशिंग

मशीन लर्निंग में, कैटगरी से जुड़े डेटा को बकेट करने का एक तरीका. खास तौर पर, जब डेटासेट की संख्या ज़्यादा हो, लेकिन डेटासेट में मौजूद कैटगरी की संख्या कम हो.

उदाहरण के लिए, पृथ्वी पर पेड़ों की करीब 73,000 प्रजातियां हैं. पेड़ की 73,000 प्रजातियों में से हर प्रजाति को 73,000 अलग-अलग कैटगरी में दिखाया जा सकता है. इसके अलावा, अगर डेटासेट में पेड़ की सिर्फ़ 200 प्रजातियां दिखती हैं, तो हैशिंग का इस्तेमाल करके पेड़ की प्रजातियों को 500 बकेट में बांटा जा सकता है.

एक बकेट में पेड़ों की कई प्रजातियां हो सकती हैं. उदाहरण के लिए, हैशिंग के ज़रिए बाओबाब और रेड मेपल को एक ही बकेट में रखा जा सकता है. ये आनुवंशिक रूप से अलग-अलग प्रजाति हैं. हालांकि, बड़े कैटगरीकल सेट को बकेट की चुनी गई संख्या में मैप करने के लिए, हैशिंग अब भी एक अच्छा तरीका है. हैशिंग, बड़ी संख्या में संभावित वैल्यू वाली किसी कैटगरी की सुविधा को वैल्यू की बहुत कम संख्या में बदल देती है. इसके लिए, वैल्यू को तय करने वाले तरीके से ग्रुप करना होता है.

अनुमान से जुड़ा

किसी समस्या का आसान और तुरंत लागू किया गया समाधान. उदाहरण के लिए, "एक अनुमान से, हमने 86% सटीक नतीजे पाए. जब हमने डीप न्यूरल नेटवर्क पर स्विच किया, तो 98% ज़्यादा सटीक था."

छिपी हुई लेयर

#fundamentals

इनपुट लेयर और आउटपुट लेयर (अनुमान) के बीच, न्यूरल नेटवर्क में मौजूद एक लेयर. हर छिपी हुई लेयर में एक या उससे ज़्यादा न्यूरॉन होते हैं. उदाहरण के लिए, नीचे दिए गए न्यूरल नेटवर्क में दो छिपी हुई लेयर होती हैं. पहली में तीन न्यूरॉन और दूसरे में दो न्यूरॉन होते हैं:

डीप न्यूरल नेटवर्क में एक से ज़्यादा छिपी हुई लेयर होती हैं. उदाहरण के लिए, पिछला इलस्ट्रेशन एक डीप न्यूरल नेटवर्क है, क्योंकि इस मॉडल में दो छिपी लेयर हैं.

हैरारकीकल क्लस्टरिंग

#clustering

क्लस्टरिंग एल्गोरिदम की कैटगरी, जो क्लस्टर का ट्री बनाती है. हैरारकी के हिसाब से क्लस्टर में बांटने की सुविधा, हैरारकी के हिसाब से डेटा को बेहतर तरीके से दिखाती है, जैसे कि वनस्पति उद्यानों की अलग-अलग कैटगरी. हैरारकी वाले क्लस्टरिंग एल्गोरिदम दो तरह के होते हैं:

• एगलोमेरेटिव क्लस्टरिंग में सबसे पहले, हर उदाहरण को अपने क्लस्टर में असाइन किया जाता है. साथ ही, हैरारकी वाला पेड़ बनाने के लिए, यह सबसे नज़दीकी क्लस्टर को मर्ज करता है.
• डिविज़िव क्लस्टरिंग में सबसे पहले सभी उदाहरणों को एक क्लस्टर में रखा जाता है. इसके बाद, इन्हें फिर से क्रम के हिसाब से हैरारकी ट्री में बांटा जाता है.

सेंट्रोइड-आधारित क्लस्टरिंग के साथ कंट्रास्ट.

हिंज लॉस

लॉस के एक फ़ैमिली ग्रुप को कैटगरी तय करने के लिए डिज़ाइन किया गया है, ताकि हर ट्रेनिंग उदाहरण से फ़ैसले की सीमा को ज़्यादा से ज़्यादा दूर रखा जा सके. इससे उदाहरणों और सीमाओं के बीच का मार्जिन बढ़ता है. केएसवीएम हिंज लॉस या इससे जुड़े फ़ंक्शन का इस्तेमाल करते हैं, जैसे कि स्क्वेयर हिंज लॉस. बाइनरी कैटगरी के लिए, हिंज लॉस फ़ंक्शन को इस तरह परिभाषित किया गया है:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

जहां y, -1 या +1 का सही लेबल है. साथ ही, y' क्लासिफ़ायर मॉडल का रॉ आउटपुट है:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

इसलिए, (y * y') की तुलना में हिंज लॉस का प्लॉट इस तरह दिखता है:

ऐतिहासिक पक्षपात

#fairness

एक तरह का पूर्वाग्रह जो दुनिया में पहले से ही मौजूद है और जिसका इस्तेमाल डेटासेट के लिए किया जा चुका है. ये पूर्वाग्रह की वजह से मौजूदा सांस्कृतिक रूढ़िवादी सोच, डेमोग्राफ़िक असमानता, और कुछ खास सामाजिक समूहों के ख़िलाफ़ दर्ज पूर्वाग्रहों को दिखाने की कोशिश होती है.

उदाहरण के लिए, एक कैटगरी तय करने के मॉडल पर विचार करें जिससे यह अनुमान लगाया जा सके कि क़र्ज़ का आवेदन करने वाला कोई व्यक्ति, क़र्ज़ की डिफ़ॉल्ट रकम लेगा या नहीं. इसे दो अलग-अलग समुदायों के स्थानीय बैंकों से मिले, 1980 के दशक के क़र्ज़ के डिफ़ॉल्ट डेटा के आधार पर ट्रेनिंग दी गई थी. अगर कम्यूनिटी A के पुराने आवेदकों के क़र्ज़ की डिफ़ॉल्ट दरें कम्यूनिटी B के आवेदकों की तुलना में छह गुना ज़्यादा होती हैं, तो मॉडल को एक ऐतिहासिक पूर्वाग्रह मिल सकता है. इसकी वजह से कम्यूनिटी A में क़र्ज़ को मंज़ूरी मिलने की संभावना कम हो सकती है.

होल्डआउट डेटा

उदाहरण: ट्रेनिंग के दौरान जान-बूझकर इस्तेमाल नहीं किया गया हो ("उसे रोका गया हो"). पुष्टि का डेटासेट और टेस्ट डेटासेट, होल्डआउट के डेटा के उदाहरण हैं. होल्डआउट डेटा की मदद से यह देखा जा सकता है कि आपके मॉडल को, उस डेटा के अलावा किसी अन्य डेटा के साथ सामान्य बनाने की क्षमता है या नहीं जिस पर डेटा को ट्रेनिंग दी गई थी. होल्डआउट सेट में होने वाले नुकसान से, ट्रेनिंग सेट में होने वाले नुकसान के मुकाबले, अनदेखे डेटासेट में होने वाले नुकसान का बेहतर अनुमान मिलता है.

होस्ट

#TensorFlow

#GoogleCloud

ऐक्सेलरेटर चिप पर एमएल मॉडल को ट्रेनिंग देते समय (जीपीयू या टीपीयू), सिस्टम का वह हिस्सा होता है जो इन दोनों को कंट्रोल करता है:

• कोड का पूरा फ़्लो.
• इनपुट पाइपलाइन को निकालना और बदलना.

आम तौर पर, होस्ट सीपीयू पर काम करता है, न कि ऐक्सेलरेटर चिप पर. डिवाइस, एक्सीलेरेटर चिप पर टेंसर में बदलाव करता है.

हाइपर पैरामीटर

#fundamentals

ऐसे वैरिएबल जिन्हें आप या हाइपर पैरामीटर ट्यूनिंग सेवा किसी मॉडल की ट्रेनिंग के दौरान लगातार अडजस्ट होते हैं. उदाहरण के लिए, लर्निंग रेट एक हाइपर पैरामीटर है. एक ट्रेनिंग सेशन से पहले सीखने की दर को 0.01 पर सेट किया जा सकता है. अगर आपको यह तय करना है कि 0.01 बहुत ज़्यादा है, तो अगले ट्रेनिंग सेशन के लिए सीखने की दर को 0.003 पर सेट किया जा सकता है.

वहीं दूसरी ओर, पैरामीटर कई वेट और बायस होते हैं, जिन्हें मॉडल ट्रेनिंग के दौरान समझता है.

हाइपरप्लेन

वह सीमा जो किसी स्पेस को दो सबस्पेस में अलग करती है. उदाहरण के लिए, लाइन दो डाइमेंशन में हाइपरप्लेन और तीन डाइमेंशन में प्लेन हाइपरप्लेन है. आम तौर पर, मशीन लर्निंग में हाइपरप्लेन वह सीमा होती है जो हाई-डाइमेंशन वाले स्पेस को अलग करती है. Kernel Support वेक्टर मशीन, पॉज़िटिव क्लास को नेगेटिव क्लास से अलग करने के लिए, अक्सर हाई-डाइमेंशन वाली स्पेस में, हाइपरप्लेन का इस्तेमाल करती हैं.

I

आई.डी.

अलग-अलग और एक जैसे डिस्ट्रिब्यूट किए गए के लिए छोटा नाम.

इमेज पहचानने की सुविधा

#image

किसी इमेज में ऑब्जेक्ट, पैटर्न या कॉन्सेप्ट को कैटगरी में बांटने वाली प्रोसेस. इमेज की पहचान करने की सुविधा को इमेज क्लासिफ़िकेशन भी कहा जाता है.

ज़्यादा जानकारी के लिए, एमएल प्रैक्टिकल: इमेज क्लासिफ़िकेशन लेख पढ़ें.

असंतुलित डेटासेट

क्लास-असंतुलित डेटासेट के लिए समानार्थी शब्द.

अनजाने में भेदभाव करना

#fairness

लोगों के मन के मॉडल और यादों के आधार पर, अपने-आप उनसे जुड़ने या अनुमान लगाने में मदद मिलती है. इंप्लिसिट बायस इन चीज़ों पर असर डाल सकते हैं:

• डेटा को इकट्ठा करने और उसे कैटगरी में बांटने का तरीका.
• मशीन लर्निंग सिस्टम को कैसे डिज़ाइन और डेवलप किया जाता है.

उदाहरण के लिए, शादी की फ़ोटो की पहचान करने के लिए क्लासिफ़ायर बनाते समय, इंजीनियर किसी फ़ोटो में सफ़ेद ड्रेस की मौजूदगी को सुविधा के तौर पर इस्तेमाल कर सकता है. हालांकि, सफ़ेद कपड़ों का प्रचलन सिर्फ़ कुछ काल में और कुछ संस्कृतियों में किया जाता रहा है.

पुष्टि करने का पूर्वाग्रह भी देखें.

इंप्यूटेशन

वैल्यू इंप्यूटेशन का छोटा फ़ॉर्मैट.

फ़ेयरनेस मेट्रिक के साथ काम नहीं करने की जानकारी

#fairness

यह विचार कि निष्पक्षता की कुछ धारणाएं आपस में मेल नहीं खातीं और एक साथ पूरा नहीं किया जा सकता. इस वजह से, निष्पक्षता का आकलन करने के लिए ऐसी कोई एक यूनिवर्सल मेट्रिक नहीं है जिसे मशीन लर्निंग से जुड़े सभी सवालों पर लागू किया जा सके.

हालांकि, निष्पक्षता वाली मेट्रिक के साथ काम न करने का मतलब यह नहीं है कि निष्पक्षता की कोशिश का कोई फ़ायदा नहीं होगा. इसके बजाय, इससे पता चलता है कि एमएल की किसी समस्या के लिए, निष्पक्षता को कॉन्टेक्स्ट के हिसाब से परिभाषित किया जाना चाहिए. इसका मकसद, इसके इस्तेमाल के उदाहरणों से होने वाले नुकसान को रोकना है.

इस विषय पर ज़्यादा जानकारी के लिए, " निष्पक्षता की (इम) संभावना पर" देखें.

कॉन्टेक्स्ट के हिसाब से सीखना

#language

#generativeAI

कुछ-कुछ प्रॉम्प्ट का समानार्थी शब्द.

स्वतंत्र रूप से और समान रूप से डिस्ट्रिब्यूट किए गए हों (i.d)

#fundamentals

ऐसे डिस्ट्रिब्यूशन से लिया गया डेटा जो नहीं बदलता है और जहां तैयार की गई हर वैल्यू, पहले ड्रॉ की गई वैल्यू पर निर्भर नहीं होती है. आई.आई.डी., मशीन लर्निंग की आदर्श गैस है—एक उपयोगी गणितीय निर्माण है, लेकिन यह असल दुनिया में कभी सटीक रूप से नहीं मिलता. उदाहरण के लिए, किसी वेब पेज पर आने वाले लोगों का डिस्ट्रिब्यूशन एक छोटी विंडो में हो सकता है. इसका मतलब है कि उस छोटी विंडो के दौरान डिस्ट्रिब्यूशन में बदलाव नहीं होता और आम तौर पर, किसी व्यक्ति की साइट पर आना, दूसरे व्यक्ति की विज़िट से अलग होता है. हालांकि, अगर उस समयावधि को बढ़ाया जाता है, तो वेब पेज पर आने वाले लोगों में सीज़न के मुताबिक अंतर दिख सकते हैं.

नॉन-स्टेशनरिटी भी देखें.

व्यक्तिगत निष्पक्षता

#fairness

एक निष्पक्षता मेट्रिक, जो यह जांच करती है कि मिलते-जुलते लोगों को एक जैसे रखा जाता है या नहीं. उदाहरण के लिए, Brobdingnagian Academy की मदद से, यह पक्का करने की कोशिश की जा सकती है कि एक जैसे ग्रेड और टेस्ट स्कोर वाले दो छात्र-छात्राओं को दाखिला मिलने की संभावना बराबर हो.

ध्यान दें कि व्यक्तिगत निष्पक्षता पूरी तरह से इस बात पर निर्भर करती है कि आप "समानता" (इस मामले में, ग्रेड और टेस्ट स्कोर) को कैसे परिभाषित करते हैं और अगर आपकी समानता मेट्रिक (जैसे, छात्र/छात्रा के पाठ्यक्रम की सख्ती) में कोई ज़रूरी जानकारी नहीं मिल पाती है, तो आपके लिए निष्पक्षता की नई समस्याएं पैदा हो सकती हैं.

व्यक्तिगत निष्पक्षता के बारे में ज़्यादा जानकारी के लिए, "फ़ेयरनेस थ्रू अवेयरनेस" पर जाएं.

अनुमान

#fundamentals

मशीन लर्निंग में, बिना लेबल वाले उदाहरणों पर ट्रेन किए गए मॉडल को लागू करके, अनुमान लगाने की प्रोसेस.

आंकड़ों के मामले में, अनुमान का मतलब कुछ अलग होता है. ज़्यादा जानकारी के लिए आंकड़ों के अनुमान के बारे में Wikipedia का लेख देखें.

अनुमान का पाथ

#df

डिसिज़न ट्री में, अनुमान के दौरान, एक खास उदाहरण, रूट से अन्य शर्तों तक जाने का रास्ता होता है. यह रूट लीफ़ पर खत्म होता है. उदाहरण के लिए, नीचे दिए गए डिसिज़न ट्री में, थिकर ऐरो एक उदाहरण के लिए अनुमान पाथ दिखाते हैं जिसमें ये सुविधा वैल्यू होती हैं:

• x = 7
• y = 12 साल
• z = -3

नीचे दिए गए उदाहरण में दिया गया अनुमान, लीफ़ (Zeta) तक पहुंचने से पहले तीन स्थितियों से होकर गुज़रता है.

तीन मोटे ऐरो, अनुमान का पाथ दिखाते हैं.

जानकारी का फ़ायदा

#df

फ़ैसलन फ़ॉरेस्ट में, किसी नोड के एंट्रॉपी और उसके चाइल्ड नोड के एंट्रॉपी के योग के बीच का अंतर (उदाहरण की संख्या के हिसाब से) होता है. नोड की एंट्रॉपी उस नोड में मौजूद उदाहरणों की एंट्रॉपी होती है.

उदाहरण के लिए, नीचे दी गई एंट्रॉपी वैल्यू पर विचार करें:

• पैरंट नोड की एंट्रॉपी = 0.6
• काम के 16 उदाहरणों के साथ एक चाइल्ड नोड की एंट्रॉपी = 0.2
• काम के 24 उदाहरणों के साथ दूसरे चाइल्ड नोड की एंट्रॉपी = 0.1

इसलिए, 40% उदाहरण एक चाइल्ड नोड में और 60% उदाहरण दूसरे चाइल्ड नोड में हैं. इसलिए:

• चाइल्ड नोड का वेटेड एंट्रॉपी योग = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

इसलिए, जानकारी का लाभ यह है:

• जानकारी प्राप्त करना = पैरंट नोड की एंट्रॉपी - चाइल्ड नोड का वेटेड एंट्रॉपी योग
• जानकारी का लाभ = 0.6 - 0.14 = 0.46

ज़्यादातर स्प्लिटर ऐसी शर्तें बनाते हैं जो ज़्यादा से ज़्यादा जानकारी हासिल करती हों.

इन-ग्रुप बायस

#fairness

अपने ग्रुप या अपने लक्षणों में पक्षपात दिखाना. अगर टेस्टर या रेटिंग देने वालों में मशीन लर्निंग डेवलपर के दोस्त, परिवार या सहकर्मी शामिल हैं, तो इन-ग्रुप बायस प्रॉडक्ट की टेस्टिंग या डेटासेट को अमान्य कर सकता है.

इन-ग्रुप बायस, ग्रुप एट्रिब्यूशन बायस का एक रूप है. ग्रुप से बाहर एक जैसा बायस भी देखें.

इनपुट जनरेटर

एक ऐसा तरीका जिससे न्यूरल नेटवर्क में डेटा लोड होता है.

इनपुट जनरेटर को एक ऐसे कॉम्पोनेंट के तौर पर माना जा सकता है जो रॉ डेटा को टेंसर में प्रोसेस करने के लिए ज़िम्मेदार होता है. इसे ट्रेनिंग, आकलन, और अनुमान के लिए बैच जनरेट करने के लिए दोहराया जाता है.

इनपुट लेयर

#fundamentals

किसी न्यूरल नेटवर्क की लेयर, जिसमें फ़ीचर वेक्टर रखा जाता है. इसका मतलब है कि इनपुट लेयर में, ट्रेनिंग या अनुमान के उदाहरण दिए गए हैं. उदाहरण के लिए, नीचे दिए गए न्यूरल नेटवर्क में इनपुट लेयर में दो सुविधाएं होती हैं:

इन-सेट स्थिति

#df

डिसिज़न ट्री में, एक स्थिति है, जो आइटम के सेट में किसी एक आइटम की मौजूदगी का पता लगाती है. उदाहरण के लिए, नीचे दी गई शर्त, सेट की गई है:

  house-style in [tudor, colonial, cape]

अनुमान के दौरान, अगर हाउस स्टाइल की सुविधा की वैल्यू tudor या colonial या cape है, तो इस शर्त का आकलन 'हां' के तौर पर किया जाता है. अगर हाउस-स्टाइल वाली सुविधा की वैल्यू कुछ और है (उदाहरण के लिए, ranch), तो यह शर्त 'नहीं' के तौर पर दिखेगी.

आम तौर पर, वन-हॉट कोड में बदली गई सुविधाओं की जांच करने वाली शर्तों के मुकाबले, इन-सेट स्थिति में डिसिज़न ट्री ज़्यादा असरदार होता है.

इंस्टेंस

उदाहरण के लिए समानार्थी शब्द.

निर्देश ट्यूनिंग

#generativeAI

यह फ़ाइन-ट्यूनिंग का एक तरीका है, जो दिए गए निर्देशों का पालन करने की जनरेटिव एआई मॉडल की क्षमता को बेहतर बनाता है. इंस्ट्रक्शन ट्यूनिंग में एक मॉडल को, निर्देशों की सीरीज़ की ट्रेनिंग दी जाती है. आम तौर पर, इसमें कई तरह के टास्क को कवर किया जाता है. इसके बाद, निर्देशों से बदला गया मॉडल कई तरह के कामों के लिए शून्य सवालों के लिए काम के जवाब जनरेट करता है.

इनसे तुलना करें और इनके बीच अंतर करें:

• पैरामीटर की बेहतर ट्यूनिंग
• प्रॉम्प्ट ट्यूनिंग

व्याख्या

#fundamentals

किसी एमएल मॉडल के तर्क को किसी इंसान को समझ में आने लायक शब्दों में समझाने या पेश करने की क्षमता.

उदाहरण के लिए, ज़्यादातर लीनियर रिग्रेशन मॉडल को समझा जा सकता है. (आपको सिर्फ़ हर सुविधा के लिए तय किए गए वज़न को देखना होगा.) डिसिज़न फ़ॉरेस्ट भी आसानी से समझ में आते हैं. हालांकि, कुछ मॉडल को समझने के लिए जटिल विज़ुअलाइज़ेशन की ज़रूरत होती है.

एमएल मॉडल को समझने के लिए, लर्निंग इंटरप्रेटेबिलिटी टूल (एलआईटी) का इस्तेमाल किया जा सकता है.

इंटर-रेटर समझौता

इस बात का माप कि किसी टास्क को करते समय, रेटिंग देने वाले लोग कितनी बार सहमति देते हैं. अगर रेटिंग देने वाले लोग सहमत नहीं हैं, तो टास्क के निर्देशों में सुधार करने की ज़रूरत है. इसे कभी-कभी इंटर-एनोटेटर समझौता या इंटर-रेटर विश्वसनीयता भी कहा जाता है. कोहेन का कप्पा भी देखें, जो इंटर-रेटर समझौते के सबसे लोकप्रिय मापों में से एक है.

इंटरसेक्शन ओवर यूनियन (IoU)

#image

दो सेट का इंटरसेक्शन, जो उनके यूनियन से भाग दिया गया है. मशीन लर्निंग की मदद से इमेज की पहचान करने वाले टास्क में, ग्राउंड-ट्रुथ बाउंडिंग बॉक्स के हिसाब से, IoU का इस्तेमाल करके मॉडल के अनुमानित बाउंडिंग बॉक्स के सटीक होने का आकलन किया जाता है. इस मामले में, दो बॉक्स के लिए IoU, ओवरलैप होने वाले इलाके और कुल क्षेत्रफल के बीच का अनुपात है और इसकी वैल्यू 0 से है (अनुमानित बाउंडिंग बॉक्स और ग्राउंड-ट्रूथ बाउंडिंग बॉक्स का ओवरलैप नहीं) से 1 (अनुमानित बाउंडिंग बॉक्स और ग्राउंड-ट्रुथ बाउंडिंग बॉक्स के निर्देशांक बिलकुल एक जैसे होते हैं).

उदाहरण के लिए, नीचे दी गई इमेज में:

• अनुमानित बाउंडिंग बॉक्स बैंगनी रंग में दिखाया गया है. बाउंडिंग बॉक्स (पेंटिंग में मौजूद रात की टेबल के उस हिस्से को दिखाने वाले निर्देशांक) बैंगनी रंग में दिखाया गया है.
• ज़मीनी सतह को बाउंडिंग बॉक्स (पेंटिंग में मौजूद रात की टेबल को दिखाने वाले निर्देशांक) हरे रंग से आउटलाइन किया गया है.

यहां, अनुमान और ज़मीनी जानकारी के लिए बाउंडिंग बॉक्स का इंटरसेक्शन (बाईं ओर नीचे) एक है. अनुमान और तथ्यों की जानकारी के लिए बाउंडिंग बॉक्स का यूनियन 7 है, इसलिए IoU \(\frac{1}{7}\)है.

IoU

इंटरसेक्शन के ऊपर दिए गए इंटरसेक्शन का छोटा नाम.

आइटम मैट्रिक्स

#recsystems

सुझाव देने वाले सिस्टम में, एम्बेड किए जाने वाले वेक्टर का एक मैट्रिक्स होता है, जो मैट्रिक्स फ़ैक्टराइज़ेशन से जनरेट होता है. इसमें हर आइटम के बारे में लेटेंट सिग्नल होते हैं. आइटम मैट्रिक्स की हर लाइन में सभी आइटम के लिए, इंतज़ार के समय की एक सुविधा की वैल्यू होती है. उदाहरण के लिए, फ़िल्मों का सुझाव देने वाले सिस्टम के बारे में सोचें. आइटम मैट्रिक्स का हर कॉलम एक मूवी को दिखाता है. लेटेंट सिग्नल, शैलियों को दिखा सकते हैं या उन सिग्नल को समझना मुश्किल हो सकता है जिनमें शैली, स्टार, फ़िल्म की उम्र या दूसरी चीज़ों के बीच जटिल इंटरैक्शन शामिल होता है.

आइटम मैट्रिक्स में उतनी ही संख्या में कॉलम हैं जितने कि फ़ैक्टराइज़ किए जा रहे टारगेट मैट्रिक्स में हैं. उदाहरण के लिए, अगर किसी फ़िल्म के सुझाव देने वाला सिस्टम 10,000 फ़िल्मों का आकलन करता है, तो आइटम मैट्रिक्स में 10,000 कॉलम होंगे.

items

#recsystems

सुझाव देने वाले सिस्टम में, वे इकाइयां जिनका सुझाव सिस्टम देता है. उदाहरण के लिए, वीडियो वे आइटम हैं जिनके सुझाव, वीडियो स्टोर में देते हैं, जबकि किताबें ऐसे आइटम हैं जो किताबों का स्टोर सुझाव देता है.

फिर से करें

#fundamentals

ट्रेनिंग के दौरान, मॉडल के पैरामीटर का एक अपडेट मिलता है. जैसे, मॉडल का वेट और बायस. बैच के साइज़ से तय होता है कि मॉडल एक बार में कितने उदाहरण प्रोसेस करेगा. उदाहरण के लिए, अगर बैच का साइज़ 20 है, तो पैरामीटर में बदलाव करने से पहले मॉडल, 20 उदाहरणों को प्रोसेस करता है.

किसी न्यूरल नेटवर्क को ट्रेनिंग देते समय, सिंगल इटरेशन में ये दो पास शामिल होते हैं:

1. किसी एक बैच पर होने वाले नुकसान का आकलन करने के लिए फ़ॉरवर्ड पास.
2. लॉस और लर्निंग रेट के हिसाब से, मॉडल के पैरामीटर में बदलाव करने के लिए, बैकवर्ड पास (बैकप्रॉपैगेशन).

J

जैक्स

अरे कंप्यूटिंग लाइब्रेरी, जिसमें एक्सएलए (Accelerated लीनियर ऐलजेब्रा) और बेहतर परफ़ॉर्मेंस वाली न्यूमेरिक कंप्यूटिंग के लिए, अपने-आप अलग-अलग पहचान बताने की सुविधा का इस्तेमाल किया गया है. JAX, कंपोज़ेबल ट्रांसफ़ॉर्मेशन के साथ एक्सेलरेटेड न्यूमेरिक कोड लिखने के लिए, एक आसान और दमदार एपीआई उपलब्ध कराता है. JAX में ये सुविधाएं मिलती हैं:

• grad (अपने-आप होने वाली फ़र्क़)
• jit (पिछले समय के कंपाइलेशन)
• vmap (अपने-आप वेक्टराइज़ेशन या बैच बनाना)
• pmap (पैरललाइज़ेशन)

JAX एक ऐसी भाषा है जो Python की NumPy लाइब्रेरी में न्यूमेरिक कोड के बदलावों को दिखाने और लिखने के लिए इस्तेमाल की जाती है. हालांकि, यह स्कोप में काफ़ी बड़ा बदलाव है. (असल में, JAX में .numpy लाइब्रेरी एक फ़ंक्शन के बराबर है, लेकिन पूरी तरह से Python NumPy लाइब्रेरी का वर्शन दोबारा लिखा गया है.)

JAX, खास तौर पर मशीन लर्निंग के कई कामों को तेज़ी से पूरा करने में मदद करता है. इसके लिए, मॉडल और डेटा को ऐसे फ़ॉर्म में बदला गया है जो जीपीयू और TPU ऐक्सेलरेटर चिप में एक साथ काम करने के लिए सही है.

Flax, Optax, Pax, और कई अन्य लाइब्रेरी JAX इंफ़्रास्ट्रक्चर पर बनाई गई हैं.

K

Keras

लोकप्रिय Python मशीन लर्निंग एपीआई. Keras, डीप लर्निंग फ़्रेमवर्क पर काम करता है. जैसे, TensorFlow, जहां यह tf.keras के तौर पर उपलब्ध है.

Kernel सपोर्ट वेक्टर मशीन (KSVM)

ऐसा क्लासिफ़िकेशन एल्गोरिदम जो इनपुट डेटा वेक्टर को हाई डाइमेंशन वाली स्पेस में मैप करके, पॉज़िटिव और नेगेटिव क्लास के बीच मार्जिन को बढ़ाने की कोशिश करता है. उदाहरण के लिए, डेटा को कैटगरी में बांटने के एक ऐसे सवाल पर विचार करें जिसमें इनपुट डेटासेट में सौ फ़ीचर हैं. पॉज़िटिव और नेगेटिव क्लास के बीच के मार्जिन को ज़्यादा से ज़्यादा बढ़ाने के लिए, KSVM उन सुविधाओं को अंदरूनी तौर पर लाखों-डाइमेंशन स्पेस में मैप कर सकता है. केएसवीएम, हिंज लॉस नाम के फ़ंक्शन का इस्तेमाल करते हैं.

कीपॉइंट

#image

किसी इमेज में मौजूद खास सुविधाओं के निर्देशांक. उदाहरण के लिए, फूलों की प्रजातियों की पहचान करने वाले इमेज की पहचान करने वाले मॉडल के लिए, हर पंखुड़ी, डंठल, और स्टैमन वगैरह के बीच के पॉइंट, मुख्य पॉइंट हो सकते हैं.

के-फ़ोल्ड क्रॉस वैलिडेशन

यह एक ऐसा एल्गोरिदम है जिसकी मदद से, यह अनुमान लगाया जाता है कि कोई मॉडल, नए डेटा को सामान्य तरीके से पेश कर सकता है. k-फ़ोल्ड में मौजूद k उन बराबर ग्रुप की संख्या बताता है जिनमें डेटासेट के उदाहरणों को बांटा जाता है. इसका मतलब है कि आपके मॉडल k को कितनी बार ट्रेनिंग दी जाती है और टेस्ट किया जाता है. ट्रेनिंग और टेस्टिंग के हर राउंड में, एक अलग ग्रुप को टेस्ट सेट किया जाता है और बाकी सभी ग्रुप, ट्रेनिंग सेट बन जाते हैं. ट्रेनिंग और टेस्टिंग के k राउंड के बाद, आपके पास चुनी गई टेस्ट मेट्रिक के मीन और स्टैंडर्ड डेविएशन का हिसाब लगाने का विकल्प होता है.

उदाहरण के लिए, मान लें कि आपके डेटासेट में 120 उदाहरण हैं. अब मान लीजिए कि आप k को 4 पर सेट करने का फ़ैसला करते हैं. इसलिए, उदाहरणों को शफ़ल करने के बाद, डेटासेट को 30 उदाहरणों के चार बराबर ग्रुप में बांटा जा सकता है और चार ट्रेनिंग/टेस्टिंग राउंड किए जा सकते हैं:

उदाहरण के लिए, किसी लीनियर रिग्रेशन मॉडल के लिए, मीन स्क्वेयर्ड एरर (MSE) सबसे काम की मेट्रिक हो सकती है. इसलिए, आपको सभी चार राउंड में MSE का माध्य और मानक विचलन पता चलेगा.

के-मीन

#clustering

एक लोकप्रिय क्लस्टरिंग एल्गोरिदम, जो बिना निगरानी वाले लर्निंग सिस्टम के उदाहरणों का ग्रुप बनाता है. मूल रूप से, k-मीन एल्गोरिदम ये काम करता है:

• बार-बार सबसे अच्छे k सेंटर पॉइंट तय करते हैं (जिन्हें सेंट्रोइड कहा जाता है).
• हर उदाहरण को सबसे नज़दीकी सेंट्रोइड को असाइन करता है. एक ही सेंट्रोइड के सबसे करीब वाले वे उदाहरण एक ही ग्रुप से जुड़े हैं.

k-मीन एल्गोरिदम, हर उदाहरण से सबसे नज़दीकी सेंट्रोइड की दूरी के कुल स्क्वेयर को कम से कम करने के लिए, सेंट्रोइड लोकेशन चुनता है.

उदाहरण के लिए, कुत्ते की लंबाई और उसकी चौड़ाई के हिसाब से, नीचे दिए गए प्लॉट का इस्तेमाल करें:

अगर k=3 है, तो k-मीन एल्गोरिदम तीन सेंट्रोइड तय करेगा. हर उदाहरण अपने सबसे नज़दीकी सेंट्रोइड को असाइन किया जाता है, जिससे तीन ग्रुप मिलते हैं:

मान लें कि कोई मैन्युफ़ैक्चरर, कुत्तों के लिए छोटे, मीडियम, और बड़े स्वेटर के लिए सही साइज़ तय करना चाहता है. तीन सेंट्रोइड, उस क्लस्टर में हर कुत्ते की औसत ऊंचाई और औसत चौड़ाई की पहचान करते हैं. इसलिए, मैन्युफ़ैक्चरर को स्वेटर के साइज़ को उन तीन सेंट्रोइड के हिसाब से सेट करना चाहिए. ध्यान दें कि क्लस्टर का सेंट्रोइड, आम तौर पर क्लस्टर में मौजूद उदाहरण नहीं होता है.

पहले दिए गए इलस्ट्रेशन में, सिर्फ़ दो सुविधाओं (ऊंचाई और चौड़ाई) वाले उदाहरणों के लिए k-मीन दिखाए गए हैं. ध्यान दें कि k-मीन कई सुविधाओं के उदाहरणों को एक ग्रुप में डाल सकता है.

के-मीडियन

#clustering

क्लस्टरिंग एल्गोरिदम, जो k-means से काफ़ी हद तक मिलता-जुलता है. दोनों के बीच व्यावहारिक अंतर इस तरह हैं:

• के-मीन में, सेंट्रोइड को एक सेंट्रोइड कैंडिडेट और उसके हर उदाहरण के बीच की दूरी के स्क्वेयर के योग को कम करके तय किया जाता है.
• के-मीडियन में, सेंट्रोइड को सेंट्रोइड कैंडिडेट और उसके हर उदाहरण के बीच की दूरी के योग को कम करके तय किया जाता है.

ध्यान दें कि दूरी की परिभाषाएं भी अलग-अलग होती हैं:

• k-मीन, सेंट्रोइड से एक उदाहरण तक यूक्लिडियन दूरी पर निर्भर करता है. (दो डाइमेंशन में, यूक्लिडियन दूरी का मतलब है, पाइथागोरस प्रमेय की मदद से कर्ण की गणना करना.) उदाहरण के लिए, (2,2) और (5,-2) के बीच k-मीन की दूरी इस होगी:

$$ {\text{Euclidean distance}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5 $$

• के-मीडियन, सेंट्रोइड से एक उदाहरण तक मैनहैटन की दूरी पर निर्भर करता है. यह दूरी हर डाइमेंशन में कुल डेल्टा का कुल योग होती है. उदाहरण के लिए, (2,2) और (5,-2) के बीच के-मीडियन दूरी होगी:

$$ {\text{Manhattan distance}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7 $$

L

₀ रेगुलराइज़ेशन

#fundamentals

यह एक तरह का रेगुलराइज़ेशन होता है, जिसमें किसी मॉडल में नॉन-ज़ीरो वेट की कुल संख्या को दंडित किया जाता है. उदाहरण के लिए, 11 गैर शून्य वज़न वाले मॉडल को 10 गैर शून्य वज़न वाले मिलते-जुलते मॉडल की तुलना में ज़्यादा दंड दिया जाएगा.

L₀ रेगुलराइज़ेशन को कभी-कभी L0-नॉर्म रेगुलराइज़ेशन कहा जाता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

L₀ रेगुलराइज़ेशन, बड़े मॉडल में आम तौर पर व्यावहारिक नहीं होता, क्योंकि L₀ रेगुलराइज़ेशन, ट्रेनिंग को कॉन्टेक्स्ट ऑप्टिमाइज़ेशन में बदल देता है.

---

₁ लेवल में नुकसान

#fundamentals

लॉस फ़ंक्शन, जो label की असल वैल्यू और मॉडल के अनुमान के मुताबिक तय की गई वैल्यू के बीच के अंतर की सटीक वैल्यू कैलकुलेट करता है. उदाहरण के लिए, यहां पांच उदाहरण में से बैच के लिए, L₁ के नुकसान का कैलकुलेशन दिया गया है:

उदाहरण का वास्तविक मान	मॉडल की अनुमानित वैल्यू	डेल्टा का निरपेक्ष मान
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L1 नुकसान

लेवल₁ से होने वाले नुकसान को आउटलेयर की तुलना में, L₂ लेवल पर होने वाले नुकसान से कम संवेदनशील माना जाता है.

मीन ऐब्सॉल्यूट एरर, हर उदाहरण में हुए औसत ली₁ नुकसान को दिखाता है.

औपचारिक गणित देखने के लिए, आइकॉन पर क्लिक करें.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

कहां:

• $n$ उदाहरणों की संख्या है.
• $y$ लेबल का वास्तविक मान है.
• $\hat{y}$ वह वैल्यू है जिसका अनुमान $y$ के लिए लगाता है.

---

₁ रेगुलराइज़ेशन

#fundamentals

यह एक तरह का रेगुलराइज़ेशन है, जिसमें वेट की कुल वैल्यू के अनुपात में वज़न को शामिल किया जाता है. L₁ रेगुलराइज़ेशन से, ऐसी सुविधाओं को 0 पर लाने में मदद मिलती है जो काम की नहीं हैं या जो काम की नहीं हैं. 0 वज़न वाली सुविधा को मॉडल से हटा दिया जाता है.

L₂ रेगुलराइज़ेशन के साथ कंट्रास्ट करें.

₂ लेवल की हार

#fundamentals

लॉस फ़ंक्शन, जो लेबल की असल वैल्यू और किसी मॉडल के अनुमान वाली वैल्यू के बीच के अंतर के स्क्वेयर का हिसाब लगाता है. उदाहरण के लिए, यहां पांच उदाहरण में से, बैच के लिए, L₂ के नुकसान का कैलकुलेशन दिया गया है:

उदाहरण का वास्तविक मान	मॉडल की अनुमानित वैल्यू	डेल्टा का वर्ग
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = L2 नुकसान

स्क्वैयरिंग की वजह से, L₂ के नुकसान की वजह से आउटलेयर का असर बढ़ जाता है. इसका मतलब है कि L₁ से होने वाला नुकसान के मुकाबले, L₂ के नुकसान की गलत जानकारी दिखाने पर ज़्यादा असर पड़ता है. उदाहरण के लिए, पिछले बैच के लिए L₁ का नुकसान, 16 के बजाय 8 होगा. ध्यान दें कि सिंगल आउटलायर, 16 में से 9 को शामिल करता है.

आम तौर पर, रिग्रेशन मॉडल में लॉस फ़ंक्शन के तौर पर, L₂ के नुकसान का इस्तेमाल किया जाता है.

मीन स्क्वेयर्ड एरर, हर उदाहरण के लिए हुए औसत ली₂ नुकसान को दिखाता है. स्क्वेयर लॉस, L₂ लॉस का दूसरा नाम है.

औपचारिक गणित देखने के लिए, आइकॉन पर क्लिक करें.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

कहां:

• $n$ उदाहरणों की संख्या है.
• $y$ लेबल का वास्तविक मान है.
• $\hat{y}$ वह वैल्यू है जिसका अनुमान $y$ के लिए लगाता है.

---

₂ रेगुलराइज़ेशन

#fundamentals

एक तरह का रेगुलराइज़ेशन, जिसमें वेट के कुल स्क्वेयर के अनुपात में वज़न को शामिल किया जाता है. L₂ रेगुलराइज़ेशन से, आउटलेयर वेट को 0 के करीब लाने में मदद मिलती है (जिनका वैल्यू ज़्यादा पॉज़िटिव या कम नेगेटिव वैल्यू होती है). हालांकि, यह वैल्यू 0 के आस-पास है. जिन सुविधाओं की वैल्यू 0 के बहुत करीब होती है वे मॉडल में बनी रहती हैं लेकिन मॉडल के अनुमान पर बहुत ज़्यादा असर नहीं डालती हैं.

L₂ रेगुलराइज़ेशन की मदद से, लीनियर मॉडल में सामान्य चीज़ों को बेहतर तरीके से समझा जा सकता है.

L₁ रेगुलराइज़ेशन के साथ कंट्रास्ट करें.

लेबल

#fundamentals

सुपरवाइज़्ड मशीन लर्निंग में, किसी उदाहरण का "जवाब" या "नतीजे" वाला हिस्सा.

लेबल किए गए हर उदाहरण में एक या एक से ज़्यादा सुविधाएं और एक लेबल होता है. उदाहरण के लिए, स्पैम की पहचान करने वाले डेटासेट में, लेबल या तो "स्पैम" होगा या "स्पैम नहीं होगा." बारिश से जुड़े डेटासेट में, यह लेबल किसी खास अवधि के दौरान हुई बारिश की मात्रा हो सकता है.

लेबल किया गया उदाहरण

#fundamentals

ऐसा उदाहरण जिसमें एक या उससे ज़्यादा सुविधाएं और एक लेबल मौजूद हो. उदाहरण के लिए, नीचे दी गई टेबल में, घर के मूल्यांकन के मॉडल के लेबल वाले तीन उदाहरण दिए गए हैं. हर उदाहरण में तीन सुविधाएं और एक लेबल है:

कमरों की संख्या	बाथरूम की संख्या	घर में उम्र	घर की कीमत (लेबल)
3	2	15	3,45,000 डॉलर
2	1	72	1,79,000 डॉलर
4	2	34	3,92,000 डॉलर

सुपरवाइज़्ड मशीन लर्निंग में, मॉडल को लेबल किए गए उदाहरणों के आधार पर ट्रेनिंग दी जाती है और बिना लेबल वाले उदाहरणों का अनुमान लगाया जाता है.

बिना लेबल वाले उदाहरणों के साथ कंट्रास्ट लेबल किया गया उदाहरण.

लेबल लीकेज

मॉडल के डिज़ाइन की गड़बड़ी, जिसमें सुविधा, लेबल के लिए प्रॉक्सी है. उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन मॉडल का इस्तेमाल करें. इससे यह अनुमान लगाया जाता है कि कोई भावी खरीदार कोई प्रॉडक्ट खरीदेगा या नहीं. मान लें कि इस मॉडल की सुविधाओं में से एक बूलियन है, जिसका नाम SpokeToCustomerAgent है. इसके अलावा, मान लें कि किसी संभावित ग्राहक के प्रॉडक्ट खरीदने के बाद ही ग्राहक एजेंट को असाइन किया जाता है. ट्रेनिंग के दौरान, मॉडल SpokeToCustomerAgent और लेबल के बीच असोसिएशन के बारे में तुरंत सीख लेगा.

लैम्डा

#fundamentals

रेगुलराइज़ेशन दर का समानार्थी शब्द.

Lambda एक बहुत ज़्यादा लोडेड शब्द है. यहां हम रेगुलराइज़ेशन में शब्द की परिभाषा पर फ़ोकस कर रहे हैं.

LaMDA (बातचीत से जुड़े ऐप्लिकेशन के लिए भाषा का मॉडल)

#language

ट्रांसफ़ॉर्मर पर आधारित बड़े लैंग्वेज मॉडल को Google ने बनाया है. इसे एक बड़े डायलॉग डेटासेट के आधार पर ट्रेनिंग दी गई है, जो बातचीत के दौरान वास्तविक जवाब जनरेट कर सकती है.

LaMDA: हमारी बेहतरीन बातचीत टेक्नोलॉजी खास जानकारी देती है.

लैंडमार्क

#image

कीपॉइंट के लिए समानार्थी शब्द.

लैंग्वेज मॉडल

#language

ऐसा model जो model या टोकन के लंबे क्रम में होने वाले टोकन के क्रम की संभावना का अनुमान लगाता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

हालांकि, यह आसान नहीं है, लेकिन टेक्स्ट का आकलन करने वाले कई मॉडल, भाषा के मॉडल नहीं होते. उदाहरण के लिए, टेक्स्ट की कैटगरी तय करने वाले मॉडल और भावनाओं का विश्लेषण करने वाले मॉडल, भाषा के मॉडल नहीं हैं.

---

लार्ज लैंग्वेज मॉडल

#language

एक अनौपचारिक शब्द, जिसकी कोई सख्त परिभाषा नहीं है. आम तौर पर, इसका मतलब भाषा के मॉडल से होता है, जिसमें कई पैरामीटर होते हैं. कुछ बड़े लैंग्वेज मॉडल में 100 अरब से ज़्यादा पैरामीटर होते हैं.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

आपको लग रहा होगा कि कब भाषा का मॉडल इतना बड़ा हो जाता है कि उसे बड़ा लैंग्वेज मॉडल कहा जाए. फ़िलहाल, पैरामीटर की संख्या के लिए कोई तय लाइन नहीं है.

ज़्यादातर मौजूदा बड़े लैंग्वेज मॉडल, जैसे कि GPT, ट्रांसफ़ॉर्मर आर्किटेक्चर पर आधारित होते हैं.

---

लैटेंट स्पेस

#language

एम्बेड किए जाने वाले स्पेस का समानार्थी शब्द.

लेयर

#fundamentals

किसी न्यूरल नेटवर्क में मौजूद न्यूरॉन का सेट. आम तौर पर तीन तरह की लेयर के बारे में यहां बताया गया है:

• इनपुट लेयर, जो सभी सुविधाओं के लिए वैल्यू देता है.
• एक या उससे ज़्यादा छिपी हुई लेयर, जो सुविधाओं और लेबल के बीच बिना किसी संबंध के ढूंढती हैं.
• आउटपुट लेयर, जो अनुमान की जानकारी देता है.

उदाहरण के लिए, नीचे दिया गया उदाहरण एक इनपुट लेयर, दो छिपी हुई लेयर, और एक आउटपुट लेयर वाला न्यूरल नेटवर्क दिखाता है:

TensorFlow में, layers भी Python फ़ंक्शन हैं. ये इनपुट के तौर पर Tensor और कॉन्फ़िगरेशन के विकल्प लेते हैं और आउटपुट के तौर पर अन्य टेन्सर बनाते हैं.

लेयर एपीआई (tf.layers)

#TensorFlow

लेयर के कंपोज़िशन के तौर पर डीप न्यूरल नेटवर्क बनाने के लिए, TensorFlow एपीआई. लेयर एपीआई की मदद से, अलग-अलग तरह की लेयर बनाई जा सकती हैं, जैसे:

• पूरी तरह से कनेक्ट की गई लेयर के लिए tf.layers.Dense.
• कॉन्वलूशनल लेयर के लिए tf.layers.Conv2D.

लेयर एपीआई, Keras लेयर के लिए एपीआई से जुड़े नियमों का पालन करता है. इसका मतलब है कि एक अलग प्रीफ़िक्स के अलावा, लेयर एपीआई के सभी फ़ंक्शन के नाम और हस्ताक्षर, Keras लेयर एपीआई में मौजूद मिलते-जुलते फ़ंक्शन के नाम और सिग्नेचर के समान होते हैं.

पत्ती

#df

डिसिज़न ट्री में मौजूद कोई भी एंडपॉइंट. पत्ती की जांच स्थिति से अलग होती है, जबकि पत्ती की कोई जांच नहीं होती. बल्कि, पत्ती का मतलब अनुमान है. लीफ़, किसी अनुमान पाथ का नोड भी होता है.

उदाहरण के लिए, नीचे दिए गए डिसिज़न ट्री में तीन पत्तियां होती हैं:

लर्निंग इंटरप्रेटेबिलिटी टूल (एलआईटी)

एक विज़ुअल, इंटरैक्टिव मॉडल समझने और डेटा विज़ुअलाइज़ेशन टूल.

मॉडल को समझने के लिए या टेक्स्ट, इमेज, और टेबल वाले डेटा को विज़ुअलाइज़ करने के लिए, ओपन-सोर्स LIT का इस्तेमाल किया जा सकता है.

सीखने की दर

#fundamentals

यह एक फ़्लोटिंग-पॉइंट नंबर होता है, जो ग्रेडिएंट डिसेंट एल्गोरिदम को बताता है. हर दोहराव पर, वेट और बायस को किस हद तक कम या ज़्यादा किया जा सकता है. उदाहरण के लिए, 0.3 की सीखने की दर, 0.1 की लर्निंग दर की तुलना में महत्व और पक्षपात को तीन गुना ज़्यादा तेज़ी से अडजस्ट करेगी.

लर्निंग रेट एक अहम हाइपर पैरामीटर है. अगर सीखने की दर को बहुत कम पर सेट किया जाता है, तो ट्रेनिंग में बहुत ज़्यादा समय लगेगा. अगर आपने लर्निंग रेट को बहुत ज़्यादा पर सेट किया है, तो ग्रेडिएंट डिसेंट में अक्सर कन्वर्ज़न तक पहुंचने में परेशानी होती है.

गणित के बारे में ज़्यादा जानकारी पाने के लिए, आइकॉन पर क्लिक करें.

हर इटरेशन के दौरान, ग्रेडिएंट डिसेंट एल्गोरिदम, लर्निंग रेट को ग्रेडिएंट से गुणा करता है. नतीजे में मिलने वाले प्रॉडक्ट को ग्रेडिएंट चरण कहा जाता है.

---

कम से कम स्क्वेयर रिग्रेशन

एक लीनियर रिग्रेशन मॉडल, जिसे L₂ नुकसान को कम करके ट्रेनिंग दी जाती है.

रेखीय

#fundamentals

दो या दो से ज़्यादा वैरिएबल के बीच का संबंध, जिसे सिर्फ़ जोड़ और गुणा करके दिखाया जा सकता है.

लीनियर रिलेशनशिप का प्लॉट एक लाइन होती है.

nonlinear के साथ कंट्रास्ट करें.

लीनियर मॉडल

#fundamentals

ऐसा model जो model करने के लिए, हर model के लिए एक model असाइन करता है. (लीनियर मॉडल में भी पूर्वाग्रह शामिल होता है.) वहीं दूसरी ओर, डीप मॉडल में अनुमानों के लिए सुविधाओं का संबंध आम तौर पर ऑनलाइन नहीं होता है.

डीप मॉडल के मुकाबले, लीनियर मॉडल को ट्रेनिंग देना आसान होता है. साथ ही, ये मॉडल समझने में आसान होते हैं. हालांकि, डीप मॉडल सुविधाओं के बीच जटिल संबंधों के बारे में जान सकते हैं.

लीनियर रिग्रेशन और लॉजिस्टिक रिग्रेशन दो तरह के लीनियर मॉडल हैं.

गणित देखने के लिए आइकॉन पर क्लिक करें.

लीनियर मॉडल में यह फ़ॉर्मूला अपनाया जाता है:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

जगह:

• y' का अनुमान सटीक नहीं है. (कुछ खास तरह के लीनियर मॉडल में, यह रॉ अनुमान और ज़्यादा बदलाव किया जाएगा. उदाहरण के लिए, लॉजिस्टिक रिग्रेशन देखें.)
• b, बायस है.
• w एक वज़न होता है, इसलिए w₁ पहली सुविधा का वज़न होता है, w₂ दूसरी सुविधा का वज़न होता है, वगैरह.
• x एक सुविधा है, इसलिए x₁ पहली सुविधा की वैल्यू है, x₂ दूसरी सुविधा की वैल्यू है. इस तरह के और भी उदाहरण हैं.

उदाहरण के लिए, मान लें कि तीन सुविधाओं के लिए एक लीनियर मॉडल, इन पूर्वाग्रहों और वेट को सीखता है:

• b = 7
• w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

इसलिए, तीन सुविधाओं (x₁, x₂, और x₃) के साथ, लीनियर मॉडल हर अनुमान को जनरेट करने के लिए इस इक्वेशन का इस्तेमाल करता है:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

मान लें कि किसी खास उदाहरण में ये वैल्यू शामिल हैं:

• x₁ = 4
• x₂ = -10
• x₃ = 5

उन वैल्यू को फ़ॉर्मूला में प्लग करने पर, इस उदाहरण के लिए अनुमान मिलता है:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

लीनियर मॉडल में, ऐसे मॉडल शामिल होते हैं जो अनुमान लगाने के लिए सिर्फ़ लीनियर इक्वेशन का इस्तेमाल करते हैं. साथ ही, इनमें ऐसे मॉडल का बड़ा सेट भी शामिल होता है जो लीनियर इक्वेशन का इस्तेमाल, फ़ॉर्मूला के सिर्फ़ एक कॉम्पोनेंट के तौर पर करते हैं. उदाहरण के लिए, लॉजिस्टिक रिग्रेशन पोस्ट-प्रोसेस, रॉ अनुमान (y') को लागू करता है, ताकि 0 और 1 के बीच की आखिरी अनुमानित वैल्यू जनरेट की जा सके.

---

लीनियर रिग्रेशन

#fundamentals

एक तरह का मशीन लर्निंग मॉडल, जिसमें नीचे दी गई दोनों बातें सही हैं:

• मॉडल एक लीनियर मॉडल है.
• अनुमान, फ़्लोटिंग-पॉइंट वैल्यू है. (यह लीनियर रिग्रेशन का रिग्रेशन हिस्सा है.)

लॉजिस्टिक रिग्रेशन के साथ कंट्रास्ट लीनियर रिग्रेशन. साथ ही, क्लासिफ़िकेशन के साथ कंट्रास्ट रिग्रेशन.

एलआईटी

लर्निंग इंटरप्रेटेबिलिटी टूल (एलआईटी) का छोटा नाम. इसे पहले लैंग्वेज इंटरप्रेटेबिलिटी टूल के नाम से जाना जाता था.

एलएलएम

#language

बड़े लैंग्वेज मॉडल का छोटा नाम.

लॉजिस्टिक रिग्रेशन

#fundamentals

यह एक तरह का रिग्रेशन मॉडल है, जो किसी प्रॉबबिलिटी का अनुमान लगाता है. लॉजिस्टिक रिग्रेशन मॉडल में ये विशेषताएं होती हैं:

• लेबल कैटगरिकल है. लॉजिस्टिक रिग्रेशन शब्द का मतलब आम तौर पर बाइनरी लॉजिस्टिक रिग्रेशन होता है. यह एक ऐसे मॉडल के लिए इस्तेमाल होता है जो दो संभावित वैल्यू वाले लेबल के लिए प्रॉबबिलिटी का हिसाब लगाता है. आम तौर पर इस्तेमाल न होने वाला वैरिएंट, मल्टीनोमियल लॉजिस्टिक रिग्रेशन, दो से ज़्यादा संभावित वैल्यू वाले लेबल के लिए प्रॉबबिलिटी की गणना करता है.
• ट्रेनिंग के दौरान, लॉग लॉस पता चलता है. (दो से ज़्यादा संभावित वैल्यू वाले लेबल के लिए, एक से ज़्यादा लॉग लॉस यूनिट रखी जा सकती हैं.)
• इस मॉडल में लीनियर आर्किटेक्चर है, न कि डीप न्यूरल नेटवर्क. हालांकि, इस डेफ़िनिशन का बाकी हिस्सा डीप मॉडल पर भी लागू होता है, जो कैटगरी वाले लेबल के लिए संभावना का अनुमान लगाता है.

उदाहरण के लिए, एक ऐसे लॉजिस्टिक रिग्रेशन मॉडल पर ध्यान दें जो किसी इनपुट ईमेल के स्पैम होने या न होने की संभावना का हिसाब लगाता है. अनुमान के दौरान, मान लें कि मॉडल 0.72 का अनुमान लगाता है. इसलिए, मॉडल यह अनुमान लगा रहा है:

• ईमेल के स्पैम होने की संभावना 72% है.
• ईमेल के स्पैम न होने की संभावना 28% है.

लॉजिस्टिक रिग्रेशन मॉडल में, इन दो चरणों वाले आर्किटेक्चर का इस्तेमाल किया जाता है:

1. मॉडल, इनपुट सुविधाओं के लीनियर फ़ंक्शन को लागू करके, रॉ अनुमान (y') जनरेट करता है.
2. यह मॉडल उस रॉ अनुमान का इस्तेमाल, इनपुट के तौर पर सिगमॉइड फ़ंक्शन के लिए करता है. यह फ़ंक्शन, रॉ अनुमान को 0 और 1 के बीच की वैल्यू में बदल देता है.

किसी भी रिग्रेशन मॉडल की तरह, लॉजिस्टिक रिग्रेशन मॉडल, किसी संख्या का अनुमान लगाता है. हालांकि, यह संख्या आम तौर पर इस तरह से बाइनरी क्लासिफ़िकेशन मॉडल का हिस्सा बन जाती है:

• अगर अनुमानित संख्या कैटगरी तय करने के थ्रेशोल्ड से ज़्यादा है, तो बाइनरी क्लासिफ़िकेशन मॉडल, पॉज़िटिव क्लास का अनुमान लगाता है.
• अगर अनुमानित संख्या, क्लासिफ़िकेशन थ्रेशोल्ड से कम है, तो बाइनरी क्लासिफ़िकेशन मॉडल, नेगेटिव क्लास का अनुमान लगाता है.

लॉजिट

रॉ (नॉन-स्टैंडर्ड) का वेक्टर, जो यह अनुमान लगाता है कि क्लासिफ़िकेशन मॉडल जनरेट करता है. इसके बाद, आम तौर पर इसे नॉर्मलाइज़ेशन फ़ंक्शन को पास कर दिया जाता है. अगर मॉडल, मल्टी-क्लास क्लासिफ़िकेशन से जुड़ी समस्या को हल कर रहा है, तो आम तौर पर लॉजिट सॉफ़्टमैक्स फ़ंक्शन के लिए इनपुट बन जाते हैं. इसके बाद सॉफ़्टमैक्स फ़ंक्शन, हर संभावित क्लास के लिए एक वैल्यू के साथ (सामान्य) प्रॉबबिलिटी का वेक्टर जनरेट करता है.

लॉग लॉस

#fundamentals

लॉस फ़ंक्शन का इस्तेमाल, बाइनरी लॉजिस्टिक रिग्रेशन में किया जाता है.

गणित देखने के लिए आइकॉन पर क्लिक करें.

यह फ़ॉर्मूला, लॉग लॉस का हिसाब लगाता है:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

कहां:

• \((x,y)\in D\) वह डेटासेट है जिसमें लेबल किए गए कई उदाहरण मौजूद हैं. ये \((x,y)\) पेयर होते हैं.
• \(y\) लेबल किए गए उदाहरण में मौजूद लेबल है. यह लॉजिस्टिक रिग्रेशन है. इसलिए, \(y\) की हर वैल्यू 0 या 1 होनी चाहिए.
• \(x\)में मौजूद सुविधाओं के सेट के आधार पर, \(y'\) वह अनुमानित वैल्यू है जो 0 से 1 के बीच की है और इसे खास तौर पर शामिल नहीं करती है.

---

लॉग-ऑड्स

#fundamentals

किसी इवेंट की संख्याओं का लॉगारिद्म (लघुगणक).

गणित देखने के लिए आइकॉन पर क्लिक करें.

अगर इवेंट, बाइनरी प्रॉबबिलिटी है, तो ऑड्स, सफलता की संभावना (p) और गड़बड़ी की संभावना (1-p) के अनुपात को दिखाता है. उदाहरण के लिए, मान लें कि किसी दिए गए इवेंट की सफल होने की संभावना 90% है और फ़ेल होने की 10% संभावना है. इस स्थिति में, ऑड्स को इस तरह से कैलकुलेट किया जाता है:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

लॉग-ऑड्स को आसानी से लॉगारिद्म कहते हैं. आम तौर पर, "लघुगणक" का मतलब है नैचुरल लॉगारिद्म. लेकिन, लॉगारिद्म असल में 1 से बड़ा कोई भी आधार हो सकता है. कन्वेंशन पर आधारित हमारे उदाहरण के लॉग-ऑड इस तरह हैं:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

लॉग-ऑड्स फ़ंक्शन, sigmoid फ़ंक्शन के उलट होता है.

---

लॉन्ग शॉर्ट-टर्म मेमोरी (एलएसटीएम)

#seq

बार-बार होने वाले न्यूरल नेटवर्क में मौजूद एक तरह की सेल. इसका इस्तेमाल, लिखावट की पहचान करने, मशीन से अनुवाद करने, और इमेज कैप्शनिंग जैसे ऐप्लिकेशन में डेटा के क्रम को प्रोसेस करने के लिए किया जाता है. एलएसटीएम उस ग्रेडिएंट की समस्या को हल करते हैं जो लंबे डेटा क्रम की वजह से आरएनएन को ट्रेनिंग देने के दौरान होती है. इसके लिए, आरएनएन की पुरानी सेल से मिले नए इनपुट और कॉन्टेक्स्ट के आधार पर इंटरनल मेमोरी की स्थिति में इतिहास को बनाए रखा जाता है.

LoRA

#language

#generativeAI

कम रैंक वाली जगह के हिसाब से ढल जाने की क्षमता के लिए छोटा नाम.

हार

#fundamentals

निगरानी में रखे गए मॉडल की ट्रेनिंग के दौरान, इससे पता चलता है कि किसी मॉडल का अनुमान, उसके लेबल से कितना दूर है.

लॉस फ़ंक्शन, नुकसान का हिसाब लगाता है.

लॉस एग्रीगेटर

एक तरह का मशीन लर्निंग एल्गोरिदम, जो किसी मॉडल की परफ़ॉर्मेंस को बेहतर बनाता है. ऐसा करने के लिए, एक से ज़्यादा मॉडल के अनुमान और उन अनुमानों का इस्तेमाल करके, एक ही अनुमान लगाया जाता है. इस वजह से, लॉस एग्रीगेटर कंपनी, अनुमानों के वैरियंस को कम कर सकती है और अनुमानों के सटीक होने को बेहतर बना सकती है.

लॉस कर्व

#fundamentals

ट्रेनिंग में दोहरावों की संख्या के आधार पर लॉस का प्लॉट. नीचे दिए गए प्लॉट में, आम तौर पर होने वाले नुकसान का वक्र दिखाया गया है:

लॉस कर्व से आपको यह पता लगाने में मदद मिल सकती है कि आपका मॉडल कब कन्वर्ज़न कर रहा है या ओवरफ़िट कर रहा है.

लॉस कर्व इस तरह के सभी नुकसान प्लॉट कर सकते हैं:

• ट्रेनिंग में होने वाली कमी
• पुष्टि की समस्या
• टेस्ट में होने वाली कमी

सामान्यीकरण का कर्व भी देखें.

लॉस फ़ंक्शन

#fundamentals

ट्रेनिंग या जांच के दौरान, एक गणितीय फ़ंक्शन, जो उदाहरणों के बैच में लॉस का हिसाब लगाता है. गलत अनुमान लगाने वाले मॉडल की तुलना में, खराब अनुमान लगाने वाले मॉडल के लिए, लॉस फ़ंक्शन कम होता है.

आम तौर पर, ट्रेनिंग का मकसद उस नुकसान को कम करना है जो नुकसान पहुंचाने वाले फ़ंक्शन से होने वाले नुकसान को कम करता है.

नुकसान पहुंचाने वाले कई अलग-अलग तरह के फ़ंक्शन मौजूद हैं. जिस तरह का मॉडल बनाया जा रहा है उसके लिए सही नुकसान फ़ंक्शन चुनें. उदाहरण के लिए:

• L₂ लॉस (या मीन स्क्वेयर्ड एरर), लीनियर रिग्रेशन के लॉस फ़ंक्शन है.
• लॉग लॉस का मतलब है, लॉजिस्टिक रिग्रेशन.

नुकसान की जगह

वज़न बनाम वज़न का ग्राफ़. ग्रेडिएंट डिसेंट का लक्ष्य वह वज़न पता करना है, जिसके लिए वज़न की कमी, स्थानीय स्तर पर तय की गई कम से कम वैल्यू के बराबर होती है.

कम रैंक वाली ज़रूरत के हिसाब से ढलने की क्षमता (एलआरए)

#language

#generativeAI

पैरामीटर को बेहतर ट्यूनिंग करने के लिए एक ऐसा एल्गोरिदम जो फ़ाइन-ट्यून, बड़े लैंग्वेज मॉडल के पैरामीटर का सिर्फ़ एक सबसेट है. LoRA से ये फ़ायदे मिलते हैं:

• यह उन तकनीकों की तुलना में ज़्यादा तेज़ी से ट्यून होता है जिनके लिए मॉडल के सभी पैरामीटर को बेहतर बनाने की ज़रूरत होती है.
• बेहतर बनाए गए मॉडल में अनुमान की कंप्यूटेशनल लागत कम करता है.

LoRA के साथ ट्यून किया गया मॉडल, अपने अनुमानों की क्वालिटी को बनाए रखता है या उसे बेहतर बनाता है.

LoRA किसी मॉडल के कई खास वर्शन चालू करता है.

एलएसटीएम

#seq

लॉन्ग शॉर्ट-टर्म मेमोरी के लिए छोटा नाम.

सोम

मशीन लर्निंग

#fundamentals

ऐसा प्रोग्राम या सिस्टम जो इनपुट डेटा से मॉडल को ट्रेन करता है. ट्रेन किया गया मॉडल, उसी डिस्ट्रिब्यूशन से लिए गए नए (पहले कभी नहीं देखा गया) डेटा से काम का अनुमान लगा सकता है जिसका इस्तेमाल मॉडल को ट्रेनिंग देने के लिए किया जाता है.

मशीन लर्निंग का मतलब, इन प्रोग्राम या सिस्टम से जुड़े अध्ययन क्षेत्र से भी है.

बहुमत श्रेणी

#fundamentals

क्लास-असंतुलित डेटासेट में ज़्यादा सामान्य लेबल. उदाहरण के लिए, अगर एक डेटासेट में 99% नेगेटिव लेबल और 1% पॉज़िटिव लेबल दिया गया है, तो नेगेटिव लेबल वाले लेबल ज़्यादा संख्या में होंगे.

अल्पसंख्यक श्रेणी के बीच अंतर.

मार्कोव डिसिज़न प्रोसेस (एमडीपी)

#rl

फ़ैसले लेने वाले मॉडल को दिखाने वाला ग्राफ़, जिसमें स्थितियों के क्रम को नेविगेट करने के लिए लिए गए फ़ैसले (या कार्रवाइयां) लिए जाते हैं. यह मान लिया जाता है कि मार्कोव प्रॉपर्टी सही है. रीइन्फ़ोर्समेंट लर्निंग में, राज्यों के बीच इस तरह के ट्रांज़िशन से अंकों में इनाम मिलता है.

मार्कोव की प्रॉपर्टी

#rl

कुछ परिवेश की प्रॉपर्टी, जिसमें किसी स्थिति का बदलाव, मौजूदा स्थिति में मौजूद जानकारी और एजेंट की कार्रवाई के आधार पर तय किया जाता है.

मास्क्ड लैंग्वेज मॉडल

#language

भाषा का मॉडल, जो किसी क्रम में खाली जगहों को भरने के लिए, कैंडिडेट टोकन की संभावना का अनुमान लगाता है. उदाहरण के लिए, मास्क किया गया भाषा का मॉडल, नीचे दिए गए वाक्य में अंडरलाइन को बदलने के लिए कैंडिडेट शब्दों के लिए संभावनाओं को कैलकुलेट कर सकता है:

टोपी में मौजूद ____ वापस आ गया.

साहित्य में आम तौर पर अंडरलाइन के बजाय "MASK" स्ट्रिंग का इस्तेमाल किया जाता है. उदाहरण के लिए:

टोपी वाला "मास्क" वापस आ गया.

मास्क वाले ज़्यादातर आधुनिक मॉडल, दोतरफ़ा हैं.

मैटप्लोटलिब

एक ओपन सोर्स Python 2D प्लॉटिंग लाइब्रेरी. matplotlib मशीन लर्निंग के अलग-अलग पहलुओं को विज़ुअलाइज़ करने में मदद करती है.

मैट्रिक्स फ़ैक्टराइज़ेशन

#recsystems

गणित में, ऐसे आव्यूहों को खोजने का एक तरीका जिनका डॉट प्रॉडक्ट किसी टारगेट मैट्रिक्स का अनुमान लगाता है.

सुझाव देने वाले सिस्टम में, टारगेट मैट्रिक्स में उपयोगकर्ताओं की रेटिंग अक्सर items होती है. उदाहरण के लिए, किसी फ़िल्म का सुझाव देने वाले सिस्टम के लिए टारगेट मैट्रिक्स कुछ ऐसा दिख सकता है: जिसमें पॉज़िटिव पूर्णांक, उपयोगकर्ता रेटिंग हैं और 0 का मतलब है कि उपयोगकर्ता ने फ़िल्म को रेटिंग नहीं दी है:

	कैसाब्लांका	द फ़िलाडेल्फ़िया स्टोरी	Black Panther	वंडर वुमन	पल्प फ़िक्शन
यूज़र 1	5.0	3.0	0.0	2.0	0.0
यूज़र 2	4.0	0.0	0.0	1.0	5.0
यूज़र 3	3.0	1.0	4.0	5.0	0.0

फ़िल्मों के सुझाव देने वाले सिस्टम का काम, बिना रेटिंग वाली फ़िल्मों के लिए उपयोगकर्ता रेटिंग का अनुमान लगाना होता है. उदाहरण के लिए, क्या उपयोगकर्ता 1 को Black Panther पसंद होगी?

सुझाव देने वाले सिस्टम के लिए, एक तरीका यह है कि इन दो मैट्रिक्स को जनरेट करने के लिए, मैट्रिक्स फ़ैक्टराइज़ेशन का इस्तेमाल किया जाए:

• यूज़र मैट्रिक्स, उपयोगकर्ताओं की संख्या X के तौर पर आकार दिया जाता है. यह संख्या, एम्बेड किए गए डाइमेंशन की संख्या होती है.
• आइटम का मैट्रिक्स, यह एम्बेड किए गए डाइमेंशन की संख्या X के तौर पर आइटम की संख्या के रूप में दिखता है.

उदाहरण के लिए, हमारे तीन उपयोगकर्ताओं और पांच आइटम पर मैट्रिक्स फ़ैक्टराइज़ेशन का इस्तेमाल करने से, नीचे दिया गया यूज़र मैट्रिक्स और आइटम मैट्रिक्स मिल सकता है:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

यूज़र मैट्रिक्स और आइटम मैट्रिक्स का डॉट प्रॉडक्ट, सुझाव वाली एक मैट्रिक्स देता है. इसमें सिर्फ़ मूल उपयोगकर्ता रेटिंग ही नहीं, बल्कि उन फ़िल्मों के लिए भी अनुमान होते हैं जिन्हें हर उपयोगकर्ता ने नहीं देखा है. उदाहरण के लिए, उपयोगकर्ता 1 की Casablanca की रेटिंग देखें, जो 5.0 थी. उम्मीद है कि सुझाव मैट्रिक्स में उस सेल से जुड़े डॉट प्रॉडक्ट की संख्या 5.0 होनी चाहिए और यह:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

इससे भी अहम बात यह है कि क्या उपयोगकर्ता 1, Black Panther को पसंद करेगा? पहली पंक्ति और तीसरे कॉलम के हिसाब से डॉट प्रॉडक्ट लेने पर, 4.3 की अनुमानित रेटिंग मिलती है:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

आम तौर पर, मैट्रिक्स फ़ैक्टराइज़ेशन से यूज़र मैट्रिक्स और आइटम मैट्रिक्स मिलते हैं, जो साथ मिलकर, टारगेट मैट्रिक्स की तुलना में काफ़ी छोटे होते हैं.

मीन ऐब्सॉल्यूट एरर (MAE)

L₁ नुकसान का इस्तेमाल करने पर, हर उदाहरण के हिसाब से होने वाला औसत नुकसान. माध्य निरपेक्ष गड़बड़ी की गणना इस तरह करें:

1. किसी बैच के लिए, L₁ के नुकसान का हिसाब लगाना.
2. L₁ के नुकसान को बैच में मौजूद उदाहरणों की संख्या से भाग दें.

औपचारिक गणित देखने के लिए, आइकॉन पर क्लिक करें.

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

कहां:

• $n$ उदाहरणों की संख्या है.
• $y$ लेबल का वास्तविक मान है.
• $\hat{y}$ वह वैल्यू है जिसका अनुमान $y$ के लिए लगाता है.

---

उदाहरण के लिए, पांच उदाहरणों के नीचे दिए गए बैच में, L₁ के नुकसान का हिसाब लगाने पर विचार करें:

उदाहरण का वास्तविक मान	मॉडल की अनुमानित वैल्यू	नुकसान (असल और अनुमानित के बीच अंतर)
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L1 नुकसान

इस तरह, L₁ का नुकसान 8 है और उदाहरणों की संख्या पांच है. इसलिए, मीन ऐब्सॉल्यूट गड़बड़ी यह है:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

मीन स्क्वेयर्ड एरर और रूट मीन स्क्वेयर्ड एरर के साथ कंट्रास्ट मीन ऐब्सॉल्यूट एरर.

मीन स्क्वेयर्ड एरर (MSE)

L₂ नुकसान का इस्तेमाल करने पर, हर उदाहरण के हिसाब से औसत नुकसान. औसत वर्गाकार गड़बड़ी की गणना इस तरह करें:

1. किसी बैच के लिए, L₂ के नुकसान का हिसाब लगाना.
2. L₂ के नुकसान को बैच में मौजूद उदाहरणों की संख्या से भाग दें.

औपचारिक गणित देखने के लिए, आइकॉन पर क्लिक करें.

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$ जहां:

• $n$ उदाहरणों की संख्या है.
• $y$ लेबल का वास्तविक मान है.
• $\hat{y}$, $y$ के लिए मॉडल का अनुमान है.

---

उदाहरण के लिए, नीचे दिए गए पांच उदाहरणों के बैच में दिए गए नुकसान पर विचार करें:

वास्तविक मान	मॉडल का अनुमान	हार मिली	वर्गाकार नुकसान
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			16 = L2 नुकसान

इसलिए, मीन स्क्वेयर्ड एरर:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

मीन स्क्वेयर्ड एरर, एक लोकप्रिय ट्रेनिंग ऑप्टिमाइज़ेशन है. खास तौर पर, लीनियर रिग्रेशन के लिए.

मीन ऐब्सॉल्यूट एरर और रूट मीन स्क्वेयर्ड एरर के साथ कंट्रास्ट मीन स्क्वेयर्ड एरर.

TensorFlow Playground, नुकसान की वैल्यू का पता लगाने के लिए मीन स्क्वेयर्ड एरर का इस्तेमाल करता है.

आउटलेयर के बारे में ज़्यादा जानकारी देखने के लिए, आइकॉन पर क्लिक करें.

आउटलायर, मीन स्क्वेयर्ड एरर पर गहरा असर डालता है. उदाहरण के लिए, 1 के नुकसान का मतलब है 1 का वर्ग नुकसान, लेकिन 3 का नुकसान, 9 का वर्ग नुकसान है. पिछली टेबल में, मीन स्क्वेयर्ड एरर के ~56% के लिए 3 खातों को खोने का उदाहरण दिया गया है. वहीं, हर उदाहरण में, मीन स्क्वेयर्ड एरर के सिर्फ़ 6% हिस्से में एक खाते की कमी के बारे में बताया गया है.

आउटलायर, मीन ऐब्सॉल्यूट एरर पर उतना असर नहीं डालते, जितना मीन स्क्वेयर्ड एरर से. उदाहरण के लिए, मीन ऐब्सॉल्यूट एरर का सिर्फ़ ~38% हिस्सा तीन खातों के खोने की.

क्लिपिंग, एक ऐसा तरीका है जिसकी मदद से, बहुत ज़्यादा बाहरी डिवाइसों, मॉडल की अनुमान लगाने की क्षमता को नुकसान पहुंचने से रोका जा सकता है.

---

मेश

#TensorFlow

#GoogleCloud

एमएल पैरलल प्रोग्रामिंग में, एक ऐसा शब्द होता है जो TPU चिप को डेटा और मॉडल असाइन करने से जुड़ा होता है. साथ ही, यह तय करता है कि इन वैल्यू को शार्ड करने या उनकी कॉपी कैसे बनाई जाएगी.

मेश बहुत ज़्यादा लोड होने वाला शब्द है जिसका मतलब इनमें से कोई एक हो सकता है:

• TPU चिप का फ़िज़िकल लेआउट.
• यह डेटा और मॉडल को TPU चिप के साथ मैप करने के लिए बनाया गया ऐब्सट्रैक्ट लॉजिकल कंस्ट्रक्शन है.

दोनों ही मामलों में, मेश को आकार के तौर पर बताया जाता है.

मेटा-लर्निंग

#language

मशीन लर्निंग का एक ऐसा सबसेट जो लर्निंग एल्गोरिदम को खोजता है या उसे बेहतर बनाता है. मेटा-लर्निंग सिस्टम का मकसद किसी मॉडल को ट्रेनिंग देना भी हो सकता है, ताकि वह कम डेटा या पिछले टास्क में मिले अनुभव की मदद से, कोई नया टास्क तुरंत सीख सके. मेटा-लर्निंग एल्गोरिदम आम तौर पर, ये काम करने की कोशिश करते हैं:

• हाथ से बनाई गई सुविधाओं (जैसे, शुरू करने वाला टूल या ऑप्टिमाइज़र) को बेहतर बनाना या सीखना.
• डेटा की कम खपत और कम्प्यूलेशन की सुविधा का इस्तेमाल करें.
• सामान्यीकरण को बेहतर बनाएं.

मेटा-लर्निंग, कुछ शॉट लर्निंग से जुड़ा है.

मीट्रिक

#TensorFlow

वह आंकड़ा, जो आपके लिए अहम है.

मकसद एक ऐसी मेट्रिक है जिसे मशीन लर्निंग सिस्टम ऑप्टिमाइज़ करने की कोशिश करता है.

मेट्रिक एपीआई (tf.metric)

मॉडल का आकलन करने के लिए, TensorFlow एपीआई. उदाहरण के लिए, tf.metrics.accuracy यह तय करता है कि किसी मॉडल के अनुमान, लेबल से कितनी बार मेल खाते हैं.

मिनी-बैच

#fundamentals

बैच का एक छोटा और बिना किसी क्रम के चुना गया सबसेट, जिसे एक ही दोहराव में प्रोसेस किया जाता है. आम तौर पर, मिनी-बैच के बैच का साइज़ 10 से 1,000 उदाहरणों के बीच होता है.

उदाहरण के लिए, मान लें कि पूरे ट्रेनिंग सेट (पूरे बैच) में 1,000 उदाहरण हैं. इसके अलावा, मान लें कि आपने हर मिनी-बैच के लिए बैच साइज़ को 20 पर सेट किया है. इसलिए, हर फिर से 1,000 उदाहरणों में से 20 उदाहरणों से रैंडम तरीके से 20 के नुकसान का पता चलता है. इसके बाद, यह उसी के हिसाब से वेट और पूर्वाग्रह को बदल देता है.

पूरे बैच के सभी उदाहरणों की हानि की तुलना में, मिनी-बैच पर होने वाले नुकसान का हिसाब लगाना ज़्यादा असरदार है.

मिनी-बैच स्टोकेस्टिक ग्रेडिएंट डिसेंट

ग्रेडिएंट डिसेंट एल्गोरिदम, जो मिनी-बैच का इस्तेमाल करता है. दूसरे शब्दों में, मिनी-बैच स्टोकेस्टिक ग्रेडिएंट डिसेंट, ट्रेनिंग डेटा के एक छोटे सबसेट के आधार पर ग्रेडिएंट का अनुमान लगाता है. रेगुलर स्टोकेस्टिक ग्रेडिएंट डिसेंट में साइज़ 1 के मिनी-बैच का इस्तेमाल किया जाता है.

मिनीमैक्स लॉस

जनरेटिव ऐडवर्सल नेटवर्क के लिए नुकसान का फ़ंक्शन, जो जनरेट किए गए डेटा और असली डेटा के डिस्ट्रिब्यूशन के बीच क्रॉस-एंट्रॉपी पर आधारित होता है.

मिनीमैक्स लॉस का इस्तेमाल पहले पेपर में, जनरेटिव ऐडवर्सल नेटवर्क के बारे में बताने के लिए किया गया है.

अल्पसंख्यक वर्ग

#fundamentals

क्लास-असंतुलित डेटासेट में कम इस्तेमाल होने वाला लेबल. उदाहरण के लिए, अगर 99% नेगेटिव लेबल और 1% पॉज़िटिव लेबल वाले डेटासेट के लिए, पॉज़िटिव लेबल दिए जाते हैं, तो उन्हें माइनरिटी क्लास कहा जाता है.

मेजरिटी क्लास के साथ कंट्रास्ट.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

ऐसा ट्रेनिंग सेट जिसमें लाखों उदाहरण हैं, जो आपको बहुत अच्छे लगते हैं. हालांकि, अगर माइनरिटी क्लास को सही ढंग से नहीं दिखाया जाता है, तो हो सकता है कि बहुत बड़ा ट्रेनिंग सेट भी काफ़ी न हो. डेटासेट में मौजूद उदाहरणों की कुल संख्या पर कम और माइनौरिटी क्लास में उदाहरणों की संख्या पर ज़्यादा ध्यान दें.

अगर आपके डेटासेट में

---

माली (ML)

मशीन लर्निंग के लिए छोटा नाम.

एमएनआईएसटी

#image

LeCun, Cortes, और Burges ने एक सार्वजनिक-डोमेन डेटासेट इकट्ठा किया है,जिसमें 60, 000 इमेज हैं. हर इमेज में दिखाया गया है कि किसी व्यक्ति ने 0 से 9 तक के अंकों को मैन्युअल तरीके से कैसे लिखा. हर इमेज को पूर्णांकों की 28x28 कलेक्शन के तौर पर सेव किया जाता है. यहां हर पूर्णांक, 0 से 255 के बीच की ग्रेस्केल वैल्यू होती है.

एमएनआईएसटी, मशीन लर्निंग के लिए एक कैननिकल डेटासेट है. इसका इस्तेमाल अक्सर मशीन लर्निंग के नए तरीकों की जांच करने के लिए किया जाता है. ज़्यादा जानकारी के लिए, हाथ से लिखे हुए अंकों का MNIST डेटाबेस देखें.

मोडलिटी

#language

डेटा की हाई-लेवल कैटगरी. उदाहरण के लिए, संख्या, टेक्स्ट, इमेज, वीडियो, और ऑडियो, पांच अलग-अलग तरीके हैं.

model

#fundamentals

आम तौर पर, गणित के किसी ऐसे कंस्ट्रक्ट जो इनपुट डेटा को प्रोसेस करता है और आउटपुट देता है. मॉडल, पैरामीटर और स्ट्रक्चर का एक सेट होता है. यह अनुमान लगाने के लिए सिस्टम की ज़रूरत होती है. सुपरवाइज़्ड मशीन लर्निंग में, कोई मॉडल इनपुट के तौर पर उदाहरण लेता है और आउटपुट के तौर पर अनुमान का अनुमान लगाता है. निगरानी में रखे गए मशीन लर्निंग के मॉडल में कुछ हद तक अंतर होता है. उदाहरण के लिए:

• लीनियर रिग्रेशन मॉडल में, वेट और बायस का एक सेट शामिल होता है.
• न्यूरल नेटवर्क मॉडल में ये शामिल हैं:
  • छिपी हुई लेयर का सेट, हर लेयर में एक या उससे ज़्यादा न्यूरॉन होते हैं.
  • हर न्यूरॉन से जुड़े वेट और बायस.
• डिसिज़न ट्री मॉडल में ये चीज़ें शामिल होती हैं:
  • पेड़ का आकार; यानी वह पैटर्न जिसमें पत्तियां और स्थितियां जुड़ी होती हैं.
  • मौसम और पत्तियां.

आपके पास मॉडल को सेव करने, उसे वापस लाने या उसकी कॉपी बनाने का विकल्प होता है.

अनसुपरवाइज़्ड मशीन लर्निंग भी मॉडल जनरेट करती है. आम तौर पर, यह एक ऐसा फ़ंक्शन होता है जो इनपुट के उदाहरण को सबसे सही क्लस्टर से मैप कर सकता है.

बीजगणित और प्रोग्रामिंग फ़ंक्शन की तुलना एमएल मॉडल से करने के लिए, आइकॉन पर क्लिक करें.

बीजगणितीय फ़ंक्शन, जैसा कि नीचे दिया गया है, एक मॉडल है:

  f(x, y) = 3x -5xy + y2 + 17

पिछला फ़ंक्शन, इनपुट वैल्यू (x और y) को आउटपुट के लिए मैप करता है.

इसी तरह, नीचे दिया गया प्रोग्रामिंग फ़ंक्शन भी एक मॉडल है:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

कॉलर, पिछले Python फ़ंक्शन के लिए आर्ग्युमेंट पास करता है और Python फ़ंक्शन, return स्टेटमेंट के ज़रिए आउटपुट जनरेट करता है.

डीप न्यूरल नेटवर्क का मैथमैटिकल स्ट्रक्चर, बीजगणित या प्रोग्रामिंग फ़ंक्शन से काफ़ी अलग होता है. हालांकि, डीप न्यूरल नेटवर्क अब भी इनपुट (उदाहरण) और रिटर्न (अनुमान) लेता है.

एक प्रोग्रामर, मैन्युअल तरीके से प्रोग्रामिंग फ़ंक्शन को कोड करता है. वहीं दूसरी ओर, ऑटोमेटेड ट्रेनिंग के दौरान मशीन लर्निंग मॉडल धीरे-धीरे सबसे सही पैरामीटर माना जाता है.

---

मॉडल की क्षमता

उन समस्याओं की जटिलता जो मॉडल सीख सकता है. मॉडल जितनी मुश्किल समस्याओं को समझ सकता है, मॉडल की क्षमता उतनी ही ज़्यादा होगी. किसी मॉडल की क्षमता आम तौर पर मॉडल पैरामीटर की संख्या के साथ बढ़ती है. कैटगरी तय करने की क्षमता की औपचारिक परिभाषा के लिए, वीसी डाइमेंशन देखें.

मॉडल कैस्केडिंग

#generativeAI

ऐसा सिस्टम जो किसी खास अनुमान के लिए सही model चुनता है.

कई मॉडल के ग्रुप के बारे में सोचें. इनमें बहुत बड़े (कई पैरामीटर) से लेकर बहुत छोटे (बहुत कम पैरामीटर) तक के मॉडल शामिल हैं. बहुत बड़े मॉडल, छोटे मॉडल की तुलना में अनुमान पर ज़्यादा कंप्यूटेशनल रिसॉर्स का इस्तेमाल करते हैं. हालांकि, बहुत बड़े मॉडल को छोटे मॉडल की तुलना में ज़्यादा मुश्किल अनुरोध मिल सकते हैं. मॉडल कैस्केडिंग की मदद से, अनुमान क्वेरी की जटिलता का पता चलता है और फिर अनुमान लगाने के लिए सही मॉडल चुना जाता है. मॉडल कैस्केडिंग की मुख्य वजह है, अनुमान की लागत कम करना. इसके लिए, आम तौर पर छोटे मॉडल चुनें. साथ ही, ज़्यादा मुश्किल क्वेरी के लिए सिर्फ़ बड़ा मॉडल चुनें.

मान लें कि एक छोटा मॉडल फ़ोन पर चलता है और उस मॉडल का बड़ा वर्शन किसी रिमोट सर्वर पर चलता है. अच्छे मॉडल कैस्केडिंग से लागत और इंतज़ार के समय में कमी आती है. इससे छोटे मॉडल, आसान अनुरोधों को हैंडल कर पाते हैं. साथ ही, मुश्किल अनुरोधों को हैंडल करने के लिए सिर्फ़ रिमोट मॉडल को कॉल कर सकते हैं.

मॉडल राऊटर भी देखें.

मॉडल पैरललिज़्म

#language

ट्रेनिंग या अनुमान का ऐसा तरीका जिसमें किसी model के अलग-अलग हिस्सों को अलग-अलग model पर लगाया जाता है. मॉडल पैरललिज़्म ऐसे मॉडल को चालू करता है जो एक डिवाइस पर फ़िट होने के लिए बहुत बड़े हैं.

मॉडल पैरललिज़्म को लागू करने के लिए, सिस्टम आम तौर पर ये काम करता है:

1. मॉडल को छोटे हिस्सों में बांटता है.
2. उन छोटे हिस्सों की ट्रेनिंग, कई प्रोसेसर के साथ दी जाती है. हर प्रोसेसर, मॉडल के अपने हिस्से को ट्रेनिंग देता है.
3. एक मॉडल बनाने के लिए नतीजों को जोड़ता है.

मॉडल पैरललिज़्म, ट्रेनिंग को धीमा कर देता है.

डेटा समानता भी देखें.

मॉडल राऊटर

#generativeAI

वह एल्गोरिदम जो model में model के लिए सबसे सही model तय करता है. मॉडल राऊटर खुद ही एक मशीन लर्निंग मॉडल होता है, जो धीरे-धीरे यह सीखता है कि दिए गए इनपुट के लिए सबसे अच्छा मॉडल कैसे चुना जाए. हालांकि, मॉडल राऊटर कभी-कभी एक आसान और गैर-मशीन लर्निंग एल्गोरिदम हो सकता है.

मॉडल ट्रेनिंग

सबसे अच्छा model तय करने की प्रोसेस.

दिलचस्पी बढ़ाना

एक आधुनिक ग्रेडिएंट डिसेंट एल्गोरिदम, जिसमें लर्निंग चरण न सिर्फ़ मौजूदा चरण में मौजूद डेरिवेटिव पर निर्भर करता है, बल्कि इससे ठीक पहले आने वाले चरणों के डेरिवेटिव पर भी निर्भर करता है. मोमेंटम में समय के साथ ग्रेडिएंट में तेज़ी से लोड होने वाले औसत का हिसाब लगाना शामिल होता है. कभी-कभी मोमेंटम, सीखने की प्रक्रिया को स्कूल के मिनीमा में रुकावट नहीं डालता.

मल्टी-क्लास क्लासिफ़िकेशन

#fundamentals

सुपरवाइज़्ड लर्निंग में, क्लासिफ़िकेशन से जुड़ी एक समस्या जिसमें डेटासेट में लेबल की दो से ज़्यादा क्लास मौजूद होती हैं. उदाहरण के लिए, Iris डेटासेट में मौजूद लेबल, इन तीन क्लास में से एक होना चाहिए:

• आइरिस सेटोसा
• आइरिस वर्जीनिका
• आइरिस वर्सिकलर

एक मॉडल, जिसे Iris डेटासेट पर ट्रेनिंग दी गई है और जो नए उदाहरणों पर, आइरिस टाइप का अनुमान लगाती है, वह है मल्टी-क्लास क्लासिफ़िकेशन.

वहीं दूसरी ओर, दो क्लास को आसानी से पहचानने के लिए, बाइनरी क्लासिफ़िकेशन मॉडल का इस्तेमाल किया जाता है. उदाहरण के लिए, स्पैम या स्पैम नहीं का अनुमान लगाने वाला ईमेल मॉडल, बाइनरी क्लासिफ़िकेशन मॉडल है.

क्लस्टरिंग की समस्याओं में, मल्टी-क्लास क्लासिफ़िकेशन, दो से ज़्यादा क्लस्टर के बारे में बताता है.

मल्टी-क्लास लॉजिस्टिक रिग्रेशन

मल्टी-क्लास क्लासिफ़िकेशन से जुड़े सवालों में, लॉजिस्टिक रिग्रेशन का इस्तेमाल करना.

मल्टी-हेड सेल्फ़-अटेंशन

#language

सेल्फ़-अटेंशन का एक एक्सटेंशन, जो इनपुट के क्रम में हर पोज़िशन के लिए, सेल्फ़-अटेंशन तकनीक को कई बार लागू करता है.

ट्रांसफ़ॉर्मर टूल की मदद से, खुद पर ध्यान देने की सुविधा इस्तेमाल की जा सकती है.

मल्टीमोडल मॉडल

#language

ऐसा मॉडल जिसके इनपुट और/या आउटपुट में एक से ज़्यादा मोडलिटी शामिल हों. उदाहरण के लिए, एक ऐसे मॉडल के बारे में सोचें जिसमें सुविधाओं के तौर पर इमेज और टेक्स्ट कैप्शन (दो तरीके) हों. इसलिए, इस मॉडल के इनपुट मल्टीमोडल हैं और आउटपुट यूनिमोडल है.

बहुपद वर्गीकरण

मल्टी-क्लास क्लासिफ़िकेशन का समानार्थी शब्द.

मल्टीनॉमियल रिग्रेशन

मल्टी-क्लास लॉजिस्टिक रिग्रेशन का समानार्थी शब्द.

मल्टीटास्क

मशीन लर्निंग की एक तकनीक, जिसमें एक model को कई model करने के लिए ट्रेनिंग दी जाती है.

मल्टीटास्क मॉडल, हर अलग-अलग टास्क के लिए सही डेटा की ट्रेनिंग के ज़रिए बनाए जाते हैं. इससे मॉडल को सभी टास्क के लिए जानकारी शेयर करना सीखने में मदद मिलती है, जिससे मॉडल को ज़्यादा असरदार तरीके से सीखने में मदद मिलती है.

कई टास्क के लिए बनाए गए मॉडल में, आम तौर पर चीज़ों को हल करने की क्षमताएं बेहतर होती हैं और यह अलग-अलग तरह के डेटा को हैंडल करने में ज़्यादा बेहतर हो सकता है.

नहीं

NaN ट्रैप

जब आपके मॉडल का कोई नंबर ट्रेनिंग के दौरान NaN बन जाता है, तो आपके मॉडल में मौजूद कई या अन्य सभी नंबर की वजह से जल्द ही NaN बन जाती है.

NaN का संक्षिप्त नाम Not a Nंबर होता है.

नैचुरल लैंग्वेज अंडरस्टैंडिंग

#language

उपयोगकर्ता ने क्या टाइप किया है या क्या कहा है, इसके आधार पर उपयोगकर्ता का इरादा तय करना. उदाहरण के लिए, सर्च इंजन स्वाभाविक भाषा की मदद से यह तय करता है कि उपयोगकर्ता ने क्या टाइप किया है या क्या कहा है.

टारगेटिंग से बाहर रखी गई क्लास

#fundamentals

बाइनरी क्लासिफ़िकेशन में, एक क्लास को पॉज़िटिव और दूसरे को नेगेटिव कहा जाता है. पॉज़िटिव क्लास वह चीज़ या इवेंट है जिसके लिए मॉडल टेस्ट कर रहा है और नेगेटिव क्लास दूसरी संभावना है. उदाहरण के लिए:

• किसी मेडिकल टेस्ट में नेगेटिव क्लास "ट्यूमर नहीं" हो सकती है.
• ईमेल क्लासिफ़ायर में नेगेटिव क्लास "स्पैम नहीं" हो सकती है.

पॉज़िटिव क्लास के साथ कंट्रास्ट करें.

नेगेटिव सैंपलिंग

उम्मीदवार सैंपलिंग का समानार्थी शब्द.

न्यूरल आर्किटेक्चर सर्च (एनएएस)

न्यूरल नेटवर्क के आर्किटेक्चर को अपने-आप डिज़ाइन करने की तकनीक. एनएएस एल्गोरिदम, न्यूरल नेटवर्क को ट्रेनिंग देने में लगने वाले समय और संसाधनों को कम कर सकते हैं.

आम तौर पर, एनएएस इन चीज़ों का इस्तेमाल करता है:

• कोई सर्च स्पेस, जो संभावित आर्किटेक्चर का सेट है.
• एक फ़िटनेस फ़ंक्शन, जो यह बताता है कि कोई खास आर्किटेक्चर किसी दिए गए टास्क पर कितना अच्छा परफ़ॉर्म करता है.

एनएएस एल्गोरिदम अक्सर संभावित आर्किटेक्चर के एक छोटे सेट से शुरुआत करते हैं और जैसे-जैसे एल्गोरिदम असरदार होता है, वैसे-वैसे सर्च स्पेस का दायरा बढ़ता जाता है. आम तौर पर, फ़िटनेस फ़ंक्शन, ट्रेनिंग सेट के आर्किटेक्चर की परफ़ॉर्मेंस पर आधारित होता है. एल्गोरिदम को आम तौर पर रीइन्फ़ोर्समेंट लर्निंग तकनीक का इस्तेमाल करके ट्रेनिंग दी जाती है.

एनएएस एल्गोरिदम, कई तरह के कामों के लिए बेहतर परफ़ॉर्म करने वाले आर्किटेक्चर ढूंढने में असरदार साबित हुए हैं. इनमें इमेज का क्लासिफ़िकेशन, टेक्स्ट की कैटगरी तय करने, और मशीन से अनुवाद करने जैसे काम शामिल हैं.

न्यूरल नेटवर्क

#fundamentals

ऐसा model जिसमें कम से कम एक model हो. डीप न्यूरल नेटवर्क एक तरह का न्यूरल नेटवर्क है. इसमें एक से ज़्यादा छिपी हुई लेयर होती हैं. उदाहरण के लिए, नीचे दिया गया डायग्राम, दो छिपे हुए लेयर वाले डीप न्यूरल नेटवर्क को दिखाता है.

न्यूरल नेटवर्क का हर न्यूरॉन, अगली लेयर के सभी नोड से कनेक्ट होता है. उदाहरण के लिए, पिछले डायग्राम में ध्यान दें कि पहली छिपी हुई लेयर में मौजूद तीन न्यूरॉन में से हर एक न्यूरॉन, दूसरी छिपी लेयर में मौजूद दो न्यूरॉन से अलग-अलग कनेक्ट करता है.

कंप्यूटर पर इस्तेमाल किए जाने वाले न्यूरल नेटवर्क को कभी-कभी आर्टिफ़िशियल न्यूरल नेटवर्क कहा जाता है, ताकि इन्हें दिमाग और दूसरे नर्वस सिस्टम में पाए जाने वाले न्यूरल नेटवर्क से अलग किया जा सके.

कुछ न्यूरल नेटवर्क, अलग-अलग सुविधाओं और लेबल के बीच बहुत जटिल नॉन-लीनियर रिलेशनशिप की नकल कर सकते हैं.

कंवोलूशनल न्यूरल नेटवर्क और बार-बार होने वाले न्यूरल नेटवर्क भी देखें.

न्यूरॉन

#fundamentals

मशीन लर्निंग में, किसी न्यूरल नेटवर्क की छिपी हुई लेयर में मौजूद एक अलग यूनिट. हर न्यूरॉन, ये दो चरण करता है:

1. यह इनपुट वैल्यू के भारित योग को उनके संबंधित भार से गुणा करके मिलने वाली वैल्यू को कैलकुलेट करता है.
2. वेटेड योग को इनपुट के रूप में ऐक्टिवेशन फ़ंक्शन में पास करता है.

छिपी हुई पहली लेयर में मौजूद न्यूरॉन, इनपुट लेयर में मौजूद सुविधा की वैल्यू से इनपुट स्वीकार करता है. पहली छिपी हुई लेयर के बाद, किसी भी छिपी हुई परत में मौजूद न्यूरॉन, पहले की छिपी लेयर के न्यूरॉन के इनपुट स्वीकार करता है. उदाहरण के लिए, छिपी हुई दूसरी लेयर में मौजूद एक न्यूरॉन, पहली छिपी हुई लेयर के न्यूरॉन के इनपुट स्वीकार करता है.

इस उदाहरण में दो न्यूरॉन और उनके इनपुट को हाइलाइट किया गया है.

तंत्रिकाओं के नेटवर्क में मौजूद एक न्यूरोन, दिमाग और नर्वस सिस्टम के दूसरे हिस्सों में न्यूरॉन के व्यवहार की नकल करता है.

एन-ग्राम

#seq

#language

N शब्दों का व्यवस्थित क्रम. उदाहरण के लिए, वहीं पागलों की तरह, दो ग्राम का है. ऐसा इसलिए, क्योंकि ऑर्डर काम का होता है, इसलिए मकसद 2-ग्राम का, वहीं से अलग है.

नहीं	इस तरह के एन-ग्राम के लिए नाम	उदाहरण
2	बिगरैम या 2-ग्राम	जाने, जाने, लंच करने, और डिनर करने के लिए
3	ट्रिग्राम या 3-ग्राम	बहुत ज़्यादा खा लिया, तीन अंधा चूहे, बेल टोल
4	4-ग्राम	पार्क में टहलना, हवा में धूल, दाल खाया है

कई सामान्य भाषा की समझ वाले मॉडल, N-ग्राम का इस्तेमाल करके अनुमान लगाते हैं कि उपयोगकर्ता कौनसा शब्द टाइप करेगा या कौनसा शब्द बोलेगा. उदाहरण के लिए, मान लें कि किसी उपयोगकर्ता ने तीन ब्लाइंड्स टाइप किया है. ट्रायग्राम पर आधारित एनएलयू मॉडल से यह अनुमान लगाया जा सकता है कि उपयोगकर्ता अगली बार माइस टाइप करेगा.

शब्दों के बैग के साथ एन-ग्राम का कंट्रास्ट करें, जो शब्दों के बिना क्रम वाले सेट होते हैं.

एनएलयू

#language

प्राकृतिक भाषा समझके लिए इसे छोटा नाम.

नोड (डिसिज़न ट्री)

#df

डिसिज़न ट्री में, कोई भी स्थिति या पत्ती.

नोड (न्यूरल नेटवर्क)

#fundamentals

छिपी हुई लेयर में मौजूद न्यूरॉन.

नोड (TensorFlow ग्राफ़)

#TensorFlow

TensorFlow के ग्राफ़ में एक कार्रवाई.

शोर

मोटे तौर पर, ऐसी कोई भी चीज़ जो डेटासेट में सिग्नल को छिपा देती है. शोर को कई तरह से डेटा में शामिल किया जा सकता है. उदाहरण के लिए:

• रेटिंग देने वाले लोग, वीडियो पर लेबल लगाने में गलतियां करते हैं.
• लोग और इंस्ट्रुमेंट, सुविधाओं की वैल्यू गलत रिकॉर्ड करते हैं या उन्हें मिटा देते हैं.

नॉन-बाइनरी कंडीशन

#df

ऐसी शर्त जिसमें दो से ज़्यादा नतीजे हो सकते हैं. उदाहरण के लिए, इस नॉन-बाइनरी शर्त में तीन संभावित नतीजे शामिल हैं:

नॉनलीनियर

#fundamentals

दो या दो से ज़्यादा वैरिएबल के बीच का संबंध, जिसे सिर्फ़ जोड़ और गुणा करके नहीं दिखाया जा सकता. लीनियर रिलेशनशिप को लाइन के तौर पर दिखाया जा सकता है. nonlinear रिलेशनशिप को लाइन के तौर पर नहीं दिखाया जा सकता. उदाहरण के लिए, ऐसे दो मॉडल मानें जिनमें हर एक सुविधा एक ही लेबल से जुड़ी हो. बाईं ओर का मॉडल लीनियर है और दाईं ओर का मॉडल लीनियर है:

नॉन-रिस्पॉन्स बायस

#fairness

चुनाव में पक्षपात देखें.

नॉनस्टेशनरिटी

#fundamentals

यह ऐसी सुविधा है जिसकी वैल्यू एक या उससे ज़्यादा डाइमेंशन में बदलती हैं. आम तौर पर, इसमें समय लगता है. उदाहरण के लिए, नॉनस्टेशनरिटी के इन उदाहरणों पर विचार करें:

• किसी एक स्टोर में बेचे जाने वाले स्विमसूट की संख्या, सीज़न के हिसाब से बदलती रहती है.
• किसी इलाके में फ़सल के काटे जाने वाले फल की संख्या साल भर में शून्य रहती है, लेकिन कुछ समय के लिए ज़्यादा होती है.
• जलवायु परिवर्तन की वजह से, हर साल के औसत तापमान में बदलाव हो रहा है.

स्टेशनरिटी के साथ कंट्रास्ट करें.

नॉर्मलाइज़ेशन

#fundamentals

मोटे तौर पर, किसी वैरिएबल की वैल्यू की असल रेंज को वैल्यू की स्टैंडर्ड रेंज में बदलने की प्रोसेस, जैसे कि:

• -1 से +1 तक
• 0 से 1
• सामान्य डिस्ट्रिब्यूशन

उदाहरण के लिए, मान लें कि किसी सुविधा की वैल्यू की असल रेंज 800 से 2,400 है. फ़ीचर इंजीनियरिंग के हिस्से के तौर पर, असल वैल्यू को एक स्टैंडर्ड रेंज तक सामान्य बनाया जा सकता है, जैसे कि -1 से +1.

फ़ीचर इंजीनियरिंग में नॉर्मलाइज़ेशन एक आम टास्क है. जब फ़ीचर वेक्टर में संख्या वाली हर सुविधा की रेंज करीब-करीब एक जैसी होती है, तो मॉडल आम तौर पर तेज़ी से ट्रेनिंग लेता है और बेहतर अनुमान देता है.

नॉवल्टी डिटेक्शन

यह तय करने की प्रोसेस कि कोई नया (नया) उदाहरण, उसी डिस्ट्रिब्यूशन से लिया गया है या नहीं जिससे ट्रेनिंग सेट मिला है. दूसरे शब्दों में, ट्रेनिंग सेट की ट्रेनिंग के बाद, नॉवेल्टी डिटेक्शन में यह तय होता है कि कोई नया उदाहरण (अनुमान के दौरान या अतिरिक्त ट्रेनिंग के दौरान) है या नहीं. यह आउटलायर है.

बाहरी पहचान की सुविधा के साथ कंट्रास्ट.

संख्या वाला डेटा

#fundamentals

सुविधाएं को पूर्णांक या असली वैल्यू के तौर पर दिखाया जाता है. उदाहरण के लिए, किसी घर का मूल्यांकन मॉडल संख्यात्मक डेटा के रूप में घर के आकार (वर्ग फ़ीट या वर्ग मीटर में) को दिखाएगा. किसी सुविधा को संख्या वाले डेटा के रूप में दिखाने से पता चलता है कि सुविधा की वैल्यू का लेबल के साथ गणितीय संबंध है. इसका मतलब है कि किसी घर के वर्ग मीटर की संख्या का, घर के मूल्य के साथ कुछ गणितीय संबंध हो सकता है.

पूरा पूर्णांक डेटा, संख्या वाले डेटा के रूप में नहीं दिखाया जाना चाहिए. उदाहरण के लिए, दुनिया के कुछ हिस्सों में पिन कोड पूर्णांक होते हैं. हालांकि, मॉडल में पूर्णांक वाले पिन कोड को संख्या वाले डेटा के तौर पर नहीं दिखाया जाना चाहिए. ऐसा इसलिए, क्योंकि 20000 का पिन कोड, 10,000 के पिन कोड के मुकाबले दोगुना या आधा नहीं होता. हालांकि, अलग-अलग पिन कोड, रीयल एस्टेट की अलग-अलग वैल्यू से जुड़े होते हैं, लेकिन हम यह नहीं मान सकते कि पिन कोड 20,000 पर रीयल एस्टेट की वैल्यू, 10,000 पिन कोड पर रीयल एस्टेट की वैल्यू के मुकाबले दोगुनी है. इसके बजाय, पिन कोड को कैटगरिकल डेटा के तौर पर दिखाया जाना चाहिए.

संख्या वाली सुविधाओं को लगातार मिलने वाली सुविधाएं कहा जाता है.

NumPy

ओपन सोर्स मैथ लाइब्रेरी, जो Python में कलेक्शन को बेहतर तरीके से चलाने की सुविधा देती है. pandas को NumPy पर बनाया गया है.

O

कैंपेन का मकसद

यह ऐसी मेट्रिक है जिसे आपका एल्गोरिदम ऑप्टिमाइज़ करने की कोशिश कर रहा है.

मकसद फ़ंक्शन

वह गणितीय फ़ॉर्मूला या मेट्रिक जिसे किसी मॉडल को ऑप्टिमाइज़ करना होता है. उदाहरण के लिए, लीनियर रिग्रेशन का मकसद फ़ंक्शन, आम तौर पर मीन स्क्वेयर्ड लॉस होता है. इसलिए, लीनियर रिग्रेशन मॉडल को ट्रेनिंग देते समय, ट्रेनिंग का मकसद मीन स्क्वेयर्ड लॉस को कम करना होता है.

कुछ मामलों में, लक्ष्य फ़ंक्शन को बड़ा करना होता है. उदाहरण के लिए, अगर मकसद फ़ंक्शन सटीक है, तो लक्ष्य ज़्यादा से ज़्यादा सटीक होना है.

नुकसान भी देखें.

तिरछी शर्त

#df

डिसिज़न ट्री में, ऐसी स्थिति होती है जिसमें एक से ज़्यादा सुविधाएं शामिल होती हैं. उदाहरण के लिए, अगर ऊंचाई और चौड़ाई दोनों ही फ़ीचर हैं, तो ये तिरछी शर्त है:

  height > width

ऐक्सिस अलाइन होने की स्थिति के साथ कंट्रास्ट करें.

अॉफ़लाइन

#fundamentals

स्टैटिक का समानार्थी शब्द.

ऑफ़लाइन अनुमान

#fundamentals

मॉडल की प्रोसेस, जो अनुमान का बैच जनरेट करती है और फिर उन अनुमानों को कैश मेमोरी में सेव (सेव) करती है. ऐप्लिकेशन, मॉडल को फिर से चलाने के बजाय, कैश मेमोरी से अनुमानित अनुमान को ऐक्सेस कर सकते हैं.

उदाहरण के लिए, एक ऐसा मॉडल चुनें जो हर चार घंटे में एक बार स्थानीय मौसम का पूर्वानुमान (अनुमान) जनरेट करता हो. हर मॉडल के चलने के बाद, सिस्टम स्थानीय मौसम के सभी अनुमानों को कैश मेमोरी में सेव करता है. मौसम बताने वाले ऐप्लिकेशन, कैश मेमोरी से अनुमान इकट्ठा करते हैं.

ऑफ़लाइन अनुमान को स्टैटिक अनुमान भी कहा जाता है.

ऑनलाइन अनुमान के बीच अंतर करें.

वन-हॉट एन्कोडिंग

#fundamentals

कैटगरीकल डेटा को वेक्टर के तौर पर दिखाना जिसमें:

• एक एलिमेंट 1 पर सेट है.
• बाकी सभी एलिमेंट 0 पर सेट हैं.

आम तौर पर, वन-हॉट एन्कोडिंग का इस्तेमाल उन स्ट्रिंग या आइडेंटिफ़ायर को दिखाने के लिए किया जाता है जिनमें संभावित वैल्यू का सीमित सेट होता है. उदाहरण के लिए, मान लें कि Scandinavia नाम की किसी खास कैटगरी के तहत आने वाली सुविधा की पांच वैल्यू हो सकती हैं:

• "डेनमार्क"
• "स्वीडन"
• "नॉर्वे"
• "फ़िनलैंड"
• "आइसलैंड"

वन-हॉट एन्कोडिंग, पांच में से हर वैल्यू को इस तरह से दिखा सकती है:

country	वेक्टर
"डेनमार्क"	1	0	0	0	0
"स्वीडन"	0	1	0	0	0
"नॉर्वे"	0	0	1	0	0
"फ़िनलैंड"	0	0	0	1	0
"आइसलैंड"	0	0	0	0	1

वन-हॉट एन्कोडिंग की मदद से, मॉडल पांच देशों में से हर एक के आधार पर अलग-अलग कनेक्शन सीख सकता है.

किसी सुविधा को संख्यात्मक डेटा के रूप में पेश करना, वन-हॉट एन्कोडिंग का विकल्प है. माफ़ करें, संख्या के हिसाब से स्कैंडिनेवियन देशों को दिखाना अच्छा विकल्प नहीं है. उदाहरण के लिए, नीचे दी गई संख्यात्मक निरूपण पर विचार करें:

• "डेनमार्क" 0 है
• "स्वीडन" 1 है
• "नॉर्वे" 2 है
• "फ़िनलैंड" तीन है
• "आइसलैंड" चार है

न्यूमेरिक एन्कोडिंग के साथ, कोई मॉडल रॉ संख्याओं को गणितीय तरीके से समझेगा और उन संख्याओं के हिसाब से ट्रेनिंग की कोशिश करेगा. हालांकि, आइसलैंड, नॉर्वे की तुलना में दोगुना (या आधा) नहीं है, इसलिए यह मॉडल कुछ अजीब नतीजों पर पहुंच जाएगा.

वन-शॉट लर्निंग

यह मशीन लर्निंग का इस्तेमाल है. इसे अक्सर ऑब्जेक्ट की कैटगरी तय करने के लिए इस्तेमाल किया जाता है. इसे ट्रेनिंग के एक ही उदाहरण से, असरदार क्लासिफ़ायर सीखने के लिए डिज़ाइन किया गया है.

कुछ-कुछ सीखने और कुछ समय के लिए सिखाना भी देखें.

वन-शॉट प्रॉम्प्ट

#language

#generativeAI

ऐसा प्रॉम्प्ट जिसमें एक उदाहरण दिया गया हो. इससे यह पता चलता है कि बड़े लैंग्वेज मॉडल को कैसे जवाब देना चाहिए. उदाहरण के लिए, यहां दिए गए प्रॉम्प्ट में, बड़े लैंग्वेज मॉडल का एक उदाहरण दिया गया है. इसमें बताया गया है कि इससे किसी क्वेरी का जवाब कैसे देना चाहिए.

एक प्रॉम्प्ट के हिस्से	ज़रूरी जानकारी
किसी देश की आधिकारिक मुद्रा क्या है?	आपको इस सवाल का जवाब एलएलएम से देना है.
फ़्रांस: EUR	एक उदाहरण.
भारत:	असल क्वेरी.

वन-शॉट प्रॉम्प्ट की तुलना यहां दिए गए शब्दों से करें:

• ज़ीरो-शॉट प्रॉम्प्ट
• कुछ-कुछ प्रॉम्प्ट

एक-बनाम-सभी

#fundamentals

N क्लास में डेटा को कैटगरी में बांटने से जुड़ी समस्या को देखते हुए, N अलग-अलग बाइनरी क्लासिफ़ायर वाला सलूशन शामिल है. यह हर संभावित नतीजे के लिए एक बाइनरी क्लासिफ़ायर है. उदाहरण के लिए, अगर जानवरों, सब्ज़ियों या खनिज के उदाहरणों को अलग-अलग ग्रुप में बांटने वाले मॉडल से, एक ही समाधान वाले समाधान को तीन अलग-अलग बाइनरी कैटगरी में बांटने के लिए मिल जाएगा, तो:

• जानवर बनाम जानवर नहीं
• सब्ज़ियां बनाम बिना सब्जी
• मिनरल बनाम नॉन मिनरल

online

#fundamentals

डाइनैमिक के लिए समानार्थी शब्द.

ऑनलाइन अनुमान

#fundamentals

मांग के हिसाब से अनुमान जनरेट किए जा रहे हैं. उदाहरण के लिए, मान लें कि कोई ऐप्लिकेशन किसी मॉडल के लिए इनपुट पास करता है और किसी अनुमान के लिए अनुरोध जारी करता है. ऑनलाइन अनुमान का इस्तेमाल करने वाला सिस्टम, मॉडल को चलाकर अनुरोध का जवाब देता है. इसके बाद, वह ऐप्लिकेशन के लिए अनुमान दिखाता है.

ऑफ़लाइन अनुमान के बीच अंतर करें.

संचालन (ऑप)

#TensorFlow

TensorFlow में, ऐसी कोई भी प्रोसेस जो Tensor बनाती है, उसमें बदलाव करती है या उसे नष्ट कर देती है. जैसे, मैट्रिक्स गुणा एक ऐसी कार्रवाई है जिसमें दो Tensor को इनपुट के तौर पर लिया जाता है और आउटपुट के तौर पर एक Tensor जनरेट किया जाता है.

ओप्टैक्स

JAX के लिए ग्रेडिएंट प्रोसेसिंग और ऑप्टिमाइज़ेशन लाइब्रेरी. Optax, डीप न्यूरल नेटवर्क जैसे पैरामेट्रिक मॉडल को ऑप्टिमाइज़ करने के लिए, ऐसे बिल्डिंग ब्लॉक उपलब्ध कराता है जिन्हें फिर से जोड़ा जा सकता है. अन्य लक्ष्यों में ये शामिल हैं:

• मुख्य कॉम्पोनेंट को पढ़ने लायक, अच्छी तरह से जांचा हुआ, और असरदार तरीके से लागू करना.
• कस्टम ऑप्टिमाइज़र (या दूसरे ग्रेडिएंट प्रोसेसिंग कॉम्पोनेंट) में निम्न स्तर की सामग्री को मिलाना संभव बनाकर उत्पादकता में सुधार करना.
• सभी के लिए योगदान देना आसान बनाकर, नए आइडिया को तेज़ी से अपनाने में मदद करना.

ऑप्टिमाइज़र

ग्रेडिएंट डिसेंट एल्गोरिदम को खास तरीके से लागू करना. लोकप्रिय ऑप्टिमाइज़र में शामिल हैं:

• AdaGrad, जिसका मतलब है ADAptive GRADient डिसेंट.
• एडम, जिसका मतलब है ADAptive with Momentum.

एक ही ग्रुप से बाहर होने वाला भेदभाव

#fairness

नज़रिए, मूल्यों, व्यक्तित्व की विशेषताओं, और अन्य विशेषताओं की तुलना करते समय, ग्रुप के सदस्यों की तुलना में, ग्रुप से बाहर के सदस्यों को ज़्यादा समान रूप में देखने का रुझान होता है. इन-ग्रुप का मतलब उन लोगों से है जिनसे आप नियमित तौर पर इंटरैक्ट करते हैं. ग्रुप के बाहर का मतलब उन लोगों से है जिनसे आप नियमित रूप से इंटरैक्ट नहीं करते. अगर आपने डेटासेट में लोगों को आउट-ग्रुप के बारे में एट्रिब्यूट सबमिट करने के लिए कहा है, तो हो सकता है कि वे एट्रिब्यूट कम बारीक हों. साथ ही, वे ग्रुप में शामिल लोगों के लिए सूची में शामिल एट्रिब्यूट की तुलना में ज़्यादा रूढ़िवादी हो सकते हैं.

उदाहरण के लिए, लिलिप्युटियन लोगों के घरों के डिज़ाइन के बारे में थोड़ी-बहुत जानकारी दे सकते हैं. उदाहरण के लिए, वे घर की बनावट, खिड़कियों, दरवाज़ों, और उनके आकार में मामूली अंतर बता सकते हैं. हालांकि, यही लिलिप्युटियन सिर्फ़ यह बता सकते हैं कि ब्रोबिंगनेगियन के सभी घर एक जैसे रहते हैं.

आउट-ग्रुप एकरूपता बायस, ग्रुप एट्रिब्यूशन बायस का एक रूप है.

इन-ग्रुप बायस भी देखें.

आउटलायर डिटेक्शन

किसी ट्रेनिंग सेट में आउटलेयर की पहचान करने की प्रोसेस.

नॉवेल्टी डिटेक्शन के साथ कंट्रास्ट.

जिसकी परफ़ॉर्मेंस सामान्य से अलग रही

वे वैल्यू जो ज़्यादातर दूसरी वैल्यू से दूर हैं. मशीन लर्निंग में, नीचे दी गई सभी बातें आउटलायर होती हैं:

• वह इनपुट डेटा जिसकी वैल्यू, मीन से करीब तीन स्टैंडर्ड डीविएशन से ज़्यादा हो.
• हाई ऐब्सलूट वैल्यू के साथ वेट.
• अनुमानित वैल्यू, असल वैल्यू से काफ़ी दूर हैं.

उदाहरण के लिए, मान लें कि widget-price किसी खास मॉडल की सुविधा है. मान लें कि औसत widget-price, 7 यूरो है और स्टैंडर्ड डेविएशन 1 यूरो है. 12 यूरो या 2 यूरो के widget-price वाले उदाहरणों को बाहरी कीमत माना जाएगा, क्योंकि उनमें से हर एक कीमत मीन से पांच मानक अंतर है.

आउटलेर अक्सर टाइपिंग की गलतियों या अन्य इनपुट गलतियों की वजह से होते हैं. अन्य मामलों में, आउटलेयर से गलती नहीं होती; आखिर, मीन से पांच स्टैंडर्ड डिविएशन दूर मौजूद वैल्यू कभी-कभार ही होती हैं, लेकिन शायद ही नामुमकिन है.

आउटलेयर की वजह से अक्सर मॉडल ट्रेनिंग में समस्या आती है. क्लिपिंग, आउटलायर को मैनेज करने का एक तरीका है.

आउट-ऑफ़-बैग इवैलुएशन (OOB मूल्यांकन)

#df

यह किसी फ़ैसले वन की क्वालिटी का आकलन करने के लिए एक ऐसा तरीका है जिसका इस्तेमाल उस डिसीज़न ट्री की ट्रेनिंग के दौरान इस्तेमाल किए गए उदाहरणों के हिसाब से हर डिसिज़न ट्री का टेस्ट करके किया जाता है. उदाहरण के लिए, यहां दिए गए डायग्राम में देखें कि सिस्टम हर डिसिज़न ट्री को करीब दो-तिहाई उदाहरणों पर ट्रेनिंग देता है. इसके बाद, बचे हुए एक-तिहाई उदाहरणों से आकलन करता है.

आउट-ऑफ़-बैग का आकलन, क्रॉस-वैलिडेशन करने के तरीके का सटीक और सटीक अनुमान है. क्रॉस-वैलिडेशन में, हर क्रॉस-वैलिडेशन के राउंड के लिए एक मॉडल को ट्रेनिंग दी जाती है (उदाहरण के लिए, 10 मॉडल को 10-फ़ोल्ड क्रॉस-वैलिडेशन में ट्रेनिंग दी जाती है). ओओबी के आकलन से, एक ही मॉडल को ट्रेनिंग दी जाती है. बैगिंग, ट्रेनिंग के दौरान हर ट्री के कुछ डेटा को रोक देती है. इसलिए, ओओबी के आकलन में इस डेटा का इस्तेमाल, क्रॉस-वैलिडेशन का अनुमान लगाने के लिए किया जा सकता है.

आउटपुट लेयर

#fundamentals

न्यूरल नेटवर्क की "फ़ाइनल" लेयर. आउटपुट लेयर में, अनुमान शामिल होता है.

नीचे दिया गया उदाहरण एक इनपुट लेयर, दो छिपी हुई लेयर, और एक आउटपुट लेयर वाला छोटा डीप न्यूरल नेटवर्क दिखाता है:

ओवरफ़िटिंग

#fundamentals

ऐसा model बनाना जो model से इतना सटीक हो कि वह नए डेटा के लिए सही अनुमान न लगा पाए.

रेगुलराइज़ेशन से ओवरफ़िटिंग कम हो सकती है. अलग-अलग तरह के और बड़े ट्रेनिंग सेट पर ट्रेनिंग देने से भी ज़रूरत से ज़्यादा फ़िटनेस से जुड़ा जा सकता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

ओवरफ़िटिंग का मतलब है, सिर्फ़ अपने पसंदीदा शिक्षक की सलाह पर काम करना. ऐसा हो सकता है कि आप उस शिक्षक की क्लास में सफल होंगे, लेकिन हो सकता है कि आप उस शिक्षक के आइडिया से "ओवरफ़िट" हो जाएं और दूसरी क्लास में असफल हो जाएं. शिक्षकों से मिलने वाले सुझावों की मदद से, नई परिस्थितियों के हिसाब से ढलने में आसानी होगी.

---

ओवरसैंपलिंग

ज़्यादा संतुलित ट्रेनिंग सेट बनाने के लिए, क्लास असंतुलित डेटासेट में अल्पसंख्यक क्लास के उदाहरण फिर से इस्तेमाल करना.

उदाहरण के लिए, एक बाइनरी क्लासिफ़िकेशन समस्या पर विचार करें जिसमें मैजरिटी क्लास और अल्पसंख्यक क्लास का अनुपात 5,000:1 है. अगर डेटासेट में लाखों उदाहरण हैं, तो डेटासेट में माइनरिटी क्लास के सिर्फ़ 200 उदाहरण होंगे. हो सकता है कि असरदार ट्रेनिंग के लिए, डेटासेट की संख्या बहुत कम हो. इस कमी को दूर करने के लिए, उन 200 उदाहरणों को कई बार ओवरसैंपल (फिर से इस्तेमाल) किया जा सकता है. इससे काम की ट्रेनिंग के लिए ज़रूरत के मुताबिक उदाहरण मिल सकते हैं.

ओवरसैंपलिंग करते समय, आपको ओवरफ़िट करने के बारे में सावधान रहना चाहिए.

अंडरसैंपलिंग के साथ कंट्रास्ट करें.

P

पैक किया गया डेटा

डेटा को ज़्यादा बेहतर ढंग से सेव करने का तरीका.

पैक किया गया डेटा, कंप्रेस किए गए फ़ॉर्मैट का इस्तेमाल करके या किसी दूसरे तरीके से डेटा को स्टोर करता है, ताकि उसे ज़्यादा बेहतर तरीके से ऐक्सेस किया जा सके. पैक किए गए डेटा की मदद से, इसे ऐक्सेस करने के लिए मेमोरी और कंप्यूटेशन की ज़रूरत कम हो जाती है. इससे, तेज़ ट्रेनिंग और मॉडल का बेहतर अनुमान मिलता है.

पैक किए गए डेटा का इस्तेमाल अक्सर दूसरी तकनीकों के साथ किया जाता है, जैसे कि डेटा को बेहतर बनाने की सुविधा और रेगुलराइज़ेशन. इससे मॉडल की परफ़ॉर्मेंस बेहतर होती है.

पांडा

#fundamentals

numpy पर बना कॉलम-ओरिएंटेड डेटा विश्लेषण एपीआई. TensorFlow जैसे कई मशीन लर्निंग फ़्रेमवर्क, इनपुट के तौर पर पांडा के डेटा स्ट्रक्चर के साथ काम करते हैं. ज़्यादा जानकारी के लिए, pandas के दस्तावेज़ देखें.

पैरामीटर

#fundamentals

वे वेट और बायस, जिन्हें मॉडल ट्रेनिंग के दौरान सीखता है. उदाहरण के लिए, किसी लीनियर रिग्रेशन मॉडल में, पैरामीटर में बायस (b) और सभी वेट (w₁, w₂, और इसी तरह के अन्य फ़ॉर्मूले) यहां दिए गए होते हैं:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

वहीं दूसरी ओर, हाइपर पैरामीटर वे वैल्यू होते हैं जो मॉडल को आप (या हाइपर पैरामीटर बदलने वाली सेवा) देते हैं. उदाहरण के लिए, लर्निंग रेट एक हाइपर पैरामीटर है.

पैरामीटर की कम खपत वाला ट्यूनिंग

#language

#generativeAI

पहले से ट्रेन किए गए लैंग्वेज मॉडल (पीएलएम) की तुलना में, पूरी फ़ाइन-ट्यूनिंग को ज़्यादा बेहतर तरीके से फ़ाइन-ट्यून करने की तकनीकों का सेट. पैरामीटर की कम खपत वाले ट्यूनिंग से, पूरी तरह से फ़ाइन-ट्यूनिंग के मुकाबले काफ़ी कम पैरामीटर को बेहतर बनाया जाता है. हालांकि, आम तौर पर बड़ा लैंग्वेज मॉडल बनता है, जो फ़ुल ट्यूनिंग से बने बड़े लैंग्वेज मॉडल की तरह ही (या करीब-करीब) परफ़ॉर्म करता है.

इनसे पैरामीटर की कम खपत वाले ट्यूनिंग की तुलना करें:

• निर्देश ट्यूनिंग
• प्रॉम्प्ट ट्यूनिंग

पैरामीटर की कम खपत वाले ट्यूनिंग को पैरामीटर की कम खपत करने वाली फ़ाइन-ट्यूनिंग के नाम से भी जाना जाता है.

पैरामीटर सर्वर (PS)

#TensorFlow

ऐसा जॉब जो डिस्ट्रिब्यूटेड सेटिंग में मॉडल के पैरामीटर को ट्रैक करता है.

पैरामीटर अपडेट

ट्रेनिंग के दौरान किसी मॉडल के पैरामीटर में बदलाव करने की कार्रवाई. आम तौर पर, ग्रेडिएंट डिसेंट के एक बार में ही बदलाव किया जाता है.

पार्शियल डेरिवेटिव

ऐसा अवकलज, जिसमें एक चर के अलावा सभी चरों को नियतांक माना जाता है. उदाहरण के लिए, x के हिसाब से f(x, y) का आंशिक डेरिवेटिव, f का डेरिवेटिव है. इसे अकेले x का फ़ंक्शन माना जाता है (यानी, y को स्थिर रखना). x के हिसाब से f का आंशिक डेरिवेटिव सिर्फ़ इस बात पर फ़ोकस करता है कि x कैसे बदल रहा है. साथ ही, समीकरण के दूसरे सभी वैरिएबल को अनदेखा करता है.

हिस्सा लेने से जुड़ा भेदभाव

#fairness

गैर-प्रतिक्रिया पूर्वाग्रह के लिए समानार्थी शब्द. चुनाव में पक्षपात देखें.

बंटवारे की रणनीति

वह एल्गोरिदम जिससे वैरिएबल को पैरामीटर सर्वर से बांटा जाता है.

पैक्स

यह एक ऐसा प्रोग्रामिंग फ़्रेमवर्क है जिसे बड़े पैमाने पर न्यूरल नेटवर्क मॉडल की ट्रेनिंग के लिए डिज़ाइन किया गया है, ताकि इसमें कई TPU ऐक्सेलरेटर चिप स्लाइस या पॉड का इस्तेमाल किया जा सके.

पैक्स को Flax पर बनाया गया है, जिसे JAX पर बनाया गया है.

परसेप्ट्रॉन

ऐसा सिस्टम (हार्डवेयर या सॉफ़्टवेयर) जो एक या उससे ज़्यादा इनपुट वैल्यू को लेता है, वह इनपुट के भारित योग पर एक फ़ंक्शन चलाता है और एक आउटपुट वैल्यू की गणना करता है. मशीन लर्निंग में, आम तौर पर यह फ़ंक्शन नॉनलीनियर होता है, जैसे कि ReLU, sigmoid या tanh. उदाहरण के लिए, नीचे दिया गया कॉन्सेप्ट, तीन इनपुट वैल्यू को प्रोसेस करने के लिए सिग्मॉइड फ़ंक्शन पर निर्भर करता है:

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

नीचे दिए गए उदाहरण में, परसेप्ट्रॉन में तीन इनपुट लिए गए हैं, जिनमें से हर एक में खुद को एक वज़न के हिसाब से बदला गया है.

परसेप्ट्रॉन, न्यूरल नेटवर्क में मौजूद न्यूरॉन होते हैं.

प्रदर्शन

ओवरलोड हुए शब्द, जिनका मतलब है:

• सॉफ़्टवेयर इंजीनियरिंग का सामान्य मतलब. नाम: सॉफ़्टवेयर का यह हिस्सा कितनी तेज़ (या बेहतर तरीके से) काम करता है?
• मशीन लर्निंग का मतलब. यहां, परफ़ॉर्मेंस से जुड़े इस सवाल का जवाब दिया गया है: यह model कितना सही है? इसका मतलब है कि मॉडल के अनुमान कितने अच्छे हैं?

क्रमचय वैरिएबल की अहमियत

#df

यह एक तरह की वैरिएबल महत्व है, जो सुविधा की वैल्यू को अनुमति देने के बाद किसी मॉडल के अनुमान वाली गड़बड़ी में होने वाली बढ़ोतरी का आकलन करती है. क्रमचय वैरिएबल महत्व एक मॉडल-इंडिपेंडेंट मेट्रिक है.

हैरानी

एक माप से पता चलता है कि कोई model अपने टास्क को कितनी अच्छी तरह पूरा कर रहा है. उदाहरण के लिए, मान लीजिए कि आपका टास्क किसी फ़ोन के कीबोर्ड पर टाइप किए जा रहे शब्द के पहले कुछ अक्षरों को पढ़ना है और आपको पूरे हो सकने वाले शब्दों की सूची ऑफ़र करना है. इस टास्क के लिए, P, मुश्किल है. यह अनुमान की वह संख्या है जो आपको बतानी होगी, ताकि आपकी सूची में उस असल शब्द को शामिल किया जा सके जिसे लोग टाइप करने की कोशिश कर रहा है.

हैरानी की स्थिति क्रॉस-एंट्रॉपी से इस तरह जुड़ी होती है:

$$P= 2^{-\text{cross entropy}}$$

पाइपलाइन

मशीन लर्निंग एल्गोरिदम के आस-पास का इन्फ़्रास्ट्रक्चर. पाइपलाइन में डेटा इकट्ठा करना, डेटा को ट्रेनिंग डेटा फ़ाइलों में डालना, एक या उससे ज़्यादा मॉडल को ट्रेनिंग देना, और मॉडल को प्रोडक्शन में एक्सपोर्ट करना शामिल है.

पाइपलाइनिंग

#language

मॉडल पैरललिज़्म का एक रूप, जिसमें किसी मॉडल की प्रोसेसिंग को लगातार आने वाले चरणों में बांटा जाता है. साथ ही, हर चरण को अलग-अलग डिवाइस पर चलाया जाता है. जब कोई स्टेज एक बैच को प्रोसेस करता है, तो पिछला चरण अगले बैच पर काम कर सकता है.

तय की गई ट्रेनिंग भी देखें.

Pjit

JAX फ़ंक्शन, जो कोड को कई ऐक्सेलरेटर चिप पर चलाने के लिए बांटता है. उपयोगकर्ता, pjit को एक फ़ंक्शन पास करता है. यह फ़ंक्शन एक जैसा सिमैंटिक वाला फ़ंक्शन दिखाता है. हालांकि, इस फ़ंक्शन को XLA कंप्यूटेशन में इकट्ठा किया जाता है जो कई डिवाइसों (जैसे कि जीपीयू या TPU कोर) पर चलता है.

pjit, SPMD पार्टीशनर का इस्तेमाल करके, उपयोगकर्ताओं को फिर से लिखे बिना शार्ड कंप्यूटेशन की सुविधा देता है.

मार्च 2023 से, pjit को jit के साथ मर्ज कर दिया गया है. ज़्यादा जानकारी के लिए, डिस्ट्रिब्यूट किए गए अरे और अपने-आप पैरललाइज़ेशन देखें.

पीएलएम

#language

#generativeAI

पहले से ट्रेन किए गए भाषा मॉडल का छोटा नाम.

Pmap

JAX फ़ंक्शन, जो अलग-अलग इनपुट वैल्यू के साथ कई हार्डवेयर डिवाइसों (सीपीयू, जीपीयू या TPU) पर किसी इनपुट फ़ंक्शन की कॉपी एक्ज़ीक्यूट करता है. Pmap SPMD का इस्तेमाल करता है.

policy

#rl

रीइन्फ़ोर्समेंट लर्निंग के दौरान, एजेंट की प्रॉबेबिलिस्टिक मैपिंग को, राज्यों से लेकर कार्रवाइयां तक होते हैं.

पूलिंग

#image

किसी पहले वाली कंवोलूशनल लेयर से बनाए गए मैट्रिक्स (या मैट्रिक्स) को छोटा करके. आम तौर पर, पूल करने की जगह में पूल की गई जगह के लिए, ज़्यादा से ज़्यादा या औसत वैल्यू ली जाती है. उदाहरण के लिए, मान लें कि हमारे पास नीचे दिया गया 3x3 मैट्रिक्स है:

किसी पूलिंग ऑपरेशन की तरह ही पूलिंग ऑपरेशन, उस मैट्रिक्स को स्लाइस में बांटता है और फिर उस कॉन्वलूशनल ऑपरेशन को स्ट्रेड के ज़रिए स्लाइड करता है. उदाहरण के लिए, मान लें कि पूलिंग ऑपरेशन कॉन्वलूशनल मैट्रिक्स को 1x1 स्ट्राइड के साथ 2x2 स्लाइस में बांटता है. जैसा कि नीचे दिए गए डायग्राम में दिखाया गया है, पूल करने की चार कार्रवाइयां होती हैं. मान लें कि पूल करने की हर कार्रवाई, उस स्लाइस में चार की ज़्यादा से ज़्यादा वैल्यू चुनता है:

पूल करने की सुविधा से, इनपुट मैट्रिक्स में ट्रांसलेशनल इनवैरियंस लागू करने में मदद मिलती है.

विज़न ऐप्लिकेशन के लिए पूलिंग को औपचारिक तौर पर स्पेशल पूलिंग के नाम से जाना जाता है. टाइम सीरीज़ वाले ऐप्लिकेशन, आम तौर पर पूल करने की सुविधा को टेंपोरल पूलिंग कहते हैं. औपचारिक तौर पर, पूलिंग को सबसैंपलिंग या डाउनसैंपलिंग कहा जाता है.

पोज़िशनल एन्कोडिंग

#language

यह टोकन की स्थिति के बारे में जानकारी को किसी क्रम में जोड़ने की तकनीक होती है. ट्रांसफ़ॉर्मर मॉडल, पोज़िशन के हिसाब से कोड में बदलने की सुविधा का इस्तेमाल करते हैं. इससे, क्रम के अलग-अलग हिस्सों के बीच के संबंध को बेहतर तरीके से समझा जा सकता है.

पोज़िशनल एन्कोडिंग को आम तौर पर लागू करने के लिए, साइनसोइडल फ़ंक्शन का इस्तेमाल किया जाता है. (खास तौर पर, साइनसोइडल फ़ंक्शन की फ़्रीक्वेंसी और आयाम, क्रम में टोकन की पोज़िशन से तय होते हैं.) इस तकनीक की मदद से, ट्रांसफ़ॉर्मर मॉडल को उसकी पोज़िशन के आधार पर, क्रम के अलग-अलग हिस्सों में शामिल होना सिखाया जाता है.

पॉज़िटिव क्लास

#fundamentals

वह क्लास जिसके लिए आपको टेस्ट करना है.

उदाहरण के लिए, कैंसर मॉडल में पॉज़िटिव क्लास "ट्यूमर" हो सकती है. ईमेल की कैटगरी तय करने वाली सुविधा में, पॉज़िटिव क्लास "स्पैम" हो सकती है.

नेगेटिव क्लास के साथ कंट्रास्ट करें.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

पॉज़िटिव क्लास शब्द भ्रम की स्थिति पैदा कर सकता है, क्योंकि कई टेस्ट से "पॉज़िटिव" नतीजा अक्सर अनचाहा होता है. उदाहरण के लिए, कई मेडिकल टेस्ट में पॉज़िटिव क्लास का मतलब ट्यूमर या बीमारियों से है. आम तौर पर, आपको किसी डॉक्टर से कहना है, "बधाई हो! आपकी जांच के नतीजे नेगेटिव थे." इसके बावजूद, पॉज़िटिव क्लास वह इवेंट होता है जिसे टेस्ट करना चाहता है.

बेशक, आप सकारात्मक और नकारात्मक, दोनों क्लास के लिए एक साथ टेस्ट कर रहे होते हैं.

---

पोस्ट-प्रोसेसिंग

#fairness

#fundamentals

मॉडल चलाने के बाद मॉडल के आउटपुट में बदलाव करना. मॉडल में बदलाव किए बिना, निष्पक्षता से जुड़ी पाबंदियों को लागू करने के लिए, पोस्ट-प्रोसेसिंग का इस्तेमाल किया जा सकता है.

उदाहरण के लिए, कोई क्लासिफ़िकेशन थ्रेशोल्ड सेट करके, पोस्ट-प्रोसेसिंग को बाइनरी क्लासिफ़ायर पर लागू कर सकता है. इससे कुछ एट्रिब्यूट के लिए ऑपर्च्यूनिटी की एक जैसी क्वालिटी बनी रहेगी. इसके लिए, जांच करके पता करना होगा कि उस एट्रिब्यूट की सभी वैल्यू के लिए सही पॉज़िटिव रेट है.

PR AUC (पीआर कर्व के दायरे में आने वाला इलाका)

इंटरपोलेट किए गए प्रीसिज़न-रीकॉल कर्व के नीचे मौजूद हिस्सा, जिसे क्लासिफ़िकेशन थ्रेशोल्ड की अलग-अलग वैल्यू के लिए पॉइंट (फिर से कॉल, सटीक) करके हासिल किया जाता है. इसका हिसाब कैसे लगाया जाता है, इसके आधार पर पीआर एयूसी, मॉडल के औसत सटीक के बराबर हो सकता है.

प्रैक्टिस

Pax की मुख्य और बेहतर परफ़ॉर्मेंस वाली एमएल लाइब्रेरी. प्रैक्टिस को आम तौर पर "लेयर लाइब्रेरी" कहा जाता है.

Prऐक्सिस में न सिर्फ़ लेयर क्लास की परिभाषाएं शामिल होती हैं, बल्कि इसके ज़्यादातर सपोर्ट करने वाले कॉम्पोनेंट भी शामिल होते हैं, जैसे:

• डेटा इनपुट
• कॉन्फ़िगरेशन लाइब्रेरी (HParam और Fiddle)
• ऑप्टिमाइज़ करने वाले लोग

Prऐक्सिस, मॉडल क्लास के लिए परिभाषाएं बताता है.

प्रीसिज़न

क्लासिफ़िकेशन मॉडल के लिए मेट्रिक, जो इस सवाल के जवाब देती है:

जब मॉडल ने पॉज़िटिव क्लास का अनुमान लगाया, तो कितने प्रतिशत अनुमान सही थे?

यहां फ़ॉर्मूला दिया गया है:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

कहां:

• सही पॉज़िटिव का मतलब है कि मॉडल ने सही तरीके से पॉज़िटिव क्लास का अनुमान लगाया है.
• फ़ॉल्स पॉज़िटिव का मतलब है कि मॉडल ने गलती से पॉज़िटिव क्लास का अनुमान लगाया है.

उदाहरण के लिए, मान लें कि किसी मॉडल ने 200 पॉज़िटिव अनुमान लगाए हैं. इन 200 पॉज़िटिव अनुमानों में से:

• 150 सच में सकारात्मक थे.
• 50 फ़ॉल्स पॉज़िटिव थे.

इस मामले में:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

सटीक होने और रीकॉल के बीच अंतर करें.

प्रिसिज़न-रीकॉल कर्व

अलग-अलग कैटगरी तय करने के थ्रेशोल्ड पर, सटीक तरीके बनाम रीकॉल का कर्व.

अनुमान

#fundamentals

मॉडल का आउटपुट. उदाहरण के लिए:

• बाइनरी क्लासिफ़िकेशन मॉडल का अनुमान या तो पॉज़िटिव क्लास या नेगेटिव क्लास होता है.
• मल्टी-क्लास क्लासिफ़िकेशन मॉडल का अनुमान सिर्फ़ एक क्लास होता है.
• लीनियर रिग्रेशन मॉडल का अनुमान कोई संख्या होती है.

अनुमान से जुड़ा बायस

वह वैल्यू जिससे पता चलता है कि अनुमान का औसत, डेटासेट में मौजूद लेबल की औसत संख्या से कितना अलग है.

मशीन लर्निंग मॉडल में, इसे पूर्वाग्रह वाले शब्द या नैतिकता और निष्पक्षता को लेकर भेदभाव से न समझा जाए.

अनुमानित एमएल

कोई भी स्टैंडर्ड ("क्लासिक") मशीन लर्निंग सिस्टम.

अनुमानित एमएल शब्द की कोई औपचारिक परिभाषा नहीं है. इसके बजाय, इस शब्द का इस्तेमाल एमएल सिस्टम की किसी कैटगरी के लिए किया जाता है. इसमें जनरेटिव एआई के आधार पर अंतर नहीं किया जाता.

अनुमानित समानता

#fairness

फ़ेयरनेस मेट्रिक, जिससे यह पता चलता है कि क्लासिफ़ायर के लिए, सटीक दरें, विचार किए जा रहे सबग्रुप के बराबर हैं या नहीं.

उदाहरण के लिए, कोई मॉडल जो यह अनुमान लगाता है कि कॉलेज में शामिल होने की मंज़ूरी मिलने की दर, राष्ट्रीयता के हिसाब से एक जैसी है, अगर लिलिप्यूटियन और ब्रोबडिंगनैगियन के सटीक होने की दर एक जैसी हो.

अनुमानित समानता को कभी-कभी अनुमानित दर समानता भी कहा जाता है.

अनुमानित समानता के बारे में ज़्यादा जानकारी के लिए, "निष्पक्षता की परिभाषाएं एक्सप्लेन्ड" (सेक्शन 3.2.1) देखें.

अनुमानित दर की समानता

#fairness

अनुमानित समानता का एक और नाम है.

प्री-प्रोसेसिंग

#fairness

किसी मॉडल को ट्रेनिंग देने के लिए, इस्तेमाल किए जाने से पहले डेटा को प्रोसेस किया जा रहा है. प्री-प्रोसेसिंग, किसी अंग्रेज़ी टेक्स्ट संग्रह से शब्दों को हटाने जितना आसान हो सकती है, जो अंग्रेज़ी शब्दकोश में मौजूद नहीं होते. इसके अलावा, यह डेटा पॉइंट को इस तरह बताने जितना मुश्किल भी हो सकता है कि संवेदनशील एट्रिब्यूट से जुड़े एट्रिब्यूट को हटा दिया जाए. प्रीप्रोसेसिंग से, निष्पक्षता से जुड़ी शर्तों को पूरा करने में मदद मिल सकती है.

पहले से ट्रेन किया गया मॉडल

#language

#image

#generativeAI

पहले से ट्रेनिंग दिए गए मॉडल या मॉडल कॉम्पोनेंट, जैसे कि एम्बेड करने वाला वेक्टर. कभी-कभी, पहले से ट्रेनिंग वाले एम्बेडिंग वेक्टर को न्यूरल नेटवर्क में फ़ीड किया जाएगा. कभी-कभी, आपका मॉडल पहले से ट्रेन किए गए एम्बेड करने के बजाय, एम्बेड किए गए वेक्टर को खुद ही ट्रेनिंग देगा.

पहले से ट्रेन की गई लैंग्वेज मॉडल शब्द का मतलब बड़े लैंग्वेज मॉडल से है, जिसे प्री-ट्रेनिंग से गुज़रना पड़ा.

प्री-ट्रेनिंग

#language

#image

#generativeAI

बड़े डेटासेट पर किसी मॉडल की शुरुआती ट्रेनिंग. कुछ पहले से ट्रेनिंग पा चुके मॉडल पुराने जायंट होते हैं. आम तौर पर, उन्हें अतिरिक्त ट्रेनिंग की मदद से और बेहतर बनाया जाता है. उदाहरण के लिए, मशीन लर्निंग एक्सपर्ट एक बड़े टेक्स्ट डेटासेट, जैसे कि Wikipedia के सभी अंग्रेज़ी पेजों पर बड़े लैंग्वेज मॉडल को प्री-ट्रेन कर सकते हैं. प्री-ट्रेनिंग के बाद, तैयार करने वाले मॉडल को नीचे दी गई किसी भी तकनीक का इस्तेमाल करके और बेहतर बनाया जा सकता है:

• डिस्टिलेशन
• फ़ाइन-ट्यूनिंग
• निर्देश ट्यूनिंग
• पैरामीटर की बेहतर ट्यूनिंग
• प्रॉम्प्ट-ट्यूनिंग

पिछला विश्वास

ट्रेनिंग शुरू करने से पहले, डेटा के बारे में आपकी क्या राय है. उदाहरण के लिए, L₂ रेगुलराइज़ेशन के लिए, पहले से इस मान्यता पर भरोसा किया गया है कि वज़न छोटा होना चाहिए और आम तौर पर इसे शून्य के आस-पास दिखाया जाना चाहिए.

प्रॉबेबिलिस्टिक रिग्रेशन मॉडल

ऐसा रिग्रेशन मॉडल जो हर सुविधा के लिए न सिर्फ़ वेट का इस्तेमाल करता है, बल्कि उन वज़न की अनिश्चितता का भी इस्तेमाल करता है. प्रॉबेबिलिस्टिक रिग्रेशन मॉडल, उस अनुमान को सटीक तरीके से और अनिश्चितता से जनरेट करता है. उदाहरण के लिए, एक प्रॉबेबिलिस्टिक रिग्रेशन मॉडल, 12 के स्टैंडर्ड डेविएशन के साथ 325 का अनुमान दे सकता है. प्रॉबेबिलिस्टिक रिग्रेशन मॉडल के बारे में ज़्यादा जानने के लिए, tenorflow.org पर Colab यह देखें.

प्रोबैबिलिटी डेंसिटी फ़ंक्शन

ऐसा फ़ंक्शन जो डेटा के उन सैंपल की फ़्रीक्वेंसी की पहचान करता है जिनमें बिलकुल कोई खास वैल्यू होती है. जब किसी डेटासेट की वैल्यू लगातार फ़्लोटिंग-पॉइंट वाली होती हैं, तो एग्ज़ैक्ट मैच बहुत कम होते हैं. हालांकि, प्रॉबबिलिटी फ़ंक्शन को integrating से वैल्यू x से y तक, x और y के बीच डेटा सैंपल की अनुमानित फ़्रीक्वेंसी मिलती है.

उदाहरण के लिए, एक सामान्य डिस्ट्रिब्यूशन का मीन 200 और स्टैंडर्ड डेविएशन 30 है. 211.4 से 218.7 की रेंज में आने वाले डेटा सैंपल की अनुमानित फ़्रीक्वेंसी तय करने के लिए, 211.4 से 218.7 तक के सामान्य डिस्ट्रिब्यूशन के लिए प्रॉबबिलिटी डेंसिटी फ़ंक्शन को इंटिग्रेट किया जा सकता है.

मैसेज

#language

#generativeAI

बड़े लैंग्वेज मॉडल को इनपुट के तौर पर डाला गया कोई भी टेक्स्ट, इस शर्त को पूरा करता है कि मॉडल सही तरीके से काम करे. प्रॉम्प्ट किसी वाक्य की तरह छोटे हो सकते हैं या अपनी मर्ज़ी से लंबे समय तक (जैसे, उपन्यास का पूरा टेक्स्ट) भी हो सकते हैं. प्रॉम्प्ट की कई कैटगरी होती हैं. इनमें, नीचे दी गई टेबल में बताई गई कैटगरी भी शामिल हैं:

प्रॉम्प्ट की कैटगरी	उदाहरण	ज़रूरी जानकारी
सवाल	एक कबूतर कितनी तेज़ी से उड़ सकता है?
निर्देश	आर्बिट्रेज के बारे में एक मज़ेदार कविता लिखें.	एक प्रॉम्प्ट जो बड़े लैंग्वेज मॉडल से कुछ करने के लिए कहता है.
उदाहरण	मार्कडाउन कोड का एचटीएमएल में अनुवाद करें. उदाहरण के लिए: Markdown: * सूची आइटम एचटीएमएल: <ul> <li>सूची आइटम</li> </ul>	इस उदाहरण के प्रॉम्प्ट का पहला वाक्य एक निर्देश है. प्रॉम्प्ट का बचा हुआ हिस्सा, उदाहरण के तौर पर है.
भूमिका	बताओ कि मशीन लर्निंग की ट्रेनिंग में, भौतिक विज्ञान की पीएचडी के लिए, ग्रेडिएंट डिसेंट का इस्तेमाल क्यों किया जाता है.	वाक्य का पहला हिस्सा एक निर्देश है; वाक्यांश "भौतिकी में पीएचडी के लिए" भूमिका का हिस्सा है.
मॉडल को पूरा करने के लिए आंशिक इनपुट	यूनाइटेड किंगडम के प्रधानमंत्री	आंशिक इनपुट प्रॉम्प्ट या तो अचानक खत्म हो सकता है (जैसा कि इस उदाहरण में हुआ है) या अंडरस्कोर के साथ खत्म हो सकता है.

जनरेटिव एआई मॉडल की मदद से, किसी प्रॉम्प्ट का जवाब दिया जा सकता है. जैसे- टेक्स्ट, कोड, इमेज, एम्बेड करना, वीडियो...करीब कुछ भी.

प्रॉम्प्ट के हिसाब से सीखना

#language

#generativeAI

कुछ मॉडल की एक क्षमता, जो उन्हें मनचाहे तरीके से टेक्स्ट इनपुट (प्रॉम्प्ट) के जवाब में, अपने व्यवहार के हिसाब से बदलाव करने की सुविधा देती है. आम तौर पर, प्रॉम्प्ट पर आधारित लर्निंग मॉडल में बड़ा लैंग्वेज मॉडल, टेक्स्ट जनरेट करके सवाल का जवाब देता है. उदाहरण के लिए, मान लें कि कोई उपयोगकर्ता यह प्रॉम्प्ट डालता है:

न्यूटन के गति के तीसरे नियम का सारांश बनाओ.

प्रॉम्प्ट-आधारित लर्निंग की सुविधा वाले मॉडल को, पिछले प्रॉम्प्ट का जवाब देने के लिए खास तौर पर ट्रेनिंग नहीं दी गई है. इसके बजाय, यह मॉडल भौतिकी के बारे में बहुत सी बातें "जानता है", भाषा के सामान्य नियमों के बारे में बहुत सारी जानकारी देता है, और इस बारे में भी बहुत कुछ जानता है कि आम तौर पर उपयोगी जवाब क्या हैं. (उम्मीद है कि) उपयोगी जवाब देने के लिए यह जानकारी काफ़ी होगी. लोगों से मिले अतिरिक्त सुझाव ("यह जवाब बहुत जटिल था." या "प्रतिक्रिया क्या है?") कुछ प्रॉम्प्ट पर आधारित लर्निंग सिस्टम को धीरे-धीरे अपने जवाबों की उपयोगिता को बेहतर बनाने की सुविधा देता है.

प्रॉम्प्ट डिज़ाइन

#language

#generativeAI

प्रॉम्प्ट इंजीनियरिंग का समानार्थी शब्द.

प्रॉम्प्ट इंजीनियरिंग

#language

#generativeAI

प्रॉम्प्ट बनाने की एक आर्ट, जिसमें बड़े लैंग्वेज मॉडल से मनमुताबिक जवाब मिलते हैं. इंसान प्रॉम्प्ट इंजीनियर करते हैं. अच्छी तरह से बनाए गए प्रॉम्प्ट लिखना, यह पक्का करने का एक ज़रूरी हिस्सा है कि किसी बड़े लैंग्वेज मॉडल से काम के जवाब मिलें. प्रॉम्प्ट इंजीनियरिंग कई चीज़ों पर निर्भर करती है, जैसे:

• इस डेटासेट का इस्तेमाल, लार्ज लैंग्वेज मॉडल को प्री-ट्रेन करने और इसे बेहतर करने के लिए किया जाता है.
• तापमान और डिकोड करने के अन्य पैरामीटर, जिनका इस्तेमाल मॉडल, रिस्पॉन्स जनरेट करने के लिए करता है.

मददगार प्रॉम्प्ट लिखने के बारे में ज़्यादा जानने के लिए, प्रॉम्प्ट डिज़ाइन के बारे में जानकारी देखें.

प्रॉम्प्ट डिज़ाइन, प्रॉम्प्ट इंजीनियरिंग का एक समानार्थी शब्द है.

प्रॉम्प्ट ट्यूनिंग

#language

#generativeAI

पैरामीटर की असरदार ट्यूनिंग तकनीक, जो "प्रीफ़िक्स" को सीखती है, जिसे सिस्टम, असली प्रॉम्प्ट से शुरू करता है.

प्रॉम्प्ट ट्यूनिंग का एक वैरिएशन यह है कि प्रीफ़िक्स को हर लेयर से पहले जोड़ा जाए. इसे कभी-कभी प्रीफ़िक्स ट्यूनिंग भी कहा जाता है. वहीं दूसरी ओर, ज़्यादातर प्रॉम्प्ट ट्यूनिंग, सिर्फ़ इनपुट लेयर में प्रीफ़िक्स जोड़ता है.

प्रीफ़िक्स के बारे में ज़्यादा जानने के लिए, आइकॉन पर क्लिक करें.

प्रॉम्प्ट ट्यूनिंग के लिए, "prefix" (इसे "सॉफ़्ट प्रॉम्प्ट" भी कहा जाता है) कुछ सीखे गए, टास्क के हिसाब से बने वेक्टर है. ये असल प्रॉम्प्ट से एम्बेड किए गए टेक्स्ट टोकन से पहले जुड़े होते हैं. सिस्टम, दूसरे सभी मॉडल पैरामीटर को फ़्रीज़ करके और किसी खास टास्क को बेहतर बनाकर, सॉफ़्ट प्रॉम्प्ट को सीखता है.

---

प्रॉक्सी लेबल

#fundamentals

लेबल का अनुमान लगाने के लिए इस्तेमाल किया जाने वाला डेटा, जो सीधे तौर पर डेटासेट में उपलब्ध नहीं होता.

उदाहरण के लिए, मान लें कि आपको कर्मचारी के स्ट्रेस लेवल का अनुमान लगाने के लिए, किसी मॉडल को ट्रेन करना होगा. आपके डेटासेट में कई ऐसी सुविधाएं हैं जो अनुमान लगाने वाली सुविधाएं देती हैं. हालांकि, इनमें स्ट्रेस लेवल का लेबल नहीं होता. और यह है कि आप "दफ़्तर की दुर्घटनाओं" को तनाव के स्तर के लिए प्रॉक्सी लेबल के रूप में चुनते हैं. ऐसा इसलिए होता है, क्योंकि कर्मचारी शांत रहने के मुकाबले, तनाव में रहते हुए कर्मचारियों के साथ ज़्यादा हादसों का सामना करते हैं. या वे दिलचस्पी लेते हैं? हो सकता है कि ऑफ़िस में होने वाली दुर्घटनाएं सचमुच कई वजहों से बढ़ और घटती हों.

दूसरे उदाहरण के तौर पर, मान लीजिए कि आपको अपने डेटासेट के लिए क्या बारिश हो रही है? को बूलियन लेबल बनाना है, लेकिन आपके डेटासेट में बारिश का डेटा नहीं है. अगर फ़ोटोग्राफ़ उपलब्ध हैं, तो शायद क्या बारिश हो रही है? क्या यह एक अच्छा प्रॉक्सी लेबल है? ऐसा हो सकता है, लेकिन कुछ संस्कृतियों के लोगों के लिए, धूप से बचने के लिए बारिश से बचने के लिए छाते उठाना पसंद किया जाता है.

प्रॉक्सी लेबल अक्सर ठीक नहीं होते हैं. जब भी हो सके, प्रॉक्सी लेबल के बजाय असल लेबल चुनें. इसलिए, जब असली लेबल मौजूद न हो, तो प्रॉक्सी लेबल को सावधानी से चुनें और सबसे कम खराब प्रॉक्सी लेबल कैंडिडेट चुनें.

प्रॉक्सी (संवेदनशील विशेषताएं)

#fairness

संवेदनशील एट्रिब्यूट को स्टैंड-इन के तौर पर इस्तेमाल किया जाने वाला एट्रिब्यूट. उदाहरण के लिए, किसी व्यक्ति के पिन कोड का इस्तेमाल, उसकी आय, नस्ल या जातीयता के लिए किया जा सकता है.

प्योर फ़ंक्शन

ऐसा फ़ंक्शन जिसके आउटपुट सिर्फ़ उसके इनपुट पर आधारित होते हैं और जिसका कोई खराब असर नहीं होता. खास तौर पर, प्योर फ़ंक्शन किसी भी ग्लोबल स्थिति, जैसे कि फ़ाइल का कॉन्टेंट या फ़ंक्शन के बाहर के किसी वैरिएबल की वैल्यू का न तो इस्तेमाल करता है और न ही उसमें बदलाव करता है.

प्योर फ़ंक्शन का इस्तेमाल, थ्रेड के हिसाब से सुरक्षित कोड बनाने के लिए किया जा सकता है. इससे कई model में model कोड को शेयर करने पर फ़ायदा होता है.

JAX के फ़ंक्शन में बदलाव करने के तरीकों के लिए, यह ज़रूरी है कि इनपुट फ़ंक्शन पूरी तरह से फ़ंक्शन हों.

सवाल

क्यू-फ़ंक्शन

#rl

रीइन्फ़ोर्समेंट लर्निंग में, वह फ़ंक्शन जो किसी राज्य में कार्रवाई करने और फिर दी गई नीति के हिसाब से रिटर्न का अनुमान लगाता है.

सवाल-फ़ंक्शन को स्टेट-ऐक्शन वैल्यू फ़ंक्शन के नाम से भी जाना जाता है.

सवाल-लर्निंग

#rl

रीइन्फ़ोर्समेंट लर्निंग में, एक ऐसा एल्गोरिदम होता है जो एजेंट को बेलमैन इक्वेशन लागू करके, मार्कोव डिसिज़न प्रोसेस का सबसे सही क्यू-फ़ंक्शन सीखने में मदद करता है. मार्कोव डिसिज़न प्रोसेस से एनवायरमेंट मिलता है.

क्वेनटाइल

क्वांटाइल बकेटिंग में हर बकेट.

क्वानटाइल बकेटिंग

किसी सुविधा की वैल्यू को बकेट में डिस्ट्रिब्यूट करना, ताकि हर बकेट में उदाहरणों की संख्या एक जैसी या करीब-करीब एक जैसी हो. उदाहरण के लिए, नीचे दिए गए डायग्राम में 44 पॉइंट को 4 बकेट में बांटा गया है. हर बकेट में 11 पॉइंट हैं. इमेज में मौजूद हर बकेट में पॉइंट की संख्या समान होने के लिए, कुछ बकेट x-वैल्यू की अलग-अलग चौड़ाई में होती हैं.

मात्रा

ओवरलोड हो गया शब्द, जिसका इस्तेमाल नीचे दिए गए किसी भी तरीके से किया जा सकता है:

• किसी खास सुविधा के लिए, क्वांटाइल बकेटिंग का इस्तेमाल करना.
• डेटा को शून्य और एक में बदलना, ताकि उसे तेज़ी से सेव किया जा सके, ट्रेनिंग दी जा सके, और अनुमान लगाया जा सके. अन्य फ़ॉर्मैट के मुकाबले, बूलियन डेटा, ग़ैर-ज़रूरी आवाज़ों और गड़बड़ियों के लिए ज़्यादा बेहतर होता है. इसलिए, क्वांटाइज़ेशन से मॉडल को सटीक बनाने में मदद मिलती है. क्वांटाइज़ेशन की तकनीकों में राउंडिंग, काट-छांट करना, और बिनिंग शामिल हैं.

• किसी मॉडल के पैरामीटर स्टोर करने के लिए इस्तेमाल किए जाने वाले बिट की संख्या कम करना. उदाहरण के लिए, मान लें कि किसी मॉडल के पैरामीटर 32-बिट फ़्लोटिंग-पॉइंट नंबर के तौर पर स्टोर किए गए हैं. क्वांटाइज़ेशन उन पैरामीटर को 32 बिट से बदलकर 4, 8 या 16 बिट में बदल देता है. क्वांटाइज़ेशन से इन चीज़ों को कम कर दिया जाता है:

  • कंप्यूट, मेमोरी, डिस्क, और नेटवर्क के इस्तेमाल की जानकारी
  • अनुमान का अनुमान लगाने का समय
  • ऊर्जा की खपत

  हालांकि, कभी-कभी क्वांटाइज़ेशन से मॉडल के अनुमानों के सटीक होने की संभावना कम हो जाती है.

सूची

#TensorFlow

TensorFlow ऑपरेशन, जो सूची का डेटा स्ट्रक्चर लागू करता है. आम तौर पर, I/O में इस्तेमाल किया जाता है.

R

आरएजी

#fundamentals

वापस पाने वाली जनरेशन के लिए छोटा नाम.

रैंडम फ़ॉरेस्ट

#df

डिसिज़न ट्री का कलेक्शन होता है, जिसमें हर डिसिज़न ट्री को किसी खास रैंडम नॉइज़ के साथ ट्रेनिंग दी जाती है, जैसे कि बैगिंग.

जंगल, भी फ़ैसले लेने वाले जंगल होते हैं.

किसी भी क्रम में लगाई गई नीति

#rl

रीइन्फ़ोर्समेंट लर्निंग में, ऐसी नीति है जिसमें बिना किसी क्रम के कार्रवाई चुनी जाती है.

रैंकिंग

एक तरह की सुपरवाइज़्ड लर्निंग जिसका मकसद आइटम की सूची ऑर्डर करना है.

रैंक (क्रम संख्या)

मशीन लर्निंग से जुड़े सवाल में क्लास की ऑर्डिनल पोज़िशन, जो क्लास को सबसे ऊंची से सबसे कम कैटगरी में बांटती है. उदाहरण के लिए, व्यवहार की रैंकिंग वाला सिस्टम, कुत्ते के इनामों को सबसे ऊंचे (स्टीक) से लेकर सबसे कम (हल्का केल) तक रैंक कर सकता है.

रैंक (टेन्सर)

#TensorFlow

टेन्सर में डाइमेंशन की संख्या. उदाहरण के लिए, अदिश की रैंक 0 है, वेक्टर की रैंक 1 है, और आव्यूह की रैंक 2 है.

इसे रैंक (ऑर्डर की संख्या) समझने की भूल न करें.

रेटिंग देने वाला

#fundamentals

वह व्यक्ति जो उदाहरण के लिए लेबल देता है. रेटिंग देने वाले लोगों का दूसरा नाम "एनोटेटर" है.

रीकॉल

क्लासिफ़िकेशन मॉडल के लिए मेट्रिक, जो इस सवाल के जवाब देती है:

जब ग्राउंड ट्रूथ पॉज़िटिव क्लास थी, तो मॉडल ने कितने प्रतिशत अनुमानों को पॉज़िटिव क्लास के तौर पर सही पहचाना?

यहां फ़ॉर्मूला दिया गया है:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

कहां:

• सही पॉज़िटिव का मतलब है कि मॉडल ने सही तरीके से पॉज़िटिव क्लास का अनुमान लगाया है.
• फ़ॉल्स नेगेटिव का मतलब है कि मॉडल ने गलती से नेगेटिव क्लास का अनुमान लगाया है.

उदाहरण के लिए, मान लें कि आपके मॉडल ने ऐसे उदाहरणों के लिए 200 अनुमान लगाए हैं जिनके लिए बुनियादी तथ्य सकारात्मक क्लास था. इन 200 अनुमानों में से:

• 180 सच में सकारात्मक थे.
• 20 फ़ॉल्स नेगेटिव थे.

इस मामले में:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

क्लास-असंतुलित डेटासेट के बारे में नोट के आइकॉन पर क्लिक करें.

रीकॉल, खास तौर पर क्लासिफ़िकेशन मॉडल की अनुमान लगाने वाली क्षमता तय करने के लिए काम की है. इनमें, पॉज़िटिव क्लास कभी-कभार ही मिलती है. उदाहरण के लिए, एक क्लास-असंतुलित डेटासेट पर विचार करें जिसमें किसी खास बीमारी की पॉज़िटिव क्लास मान लीजिए कि आपका मॉडल 50 लाख अनुमान लगाता है, जिनसे नीचे दिए गए नतीजे मिलते हैं:

• 30 बिलकुल सही
• 20 फ़ॉल्स नेगेटिव
• 49,99,000 ट्रू नेगेटिव
• 950 फ़ॉल्स पॉज़िटिव

इसलिए, इस मॉडल को बाज़ार से हटाया जाना चाहिए:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

इसके उलट, इस मॉडल की सटीक होने इस तरह है:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

सटीक जानकारी का यह महत्व शानदार लगता है, लेकिन इसका कोई मतलब नहीं है. सटीक डेटा के बजाय, क्लास-असंतुलित डेटासेट के लिए रीकॉल ज़्यादा काम की मेट्रिक है.

---

सुझाव देने वाला सिस्टम

#recsystems

ऐसा सिस्टम जो हर उपयोगकर्ता के लिए, एक बड़े संग्रह में से ज़रूरी आइटम का एक छोटा सेट चुनता है. उदाहरण के लिए, वीडियो का सुझाव देने वाला सिस्टम,1, 00, 000 वीडियो के संग्रह से दो वीडियो का सुझाव दे सकता है. इनमें एक उपयोगकर्ता के लिए कासाब्लांका और फ़िलाडेल्फ़िया स्टोरी और दूसरे उपयोगकर्ता के लिए वंडर वुमन और ब्लैक पैंथर को चुना जा सकता है. वीडियो का सुझाव देने वाला सिस्टम, इन चीज़ों के आधार पर वीडियो के सुझाव दे सकता है:

• ऐसी फ़िल्में जिन्हें मिलते-जुलते उपयोगकर्ताओं ने रेटिंग दी है या देखा है.
• शैली, निर्देशक, अभिनेता, टारगेट डेमोग्राफ़िक...

रेक्टिफ़ाइड लीनियर यूनिट (ReLU)

#fundamentals

ऐक्टिवेशन फ़ंक्शन, जो यह तरीका अपनाता है:

• अगर इनपुट नेगेटिव या शून्य है, तो आउटपुट 0 होता है.
• अगर इनपुट पॉज़िटिव है, तो आउटपुट, इनपुट के बराबर होता है.

उदाहरण के लिए:

• अगर इनपुट -3 है, तो आउटपुट 0 होता है.
• अगर इनपुट +3 है, तो आउटपुट 3.0 होगा.

यहां ReLU का एक प्लॉट दिया गया है:

ReLU एक बहुत ही लोकप्रिय ऐक्टिवेशन फ़ंक्शन है. ReLU के आसान व्यवहार के बावजूद, यह एक न्यूरल नेटवर्क को यह सुविधा देता है कि वह सुविधाओं और लेबल के ऑनलाइन संबंधों के बारे में जान सके.

बार-बार न्यूरल नेटवर्क

#seq

ऐसा न्यूरल नेटवर्क जो जान-बूझकर कई बार चलाया जाता है, जिसमें हर एक के हिस्से को अगली बार फ़ीड किया जाता है. खास तौर पर, पिछली बार चलाए गए डेटा में छिपी हुई लेयर, इनपुट का कुछ हिस्सा अगली बार उसी छिपी लेयर को उपलब्ध कराती है. बार-बार होने वाले न्यूरल नेटवर्क, खास तौर पर क्रमों का आकलन करने में मददगार होते हैं. इससे, छिपी हुई लेयर, क्रम के पहले वाले हिस्सों में न्यूरल नेटवर्क के पिछले हिस्से से सीख पाती हैं.

उदाहरण के लिए, नीचे दी गई इमेज में बार-बार दिखने वाला न्यूरल नेटवर्क दिखाया गया है, जो चार बार चलता है. ध्यान दें कि छिपी हुई लेयर में पहली बार चलाने पर जो वैल्यू सीखी गई हैं वे दूसरी बार चलाने पर उसी छिपी लेयर के इनपुट का हिस्सा बन जाती हैं. इसी तरह, छिपी हुई लेयर में दूसरी बार सेव की गई वैल्यू, तीसरी बार में उसी छिपी लेयर के इनपुट का हिस्सा बन जाती हैं. इस तरह, बार-बार आने वाला न्यूरल नेटवर्क, धीरे-धीरे अलग-अलग शब्दों के मतलब के बजाय, पूरे क्रम के मतलब को ट्रेन करता है और उसका मतलब बताता है.

रिग्रेशन मॉडल

#fundamentals

अनौपचारिक रूप से, ऐसा मॉडल जो संख्या का अनुमान लगाता है. (वहीं दूसरी ओर, क्लासिफ़िकेशन मॉडल, क्लास का अनुमान जनरेट करता है.) उदाहरण के लिए, नीचे दिए गए सभी रिग्रेशन मॉडल हैं:

• ऐसा मॉडल जो किसी खास घर की कीमत का अनुमान लगाता है, जैसे कि 4,23,000 यूरो.
• ऐसा मॉडल जो किसी खास पेड़ की उम्र का अनुमान लगाता है, जैसे कि 23.2 साल.
• ऐसा मॉडल जो किसी शहर में अगले छह घंटों में होने वाली बारिश की मात्रा का अनुमान लगाता है, जैसे कि 0.18 इंच.

दो सामान्य तरह के रिग्रेशन मॉडल हैं:

• लीनियर रिग्रेशन, जो उस लाइन का पता लगाता है जो लेबल की वैल्यू के हिसाब से सबसे सही होती है.
• लॉजिस्टिक रिग्रेशन, जो 0.0 और 1.0 के बीच की प्रॉबबिलिटी जनरेट करता है. इसके बाद, सिस्टम आम तौर पर क्लास के अनुमान पर मैप करता है.

संख्यात्मक अनुमान देने वाला हर मॉडल, रिग्रेशन मॉडल नहीं होता. कुछ मामलों में, संख्या वाला अनुमान असल में सिर्फ़ एक क्लासिफ़िकेशन मॉडल होता है जिसमें संख्या वाली क्लास के नाम होते हैं. उदाहरण के लिए, संख्या वाला पिन कोड का अनुमान लगाने वाला मॉडल, क्लासिफ़िकेशन मॉडल होता है, न कि रिग्रेशन मॉडल.

रेगुलराइज़ेशन

#fundamentals

ऐसा कोई भी तरीका जो ओवरफ़िट को कम करता है. नियमित करने के लोकप्रिय तरीकों में ये शामिल हैं:

• L₁ रेगुलराइज़ेशन
• L₂ रेगुलराइज़ेशन
• ड्रॉपआउट रेगुलराइज़ेशन
• समय से पहले रोकना (यह रेगुलराइज़ेशन का औपचारिक तरीका नहीं है, लेकिन ज़्यादा फ़िटिंग को कम किया जा सकता है)

रेगुलराइज़ेशन को मॉडल की जटिलता पर दंड के रूप में भी परिभाषित किया जा सकता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

रेगुलराइज़ेशन सही नहीं है. रेगुलराइज़ेशन बढ़ाने से आम तौर पर ट्रेनिंग में होने वाले नुकसान बढ़ जाते हैं. हालांकि, यह भ्रम की स्थिति पैदा करने वाला होता है, क्योंकि इसका मकसद ट्रेनिंग में होने वाली कमी को कम करना नहीं है?

नहीं, इसका मकसद ट्रेनिंग में होने वाले नुकसान को कम करना नहीं है. लक्ष्य वास्तविक दुनिया के उदाहरणों पर बेहतरीन अनुमान लगाना है. ध्यान दें, रेगुलराइज़ेशन बढ़ाने से ट्रेनिंग में होने वाली कमी भी बढ़ जाती है, लेकिन इससे मॉडल को असल ज़िंदगी के उदाहरणों पर बेहतर अनुमान लगाने में मदद मिलती है.

---

रेगुलराइज़ेशन रेट

#fundamentals

यह संख्या ट्रेनिंग के दौरान रेगुलराइज़ेशन की अहमियत के बारे में बताती है. रेगुलराइज़ेशन की दर बढ़ाने से, ओवरफ़िटिंग कम हो जाती है. हालांकि, इससे मॉडल के अनुमान लगाने की क्षमता कम हो सकती है. इसके ठीक उलट, नियमित करने की दर को कम करने या हटाने से ज़्यादा फ़िटिंग बढ़ जाती है.

गणित देखने के लिए आइकॉन पर क्लिक करें.

रेगुलराइज़ेशन दर को आम तौर पर ग्रीक अक्षर लैम्डा से दिखाया जाता है. नीचे दिए गए आसान लॉस समीकरण से लैम्डा का असर पता चलता है:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

जहां रेगुलराइज़ेशन किसी भी तरह के रेगुलराइज़ेशन का तरीका है, जिसमें शामिल हैं;

• L₁ रेगुलराइज़ेशन
• L₂ रेगुलराइज़ेशन

---

रीइन्फ़ोर्समेंट लर्निंग (आरएल)

#rl

ऐसे एल्गोरिदम का फ़ैमिली ग्रुप जो सबसे बेहतर नीति के बारे में जानता है. इसका लक्ष्य एनवायरमेंट के साथ इंटरैक्ट करते समय, रिटर्न को ज़्यादा से ज़्यादा करना है. जैसे, ज़्यादातर गेम में सबसे बड़ा इनाम जीत होता है. रीइन्फ़ोर्समेंट लर्निंग सिस्टम, गेम के पिछले मूव के क्रमों का आकलन करके मुश्किल गेम खेलने में माहिर हो सकते हैं.

लोगों के सुझाव, शिकायत या राय की मदद से रीइन्फ़ोर्समेंट लर्निंग (आरएलएचएफ़)

#generativeAI

#rl

मॉडल के जवाबों की क्वालिटी को बेहतर बनाने के लिए, रेटिंग देने वाले लोगों से मिले सुझावों का इस्तेमाल करना. उदाहरण के लिए, आरएलएचएफ़ तकनीक में उपयोगकर्ताओं से किसी मॉडल के जवाब की क्वालिटी को रेटिंग देने के लिए कहा जा सकता है. इसके लिए, 👍 या चिह्न इमोजी इस्तेमाल किया जा सकता है. इसके बाद, सिस्टम उस सुझाव के आधार पर आने वाले समय में रिस्पॉन्स में बदलाव कर सकता है.

ReLU

#fundamentals

रेक्टिफ़ाइड लीनियर यूनिट का छोटा नाम.

बफ़र फिर से चलाएं

#rl

DQN जैसे एल्गोरिदम में, स्टेटस ट्रांज़िशन को सेव करने के लिए एजेंट जिस मेमोरी का इस्तेमाल करता है उसे फिर से चलाने का अनुभव के लिए इस्तेमाल किया जाता है.

प्रतिरूप

ट्रेनिंग सेट या मॉडल की कॉपी, आम तौर पर किसी दूसरी मशीन पर. उदाहरण के लिए, कोई सिस्टम डेटा समानता को लागू करने के लिए, इस रणनीति का इस्तेमाल कर सकता है:

1. किसी मौजूदा मॉडल की कॉपी को एक से ज़्यादा मशीनों पर लगाएं.
2. हर एक रेप्लिका को ट्रेनिंग सेट के अलग-अलग सबसेट भेजें.
3. पैरामीटर के अपडेट इकट्ठा करें.

रिपोर्टिंग पूर्वाग्रह

#fairness

लोगों की कार्रवाइयों, नतीजों या प्रॉपर्टी के बारे में लिखने की फ़्रीक्वेंसी, उनकी असल दुनिया की फ़्रीक्वेंसी को नहीं दिखाती है. इसके अलावा, इससे यह नहीं पता चलता है कि प्रॉपर्टी से किसी खास समूह के लोगों में कितनी जानकारी मिलती है. रिपोर्टिंग पूर्वाग्रह उस डेटा के स्ट्रक्चर पर असर डाल सकता है जिससे मशीन लर्निंग सिस्टम सीखते हैं.

उदाहरण के लिए, किताबों में हंसते हुए शब्द, सांस के मुकाबले ज़्यादा प्रचलित है. किसी किताब के संग्रह से हंसने और सांस लेने की फ़्रीक्वेंसी का अनुमान लगाने वाला मशीन लर्निंग मॉडल, यह तय कर सकता है कि सांस लेने से हंसना ज़्यादा सामान्य है.

प्रतिनिधित्व

काम की सुविधाओं के साथ डेटा मैप करने की प्रोसेस.

फिर से रैंकिंग

#recsystems

सुझाव देने वाले सिस्टम का आखिरी चरण. इसमें स्कोर वाले आइटम को किसी दूसरे एल्गोरिदम (आम तौर पर, गैर-एमएल) के हिसाब से फिर से ग्रेड किया जा सकता है. फिर से रैंकिंग देने की सुविधा, स्कोरिंग चरण से जनरेट किए गए आइटम की सूची का आकलन करती है. इसके लिए, ये कार्रवाइयां की जाती हैं:

• ऐसे आइटम हटाए जा रहे हैं जिन्हें उपयोगकर्ता ने पहले ही खरीद लिया है.
• नए आइटम के स्कोर में बढ़ोतरी करना.

रिक्वेस्टमेंटेड जनरेशन (आरएजी)

#fundamentals

लार्ज लैंग्वेज मॉडल (एलएलएम) आउटपुट की क्वालिटी को बेहतर बनाने की एक तकनीक. इस तकनीक को ट्रेनिंग देने के बाद, उस सोर्स से मिली जानकारी के आधार पर जनरेट किया जाता है. RAG, ट्रेनिंग वाले एलएलएम को भरोसेमंद नॉलेज बेस या दस्तावेज़ों से मिली जानकारी का ऐक्सेस देकर, एलएलएम के जवाबों को ज़्यादा सटीक बनाने का काम करता है.

वापस हासिल करने के लिए प्रेरित करने वाली जनरेशन की तकनीक का इस्तेमाल करने की आम वजहें ये हैं:

• किसी मॉडल के जनरेट किए गए जवाबों के तथ्यों को ज़्यादा सटीक बनाना.
• मॉडल को ऐसी जानकारी का ऐक्सेस देना जिसके लिए उसे ट्रेनिंग नहीं दी गई थी.
• मॉडल के इस्तेमाल की जानकारी में बदलाव करना.
• सोर्स को उद्धरण देने के लिए मॉडल को चालू करना.

उदाहरण के लिए, मान लें कि रसायन विज्ञान से जुड़ा कोई ऐप्लिकेशन, उपयोगकर्ता की क्वेरी से जुड़ी खास जानकारी जनरेट करने के लिए, PaLM API का इस्तेमाल करता है. जब ऐप्लिकेशन के बैकएंड को कोई क्वेरी मिलती है, तो बैकएंड:

1. उपयोगकर्ता की क्वेरी के हिसाब से काम का डेटा ("वापस पाना") खोजता है.
2. उपयोगकर्ता की क्वेरी में रसायन विज्ञान का ज़रूरी डेटा जोड़ता है.
3. एलएलएम को, जोड़े गए डेटा के आधार पर खास जानकारी तैयार करने का निर्देश देता है.

return

#rl

रीइन्फ़ोर्समेंट लर्निंग में, किसी खास नीति और खास स्थिति के हिसाब से, रिटर्न उन सभी इनाम को मिलता है जो एजेंट को, स्थिति से एपिसोड के आखिर तक आने वाली नीति का पालन करने के दौरान मिलता है. इनाम पाने के लिए, राज्य में हुए ट्रांज़िशन के हिसाब से इनामों में छूट देकर, एजेंट यह तय करता है कि इनाम पाने में देरी हो सकती है या नहीं.

इसलिए, अगर छूट का फ़ैक्टर \(\gamma\)है और \(r_0, \ldots, r_{N}\) एपिसोड के खत्म होने तक इनाम दिखाता है, तो रिटर्न का हिसाब इस तरह से लगाया जाएगा:

$$\text{Return} = r_0 + \gamma r_1 + \gamma^2 r_2 + \ldots + \gamma^{N-1} r_{N-1}$$

इनाम

#rl

रीइन्फ़ोर्समेंट लर्निंग में, किसी स्थिति में कोई कार्रवाई करने के बाद, अंकों वाला नतीजा मिलता है, जैसा कि एनवायरमेंट में बताया गया है.

रिज रेगुलराइज़ेशन

L₂ रेगुलराइज़ेशन का समानार्थी शब्द. सिर्फ़ आंकड़ों के कॉन्टेक्स्ट के लिए, रिज़ रेगुलराइज़ेशन शब्द का ज़्यादा इस्तेमाल किया जाता है, जबकि मशीन लर्निंग में L₂ रेगुलराइज़ेशन का ज़्यादा इस्तेमाल किया जाता है.

आरएनएन

#seq

बार-बार दिखने वाले न्यूरल नेटवर्क को छोटा नाम.

आरओसी (रिसीवर के चलाने की खासियत) कर्व

#fundamentals

बाइनरी क्लासिफ़िकेशन में, अलग-अलग क्लासिफ़िकेशन थ्रेशोल्ड के लिए, ट्रू पॉज़िटिव रेट बनाम गलत पॉज़िटिव रेट का ग्राफ़.

आरओसी कर्व का आकार, बाइनरी क्लासिफ़िकेशन मॉडल की पॉज़िटिव क्लास को नेगेटिव क्लास से अलग करने की क्षमता के बारे में बताता है. उदाहरण के लिए, मान लें कि बाइनरी क्लासिफ़िकेशन मॉडल, सभी नेगेटिव क्लास को सभी पॉज़िटिव क्लास से पूरी तरह अलग करता है:

पिछले मॉडल का आरओसी कर्व इस तरह दिखता है:

इसके उलट, नीचे दिया गया उदाहरण एक खराब मॉडल के लिए रॉ लॉजिस्टिक रिग्रेशन की वैल्यू को ग्राफ़ पर दिखाता है. यह मॉडल नेगेटिव क्लास को पॉज़िटिव क्लास से बिलकुल भी अलग नहीं कर सकता:

इस मॉडल का आरओसी कर्व इस तरह से दिखता है:

इस दौरान, असल दुनिया में, ज़्यादातर बाइनरी क्लासिफ़िकेशन मॉडल, पॉज़िटिव और नेगेटिव क्लास को कुछ हद तक अलग करते हैं. हालांकि, आम तौर पर वे बिलकुल सही नहीं होते. इस तरह, सामान्य ROC वक्र दो चरम सीमाओं के बीच कहीं भी आता है:

(0.0,1.0) के सबसे करीब वाले आरओसी कर्व पर मौजूद पॉइंट, कैटगरी तय करने के आदर्श थ्रेशोल्ड की पहचान करता है. हालांकि, असल दुनिया की कई अन्य समस्याएं, कैटगरी तय करने के लिए सही थ्रेशोल्ड को चुनने पर असर डालती हैं. उदाहरण के लिए, शायद फ़ॉल्स नेगेटिव की वजह से गलत नतीजे मिलने की तुलना में कहीं ज़्यादा दर्द हो सकता है.

संख्या वाली मेट्रिक को AUC कहते हैं. यह आरओसी कर्व को एक फ़्लोटिंग-पॉइंट वैल्यू में दिखाता है.

रोल के लिए प्रॉम्प्ट भेजना

#language

#generativeAI

यह प्रॉम्प्ट का एक वैकल्पिक हिस्सा है, जो जनरेटिव एआई मॉडल से मिलने वाले रिस्पॉन्स के लिए, टारगेट ऑडियंस की पहचान करता है. भूमिका के लिए दिए गए प्रॉम्प्ट के बिना, एक बड़ा लैंग्वेज मॉडल ऐसा जवाब देता है जो सवाल पूछने वाले व्यक्ति के लिए काम का हो सकता है या नहीं भी. रोल प्रॉम्प्ट की मदद से, बड़ा लैंग्वेज मॉडल इस तरीके से जवाब दे सकता है कि यह किसी खास टारगेट ऑडियंस के लिए ज़्यादा सही और ज़्यादा मददगार होगा. उदाहरण के लिए, नीचे दिए गए प्रॉम्प्ट में रोल प्रॉम्प्ट वाला हिस्सा बोल्डफ़ेस में है:

• अर्थशास्त्र में पीएचडी के लिए इस लेख की खास जानकारी लिखो.
• बताओ कि 10 साल के बच्चे के लिए ज्वार कैसे काम करता है.
• 2008 के वित्तीय संकट के बारे में बताओ. किसी छोटे बच्चे या गोल्डन रिट्रीवर नस्ल के कुत्ते की तरह बोलें.

रूट

#df

डिसिज़न ट्री में शुरुआती नोड (पहली स्थिति). पारंपरिक तरीके के मुताबिक, डायग्राम में रूट को डिसिज़न ट्री के सबसे ऊपर रखा जाता है. उदाहरण के लिए:

रूट डायरेक्ट्री

#TensorFlow

आपकी तय की गई डायरेक्ट्री, जिसमें TensorFlow की सबडायरेक्ट्री और कई मॉडल की इवेंट फ़ाइलें होस्ट की जाती हैं.

रूट मीन स्क्वेयर्ड एरर (RMSE)

#fundamentals

मीन स्क्वेयर्ड एरर का स्क्वेयर रूट.

रोटेशनल इनवैरियंस

#image

इमेज क्लासिफ़िकेशन से जुड़ी समस्या में, इमेज का ओरिएंटेशन बदलने पर भी एल्गोरिदम की इमेज की कैटगरी तय करने की क्षमता होती है. उदाहरण के लिए, एल्गोरिदम अब भी टेनिस रैकेट की पहचान कर सकता है, चाहे वह ऊपर की ओर, बगल में या नीचे की ओर इशारा कर रहा हो. ध्यान दें कि हर बार रोटेशन इनवैरियंस की ज़रूरत नहीं होती; उदाहरण के लिए, अपसाइड-डाउन 9 को 9 के तौर पर नहीं माना जाना चाहिए.

ट्रांसलेशनल इनवैरियंस और साइज़ इनवैरियंस भी देखें.

R-squared

रिग्रेशन मेट्रिक से पता चलता है कि किसी सुविधा या सुविधा सेट की वजह से, लेबल में कितना वैरिएशन हुआ है. R-वर्ग में 0 और 1 के बीच का कोई मान होता है, जिसकी व्याख्या इस तरह की जा सकती है:

• 0 वाले R-वर्ग का मतलब है कि लेबल की कोई भी विविधता, सुविधा सेट की वजह से नहीं है.
• 1 के R-वर्ग का मतलब है कि किसी लेबल की सभी विविधता, सुविधा सेट की वजह से होती है.
• 0 और 1 के बीच का R-स्क्वेयर यह बताता है कि किसी खास सुविधा या सुविधा सेट से, लेबल में होने वाले बदलाव का अनुमान किस हद तक लगाया जा सकता है. उदाहरण के लिए, 0.10 के आर-स्क्वेयर का मतलब है कि लेबल में 10 प्रतिशत वैरियंस, फ़ीचर सेट की वजह से है. वहीं, 0.20 के आर-स्क्वेयर का मतलब है कि 20 प्रतिशत सुविधा के सेट की वजह से है. इसी तरह, इसी तरह लेबल में भी 10 प्रतिशत वैरियंस होगा.

आर-स्क्वेयर, मॉडल की अनुमानित वैल्यू और ग्राउंड ट्रूथ के बीच पीयरसन कोरिलेशन गुणांक का स्क्वेयर होता है.

S

सैंपलिंग बायस

#fairness

चुनाव में पक्षपात देखें.

रिप्लेसमेंट की मदद से सैंपलिंग

#df

कैंडिडेट आइटम के सेट से आइटम चुनने का तरीका, जिसमें एक ही आइटम को कई बार चुना जा सकता है. "रिप्लेसमेंट के साथ" वाक्यांश का मतलब है कि हर बार चुने जाने के बाद, चुने गए आइटम को कैंडिडेट आइटम के पूल में वापस भेज दिया जाता है. रिप्लेसमेंट के बिना सैंपल देने की सुविधा का मतलब है कि किसी कैंडिडेट आइटम को सिर्फ़ एक बार चुना जा सकता है.

उदाहरण के लिए, फलों के इस सेट को देखें:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

मान लें कि सिस्टम, fig को पहले आइटम के तौर पर किसी भी क्रम में चुनता है. अगर सैंपलिंग के साथ सैंपलिंग का इस्तेमाल किया जाता है, तो सिस्टम यहां दिए गए सेट से दूसरा आइटम चुनता है:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

हां, यह पहले जैसा ही सेट है, ताकि सिस्टम fig को फिर से चुन सके.

अगर सैंपलिंग के बिना सैंपलिंग का इस्तेमाल किया जाता है, तो चुने जाने के बाद, किसी सैंपल को फिर से नहीं चुना जा सकता. उदाहरण के लिए, अगर सिस्टम किसी भी क्रम में fig को पहले सैंपल के तौर पर चुनता है, तो fig को फिर से नहीं चुना जा सकता. इसलिए, सिस्टम नीचे दिए गए (कम किए गए) सेट से दूसरा सैंपल चुनता है:

fruit = {kiwi, apple, pear, cherry, lime, mango}

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

रिप्लेसमेंट के साथ सैंपलिंग में रीप्लेसमेंट शब्द कई लोगों को भ्रमित करता है. अंग्रेज़ी में, बदलाव का मतलब "विकल्प" से होता है. हालांकि, रिप्लेसमेंट के साथ सैंपल में, रिप्लेसमेंट के लिए फ़्रेंच परिभाषा का इस्तेमाल होता है, जिसका मतलब है "किसी चीज़ को वापस डालना."

अंग्रेज़ी शब्द reप्लेसमेंट का अनुवाद, फ़्रेंच शब्द remplacement के तौर पर किया जाता है.

---

SavedModel

#TensorFlow

TensorFlow के मॉडल सेव करने और वापस लाने के लिए सुझाया गया फ़ॉर्मैट. सेव मॉडल एक लैंग्वेज न्यूट्रल और रिकवर किया जा सकने वाला सीरियलाइज़ेशन फ़ॉर्मैट है. इसकी मदद से, ऊंचे लेवल के सिस्टम और टूल को TensorFlow के मॉडल बनाने, इस्तेमाल करने, और उनमें बदलाव करने की सुविधा मिलती है.

पूरी जानकारी के लिए, TensorFlow प्रोग्रामर की गाइड में, सेव करने और वापस लाने का चैप्टर देखें.

सेवर

#TensorFlow

TensorFlow ऑब्जेक्ट मॉडल चेकपॉइंट को सेव करने के लिए काम करता है.

स्केलर

एक संख्या या सिंगल स्ट्रिंग, जिसे rank 0 के टेंसर के तौर पर दिखाया जा सकता है. उदाहरण के लिए, कोड की ये लाइनें, TensorFlow में एक स्केलर बनाती हैं:

breed = tf.Variable("poodle", tf.string)
temperature = tf.Variable(27, tf.int16)
precision = tf.Variable(0.982375101275, tf.float64)

स्केलिंग

ऐसा कोई भी गणितीय ट्रांसफ़ॉर्म या तकनीक जो लेबल और/या सुविधा की वैल्यू की रेंज में बदलाव करता हो. स्केलिंग के कुछ तरीके, नॉर्मलाइज़ेशन जैसे ट्रांसफ़ॉर्मेशन के लिए बहुत काम के होते हैं.

स्केलिंग के कुछ सामान्य तरीकों में ये शामिल हैं:

• लीनियर स्केलिंग, जिसमें आम तौर पर मूल वैल्यू को -1 और +1 के बीच या 0 और 1 के बीच की किसी संख्या से बदलने के लिए, घटाव और भाग देने के कॉम्बिनेशन का इस्तेमाल किया जाता है.
• लॉगारिद्मिक स्केलिंग, जो मूल वैल्यू को इसके लॉगारिद्म से बदल देती है.
• Z-स्कोर नॉर्मलाइज़ेशन, जो ओरिजनल वैल्यू को फ़्लोटिंग-पॉइंट वैल्यू से बदलता है. इससे, उस सुविधा के मीन से स्टैंडर्ड डेविएशन की संख्या पता चलती है.

साइकिट-सीखना

लोकप्रिय ओपन-सोर्स मशीन लर्निंग प्लैटफ़ॉर्म. scikit-learn.org पर जाएं.

स्कोरिंग

#recsystems

सुझाव देने वाले सिस्टम का एक हिस्सा, जो उम्मीदवारों के चरण में बनाए गए हर आइटम के लिए कोई वैल्यू या रैंकिंग देता है.

चुनिंदा बायस

#fairness

चुनने की प्रोसेस के कारण सैंपल डेटा से लिए गए नतीजों में गड़बड़ियां, जो डेटा में देखे गए सैंपल और नहीं देखे गए सैंपल के बीच व्यवस्थित अंतर पैदा करती हैं. चुनने से जुड़े इस तरह के पूर्वाग्रह इस तरह के होते हैं:

• कवरेज बायस: डेटासेट में दिखाई गई जनसंख्या, उस जनसंख्या से मेल नहीं खाती जिसके बारे में मशीन लर्निंग मॉडल अनुमान लगा रहा है.
• सैंपलिंग बायस: टारगेट ग्रुप से किसी भी क्रम में डेटा इकट्ठा नहीं किया जाता.
• नॉन-रिस्पॉन्स बायस (इसे हिस्सा लेने वाले पक्षपात भी कहा जाता है): कुछ खास ग्रुप के उपयोगकर्ता, अन्य ग्रुप के उपयोगकर्ताओं की तुलना में अलग-अलग रेट पर सर्वे से ऑप्ट-आउट कर देते हैं.

उदाहरण के लिए, मान लें कि आपको एक मशीन लर्निंग मॉडल बनाना है जो यह अनुमान लगाता है कि लोग कोई फ़िल्म पसंद कर सकते हैं या नहीं. ट्रेनिंग का डेटा इकट्ठा करने के लिए, आपको थिएटर की सबसे पहली पंक्ति में मौजूद सभी लोगों को एक सर्वे देना होता है. भले ही, यह डेटासेट इकट्ठा करने का एक उचित तरीका लग सकता है, लेकिन डेटा इकट्ठा करने के इस तरीके की वजह से चुनने में अंतर हो सकता है:

• कवरेज पूर्वाग्रह: ऐसे लोगों से नमूना लेने पर, जिन्होंने फ़िल्म देखने का विकल्प चुना है, हो सकता है कि आपके मॉडल के अनुमान उन लोगों को सामान्य न बना पाएं जिन्होंने पहले फ़िल्म में अपनी रुचि नहीं दिखाई थी.
• सैंपलिंग में पक्षपात: अनुमानित जनसंख्या (फ़िल्म में सभी लोग) से रैंडम तरीके से सैंपलिंग करने के बजाय, आपने सिर्फ़ सबसे पहली लाइन में मौजूद लोगों से सैंपल लिए. ऐसा हो सकता है कि पहली पंक्ति में बैठे लोगों को फ़िल्म में दूसरी पंक्तियों के मुकाबले ज़्यादा दिलचस्पी हो.
• गैर-प्रतिक्रिया वाला पूर्वाग्रह: आम तौर पर, मज़बूत विचारों वाले लोगों की थोड़ी-बहुत राय रखने वाले लोगों की तुलना में, वैकल्पिक सर्वे में ज़्यादा जवाब दिए जाते हैं. फ़िल्म सर्वे ज़रूरी नहीं है. इसलिए, सामान्य (घंटी के आकार का) डिस्ट्रिब्यूशन की तुलना में, रिस्पॉन्स से बायोमोडल डिस्ट्रिब्यूशन बनने की संभावना ज़्यादा होती है.

सेल्फ़-ध्यान देने की सुविधा (इसे सेल्फ़-अटेंशन लेयर भी कहा जाता है)

#language

एक न्यूरल नेटवर्क लेयर, जो एम्बेड किए गए लिंक (जैसे, टोकन एम्बेडिंग) के क्रम को एम्बेडिंग के दूसरे क्रम में बदल देती है. आउटपुट क्रम में एम्बेड किए गए हर एलिमेंट को, इनपुट सीक्वेंस के एलिमेंट से जानकारी जोड़कर बनाया जाता है. इसके लिए, ध्यान देने का तरीका इस्तेमाल किया जाता है.

खुद को ध्यान में रखने वाली सेल्फ़ का मतलब किसी दूसरे संदर्भ के बजाय, खुद से बात करने वाले वीडियो से है. ट्रांसफ़ॉर्मर के लिए, खुद को पहचानें

सेल्फ़-अटेंशन लेयर, हर शब्द के लिए इनपुट को दिखाने के क्रम से शुरू होती है. किसी शब्द के लिए इनपुट प्रज़ेंटेशन को एम्बेड करना आसान हो सकता है. इनपुट के क्रम में हर शब्द के लिए, नेटवर्क यह तय करता है कि शब्द के पूरे क्रम में मौजूद हर शब्द के लिए, शब्द कितने काम का है. प्रासंगिकता के स्कोर से यह तय होता है कि शब्द को सही तरीके से पेश करने के बाद, उसमें कितने दूसरे शब्द शामिल किए गए हैं.

उदाहरण के लिए, इस वाक्य पर विचार करें:

जानवर ने सड़क पार नहीं की, क्योंकि वह बहुत थका हुआ था.

यहां दिए गए इलस्ट्रेशन में (ट्रांसफ़ॉर्मर: ए नॉवल न्यूरल नेटवर्क आर्किटेक्चर फ़ॉर लैंग्वेज अंडरग्राउंडिंग) सर्वनाम it के लिए, खुद पर ध्यान देने वाली लेयर का अटेंशन पैटर्न दिखाता है. इसमें मौजूद हर लाइन के अंधेरे से यह पता चलता है कि इस वाक्य में कोई शब्द कितना अहम है:

सेल्फ़-अटेंशन लेयर, उन शब्दों को हाइलाइट करती है जो "it" के लिए काम के हैं. इस मामले में, अटेंशन लेयर ने उन शब्दों को हाइलाइट करना सीख लिया है जो जानवरों को सबसे ज़्यादा वज़न देते हुए यह हो सकते हैं.

n टोकन के क्रम के लिए, खुद को देखने की सुविधा, एम्बेड किए गए कॉन्टेंट के क्रम को n अलग-अलग समय में बदल देती है. ऐसा, क्रम में हर पोज़िशन पर एक बार किया जाता है.

ध्यान देना और कई बार खुद को ध्यान में रखने की सुविधा को भी देखें.

सेल्फ़-सुपरवाइज़्ड लर्निंग

एक ऐसी तकनीक जिसकी मदद से, निगरानी में नहीं रखी गई मशीन लर्निंग की समस्या को निगरानी में रखी गई मशीन लर्निंग समस्या में बदला जाता है. इसके लिए, बिना लेबल वाले उदाहरणों से सरोगेट लेबल बनाए जाते हैं.

Transformer पर आधारित कुछ मॉडल, जैसे कि BERT, सेल्फ़-सुपरवाइज़्ड लर्निंग का इस्तेमाल करते हैं.

खुद की निगरानी वाली ट्रेनिंग में, सेमी-सुपरवाइज़्ड लर्निंग तरीके का इस्तेमाल किया जाता है.

खुद से बनाई गई ट्रेनिंग

सेल्फ़-सुपरवाइज़्ड लर्निंग का एक वैरिएंट, जो खास तौर पर तब काम आता है, जब यहां दी गई सभी स्थितियां पूरी होती हैं:

• डेटासेट में, लेबल नहीं किए गए उदाहरणों और लेबल किए गए उदाहरणों का अनुपात ज़्यादा है.
• यह क्लासिफ़िकेशन से जुड़ी समस्या है.

जब तक मॉडल में सुधार होना बंद नहीं हो जाता, तब तक सेल्फ़-ट्रेनिंग के लिए, नीचे दिए गए दो चरणों को दोहराएं:

1. लेबल किए गए उदाहरणों के ज़रिए किसी मॉडल को ट्रेनिंग देने के लिए, सुपरवाइज़्ड मशीन लर्निंग का इस्तेमाल करें.
2. बिना लेबल वाले उदाहरणों पर अनुमान (लेबल) जनरेट करने के लिए, पहले चरण में बनाए गए मॉडल का इस्तेमाल करें. इनका इस्तेमाल करके, उन उदाहरणों को मूव करें जिनमें सटीक लेबल वाले लेबल के साथ, लेबल किए गए उदाहरण को लेकर ज़्यादा भरोसा है.

ध्यान दें कि दूसरे चरण की हर ट्रिप पर, पहले चरण के लिए लेबल किए गए ज़्यादा उदाहरण जोड़े जाते हैं.

सेमी-सुपरवाइज़्ड लर्निंग

डेटा का इस्तेमाल करके बनाए गए मॉडल को ट्रेनिंग देना, जिसमें ट्रेनिंग के कुछ उदाहरणों में लेबल हों, लेकिन अन्य में नहीं हों. सेमी-सुपरवाइज़्ड लर्निंग के लिए एक तकनीक है, बिना लेबल वाले उदाहरणों के लेबल का अनुमान लगाना और फिर अनुमानित लेबल के आधार पर ट्रेनिंग करके नया मॉडल बनाना. अगर लेबल महंगे हैं, लेकिन बिना लेबल वाले उदाहरण बहुत ज़्यादा हैं, तो सेमी-सुपरवाइज़्ड लर्निंग का इस्तेमाल करना फ़ायदेमंद हो सकता है.

खुद से ट्रेनिंग करना, कुछ समय के लिए निगरानी में रखने की सुविधा के लिए इस्तेमाल की जाने वाली एक तकनीक है.

संवेदनशील एट्रिब्यूट

#fairness

ऐसी मानवीय विशेषता जिसे कानूनी, नैतिक, सामाजिक या निजी वजहों पर खास ध्यान दिया जा सकता है.

भावनाओं का विश्लेषण

#language

किसी सेवा, प्रॉडक्ट, संगठन या विषय के बारे में किसी ग्रुप का सकारात्मक या नकारात्मक नज़रिया तय करने के लिए, आंकड़ों या मशीन लर्निंग का इस्तेमाल करना. उदाहरण के लिए, सामान्य भाषा की समझ का इस्तेमाल करके, एक एल्गोरिदम यूनिवर्सिटी के कोर्स के टेक्स्ट वाले फ़ीडबैक का आकलन कर सकता है. इससे यह तय किया जा सकता है कि छात्र-छात्राओं ने किस डिग्री को आम तौर पर पसंद या नापसंद किया है.

सीक्वेंस मॉडल

#seq

ऐसा मॉडल जिसके इनपुट सिक्वेंशियल डिपेंडेंसी होती है. उदाहरण के लिए, पहले देखे गए वीडियो के क्रम से अगले वीडियो का अनुमान लगाना.

सीक्वेंस-टू-सीक्वेंस टास्क

#language

ऐसा टास्क जो टोकन के इनपुट क्रम को टोकन के आउटपुट क्रम में बदलता है. उदाहरण के लिए, क्रम-से-क्रम तक दो लोकप्रिय टास्क हैं:

• अनुवादक:
  • इनपुट के क्रम का उदाहरण: "मुझे तुमसे प्यार है."
  • आउटपुट क्रम का उदाहरण: "Je t'aime."
• सवाल का जवाब दिया जा रहा है:
  • इनपुट के क्रम का उदाहरण: "क्या मुझे न्यूयॉर्क में अपनी कार की ज़रूरत पड़ेगी?"
  • आउटपुट क्रम का नमूना: "नहीं. कृपया अपनी कार को घर पर ही रखें."

व्यक्ति खा सकता है

ऑनलाइन अनुमान या ऑफ़लाइन अनुमान की मदद से अनुमान लगाने के लिए, ट्रेन किए गए मॉडल को उपलब्ध कराने की प्रोसेस.

आकार (टेन्सर)

किसी टेंसर के हर डाइमेंशन में एलिमेंट की संख्या. आकार को पूर्णांकों की सूची के तौर पर दिखाया जाता है. उदाहरण के लिए, नीचे दिए गए द्वि-आयामी टेंसर का आकार [3,4] है:

[[5, 7, 6, 4],
 [2, 9, 4, 8],
 [3, 6, 5, 1]]

TensorFlow, डाइमेंशन का क्रम दिखाने के लिए पंक्ति-मुख्य (सी-स्टाइल) फ़ॉर्मैट का इस्तेमाल करता है. इसलिए, TensorFlow में आकार [4,3] के बजाय [3,4] है. दूसरे शब्दों में कहें, तो दो डाइमेंशन वाले TensorFlow Tensor का आकार, [लाइनों की संख्या और कॉलम की संख्या] है.

शार्ड

#TensorFlow

#GoogleCloud

ट्रेनिंग सेट या मॉडल का लॉजिकल डिवीज़न. आम तौर पर, कुछ प्रोसेस उदाहरण या पैरामीटर को (आम तौर पर) एक जैसे साइज़ के हिस्सों में बांटकर शार्ड बनाती हैं. इसके बाद, हर शार्ड किसी दूसरी मशीन को असाइन किया जाता है.

मॉडल को शार्डिंग करने को मॉडल पैरललिज़्म कहा जाता है; हार्डिंग डेटा को डेटा पैरललिज़्म कहा जाता है.

छोटा करें

#df

ग्रेडिएंट बूस्टिंग में मौजूद हाइपर पैरामीटर, जो ओवरफ़िटिंग को कंट्रोल करता है. ग्रेडिएंट बूस्टिंग में शृंगार, ग्रेडिएंट डिसेंट में लर्निंग रेट के जैसा है. श्रिंकेज, 0.0 और 1.0 के बीच की दशमलव वैल्यू होती है. शृंकेज का कम मान होने से, श्रिंकज वैल्यू की तुलना में ओवरफ़िटिंग कम हो जाती है.

सिगमॉइड फ़ंक्शन

#fundamentals

एक गणितीय फ़ंक्शन, जो किसी इनपुट वैल्यू को सीमित रेंज में "स्क्विश" करता है. आम तौर पर, यह वैल्यू 0 से 1 या -1 से +1 तक होती है. इसका मतलब है कि सिग्मॉइड में किसी भी संख्या (दो, दस लाख, नेगेटिव अरब, कुछ भी) को पास किया जा सकता है और आउटपुट सीमित रेंज में रहेगा. सिग्मॉइड ऐक्टिवेशन फ़ंक्शन का प्लॉट इस तरह दिखता है:

सिगमॉइड फ़ंक्शन का मशीन लर्निंग में कई तरह से इस्तेमाल किया जाता है. इनमें ये शामिल हैं:

• लॉजिस्टिक रिग्रेशन या मल्टीनॉमियल रिग्रेशन मॉडल के रॉ आउटपुट को प्रॉबबिलिटी में बदलना.
• कुछ न्यूरल नेटवर्क में ऐक्टिवेशन फ़ंक्शन के तौर पर काम करना.

गणित देखने के लिए आइकॉन पर क्लिक करें.

किसी इनपुट नंबर x के सिगमॉइड फ़ंक्शन का यह फ़ॉर्मूला होता है:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

मशीन लर्निंग में, x आम तौर पर वेटेड योग होता है.

---

समानता माप

#clustering

क्लस्टरिंग एल्गोरिदम में, मेट्रिक का इस्तेमाल यह तय करने के लिए किया जाता है कि दोनों उदाहरण एक जैसे (कितने मिलते-जुलते हैं) हैं.

एक प्रोग्राम / मल्टीपल डेटा (एसपीएमडी)

पैरललिज़्म की ऐसी तकनीक जिसमें एक ही कैलकुलेशन, अलग-अलग डिवाइसों पर अलग-अलग इनपुट डेटा पर की जाती है. एसपीएमडी का लक्ष्य ज़्यादा तेज़ी से नतीजे पाना है. यह पैरलल प्रोग्रामिंग की सबसे आम स्टाइल है.

साइज़ इनवैरिएंस

#image

इमेज क्लासिफ़िकेशन से जुड़ी समस्या में, इमेज का साइज़ बदलने पर भी एल्गोरिदम इमेज की कैटगरी तय कर पाता है. उदाहरण के लिए, एल्गोरिदम अब भी बिल्ली की पहचान कर सकता है कि वह 2M पिक्सल का इस्तेमाल करती है या 200K पिक्सल का. ध्यान रखें कि इमेज की कैटगरी तय करने वाले सबसे अच्छे एल्गोरिदम में भी, साइज़ के वैरिएंट की व्यावहारिक सीमाएं होती हैं. उदाहरण के लिए, हो सकता है कि कोई एल्गोरिदम (या इंसान) सिर्फ़ 20 पिक्सल वाली बिल्ली की इमेज को सही तरीके से कैटगरी में बांट दे.

ट्रांसलेशनल इनवैरियंस और रोटेटेशनल इनवैरियंस भी देखें.

स्केचिंग

#clustering

निगरानी में नहीं रखी गई मशीन लर्निंग में, एल्गोरिदम की एक कैटगरी है जो उदाहरणों पर शुरुआती समानता का विश्लेषण करती है. स्केचिंग एल्गोरिदम, एक जैसे पॉइंट की पहचान करने के लिए, इलाके के हिसाब से संवेदनशील हैश फ़ंक्शन का इस्तेमाल करते हैं. इसके बाद, उन्हें बकेट में ग्रुप करते हैं.

स्केचिंग से, बड़े डेटासेट पर समानता की गणना के लिए ज़रूरी कंप्यूटेशन कम हो जाता है. डेटासेट में मौजूद उदाहरणों के हर जोड़े की समानता का हिसाब लगाने के बजाय, हम हर बकेट में पॉइंट के हर जोड़े के लिए समानता का हिसाब लगाते हैं.

स्किप-ग्राम

#language

n-gram, जो मूल कॉन्टेक्स्ट से शब्दों को हटा (या "स्किप") कर सकता है, इसका मतलब है कि N शब्द मूल रूप से एक-दूसरे के साथ नहीं जुड़े होंगे. सटीक तौर पर, "k-skip-n-gram" एक n-ग्राम है. इसमें, ज़्यादा से ज़्यादा हज़ार शब्दों को स्किप किया जा सकता है.

उदाहरण के लिए, "Quick Brown fox" में ये दो ग्राम हो सकते हैं:

• "तेज़"
• "क्विक ब्राउन"
• "ब्राउन फ़ॉक्स"

"1-स्किप-2-ग्राम", शब्दों का ऐसा जोड़ा होता है जिसमें ज़्यादा से ज़्यादा 1 शब्द होता है. इसलिए, "झटपट ब्राउन फ़ॉक्स" में एक से दो ग्राम के बाद ये चीज़ें आती हैं:

• "भूरा"
• "क्विक फ़ॉक्स"

इसके अलावा, सभी 2 ग्राम में 1 स्किप 2 ग्राम के लिए भी बदलाव किया जा सकता है, क्योंकि एक से कम शब्द स्किप किए जा सकते हैं.

स्किप-ग्राम की मदद से, किसी शब्द से जुड़े कॉन्टेक्स्ट को आसानी से समझा जा सकता है. उदाहरण में, "fox" का संबंध एक-स्किप-2-ग्राम के सेट में "Quick" से है, लेकिन 2-ग्राम के सेट में नहीं.

स्किप-ग्राम की मदद से, शब्द एम्बेड करने वाले मॉडल को ट्रेनिंग दी जा सकती है.

सॉफ़्टमैक्स

#fundamentals

ऐसा फ़ंक्शन जो मल्टी-क्लास क्लासिफ़िकेशन मॉडल में हर संभावित क्लास के लिए संभावना तय करता है. इस संख्या का योग 1.0 ही होता है. उदाहरण के लिए, नीचे दी गई टेबल दिखाती है कि सॉफ़्टमैक्स अलग-अलग संभावनाओं को कैसे बांटता है:

इमेज एक है...	प्रॉबेबिलिटी
कुत्ता	.85 डॉलर
cat	.13
घोड़ा	.02

सॉफ़्टमैक्स को फ़ुल सॉफ़्टमैक्स भी कहा जाता है.

उम्मीदवार से सैंपलिंग के साथ कंट्रास्ट.

गणित देखने के लिए आइकॉन पर क्लिक करें.

सॉफ़्टमैक्स समीकरण ऐसा है:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

कहां:

• $\sigma_i$ आउटपुट वेक्टर है. आउटपुट वेक्टर का हर एलिमेंट, इस एलिमेंट के होने की संभावना बताता है. आउटपुट वेक्टर में सभी एलिमेंट का योग 1.0 होता है. आउटपुट वेक्टर में उतनी ही संख्या में एलिमेंट हैं जितने इनपुट वेक्टर $z$ है.
• $z$ इनपुट वेक्टर है. इनपुट वेक्टर के हर एलिमेंट में एक फ़्लोटिंग-पॉइंट वैल्यू होती है.
• $K$ इनपुट वेक्टर (और आउटपुट वेक्टर) में एलिमेंट की संख्या है.

उदाहरण के लिए, मान लें कि इनपुट वेक्टर है:

[1.2, 2.5, 1.8]

इसलिए, सॉफ़्टमैक्स हर की गणना इस तरह करता है:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

इसलिए, हर एलिमेंट की सॉफ़्टमैक्स प्रॉबबिलिटी यह है:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

इसलिए, आउटपुट वेक्टर यह है:

$$\sigma = [0.154, 0.565, 0.281]$$

$\sigma$ में तीन एलिमेंट का योग 1.0 होता है. वाह!

---

सॉफ़्ट प्रॉम्प्ट ट्यूनिंग

#language

#generativeAI

किसी खास टास्क के लिए, बड़े लैंग्वेज मॉडल को ट्यून करने की तकनीक. इसमें ज़्यादा रिसॉर्स का इस्तेमाल किए बिना, फ़ाइन-ट्यूनिंग की ज़रूरत नहीं होती. सॉफ़्ट प्रॉम्प्ट ट्यूनिंग, मॉडल में सभी वेट को फिर से ट्रेन करेगा. इसके बजाय, उसी लक्ष्य को हासिल करने के लिए, प्रॉम्प्ट में अपने-आप बदलाव होता है.

टेक्स्ट वाले प्रॉम्प्ट को देखते हुए, सॉफ़्ट प्रॉम्प्ट ट्यूनिंग आम तौर पर प्रॉम्प्ट में अतिरिक्त टोकन एम्बेडिंग को जोड़ती है. साथ ही, इनपुट को ऑप्टिमाइज़ करने के लिए, बैकप्रोपेगेशन का इस्तेमाल करती है.

"हार्ड" प्रॉम्प्ट में टोकन एम्बेड करने के बजाय असली टोकन होते हैं.

स्पार्स फ़ीचर

#language

#fundamentals

ऐसी सुविधा जिसकी वैल्यू मुख्य रूप से शून्य या खाली है. उदाहरण के लिए, एक वैल्यू और लाखों शून्य वैल्यू वाली सुविधा को स्पार्स कहा जाता है. इसके उलट, डेंसिटी सुविधा में ऐसी वैल्यू होती हैं जो ज़्यादातर, शून्य या खाली नहीं होती हैं.

मशीन लर्निंग में बहुत सी सुविधाएं बहुत कम होती हैं. कैटगरी के आधार पर दिखने वाली सुविधाएं, आम तौर पर बहुत कम पाई जाती हैं. उदाहरण के लिए, किसी जंगल में पेड़ की 300 संभावित प्रजातियों में से, एक उदाहरण में सिर्फ़ मेपल ट्री की पहचान हो सकती है. या, वीडियो लाइब्रेरी के लाखों वीडियो में से, किसी एक उदाहरण में सिर्फ़ "कासाब्लांका" शामिल हो सकता है.

किसी मॉडल में, आम तौर पर वन-हॉट एन्कोडिंग की मदद से, स्पार्स सुविधाएं दिखाई जाती हैं. अगर वन-हॉट एन्कोडिंग बड़ी है, तो बेहतर परफ़ॉर्मेंस के लिए वन-हॉट एन्कोडिंग के ऊपर एम्बेड की जा रही लेयर जोड़ी जा सकती है.

स्पार्स रिप्रज़ेंटेशन

#language

#fundamentals

स्पार्स सुविधा में नॉन-ज़ीरो एलिमेंट की सिर्फ़ रैंक स्टोर करना.

उदाहरण के लिए, मान लें कि species नाम की कैटगरी वाली सुविधा, किसी खास जंगल में पेड़ों की 36 प्रजातियों की पहचान करती है. साथ ही, यह मान लें कि हर उदाहरण में, सिर्फ़ एक प्रजाति की पहचान की जाती है.

हर उदाहरण में पेड़ की प्रजातियों को दिखाने के लिए, वन-हॉट वेक्टर का इस्तेमाल किया जा सकता है. वन-हॉट वेक्टर में एक 1 (इस उदाहरण में पेड़ों की खास प्रजातियों को दिखाने के लिए) और 35 0 होंगे (इस उदाहरण में पेड़ की 35 प्रजातियों को दिखाने के लिए नहीं). इसलिए, maple का वन-हॉट प्रज़ेंटेशन कुछ ऐसा दिख सकता है:

इसके अलावा, सटीक जानकारी से सिर्फ़ किसी खास प्रजातियों की स्थिति का पता लगाया जा सकता है. अगर maple, 24 वें स्थान पर है, तो maple का थोड़ा-बहुत प्रतिनिधित्व यह होगा:

24

ध्यान दें कि खास तौर पर दिखाए जाने वाले प्रतिनिधि की तुलना में, खास मॉडल को बेहतर तरीके से दिखाना बहुत छोटा है.

ध्यान दें: आपको किसी मॉडल में, सीधे तौर पर फ़ीचर इनपुट के तौर पर, स्पार्स रिप्रज़ेंटेशन पास नहीं करना चाहिए. इसके बजाय, आपको ट्रेनिंग देने से पहले, स्पार्स वाले मॉडल को वन-हॉट प्रज़ेंटेशन में बदलना चाहिए.

थोड़े ज़्यादा जटिल उदाहरण के लिए, आइकॉन पर क्लिक करें.

मान लें कि आपके मॉडल के हर उदाहरण को अंग्रेज़ी वाक्य में शब्दों—लेकिन उन शब्दों के क्रम को नहीं—दिखाना चाहिए. अंग्रेज़ी में करीब 1,70,000 शब्द हैं, तो अंग्रेज़ी में करीब 1,70,000 एलिमेंट हैं. यह कैटगरी में एक कैटगरी में आता है. अंग्रेज़ी के ज़्यादातर वाक्यों में इन 1,70,000 शब्दों का बहुत ही छोटा सा हिस्सा इस्तेमाल होता है. इसलिए, एक उदाहरण में शब्दों के सेट को बहुत ही कम शब्दों में लिखा जाएगा.

नीचे दिए गए वाक्य पर विचार करें:

My dog is a great dog

इस वाक्य में शब्दों को दिखाने के लिए, वन-हॉट वेक्टर के वैरिएंट का इस्तेमाल किया जा सकता है. इस वैरिएंट में, वेक्टर की एक से ज़्यादा सेल में नॉन-ज़ीरो वैल्यू हो सकती है. इसके अलावा, इस वैरिएंट में, सेल में एक के अलावा, कोई दूसरा पूर्णांक हो सकता है. हालांकि, "मेरा", "इस", "एक", और "शानदार" शब्द, वाक्य में सिर्फ़ एक बार दिखते हैं, लेकिन "कुत्ता" शब्द दो बार दिखता है. इस वाक्य में शब्दों को दिखाने के लिए, एक-हॉट वेक्टर के इस वैरिएंट का इस्तेमाल करने से 1,70,000 एलिमेंट वाला वेक्टर मिलता है:

एक ही वाक्य को कम शब्दों में इस तरह से दिखाया जाएगा:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

अगर आप उलझन में हैं, तो आइकॉन पर क्लिक करें.

"स्पार्स रिप्रज़ेंटेशन" शब्द बहुत से लोगों को उलझन में डालता है, क्योंकि स्पैर्स रिप्रेज़ेंटेशन अपने-आप एक स्पैर्स वेक्टर नहीं है. इसके बजाय, खास जानकारी को स्पैर्स वेक्टर के तौर पर बहुत बारीकी से दिखाना है. समानार्थी शब्द इंडेक्स निरूपण "अल्प प्रदर्शन" से थोड़ा ज़्यादा समझ में आता है.

---

स्पार्स वेक्टर

#fundamentals

वह वेक्टर जिसकी वैल्यू ज़्यादातर शून्य होती हैं. पार्स करने की सुविधा और पार्सता भी देखें.

कम जानकारी होना

किसी वेक्टर या मैट्रिक्स में शून्य या शून्य पर सेट किए गए एलिमेंट की संख्या को वेक्टर या मैट्रिक्स में एंट्री की कुल संख्या से भाग देने पर. उदाहरण के लिए, ऐसा 100-एलिमेंट मैट्रिक्स मानें जिसमें 98 सेल में शून्य हो. समानता का कैलकुलेशन इस तरह से किया गया है:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

सुविधा की स्पार्सिटी, फ़ीचर वेक्टर की स्पारिटी से जुड़ी होती है. मॉडल स्पार्सिटी, मॉडल के वज़न की स्पार्सिटी से जुड़ी होती है.

स्पेशल पूलिंग

#image

पूलिंग देखें.

बांटें

#df

डिसिज़न ट्री में, condition का दूसरा नाम होता है.

स्प्लिटर

#df

डिसिज़न ट्री को ट्रेनिंग देते समय, हर नोड पर सबसे सही स्थिति का पता लगाने के लिए रूटीन (और एल्गोरिदम) की ज़िम्मेदारी होती है.

एसपीएमडी

एक प्रोग्राम / एक से ज़्यादा डेटा का छोटा नाम.

वर्गाकार हिंज लॉस

हिंज लॉस का स्क्वेयर. आम तौर पर होने वाले हिंज लॉस की तुलना में, बाहरी लोगों को निशाना बनाया जाना ज़्यादा नुकसानदेह होता है.

वर्ग में नुकसान

#fundamentals

L₂ हानि का समानार्थी शब्द.

कुछ लोगों के लिए ट्रेनिंग

#language

अलग-अलग चरणों के क्रम में किसी मॉडल को ट्रेनिंग देने की रणनीति. उनका लक्ष्य या तो ट्रेनिंग प्रोसेस को तेज़ करना या बेहतर मॉडल क्वालिटी हासिल करना हो सकता है.

प्रोग्रेसिव स्टैकिंग अप्रोच का इलस्ट्रेशन यहां दिखाया गया है:

• पहले चरण में 3, छिपाई गई लेयर, और तीसरे चरण में 12 छिपी हुई लेयर शामिल हैं.
• दूसरे चरण की तीन छिपे हुए लेयर में सीखे गए वज़न से ट्रेनिंग शुरू होती है. तीसरे चरण की ट्रेनिंग की शुरुआत दूसरे चरण की छह छिपी हुई लेयर में सीखे गए वज़न से होती है.

पाइपलाइनिंग भी देखें.

state

#rl

रीइन्फ़ोर्समेंट लर्निंग में, एनवायरमेंट के मौजूदा कॉन्फ़िगरेशन के बारे में बताने वाली पैरामीटर वैल्यू होती हैं. एजेंट किसी कार्रवाई को चुनने के लिए, इस वैल्यू का इस्तेमाल करता है.

स्टेट-ऐक्शन वैल्यू फ़ंक्शन

#rl

Q-Function का समानार्थी शब्द.

स्टैटिक

#fundamentals

लगातार कुछ करने के बजाय सिर्फ़ एक बार किया. स्टैटिक और ऑफ़लाइन शब्द समानार्थी हैं. मशीन लर्निंग में स्टैटिक और ऑफ़लाइन इस्तेमाल के सामान्य उदाहरण यहां दिए गए हैं:

• स्टैटिक मॉडल (या ऑफ़लाइन मॉडल) ऐसा मॉडल है जिसे एक बार ट्रेनिंग दी गई है और फिर कुछ समय के लिए इस्तेमाल किया जाता है.
• स्टैटिक ट्रेनिंग (या ऑफ़लाइन ट्रेनिंग), स्टैटिक मॉडल को ट्रेनिंग देने की प्रोसेस है.
• स्टैटिक अनुमान (या ऑफ़लाइन अनुमान) एक ऐसी प्रोसेस है जिसमें मॉडल, एक समय पर अनुमानों का बैच जनरेट करता है.

डाइनैमिक के साथ कंट्रास्ट करें.

स्टैटिक अनुमान

#fundamentals

ऑफ़लाइन अनुमान के लिए समानार्थी शब्द.

स्टेशनैरिटी

#fundamentals

यह ऐसी सुविधा है जिसकी वैल्यू एक या उससे ज़्यादा डाइमेंशन में नहीं बदलतीं. आम तौर पर, यह समय किसी तय समय पर बदल जाती है. उदाहरण के लिए, कोई सुविधा जिसकी वैल्यू 2021 और 2023 में भी एक जैसी दिखती है वह स्टेशनरिटी दिखाती है.

असल दुनिया में, कुछ ही सुविधाएं स्टेशनरिटी का पता लगाती हैं. यहां तक कि स्थायित्व (जैसे, समुद्र का स्तर) के साथ भी समान विशेषताएं समय के साथ बदलती रहती हैं.

नॉनस्टेशनरिटी के बीच कंट्रास्ट.

चरण

एक बैच का फ़ॉरवर्ड पास और बैकवर्ड पास.

फ़ॉरवर्ड पास और बैकवर्ड पास के बारे में ज़्यादा जानकारी के लिए, बैकप्रॉपैगेशन देखें.

स्टेप साइज़

शिक्षण दर का समानार्थी शब्द.

स्टोकेस्टिक ग्रेडिएंट डिसेंट (एसजीडी)

#fundamentals

ग्रेडिएंट डिसेंट एल्गोरिदम, जिसमें बैच का साइज़ एक होता है. दूसरे शब्दों में कहें, तो SGD एक ऐसे उदाहरण पर ट्रेनिंग करता है जिसे ट्रेनिंग सेट से बिना किसी क्रम के चुना गया है.

स्ट्राइड

#image

कॉन्वलूशनल ऑपरेशन या पूलिंग में, इनपुट स्लाइस की अगली सीरीज़ के हर डाइमेंशन में डेल्टा. उदाहरण के लिए, नीचे दिया गया ऐनिमेशन, कॉन्वलूशनल ऑपरेशन के दौरान एक (1,1) स्ट्रोक दिखाता है. इसलिए, अगले इनपुट स्लाइस, पिछले इनपुट स्लाइस के दाईं ओर एक पोज़िशन शुरू करता है. जब कार्रवाई दाएं किनारे पर पहुंच जाती है, तो अगला स्लाइस बाईं ओर हो जाता है, लेकिन एक जगह नीचे.

पिछला उदाहरण द्वि-आयामी चाल दिखाता है. अगर इनपुट मैट्रिक्स तीन डाइमेंशन वाला है, तो स्ट्रेड भी तीन डाइमेंशन वाला होगा.

स्ट्रक्चरल रिस्क मिनिमाइज़ेशन (एसआरएम)

दो लक्ष्यों को संतुलित करने वाला एल्गोरिदम:

• सबसे सटीक मॉडल बनाने की ज़रूरत. उदाहरण के लिए, सबसे कम नुकसान.
• मॉडल को जितना हो सके उतना आसान रखें (उदाहरण के लिए, बेहतर तरीके से रेगुलराइज़ेशन).

उदाहरण के लिए, ऐसा फ़ंक्शन जो ट्रेनिंग सेट में लॉस+रेगुलराइज़ेशन को कम करता है, वह है स्ट्रक्चरल रिस्क मिनिमाइज़ेशन एल्गोरिदम.

एंपिरिकल रिस्क मिनिमाइज़ेशन के बीच अंतर बताएं.

सबसैंपलिंग

#image

पूलिंग देखें.

सबवर्ड टोकन

#language

भाषा के मॉडल में, एक टोकन होता है. यह किसी शब्द की सबस्ट्रिंग होता है. इसकी वैल्यू में पूरा शब्द हो सकता है.

उदाहरण के लिए, "itemize" जैसे शब्द को "item" (मुख्य शब्द) और "ize" (एक प्रत्यय) के हिस्सों में बांटा जा सकता है, जिनमें से हर एक अपने टोकन से दिखाया जाता है. असामान्य शब्दों को सब-वर्ड कहते हैं. इससे भाषा के मॉडल, शब्द के ज़्यादा आम हिस्सों, जैसे कि प्रीफ़िक्स और सफ़िक्स पर काम कर पाते हैं.

इसके ठीक उलट, "जाने" जैसे सामान्य शब्दों को बांटा नहीं जा सकता और एक ही टोकन से दिखाया जा सकता है.

खास जानकारी

#TensorFlow

TensorFlow में, किसी खास चरण के हिसाब से तय की गई वैल्यू या वैल्यू का सेट. आम तौर पर इसका इस्तेमाल ट्रेनिंग के दौरान मॉडल मेट्रिक को ट्रैक करने के लिए किया जाता है.

सुपरवाइज़्ड मशीन लर्निंग

#fundamentals

किसी model को model और उनसे जुड़े model से ट्रेनिंग देना. सुपरवाइज़्ड मशीन लर्निंग, कुछ सवालों और उनसे जुड़े जवाबों को पढ़कर, किसी विषय को सीखने के समान है. सवालों और जवाबों को मैप करने में महारत हासिल करने के बाद, छात्र-छात्राएं एक ही विषय से जुड़े नए सवालों के जवाब दे सकता है (जो पहले कभी नहीं देखा गया).

बिना निगरानी वाली मशीन लर्निंग से तुलना करें.

सिंथेटिक सुविधा

#fundamentals

ऐसी सुविधा जो इनपुट सुविधाओं में मौजूद नहीं है. हालांकि, वह एक या एक से ज़्यादा फ़ीचर में मौजूद है. सिंथेटिक सुविधाएं बनाने के तरीकों में ये तरीके शामिल हैं:

• रेंज बिन में, लगातार चलने वाली सुविधा बकेटिंग.
• फ़ीचर क्रॉस बनाना.
• एक सुविधा की वैल्यू को दूसरी सुविधा की वैल्यू या उसके हिसाब से गुणा या भाग देना. उदाहरण के लिए, अगर a और b इनपुट सुविधाएं हैं, तो यहां सिंथेटिक सुविधाओं के उदाहरण दिए गए हैं:
  • ab
  • a²
• किसी सुविधा की वैल्यू पर ट्रांसेंडेंटल फ़ंक्शन लागू करना. उदाहरण के लिए, अगर c एक इनपुट सुविधा है, तो सिंथेटिक सुविधाओं के उदाहरण यहां दिए गए हैं:
  • sin(c)
  • ln(c)

सिर्फ़ नॉर्मलाइज़िंग या स्केलिंग से बनाई गई सुविधाओं को सिंथेटिक सुविधाएं नहीं माना जाता है.

T

T5

#language

टेक्स्ट-टू-टेक्स्ट ट्रांसफ़र लर्निंग मॉडल, जिसे 2020 में Google के एआई ने शुरू किया था. T5, एक एन्कोडर-डीकोडर मॉडल है. यह ट्रांसफ़ॉर्मर आर्किटेक्चर पर आधारित है. इसे बहुत बड़े डेटासेट पर ट्रेनिंग दी गई है. नैचुरल लैंग्वेज प्रोसेसिंग से जुड़े कई तरह के कामों में यह सुविधा असरदार है. जैसे, टेक्स्ट जनरेट करना, भाषाओं का अनुवाद करना, और बातचीत करके सवालों के जवाब देना.

T5 का नाम "टेक्स्ट-टू-टेक्स्ट ट्रांसफ़र ट्रांसफ़ॉर्मर" के पांच टी से लिया गया है.

टी5एक्स

#language

यह एक ओपन सोर्स मशीन लर्निंग फ़्रेमवर्क है. इसे बड़े पैमाने पर नैचुरल लैंग्वेज प्रोसेसिंग (एनएलपी) के मॉडल बनाने और ट्रेन करने के लिए डिज़ाइन किया गया है. T5 को T5X कोड बेस पर लागू किया गया है. इसे JAX और Flax पर बनाया गया है.

टेबल फ़ॉर्मैट में Q-लर्निंग

#rl

रीइन्फ़ोर्समेंट लर्निंग में, Q-लर्निंग को लागू करने के लिए, एक टेबल का इस्तेमाल करें, ताकि स्टेट और ऐक्शन के हर कॉम्बिनेशन के लिए क्यू-फ़ंक्शन को स्टोर किया जा सके.

टारगेट

label का समानार्थी शब्द.

टारगेट नेटवर्क

#rl

डीप क्यू-लर्निंग में, एक न्यूरल नेटवर्क, जो मुख्य न्यूरल नेटवर्क का सटीक अनुमान लगाता है. इसमें मुख्य न्यूरल नेटवर्क, क्यू-फ़ंक्शन या नीति को लागू करता है. इसके बाद, मुख्य नेटवर्क को टारगेट नेटवर्क के अनुमानित Q-वैल्यू पर ट्रेन किया जा सकता है. इसलिए, उस फ़ीडबैक लूप का इस्तेमाल नहीं किया जा सकता जो तब होता है, जब मुख्य नेटवर्क अपने-आप अनुमानित Q-वैल्यू पर ट्रेनिंग करता है. इस फ़ीडबैक से बचने से, ट्रेनिंग की स्थिरता बढ़ जाती है.

टास्क

एक ऐसी समस्या जिसे मशीन लर्निंग तकनीक का इस्तेमाल करके हल किया जा सकता है, जैसे:

• क्लासिफ़िकेशन
• रिग्रेशन
• क्लस्टरिंग
• गड़बड़ी की पहचान करना

तापमान

#language

#image

#generativeAI

हाइपर पैरामीटर, जो मॉडल के आउटपुट की रैंडमनेस की डिग्री को कंट्रोल करता है. ज़्यादा तापमान होने से आउटपुट ज़्यादा अनियमित होता है, जबकि कम तापमान से आउटपुट कम मिलता है.

सबसे अच्छा तापमान चुनना, किस ऐप्लिकेशन और मॉडल के आउटपुट के पसंदीदा प्रॉपर्टी पर निर्भर करता है. उदाहरण के लिए, क्रिएटिव आउटपुट जनरेट करने वाला ऐप्लिकेशन बनाते समय शायद आप तापमान बढ़ा दें. इसके ठीक उलट, ऐसा मॉडल बनाते समय तापमान को कम किया जाएगा जो इमेज या टेक्स्ट की कैटगरी तय करने वाला मॉडल बनाता है, ताकि मॉडल को ज़्यादा सटीक और एक जैसा बनाया जा सके.

तापमान की जानकारी अक्सर सॉफ़्टमैक्स के साथ इस्तेमाल की जाती है.

तापमान का डेटा

अलग-अलग समय पर रिकॉर्ड किया गया डेटा. उदाहरण के लिए, साल के हर दिन के लिए रिकॉर्ड किए गए, सर्दी के कोट की बिक्री का डेटा, अस्थायी डेटा होगा.

टेन्सर

#TensorFlow

TensorFlow प्रोग्राम में मुख्य डेटा स्ट्रक्चर. टेन्सर, N-डाइमेंशन वाले (जहां N बहुत बड़े हो सकते हैं) डेटा स्ट्रक्चर होते हैं. आम तौर पर, ये स्केलर, वेक्टर या मैट्रिक्स होते हैं. Tensor के एलिमेंट में पूर्णांक, फ़्लोटिंग-पॉइंट या स्ट्रिंग की वैल्यू हो सकती हैं.

TensorBoard

#TensorFlow

वह डैशबोर्ड जो एक या उससे ज़्यादा TensorFlow प्रोग्राम के चलने के दौरान सेव की गई खास जानकारी दिखाता है.

TensorFlow

#TensorFlow

बड़े पैमाने पर डिस्ट्रिब्यूट किया जा सकने वाला, मशीन लर्निंग का प्लैटफ़ॉर्म. इस शब्द का मतलब TensorFlow स्टैक में मौजूद बेस एपीआई लेयर से भी है, जो डेटाफ़्लो ग्राफ़ पर सामान्य कंप्यूटेशन की सुविधा देता है.

हालांकि, TensorFlow का इस्तेमाल मुख्य रूप से मशीन लर्निंग के लिए किया जाता है, लेकिन आप उन गैर-एमएल टास्क के लिए भी TensorFlow का इस्तेमाल कर सकते हैं जिनमें डेटाफ़्लो ग्राफ़ का इस्तेमाल करके संख्या वाली गणना की ज़रूरत होती है.

TensorFlow खेल का मैदान

#TensorFlow

ऐसा प्रोग्राम जो यह दिखाता है कि अलग-अलग हाइपर पैरामीटर, मॉडल (मुख्य तौर पर न्यूरल नेटवर्क) की ट्रेनिंग पर कैसे असर डालते हैं. TensorFlow Playground के साथ एक्सपेरिमेंट करने के लिए, http://playground.phonesorflow.org पर जाएं.

TensorFlow की सेवा

#TensorFlow

प्रोडक्शन में ट्रेनिंग वाले मॉडल डिप्लॉय करने के लिए प्लैटफ़ॉर्म.

टेन्सर प्रोसेसिंग यूनिट (TPU)

#TensorFlow

#GoogleCloud

ऐप्लिकेशन के हिसाब से बनाया गया इंटिग्रेटेड सर्किट (एएसआईसी), जो मशीन लर्निंग के वर्कलोड की परफ़ॉर्मेंस को ऑप्टिमाइज़ करता है. इन एएसआईसी को TPU डिवाइस पर कई TPU चिप के तौर पर डिप्लॉय किया जाता है.

टेन्सर की रैंक

#TensorFlow

रैंक (Tensor) देखें.

टेन्सर का आकार

#TensorFlow

अलग-अलग डाइमेंशन में टेन्सर में मौजूद एलिमेंट की संख्या. उदाहरण के लिए, [5, 10] Tensor का आकार एक डाइमेंशन में 5 और दूसरे डाइमेंशन में 10 है.

टेन्सर का साइज़

#TensorFlow

टेन्सर में मौजूद स्केलर की कुल संख्या. उदाहरण के लिए, [5, 10] Tensor का साइज़ 50 है.

TensorStore

कई डाइमेंशन वाले कलेक्शन को बेहतर तरीके से पढ़ने और लिखने के लिए लाइब्रेरी.

बंद करने की शर्त

#rl

रीइन्फ़ोर्समेंट लर्निंग में, वे शर्तें तय करती हैं जिनसे यह तय होता है कि कोई एपिसोड कब खत्म होगा. जैसे, एजेंट के किसी खास स्थिति में पहुंचने या तय सीमा से ज़्यादा स्टेट ट्रांज़िशन होने पर. उदाहरण के लिए, tic-tac-toe (इसे नोह और क्रॉस भी कहा जाता है) में, कोई एपिसोड तब खत्म हो जाता है, जब कोई खिलाड़ी तीन लगातार स्पेस को मार्क करता है या सभी स्पेस को मार्क करता है.

जांच

#df

डिसिज़न ट्री में, condition का दूसरा नाम होता है.

टेस्ट के दौरान हुई कमी

#fundamentals

टेस्ट सेट के मुकाबले, किसी मॉडल की लॉस को दिखाने वाली मेट्रिक. आम तौर पर, model बनाते समय, टेस्ट में होने वाली कमी को कम करने की कोशिश की जाती है. ऐसा इसलिए, क्योंकि टेस्ट में कम होने का पता चलने का मतलब है, ट्रेनिंग में होने वाली कमी या पुष्टि में होने वाली कमी के मुकाबले, अच्छी क्वालिटी का सिग्नल.

टेस्ट में कमी और ट्रेनिंग में कमी या पुष्टि की समस्या के बीच काफ़ी अंतर होने पर, कभी-कभी आपको रेगुलराइज़ेशन की दर बढ़ाने की ज़रूरत होती है.

टेस्ट सेट

डेटासेट का एक सबसेट, जिसे ट्रेन किए गए मॉडल की जांच करने के लिए रिज़र्व रखा गया है.

परंपरागत रूप से, डेटासेट में मौजूद उदाहरणों को इन तीन अलग-अलग सबसेट में बांटा जाता है:

• ट्रेनिंग सेट
• पुष्टि करने का सेट
• टेस्ट का सेट

डेटासेट का हर उदाहरण, इसके पहले वाले सबसेट में से सिर्फ़ एक से जुड़ा होना चाहिए. उदाहरण के लिए, कोई एक उदाहरण ट्रेनिंग सेट और टेस्ट सेट, दोनों से जुड़ा नहीं होना चाहिए.

ट्रेनिंग सेट और पुष्टि करने वाले सेट, दोनों ही किसी मॉडल को ट्रेनिंग देने से काफ़ी हद तक जुड़े हैं. टेस्ट सेट, सिर्फ़ ट्रेनिंग से किसी दूसरे तरीके से नहीं जुड़ा है. इसलिए, टेस्ट में होने वाली कमी, ट्रेनिंग में होने वाली कमी या पुष्टि की कमी के मुकाबले ज़्यादा पक्षपातपूर्ण और अच्छी क्वालिटी वाली मेट्रिक है.

टेक्स्ट स्पैन

#language

किसी टेक्स्ट स्ट्रिंग के किसी सब-सेक्शन से जुड़ा अरे इंडेक्स स्पैन. उदाहरण के लिए, Python स्ट्रिंग s="Be good now" में good शब्द, 3 से 6 तक के टेक्स्ट स्पैन को शामिल करता है.

tf.Example

#TensorFlow

मशीन लर्निंग मॉडल की ट्रेनिंग या अनुमान के लिए इनपुट डेटा की जानकारी देने के लिए, एक स्टैंडर्ड प्रोटोकॉल का बफ़र.

tf.keras

#TensorFlow

TensorFlow में इंटिग्रेट किए गए Keras को लागू करना.

थ्रेशोल्ड (फ़ैसले ट्री के लिए)

#df

ऐक्सिस पर अलाइन की गई शर्त में, किसी सुविधा की वैल्यू की तुलना, उस वैल्यू से की जा रही है. उदाहरण के लिए, 75 इस स्थिति में थ्रेशोल्ड वैल्यू है:

grade >= 75

थ्रेशोल्ड शब्द का यह फ़ॉर्म, कैटगरी तय करने के थ्रेशोल्ड से अलग है.

टाइम सीरीज़ विश्लेषण

#clustering

मशीन लर्निंग और आंकड़ों का एक सबफ़ील्ड, जो अस्थायी डेटा का विश्लेषण करता है. मशीन लर्निंग से जुड़ी कई तरह की समस्याओं के लिए, टाइम सीरीज़ के विश्लेषण की ज़रूरत होती है. इसमें डेटा की कैटगरी तय करना, क्लस्टरिंग, अनुमान लगाना, और गड़बड़ी की पहचान करना शामिल है. उदाहरण के लिए, टाइम सीरीज़ विश्लेषण का इस्तेमाल करके, बिक्री के पुराने डेटा के आधार पर महीने के हिसाब से विंटर कोट की होने वाली बिक्री का अनुमान लगाया जा सकता है.

टाइमस्टेप

#seq

बार-बार आने वाले न्यूरल नेटवर्क में एक "अनरोलेड" सेल. उदाहरण के लिए, नीचे दिए गए डायग्राम में तीन टाइम-स्टेप दिखाए गए हैं (इसे t-1, t, और t+1 सबस्क्रिप्ट के साथ लेबल किया गया है):

टोकन

#language

भाषा के मॉडल में, वह ऐटॉमिक यूनिट है जिस पर मॉडल ट्रेनिंग ले रहा है और अनुमान लगा रहा है. आम तौर पर, टोकन इनमें से एक होता है:

• कोई शब्द—उदाहरण के लिए, "कुत्ते जैसे कुत्ते" वाक्यांश में तीन शब्द टोकन होते हैं: "कुत्ता", "लाइक", और "बिल्लियां".
• एक वर्ण—उदाहरण के लिए, वाक्यांश "बाइक फ़िश" में नौ वर्ण होते हैं. (ध्यान दें कि खाली जगह को टोकन के तौर पर गिना जाता है.)
• सबवर्ड—इसमें कोई एक शब्द, एक या कई टोकन हो सकता है. सबवर्ड में मूल शब्द, प्रीफ़िक्स या सफ़िक्स होता है. उदाहरण के लिए, टोकन के तौर पर सबवर्ड का इस्तेमाल करने वाला भाषा मॉडल, "कुत्ते" शब्द को दो टोकन (मूल शब्द "कुत्ता" और बहुवचन प्रत्यय "s") के रूप में देख सकता है. उसी भाषा के मॉडल में एक शब्द "लंबा", दो सबशब्दों (रूट शब्द "tall" और प्रत्यय "er") के रूप में दिख सकता है.

लैंग्वेज मॉडल से बाहर के डोमेन में, टोकन दूसरी तरह की ऐटॉमिक यूनिट दिखा सकते हैं. उदाहरण के लिए, कंप्यूटर विज़न में, टोकन किसी इमेज का सबसेट हो सकता है.

Tower

डीप न्यूरल नेटवर्क का एक कॉम्पोनेंट, जो खुद ही एक डीप न्यूरल नेटवर्क है. कुछ मामलों में, हर टावर एक स्वतंत्र डेटा सोर्स से पढ़ा जाता है और वे टावर तब तक अलग-अलग रहते हैं, जब तक कि उनके आउटपुट को फ़ाइनल लेयर में नहीं जोड़ा जाता. दूसरे मामलों में, (उदाहरण के लिए, कई ट्रांसफ़ॉर्मर के एन्कोडर और डीकोडर स्टैक/टॉवर में), टावर का एक-दूसरे से क्रॉस-कनेक्शन होता है.

TPU

#TensorFlow

#GoogleCloud

टेन्सर प्रोसेसिंग यूनिट का छोटा नाम.

TPU चिप

#TensorFlow

#GoogleCloud

प्रोग्राम करने लायक लीनियर ऐलजेब्रा ऐक्सेलरेटर, जिसमें ऑन-चिप ज़्यादा बैंडविड्थ वाली मेमोरी होती है. इसे मशीन लर्निंग के वर्कलोड के हिसाब से ऑप्टिमाइज़ किया जाता है. TPU डिवाइस पर कई TPU चिप डिप्लॉय किए जाते हैं.

TPU डिवाइस

#TensorFlow

#GoogleCloud

कई TPU चिप, हाई बैंडविड्थ नेटवर्क इंटरफ़ेस, और सिस्टम कूलिंग हार्डवेयर के साथ काम करने वाला प्रिंटेड सर्किट बोर्ड (पीसीबी).

TPU मास्टर

#TensorFlow

#GoogleCloud

सेंट्रल कोऑर्डिनेटिंग प्रोसेस, जो होस्ट मशीन पर चलती है. यह TPU वर्कर को डेटा, नतीजे, प्रोग्राम, परफ़ॉर्मेंस, और सिस्टम की हेल्थ की जानकारी भेजती और हासिल करती है. TPU मास्टर, TPU डिवाइसों के सेटअप और शटडाउन को भी मैनेज करता है.

TPU नोड

#TensorFlow

#GoogleCloud

Google Cloud पर खास TPU टाइप वाला TPU संसाधन. TPU नोड, किसी पीयर VPC नेटवर्क से आपके VPC नेटवर्क से कनेक्ट होता है. TPU नोड ऐसे संसाधन हैं जिनके बारे में Cloud TPU API में बताया गया है.

टीपीयू (TPU) पॉड

#TensorFlow

#GoogleCloud

Google डेटा सेंटर में TPU डिवाइसों का खास कॉन्फ़िगरेशन. TPU पॉड के सभी डिवाइस एक खास हाई-स्पीड नेटवर्क से जुड़े होते हैं. TPU पॉड, TPU डिवाइसों का सबसे बड़ा कॉन्फ़िगरेशन है. यह TPU के किसी खास वर्शन के लिए उपलब्ध होता है.

TPU संसाधन

#TensorFlow

#GoogleCloud

Google Cloud पर TPU की ऐसी इकाई जिसे बनाया जाता है, मैनेज किया जाता है या इस्तेमाल किया जाता है. उदाहरण के लिए, TPU नोड और TPU के टाइप TPU के संसाधन हैं.

TPU स्लाइस

#TensorFlow

#GoogleCloud

TPU स्लाइस, TPU पॉड में TPU डिवाइसों का फ़्रैक्शनल हिस्सा होता है. TPU स्लाइस में मौजूद सभी डिवाइस, खास हाई-स्पीड नेटवर्क की मदद से एक-दूसरे से कनेक्ट होते हैं.

TPU का टाइप

#TensorFlow

#GoogleCloud

TPU के किसी खास वर्शन वाले एक या एक से ज़्यादा TPU डिवाइसों का कॉन्फ़िगरेशन. Google Cloud पर TPU नोड बनाते समय आपको TPU का टाइप चुना जाता है. उदाहरण के लिए, v2-8 TPU टाइप, 8 कोर वाला एक TPU v2 डिवाइस होता है. v3-2048 TPU टाइप में 256 नेटवर्क वाले TPU v3 डिवाइस और कुल 2048 कोर होते हैं. TPU टाइप एक ऐसा संसाधन है जिसके बारे में Cloud TPU API में बताया गया है.

TPU वर्कर

#TensorFlow

#GoogleCloud

यह प्रोसेस, होस्ट मशीन पर चलती है और TPU डिवाइसों पर मशीन लर्निंग प्रोग्राम एक्ज़ीक्यूट करती है.

ट्रेनिंग

#fundamentals

किसी मॉडल वाले आदर्श पैरामीटर (वज़न और बायस) तय करने की प्रोसेस. ट्रेनिंग के दौरान, सिस्टम उदाहरण में पढ़ता है और पैरामीटर में धीरे-धीरे बदलाव करता है. ट्रेनिंग में हर उदाहरण का इस्तेमाल कभी-कभी से लेकर करोड़ों बार किया जाता है.

ट्रेनिंग में कमी

#fundamentals

ऐसी मेट्रिक जो किसी खास ट्रेनिंग को बार-बार लागू करने के दौरान मॉडल की लॉस को दिखाती है. उदाहरण के लिए, मान लें कि नुकसान का फ़ंक्शन मीन स्क्वेयर्ड एरर है. शायद 10वें इटरेशन के लिए ट्रेनिंग में होने वाला नुकसान (मीन स्क्वेयर्ड एरर) 2.2 है और 100वें इटरेशन के लिए ट्रेनिंग में होने वाला नुकसान 1.9 है.

लॉस कर्व से ट्रेनिंग में होने वाले नुकसान की तुलना में दोहराए जाने की संख्या की जानकारी मिलती है. लॉस कर्व से ट्रेनिंग के बारे में ये संकेत मिलते हैं:

• नीचे के स्लोप का मतलब है कि मॉडल में सुधार हो रहा है.
• ऊपर की ओर ढलान का मतलब है कि मॉडल खराब हो रहा है.
• सपाट स्लोप का मतलब है कि मॉडल कन्वर्ज़न तक पहुंच गया है.

उदाहरण के लिए, नीचे कुछ हद तक आदर्श लॉस कर्व दिखाता है:

• शुरुआती बदलावों के दौरान तेज़ी से नीचे की ओर ढलान, जिसका मतलब है तेज़ी से मॉडल में सुधार.
• ट्रेनिंग के खत्म होने तक, स्लोप का धीरे-धीरे चपटा (लेकिन फिर भी नीचे की ओर) होना. इसका मतलब है कि शुरुआती रीवाइब्रेशन के दौरान, मॉडल में सुधार की रफ़्तार कुछ हद तक धीमी है.
• ट्रेनिंग खत्म होने से जुड़ा सपाट ढलान, जो एक जैसी सोच को दिखाता है.

वैसे तो ट्रेनिंग खत्म होना ज़रूरी है, लेकिन सामान्य तरीका भी देखें.

ट्रेनिंग और ब्राउज़र में वेब पेज खोलने के दौरान परफ़ॉर्मेंस में अंतर

#fundamentals

ट्रेनिंग के दौरान मॉडल की परफ़ॉर्मेंस और विज्ञापन दिखाने के दौरान उसी मॉडल की परफ़ॉर्मेंस के बीच का अंतर.

ट्रेनिंग सेट

#fundamentals

किसी मॉडल की ट्रेनिंग के लिए इस्तेमाल किए जाने वाले डेटासेट का सबसेट.

आम तौर पर, डेटासेट में मौजूद उदाहरणों को इन तीन अलग-अलग सबसेट में बांटा जाता है:

• ट्रेनिंग सेट
• पुष्टि करने का सेट
• टेस्ट सेट

आम तौर पर, डेटासेट में मौजूद हर उदाहरण, पहले से चल रहे सबसेट में से सिर्फ़ एक से जुड़ा होना चाहिए. उदाहरण के लिए, कोई एक उदाहरण ट्रेनिंग सेट और पुष्टि करने के सेट, दोनों से जुड़ा नहीं होना चाहिए.

ट्रेजेक्टरी

#rl

रीइन्फ़ोर्समेंट लर्निंग में, टपल का एक क्रम होता है, जो एजेंट के स्टेटस ट्रांज़िशन के क्रम को दिखाता है. इसमें हर टपल, स्थिति, ऐक्शन, इनाम, और किसी दिए गए ट्रांज़िशन की अगली स्थिति से जुड़ा होता है.

ट्रांसफ़र लर्निंग

एक मशीन लर्निंग टास्क से दूसरे में जानकारी ट्रांसफ़र करना. उदाहरण के लिए, मल्टी-टास्क लर्निंग में, एक मॉडल कई टास्क को हल करता है. जैसे, ऐसा डीप मॉडल जिसमें अलग-अलग टास्क के लिए अलग-अलग आउटपुट नोड होते हैं. ट्रांसफ़र लर्निंग में ज्ञान को आसान से काम के बजाय मुश्किल टास्क में ट्रांसफ़र करना शामिल हो सकता है. इसके अलावा, जानकारी को किसी ऐसे टास्क से ट्रांसफ़र किया जा सकता है जहां ज़्यादा डेटा हो, जहां कम डेटा हो.

ज़्यादातर मशीन लर्निंग सिस्टम, एक टास्क को हल करते हैं. ट्रांसफ़र लर्निंग, आर्टिफ़िशियल इंटेलिजेंस की दिशा में एक नया कदम है. इसमें एक ही प्रोग्राम से कई टास्क हल किए जा सकते हैं.

ट्रांसफ़र्मर

#language

Google में एक न्यूरल नेटवर्क आर्किटेक्चर बनाया गया है, जो सेल्फ़-अटेंशन वाले मैकेनिज़्म पर निर्भर करता है. इससे इनपुट एम्बेड करने के क्रम को, कन्वर्ज़न या बार-बार होने वाले न्यूरल नेटवर्क के बिना, आउटपुट एम्बेड किए गए क्रम में बदला जा सकता है. ट्रांसफ़ॉर्मर को सेल्फ़-अटेंशन लेयर के स्टैक के रूप में देखा जा सकता है.

ट्रांसफ़ॉर्मर में इनमें से कुछ भी शामिल हो सकता है:

• एन्कोडर
• डीकोडर
• एन्कोडर और डिकोडर दोनों

एन्कोडर एम्बेड किए गए वीडियो के क्रम को, उसी लंबाई के नए क्रम में बदल देता है. किसी एन्कोडर में एक जैसी N लेयर होती हैं, जिनमें से हर एक में दो सब-लेयर होती हैं. ये दो सब-लेयर, इनपुट एम्बेड करने के क्रम की हर पोज़िशन पर लागू किए जाते हैं और क्रम के हर एलिमेंट को नए एम्बेडिंग में बदल देते हैं. पहला एन्कोडर सब-लेयर, पूरे इनपुट क्रम से जानकारी इकट्ठा करता है. दूसरा एन्कोडर सब-लेयर, इकट्ठा की गई जानकारी को आउटपुट एम्बेडिंग में बदल देता है.

डिकोडर, इनपुट एम्बेड करने के क्रम को आउटपुट एम्बेडिंग के क्रम में बदल देता है. इसे अलग-अलग लंबाई वाले फ़ॉर्मैट में बदला जा सकता है. डिकोडर में तीन सब-लेयर वाली एक जैसी N लेयर भी होती हैं. इनमें से दो लेयर, एन्कोडर सब-लेयर की तरह होती हैं. तीसरा डिकोडर सब-लेयर, एन्कोडर का आउटपुट लेता है और इससे जानकारी इकट्ठा करने के लिए, सेल्फ़-अटेंशन तकनीक लागू करता है.

इस ब्लॉग पोस्ट में ट्रांसफ़ॉर्मर: एक नॉवल न्यूरल नेटवर्क आर्किटेक्चर फ़ॉर लैंग्वेज समझौता ट्रांसफ़ॉर्मर के बारे में अच्छी तरह से बताता है.

ट्रांसलेशनल इनवैरियंस

#image

इमेज क्लासिफ़िकेशन से जुड़ी समस्या में, इमेज में ऑब्जेक्ट की जगह बदलने पर भी एल्गोरिदम की इमेज को सही कैटगरी में बांटने की काबिलीयत. जैसे, एल्गोरिदम अब भी कुत्ते की पहचान कर सकता है, चाहे वह फ़्रेम के बीच में हो या फ़्रेम के बाईं ओर हो.

साइज़ इनवैरियंस और रोटेशनल इनवैरिएंस भी देखें.

ट्रिग्राम

#seq

#language

ऐसा N-gram है जिसमें N=3 है.

ट्रू नेगेटिव (TN)

#fundamentals

एक उदाहरण, जिसमें मॉडल नेगेटिव क्लास का सही तरीके से अनुमान लगाता है. उदाहरण के लिए, मॉडल अनुमान लगाता है कि कोई खास ईमेल मैसेज स्पैम नहीं है और वह ईमेल मैसेज असल में स्पैम नहीं है.

ट्रू पॉज़िटिव (TP)

#fundamentals

एक उदाहरण, जिसमें मॉडल पॉज़िटिव क्लास का सही तरीके से अनुमान लगाता है. उदाहरण के लिए, मॉडल अनुमान लगाता है कि कोई विशेष ईमेल मैसेज स्पैम है और वह ईमेल मैसेज वाकई स्पैम है.

ट्रू पॉज़िटिव रेट (TPR)

#fundamentals

recall का समानार्थी शब्द. यानी:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

सही पॉज़िटिव रेट, आरओसी कर्व में y-ऐक्सिस है.

U

अनजाने में (संवेदनशील विशेषता के लिए)

#fairness

ऐसी स्थिति जिसमें संवेदनशील एट्रिब्यूट मौजूद होते हैं, लेकिन ट्रेनिंग डेटा में शामिल नहीं किए जाते. संवेदनशील एट्रिब्यूट अक्सर, किसी व्यक्ति के डेटा के अन्य एट्रिब्यूट से जुड़े होते हैं. इसलिए, किसी संवेदनशील एट्रिब्यूट के बारे में बिना जानकारी के तैयार किए गए मॉडल का, उस एट्रिब्यूट को अब भी अलग-अलग तरह से असर पड़ सकता है या अन्य फ़ेयरनेस कंस्ट्रेंट का उल्लंघन हो सकता है.

अंडरफ़िटिंग

#fundamentals

ऐसा model बनाना जो अनुमान लगाने की खराब सुविधा देता है. इसकी वजह यह है कि मॉडल ने ट्रेनिंग के डेटा को पूरी तरह से कैप्चर नहीं किया है. कई समस्याओं की वजह से अंडरफ़िटिंग हो सकती है, जिसमें ये शामिल हैं:

• सुविधाओं के गलत सेट पर ट्रेनिंग.
• बहुत कम epoch या बहुत कम लर्निंग रेट के लिए ट्रेनिंग.
• बहुत ज़्यादा रेगुलराइज़ेशन दर के साथ ट्रेनिंग करना.
• डीप न्यूरल नेटवर्क में बहुत कम छिपी हुई लेयर देना.

अंडरसैंपलिंग

क्लास-असंतुलित डेटासेट में मैजरिटी क्लास से उदाहरण हटाना, ताकि ज़्यादा बेहतर ट्रेनिंग सेट बनाया जा सके.

उदाहरण के लिए, एक ऐसा डेटासेट बनाएं जिसमें ज़्यादातर क्लास और माइनरिटी क्लास का अनुपात 20:1 हो. क्लास के इस असंतुलन से उबरने के लिए, ऐसा ट्रेनिंग सेट बनाया जा सकता है जिसमें अल्पसंख्यक क्लास के सभी उदाहरण शामिल हों. हालांकि, क्लास के ज़्यादातर उदाहरणों का सिर्फ़ दसवां उदाहरण शामिल हो सकता है. इससे क्लास के ट्रेनिंग-सेट का अनुपात 2:1 बन जाएगा. अंडरसैंपलिंग की वजह से, यह ट्रेनिंग सेट बेहतर मॉडल बना सकता है. इसके अलावा, हो सकता है कि इस संतुलित ट्रेनिंग सेट में, असरदार मॉडल को ट्रेनिंग देने के लिए ज़रूरत के मुताबिक उदाहरण न हों.

ओवरसैंपलिंग के बीच कंट्रास्ट.

एकतरफ़ा

#language

यह सिस्टम सिर्फ़ उस टेक्स्ट का आकलन करता है जो टेक्स्ट के टारगेट सेक्शन से पहले आता है. इसके उलट, दो-तरफ़ा सिस्टम, टेक्स्ट के टारगेट सेक्शन से पहले वाले और फ़ॉलो करने वाले, दोनों टेक्स्ट का आकलन करता है. ज़्यादा जानकारी के लिए, दोतरफ़ा लेख देखें.

एकतरफ़ा लैंग्वेज मॉडल

#language

ऐसा भाषा मॉडल जो टारगेट टोकन के बाद में दिखने वाले टोकन पर ही अपनी प्रॉबबिलिटी तय करता है. दो-तरफ़ा भाषा वाले मॉडल के बीच अंतर है.

बिना लेबल वाला उदाहरण

#fundamentals

ऐसा उदाहरण, जिसमें सुविधाएं शामिल हैं, लेकिन कोई लेबल नहीं है. उदाहरण के लिए, नीचे दी गई टेबल में घर के मूल्यांकन के मॉडल के तीन बिना लेबल वाले उदाहरण दिखाए गए हैं. हर उदाहरण में तीन सुविधाएं हैं, लेकिन घर की कोई वैल्यू नहीं है:

कमरों की संख्या	बाथरूम की संख्या	घर में उम्र
3	2	15
2	1	72
4	2	34

सुपरवाइज़्ड मशीन लर्निंग में, मॉडल को लेबल किए गए उदाहरणों के आधार पर ट्रेनिंग दी जाती है और बिना लेबल वाले उदाहरणों का अनुमान लगाया जाता है.

सेमी-सुपरवाइज़्ड और अनसुपरवाइज़्ड लर्निंग में, ट्रेनिंग के दौरान बिना लेबल वाले उदाहरण इस्तेमाल किए जाते हैं.

बिना लेबल वाले कंट्रास्ट का उदाहरण, लेबल किया गया उदाहरण.

बिना निगरानी वाली मशीन लर्निंग

#clustering

#fundamentals

किसी डेटासेट में पैटर्न ढूंढने के लिए model को ट्रेनिंग देना. आम तौर पर, यह डेटासेट बिना लेबल वाला डेटासेट होता है.

बिना निगरानी वाली मशीन लर्निंग का आम तौर पर, एक जैसे उदाहरणों के ग्रुप में क्लस्टर डेटा इस्तेमाल करना होता है. उदाहरण के लिए, बिना निगरानी वाला मशीन लर्निंग एल्गोरिदम, संगीत की अलग-अलग प्रॉपर्टी के आधार पर गानों का ग्रुप बना सकता है. ये क्लस्टर दूसरे मशीन लर्निंग एल्गोरिदम के लिए इनपुट बन सकते हैं (उदाहरण के लिए, संगीत का सुझाव देने वाली किसी सेवा के लिए). क्लस्टरिंग से मदद मिल सकती है, जब काम के लेबल कम हों या मौजूद न हों. उदाहरण के लिए, गलत इस्तेमाल और धोखाधड़ी रोकने जैसे डोमेन में क्लस्टर, डेटा को बेहतर तरीके से समझने में इंसानों की मदद कर सकते हैं.

सुपरवाइज़्ड मशीन लर्निंग के साथ कंट्रास्ट.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

बिना निगरानी वाली मशीन लर्निंग का एक और उदाहरण प्रिंसिपल कॉम्पोनेंट विश्लेषण (पीसीए) है. उदाहरण के लिए, लाखों शॉपिंग कार्ट के कॉन्टेंट वाले डेटासेट पर पीसीए लागू करने से यह पता चल सकता है कि नींबू वाले शॉपिंग कार्ट में अक्सर ऐंटासिड भी होते हैं.

---

अपलिफ़्ट मॉडलिंग

मॉडलिंग की एक ऐसी तकनीक है जिसका इस्तेमाल आम तौर पर मार्केटिंग में किया जाता है. यह किसी "व्यक्ति" पर "ट्रीटमेंट" का "काम पर असर" (इसे "इंक्रीमेंटल असर" भी कहा जाता है) का मॉडल तैयार करती है. ऐसा करने के दो उदाहरण यहां दिए गए हैं:

• किसी मरीज़ की उम्र और उसके स्वास्थ्य के इतिहास के आधार पर, डॉक्टर किसी मेडिकल प्रोसेस (ट्रीटमेंट) की मौत की संख्या में कमी (कारण असर) का अनुमान लगाने के लिए, अपलिफ़्ट मॉडलिंग का इस्तेमाल कर सकते हैं.
• मार्केटर, अपलिफ़्ट मॉडलिंग का इस्तेमाल करके यह अनुमान लगा सकते हैं कि किसी व्यक्ति (व्यक्तिगत) पर दिखाए गए विज्ञापन (ट्रीटमेंट) की वजह से खरीदारी की संभावना कितनी बढ़ गई है (काम का असर).

अपलिफ़्ट मॉडलिंग, क्लासिफ़िकेशन या रिग्रेशन से अलग होती है. इसमें कुछ लेबल (जैसे, बाइनरी ट्रीटमेंट में आधे लेबल) हमेशा अपलिफ़्ट मॉडलिंग में मौजूद नहीं होते. उदाहरण के लिए, मरीज़ का इलाज हो सकता है या नहीं. इसलिए, हम सिर्फ़ यह देख सकते हैं कि मरीज़ इन दोनों में से किसी एक स्थिति में ठीक होने वाला है या नहीं. हालांकि, दोनों स्थितियों में ऐसा नहीं होता. अपलिफ़्ट मॉडल का मुख्य फ़ायदा यह है कि यह बिना निगरानी वाली स्थिति (काउंटरफ़ैक्चुअल) के लिए अनुमान लगा सकता है और इसका इस्तेमाल कैज़ुअल इफ़ेक्ट का पता लगाने के लिए कर सकता है.

अपवेटिंग

डाउनसैंपल किया गया क्लास पर वज़न लागू करना, उस फ़ैक्टर के बराबर होता है जिससे आपने डाउनसैंपल किया है.

यूज़र मैट्रिक्स

#recsystems

सुझाव देने वाले सिस्टम में, मैट्रिक्स फ़ैक्टराइज़ेशन से जनरेट किया गया एम्बेड करने वाला वेक्टर होता है. इस वेक्टर में उपयोगकर्ता की पसंद के बारे में लेटेंट सिग्नल होते हैं. उपयोगकर्ता मैट्रिक्स की हर पंक्ति में किसी एक उपयोगकर्ता के लिए, अलग-अलग इंतज़ार के सिग्नल की मिलती-जुलती क्षमता के बारे में जानकारी होती है. उदाहरण के लिए, फ़िल्मों का सुझाव देने वाले सिस्टम के बारे में सोचें. इस सिस्टम में, यूज़र मैट्रिक्स में छिपे हुए सिग्नल, खास शैलियों में हर उपयोगकर्ता की दिलचस्पी दिखा सकते हैं या ऐसे सिग्नलों को समझने में मुश्किल हो सकता है जिनमें कई फ़ैक्टर के बीच जटिल इंटरैक्शन शामिल होते हैं.

यूज़र मैट्रिक्स में हर लेटेंट सुविधा के लिए एक कॉलम और हर उपयोगकर्ता के लिए एक लाइन होती है. इसका मतलब है कि यूज़र मैट्रिक्स में लाइन की संख्या, फ़ैक्टराइज़ किए जा रहे टारगेट मैट्रिक्स में भी उतनी ही है. जैसे, अगर 10,00,000 उपयोगकर्ताओं के लिए किसी फ़िल्म का सुझाव देने वाला सिस्टम दिया गया है, तो उपयोगकर्ता मैट्रिक्स में 10,00,000 लाइनें होंगी.

V

पुष्टि करना

#fundamentals

किसी मॉडल की क्वालिटी का शुरुआती आकलन. पुष्टि करने की सुविधा, पुष्टि करने के सेट के मुताबिक किसी मॉडल के अनुमानों की क्वालिटी की जांच करती है.

पुष्टि करने का सेट, ट्रेनिंग सेट से अलग है. इसलिए, पुष्टि करने से ओवरफ़िट होने से बचने में मदद मिलती है.

ऐसा हो सकता है कि आप इस मॉडल का आकलन, पुष्टि करने के पहले राउंड के तौर पर करें. साथ ही, इसकी तुलना, टेस्टिंग के दूसरे राउंड के तौर पर टेस्ट सेट से करें.

पुष्टि करने की प्रोसेस में होने वाली कमी

#fundamentals

यह मेट्रिक होती है, जो किसी मॉडल की पुष्टि करने के सेट में उस मॉडल की लॉस को दिखाती है. यह ट्रेनिंग के किसी खास दोहराव के दौरान होती है.

सामान्यीकरण का कर्व भी देखें.

पुष्टि करने वाला सेट

#fundamentals

डेटासेट का वह सबसेट जो ट्रेन किए गए मॉडल की शुरुआती जांच करता है. आम तौर पर, टेस्ट सेट के हिसाब से मॉडल का आकलन करने से पहले, आपको कई बार पुष्टि करने के सेट के हिसाब से ट्रेन किए गए मॉडल की जांच करनी होती है.

परंपरागत रूप से, डेटासेट में मौजूद उदाहरणों को इन तीन अलग-अलग सबसेट में बांटा जाता है:

• ट्रेनिंग सेट
• पुष्टि करने वाला सेट
• टेस्ट सेट

आम तौर पर, डेटासेट में मौजूद हर उदाहरण, पहले से चल रहे सबसेट में से सिर्फ़ एक से जुड़ा होना चाहिए. उदाहरण के लिए, कोई एक उदाहरण ट्रेनिंग सेट और पुष्टि करने के सेट, दोनों से जुड़ा नहीं होना चाहिए.

वैल्यू इंप्यूटेशन

छूटी हुई वैल्यू को स्वीकार किए जाने वाले किसी विकल्प से बदलने की प्रोसेस. अगर कोई वैल्यू मौजूद नहीं है, तो पूरे उदाहरण को खारिज किया जा सकता है या इस उदाहरण को बचाने के लिए वैल्यू इंप्यूटेशन का इस्तेमाल किया जा सकता है.

उदाहरण के लिए, ऐसा डेटासेट देखें जिसमें temperature सुविधा हो और इसे हर घंटे रिकॉर्ड किया जा सकता है. हालाँकि, एक घंटे तक तापमान की रीडिंग नहीं मिली. यहां डेटासेट का एक सेक्शन दिया गया है:

टाइमस्टैंप	तापमान
1680561000	10
1680564600	12
1680568200	मौजूद नहीं
1680571800	20
1680575400	21
1680579000	21

इंप्यूटेशन एल्गोरिदम के आधार पर, कोई सिस्टम या तो उस उदाहरण को मिटा सकता है जो मौजूद नहीं है. इसके अलावा, वह भी तापमान के लिए 12, 16, 18 या 20 होने का अनुमान लगा सकता है.

गायब होने वाले ग्रेडिएंट की समस्या

#seq

कुछ डीप न्यूरल नेटवर्क की शुरुआती छिपी हुई लेयर के ग्रेडिएंट का अलग-अलग तरह से फ़्लैट (कम) होने का रुझान. धीरे-धीरे लेवल कम होने से, डीप न्यूरल नेटवर्क के नोड पर मौजूद वेट में तेज़ी से छोटे-छोटे बदलाव होते हैं. इस वजह से, या तो बहुत कम या कोई सीख नहीं पाती. खत्म होते ग्रेडिएंट की समस्या से पीड़ित मॉडल को ट्रेनिंग देना मुश्किल या असंभव हो जाता है. लॉन्ग शॉर्ट-टर्म मेमोरी सेल इस समस्या को हल कर सकती हैं.

विस्फोटक ग्रेडिएंट की समस्या से तुलना करें.

वैरिएबल की अहमियत

#df

स्कोर का सेट, जो मॉडल के लिए हर सुविधा की अहमियत बताता है.

उदाहरण के लिए, एक ऐसे डिसिज़न ट्री के बारे में सोचें जिससे घर की कीमत का अनुमान लगाया जा सके. मान लीजिए कि डिसिज़न ट्री तीन सुविधाओं का इस्तेमाल करता है: साइज़, उम्र, और स्टाइल. अगर तीनों सुविधाओं के लिए वैरिएबल की अहमियत के एक सेट को {size=5.8,age=2.5, style=4.7} के तौर पर कैलकुलेट किया गया है, तो उम्र या स्टाइल की तुलना में, डिसिज़न ट्री के लिए साइज़ ज़्यादा ज़रूरी है.

वैरिएबल की अहमियत वाली अलग-अलग मेट्रिक मौजूद हैं, जिनसे मशीन लर्निंग के विशेषज्ञों को मॉडल के अलग-अलग पहलुओं के बारे में जानकारी मिल सकती है.

वैरिएशनल ऑटोएनकोडर (VAE)

#language

एक तरह का ऑटोएनकोडर, जो इनपुट और आउटपुट के बीच अंतर का पता लगाता है और इनपुट के बदले गए वर्शन जनरेट करता है. अलग-अलग तरह के ऑटोएनकोडर, जनरेटिव एआई के लिए काम के होते हैं.

VAE, वैरिएशनल अनुमान पर आधारित होते हैं: यह प्रॉबबिलिटी मॉडल के पैरामीटर का अनुमान लगाने की तकनीक है.

वेक्टर

बहुत ज़्यादा लोड होने वाला शब्द जिसका मतलब अलग-अलग गणितीय और वैज्ञानिक क्षेत्रों में अलग-अलग होता है. मशीन लर्निंग में, वेक्टर की दो प्रॉपर्टी होती हैं:

• डेटा टाइप: मशीन लर्निंग में वेक्टर में आम तौर पर फ़्लोटिंग-पॉइंट नंबर होते हैं.
• एलिमेंट की संख्या: यह वेक्टर की लंबाई या उसका डाइमेंशन है.

उदाहरण के लिए, एक ऐसा फ़ीचर वेक्टर इस्तेमाल करें जिसमें आठ फ़्लोटिंग-पॉइंट नंबर होते हैं. इस फ़ीचर वेक्टर की लंबाई या डाइमेंशन में आठ हैं. ध्यान दें कि मशीन लर्निंग वेक्टर में अक्सर बहुत ज़्यादा डाइमेंशन होते हैं.

कई अलग-अलग तरह की जानकारी को वेक्टर के तौर पर दिखाया जा सकता है. उदाहरण के लिए:

• पृथ्वी की सतह की किसी भी स्थिति को 2-डाइमेंशन वाले वेक्टर के तौर पर दिखाया जा सकता है जहां एक डाइमेंशन अक्षांश और दूसरा देशांतर होता है.
• 500 स्टॉक में से हर एक की मौजूदा कीमतें 500 डाइमेंशन वाले वेक्टर के तौर पर दिखाई जा सकती हैं.
• क्लास की सीमित संख्या में प्रॉबबिलिटी डिस्ट्रिब्यूशन को वेक्टर के तौर पर दिखाया जा सकता है. उदाहरण के लिए, मल्टीक्लास क्लासिफ़िकेशन सिस्टम, जो तीन आउटपुट कलर (लाल, हरा या पीला) में से किसी एक का अनुमान लगाता है, वेक्टर (0.3, 0.2, 0.5) का मतलब P[red]=0.3, P[green]=0.2, P[yellow]=0.5 हो सकता है.

वेक्टर जोड़े जा सकते हैं; इसलिए, अलग-अलग तरह के मीडिया को एक वेक्टर के रूप में दिखाया जा सकता है. कुछ मॉडल, कई वन-हॉट एन्कोडिंग की मदद से, सीधे तौर पर काम करते हैं.

TPU जैसे खास प्रोसेसर को वेक्टर पर गणितीय ऑपरेशन करने के लिए ऑप्टिमाइज़ किया गया है.

वेक्टर, rank 1 का टेंसर है.

W

वेसरस्टाइन नुकसान

एक नुकसान फ़ंक्शन, जिसका इस्तेमाल आम तौर पर जनरेटिव ऐडवर्सल नेटवर्क में किया जाता है. यह जनरेट किए गए डेटा और असल डेटा के डिस्ट्रिब्यूशन के बीच अर्थ मूवर की दूरी पर आधारित होता है.

वज़न का डेटा

#fundamentals

वह वैल्यू जिसे किसी मॉडल से किसी अन्य वैल्यू से गुणा किया जाता है. ट्रेनिंग, किसी मॉडल के सही वज़न को तय करने की प्रोसेस है. अनुमान है, अनुमान लगाने के लिए सीखे गए इन वेट का इस्तेमाल किया जाता है.

लीनियर मॉडल में वज़न का उदाहरण देखने के लिए, आइकॉन पर क्लिक करें.

दो सुविधाओं वाले एक लीनियर मॉडल के बारे में सोचें. मान लें कि ट्रेनिंग में नीचे दिए गए वेट (और बायस) तय होते हैं:

• बायस, b, की वैल्यू 2.2 है
• एक सुविधा की वैल्यू w₁, 1.5 है.
• अन्य सुविधा के साथ जुड़ा वज़न, w₂ 0.4 है.

अब नीचे दी गई सुविधा की वैल्यू वाले एक उदाहरण की कल्पना करें:

• एक सुविधा, x₁ की वैल्यू 6 होती है.
• दूसरी सुविधा, x₂ की वैल्यू 10 है.

यह लीनियर मॉडल, अनुमान जनरेट करने के लिए नीचे दिए गए फ़ॉर्मूला का इस्तेमाल करता है, y':

$$y' = b + w_1x_1 + w_2x_2$$

इसलिए, अनुमान यह है:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

अगर वज़न 0 है, तो इससे जुड़ी सुविधा, मॉडल को शामिल नहीं करती. उदाहरण के लिए, अगर w₁ की वैल्यू 0 है, तो x₁ की वैल्यू काम की नहीं होगी.

---

वेटेड अल्टरनेटिंग लेस्ट स्क्वेयर (वॉल)

#recsystems

एक ऐसा एल्गोरिदम जो सुझाव देने वाले सिस्टम में, मैट्रिक्स फ़ैक्टराइज़ेशन के दौरान मकसद फ़ंक्शन को कम करता है. इससे उन उदाहरणों को कम करके कम किया जा सकता है जो मौजूद नहीं हैं. WALS, लाइन फ़ैक्टराइज़ेशन और कॉलम फ़ैक्टराइज़ेशन को ठीक करके ओरिजनल मैट्रिक्स और रीकंस्ट्रक्शन के बीच वेटेड स्क्वेयर एरर को कम करता है. इनमें से हर ऑप्टिमाइज़ेशन को कॉन्टेक्स्ट ऑप्टिमाइज़ेशन के कम से कम स्क्वेयर से हल किया जा सकता है. ज़्यादा जानकारी के लिए, सुझाव देने वाले सिस्टम का कोर्स देखें.

भारित योग

#fundamentals

सभी काम की इनपुट वैल्यू के योग को उनसे जुड़ी वैल्यू से गुणा किया जाता है. उदाहरण के लिए, मान लें कि काम के इनपुट में ये चीज़ें शामिल हैं:

इनपुट वैल्यू	इनपुट की मोटाई
2	-1.3
-1	0.6
3	0.4

इसलिए भारित योग यह है:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

वेटेड योग किसी ऐक्टिवेशन फ़ंक्शन का इनपुट आर्ग्युमेंट होता है.

वाइड मॉडल

एक लीनियर मॉडल, जिसमें आम तौर पर, स्पार्स इनपुट सुविधाएं होती हैं. हम इसे "चौड़ा" कहते हैं, क्योंकि यह एक खास तरह का न्यूरल नेटवर्क है, जिसमें बड़ी संख्या में इनपुट होते हैं, जो सीधे आउटपुट नोड से कनेक्ट होते हैं. डीप मॉडल के मुकाबले, वाइड मॉडल को डीबग और जांच करना अक्सर आसान होता है. हालांकि, वाइड मॉडल छिपी हुई लेयर की मदद से नॉन-लीनियरिटी को नहीं दिखा सकते. हालांकि, वाइड मॉडल नॉन-लीनियरिटी को अलग-अलग तरीके से मॉडल करने के लिए फ़ीचर क्रॉसिंग और बकेटाइज़ेशन जैसे ट्रांसफ़ॉर्मेशन का इस्तेमाल कर सकते हैं.

डीप मॉडल के बीच कंट्रास्ट.

चौड़ाई

न्यूरल नेटवर्क की किसी खास लेयर में मौजूद न्यूरॉन की संख्या.

भीड़ की समझ

#df

लोगों के एक बड़े समूह ("भीड़") की राय या अनुमानों की औसत निकालने से अक्सर हैरान कर देने वाले अच्छे नतीजे मिलते हैं. उदाहरण के लिए, ऐसा गेम मानें जिसमें लोग एक बड़े जार में पैक किए गए जेली बीन की संख्या का अनुमान लगाते हैं. हालांकि, ज़्यादातर लोगों का अनुमान गलत होता है, लेकिन सभी अनुमानों का औसत आकर्षक रूप से जार में मौजूद जेली बीन की असल संख्या के काफ़ी करीब दिखाया जाता है.

एनसेंबल, भीड़ की समझ को सॉफ़्टवेयर के तौर पर इस्तेमाल करते हैं. अगर अलग-अलग मॉडल बहुत ज़्यादा गलत अनुमान लगाते हैं, तो भी कई मॉडल के अनुमानों का औसत निकालने से अक्सर अच्छे अनुमान मिलते हैं. उदाहरण के लिए, भले ही कोई व्यक्ति फ़ैसले ट्री अच्छे अनुमान लगा सकता है, लेकिन फ़ैसले फ़ॉरेस्ट अक्सर बहुत अच्छे अनुमान लगाता है.

शब्द एम्बेड करना

#language

एम्बेड किए जाने वाले वेक्टर में वर्ड सेट के हर शब्द को दिखाने का मतलब है कि हर शब्द को 0.0 और 1.0 के बीच के फ़्लोटिंग-पॉइंट वैल्यू के वेक्टर के तौर पर दिखाया जाता है. मिलते-जुलते मतलब वाले शब्दों का मतलब अलग-अलग मतलब वाले शब्दों की तुलना में ज़्यादा होता है. उदाहरण के लिए, गाजर, अजवाइन, और खीरे, सभी को एक जैसा दिखाया जाएगा. यह तरीका हवाई जहाज़, धूप का चश्मा, और टूथपेस्ट दिखाने से काफ़ी अलग होगा.

X

XLA (Accelerated लीनियर ऐलजेब्रा)

जीपीयू, सीपीयू, और एमएल ऐक्सेलरेटर के लिए ओपन-सोर्स मशीन लर्निंग कंपाइलर.

XLA कंपाइलर, PyTorch, TensorFlow, और JAX जैसे लोकप्रिय एमएल फ़्रेमवर्क के मॉडल लेता है. साथ ही, उन्हें अलग-अलग हार्डवेयर प्लैटफ़ॉर्म पर बेहतर परफ़ॉर्म करने के लिए ऑप्टिमाइज़ करता है. इनमें जीपीयू, सीपीयू, और एमएल एक्सलरेटर शामिल हैं.

Z

ज़ीरो-शॉट लर्निंग

मशीन लर्निंग एक तरह की ट्रेनिंग है, जिसमें मॉडल किसी ऐसे टास्क के लिए अनुमान का अनुमान लगाता है जिसके लिए उसे खास तौर पर ट्रेनिंग नहीं दी गई थी. दूसरे शब्दों में, मॉडल को टास्क के लिए कोई ट्रेनिंग उदाहरण नहीं दिया गया है. हालांकि, मॉडल को उस टास्क के लिए अनुमान देने के लिए कहा गया है.

ज़ीरो-शॉट प्रॉम्प्ट

#language

#generativeAI

ऐसा प्रॉम्प्ट जिससे इस बात का उदाहरण नहीं मिलता कि आपको बड़े लैंग्वेज मॉडल से जवाब कैसे चाहिए. उदाहरण के लिए:

एक प्रॉम्प्ट के हिस्से	ज़रूरी जानकारी
किसी देश की आधिकारिक मुद्रा क्या है?	आपको इस सवाल का जवाब एलएलएम से देना है.
भारत:	असल क्वेरी.

बड़ा लैंग्वेज मॉडल, इनमें से किसी भी विकल्प के साथ जवाब दे सकता है:

• रुपया
• INR
• ₹
• भारतीय रुपया
• रुपया
• भारतीय रुपया

सभी जवाब सही हैं. हालांकि, हो सकता है कि आपको कोई चुनिंदा फ़ॉर्मैट ही पसंद आए.

ज़ीरो-शॉट प्रॉम्प्ट की तुलना यहां दिए गए शब्दों से करें:

• एक बार में प्रॉम्प्ट भेजना
• कुछ-कुछ प्रॉम्प्ट

ज़ेड-स्कोर नॉर्मलाइज़ेशन

#fundamentals

स्केलिंग तकनीक, जो रॉ feature की वैल्यू को फ़्लोटिंग-पॉइंट वैल्यू से बदल देती है. यह वैल्यू, सुविधा के मीन से स्टैंडर्ड डेविएशन की संख्या दिखाती है. उदाहरण के लिए, एक ऐसी सुविधा के बारे में सोचें जिसका मीन 800 है और जिसका स्टैंडर्ड डेविएशन 100 है. नीचे दी गई टेबल में दिखाया गया है कि Z-स्कोर नॉर्मलाइज़ेशन, रॉ वैल्यू को अपने Z-स्कोर से कैसे मैप करेगा:

असल वैल्यू	ज़ेड-स्कोर
800	0
950	1.5 से ज़्यादा
575	-2.25 से कम

इसके बाद, मशीन लर्निंग मॉडल रॉ वैल्यू के बजाय उस सुविधा के लिए Z-स्कोर के हिसाब से ट्रेनिंग लेता है.