मशीन लर्निंग ग्लॉसरी

इस ग्लॉसरी में, मशीन लर्निंग के सामान्य शब्दों के साथ-साथ, TensorFlow के खास शब्दों के बारे में बताया गया है.

क्या आपको मालूम है?

सबसे ऊपर मौजूद नेविगेशन बार में, ग्लॉसरी ड्रॉप-डाउन से कोई विषय चुनकर, ग्लॉसरी को फ़िल्टर किया जा सकता है. अंडे से बाहर निकलता हुआ पक्षी वाला आइकॉन उन परिभाषाओं को दिखाता है जो मशीन लर्निंग के लिए नए उपयोगकर्ता हैं.

A

टिशू हटाना

किसी सुविधा की अहमियत का आकलन करने की तकनीक या कॉम्पोनेंट को कुछ समय के लिए हटाकर, मॉडल से जोड़ा जा सकता है. इसके बाद, उस सुविधा या कॉम्पोनेंट के बिना मॉडल को फिर से ट्रेन करें. अगर फिर से ट्रेन किए गए मॉडल की परफ़ॉर्मेंस काफ़ी खराब होती है, तो हो सकता है कि हटाई गई सुविधा या कॉम्पोनेंट अहम हो.

उदाहरण के लिए, मान लीजिए कि आपने क्लासिफ़िकेशन मॉडल वह 10 सुविधाओं पर 88% सटीक नतीजे हासिल करती है टेस्ट सेट. अहमियत देखने के लिए सुविधा की मदद से, मॉडल को फिर से ट्रेनिंग देने के लिए, सुविधाएँ. अगर फिर से ट्रेन किया गया मॉडल काफ़ी खराब परफ़ॉर्म करता है (उदाहरण के लिए, 55% सटीक), तो हो सकता है कि हटाई गई सुविधा अहम हो. इसके उलट, अगर उसके बाद वाला मॉडल उतना ही अच्छा परफ़ॉर्म करता है, तो वह सुविधा शायद ज़रूरी नहीं है.

एब्लेशन से इन चीज़ों की अहमियत का पता लगाने में भी मदद मिलती है:

• बड़े कॉम्पोनेंट, जैसे कि बड़े एमएल सिस्टम का पूरा सबसिस्टम
• प्रोसेस या तकनीकें, जैसे कि डेटा प्रीप्रोसेसिंग का चरण

दोनों ही मामलों में, आपको यह पता चलेगा कि सिस्टम की परफ़ॉर्मेंस में बदलता नहीं है).

A/B टेस्टिंग

दो या उससे ज़्यादा तकनीकों की तुलना करने का आंकड़ों वाला तरीका—A और B. आम तौर पर, A एक मौजूदा तकनीक है और B एक नई तकनीक है. A/B टेस्टिंग से सिर्फ़ यह पता नहीं चलता कि कौनसी तकनीक बेहतर परफ़ॉर्म करती है यह भी जान सकते हैं कि क्या यह अंतर आंकड़ों के हिसाब से अहम है.

आम तौर पर, A/B टेस्टिंग में दो तकनीकों पर एक मेट्रिक की तुलना की जाती है; उदाहरण के लिए, दो मॉडल के बीच सटीक होने की तुलना कैसे की जाती है का इस्तेमाल करना है? हालांकि, A/B टेस्टिंग की मदद से, किसी भी तय संख्या वाली मेट्रिक की तुलना की जा सकती है.

ऐक्सेलरेटर चिप

#GoogleCloud

हार्डवेयर के खास कॉम्पोनेंट की कैटगरी, जिसे अहम काम करने के लिए डिज़ाइन किया गया है डीप लर्निंग एल्गोरिदम के लिए कंप्यूटेशन (कंप्यूटेशन) की ज़रूरत होती है.

ऐक्सेलरेटर चिप (या कम शब्दों में कहें, तो ऐक्सेलरेटर) बहुत ज़्यादा काम करते हैं ट्रेनिंग और अनुमान के टास्क करने की रफ़्तार और क्षमता को बढ़ा सकते हैं अलग-अलग कामों के लिए इस्तेमाल किए जाने वाले सीपीयू की तुलना में. ये न्यूरल नेटवर्क को ट्रेन करने और कंप्यूटेशनल तौर पर ज़्यादा मेहनत वाले मिलते-जुलते टास्क के लिए बेहतरीन हैं.

ऐक्सेलरेटर चिप के उदाहरणों में ये शामिल हैं:

• खास हार्डवेयर के साथ Google की Tensor प्रोसेसिंग यूनिट (TPU) का बेहतरीन इस्तेमाल किया है.
• NVIDIA के जीपीयू, जिन्हें शुरुआत में ग्राफ़िक प्रोसेसिंग के लिए डिज़ाइन किया गया था, साथ ही, समानांतर प्रोसेसिंग को चालू करने के लिए डिज़ाइन किया गया है, जो डेटा प्रोसेस करने की रफ़्तार को बढ़ाता है.

सटीक

#fundamentals

सही क्लासिफ़िकेशन के अनुमान की संख्या को भाग देने पर मिलने वाली संख्या दिखाता है. यानी:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

उदाहरण के लिए, ऐसा मॉडल जिसने 40 सही अनुमान लगाए और 10 गलत अनुमान लगाए अनुमानों के सटीक होने की यह जानकारी होगी:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

बाइनरी क्लासिफ़िकेशन में कुछ खास नाम दिए जाते हैं सही अनुमानों की अलग-अलग कैटगरी के लिए और गलत अनुमान. इसलिए, द्विआधारी (बाइनरी) वर्गीकरण का सटीक फ़ॉर्मूला नीचे दिया गया है:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

कहां:

• TP, ट्रू पॉज़िटिव (सही अनुमान) की संख्या है.
• TN, सही नेगेटिव (सही अनुमान) की संख्या है.
• FP, फ़ॉल्स पॉज़िटिव (गलत अनुमान) की संख्या है.
• FN, गलत नेगेटिव (गलत अनुमान) की संख्या होती है.

सटीक होने की तुलना सटीक और फिर से याद करें.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

हालांकि कुछ स्थितियों में यह एक अहम मेट्रिक होती है, लेकिन सटीक होना बेहद ज़रूरी है गुमराह करने वाला कॉन्टेंट. खास तौर पर, सटीक मेट्रिक आम तौर पर खराब मेट्रिक होती है जो डेटा को प्रोसेस करने वाले क्लास-असंतुलित डेटासेट.

उदाहरण के लिए, मान लीजिए कि किसी खास जगह में हर सदी में सिर्फ़ 25 दिन बर्फ़ गिरती है उपोष्णकटिबंधीय शहर. बिना बर्फ़बारी वाले दिनों से (नेगेटिव क्लास) दिनों की सबसे ज़्यादा बर्फ़बारी के साथ (पॉज़िटिव क्लास), इस समय के लिए बर्फ़बारी का डेटासेट यह शहर वर्ग असंतुलित है. बाइनरी क्लासिफ़िकेशन के ऐसे मॉडल की कल्पना करें जिसे हर दिन बर्फ़बारी होने या न होने का अनुमान लगाना है, लेकिन वह हर दिन "बर्फ़बारी नहीं होगी" का अनुमान लगाता है. यह मॉडल बहुत सटीक है, लेकिन इसमें अनुमान लगाने की कोई क्षमता नहीं है. यहां दी गई टेबल में, एक सदी के अनुमान के नतीजों की खास जानकारी दी गई है:

कैटगरी	नंबर
TP	0
ट्यूनीशिया (TN)	36499
एफ़पी	0
FN	25

इस मॉडल की सटीकता है:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

हालांकि, मॉडल को 99.93% सटीक बनाना ही काफ़ी बेहतर है, लेकिन यह मॉडल अनुमान लगाने की कोई क्षमता नहीं है.

आम तौर पर, क्लास के असंतुलित डेटासेट पर ट्रेन किए गए मॉडल का आकलन करने के लिए, सटीक नतीजे और रिकॉल, सटीक नतीजे से ज़्यादा काम की मेट्रिक होती हैं.

---

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में क्लासिफ़िकेशन: सटीक जानकारी, रीकॉल, सटीक जानकारी, और इससे जुड़ी मेट्रिक देखें.

ऐक्शन गेम

#rl

रीइंफ़ोर्समेंट लर्निंग में, वह तकनीक जिससे एजेंट इस स्थिति के राज्यों के बीच ट्रांज़िशन एनवायरमेंट. एजेंट, नीति का इस्तेमाल करके कार्रवाई चुनता है.

ऐक्टिवेशन फ़ंक्शन

#fundamentals

यह एक ऐसा फ़ंक्शन है जिसकी मदद से न्यूरल नेटवर्क, फ़ीचर और लेबल के बीच नॉन-लीनियर (जटिल) संबंधों को सीख सकते हैं.

ऐक्टिवेशन से जुड़े लोकप्रिय फ़ंक्शन में ये शामिल हैं:

• ReLU
• सिगमॉइड

ऐक्टिवेशन फ़ंक्शन के प्लॉट कभी भी सीधी लाइन नहीं होते हैं. उदाहरण के लिए, ReLU ऐक्टिवेशन फ़ंक्शन के प्लॉट में दो सीधी रेखाएं होती हैं:

सिग्मॉइड ऐक्टिवेशन फ़ंक्शन का प्लॉट ऐसा दिखता है:

उदाहरण देखने के लिए आइकॉन पर क्लिक करें.

न्यूरल नेटवर्क में, ऐक्टिवेशन फ़ंक्शन, सभी इनपुट का वेटेड योग, न्यूरॉन. भारित योग की गणना करने के लिए, न्यूरॉन जोड़ता है प्रासंगिक वैल्यू और वेट वाले प्रॉडक्ट. उदाहरण के लिए, मान लें कि किसी न्यूरॉन के लिए काम का इनपुट इन चीज़ों से मिलकर बना है:

इनपुट वैल्यू	इनपुट वज़न
2	-1.3
-1	0.6
3	0.4

इसलिए, अहमियत के हिसाब से कुल वैल्यू यह होगी:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

मान लीजिए कि इस न्यूरल नेटवर्क का डिज़ाइनर sigmoid फ़ंक्शन को ऐक्टिवेशन फ़ंक्शन. इस मामले में, न्यूरॉन -2.0 के सिग्मॉइड का हिसाब लगाता है, जो करीब 0.12 होता है. इसलिए, न्यूरल नेटवर्क में अगली लेयर पर न्यूरॉन 0.12 (-2.0 के बजाय) से गुजरता है. नीचे दिए गए डायग्राम में, प्रोसेस के ज़रूरी हिस्से को दिखाया गया है:

---

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में न्यूरल नेटवर्क: ऐक्टिवेशन फ़ंक्शन देखें.

ऐक्टिव लर्निंग

ट्रेनिंग का एक तरीका, जिसमें एल्गोरिदम उस डेटा को चुनें जिससे उसे सीखना है. ऐक्टिव लर्निंग का तरीका तब ज़्यादा कारगर होता है, जब लेबल किए गए उदाहरण कम हों या उन्हें हासिल करना महंगा हो. बिना किसी भेदभाव के अलग-अलग तरह के लोगों को ढूंढने के बजाय लेबल किए गए उदाहरणों की रेंज, जिनमें एक ऐक्टिव लर्निंग एल्गोरिदम की मदद से चुनिंदा उदाहरण शामिल किए गए हैं सीखने के लिए ज़रूरी उदाहरणों की रेंज.

AdaGrad

यह एक बेहतर ग्रेडिएंट डिसेंट एल्गोरिदम है, जो हर पैरामीटर के ग्रेडिएंट को फिर से स्केल करता है. इससे हर पैरामीटर को एक अलग लर्निंग रेट मिलता है. पूरी जानकारी के लिए, AdaGrad का यह पेपर देखें.

एजेंट

#rl

रीइंफ़ोर्समेंट लर्निंग में, ऐसी इकाई जो नीति का इस्तेमाल करके, एनवायरमेंट के स्टेटस के बीच ट्रांज़िशन करने से मिलने वाले अनुमानित रिटर्न को बढ़ाती है.

आम तौर पर, एजेंट ऐसा सॉफ़्टवेयर होता है जो अपने-आप लागू होता है किसी लक्ष्य को पूरा करने के लिए कार्रवाइयों की सीरीज़, जिसमें बदलावों के हिसाब से खुद को ढालने की क्षमता होती है पर्यावरण को ध्यान में रखकर बनाया गया है. उदाहरण के लिए, LLM आधारित एजेंट, एलएलएम का इस्तेमाल करके, रीइन्फ़ोर्समेंट लर्निंग की नीति लागू करने के बजाय प्लान बनाया.

एगलोमेरेटिव क्लस्टरिंग

#clustering

हैरारकल क्लस्टरिंग देखें.

गड़बड़ी की पहचान करना

आउटलायर की पहचान करने की प्रोसेस. उदाहरण के लिए, अगर माध्य किसी खास सुविधा के लिए, 100 है और 10 का मानक विचलन 10 है, तो, गड़बड़ी की पहचान करने की सुविधा से 200 की वैल्यू को संदिग्ध के तौर पर फ़्लैग करना चाहिए.

AR

ऑगमेंटेड रिएलिटी (एआर) का छोटा नाम.

पीआर कर्व के नीचे का क्षेत्र

पीआर AUC (पीआर कर्व के नीचे का हिस्सा) देखें.

आरओसी कर्व के दायरे वाला क्षेत्र

AUC (आरओसी कर्व के दायरे वाला क्षेत्र) देखें.

आर्टिफ़िशियल जनरल इंटेलिजेंस

ऐसा सिस्टम जो इंसानों के बजाय, समस्या हल करने, क्रिएटिविटी, और बदलावों के हिसाब से ढल जाने की बड़ी रेंज दिखाता है. उदाहरण के लिए, आर्टिफ़िशियल इंटेलिजेंस से जुड़ा कोई प्रोग्राम जनरल इंटेलिजेंस, टेक्स्ट का अनुवाद कर सकता है, सिंफ़नी कंपोज़ कर सकता है और बेहतरीन काम कर सकता है ऐसे गेम जिनका अभी तक आविष्कार नहीं हुआ है.

आर्टिफ़िशियल इंटेलिजेंस

#fundamentals

कोई ऐसा प्रोग्राम या मॉडल जो मुश्किल कामों को हल कर सके. उदाहरण के लिए, टेक्स्ट का अनुवाद करने वाला प्रोग्राम या मॉडल या रेडियोलॉजिकल इमेज से बीमारियों की पहचान करने वाला प्रोग्राम या मॉडल, दोनों में आर्टिफ़िशियल इंटेलिजेंस का इस्तेमाल होता है.

आम तौर पर, मशीन लर्निंग, आर्टिफ़िशियल इंटेलिजेंस का एक सब-फ़ील्ड है हो सकता है. हालांकि, हाल के वर्षों में कुछ संगठनों ने आर्टिफ़िशियल इंटेलिजेंस और मशीन लर्निंग शब्दों का इस्तेमाल एक-दूसरे के लिए करना शुरू कर दिया है.

ध्यान देना

#language

न्यूरल नेटवर्क में इस्तेमाल किया जाने वाला एक तरीका, जो किसी खास शब्द या शब्द के किसी हिस्से की अहमियत. ध्यान देने की सुविधा, अगले टोकन/शब्द का अनुमान लगाने के लिए, मॉडल को ज़रूरी जानकारी को कम कर देती है. ध्यान देने के एक सामान्य तरीके में ये चीज़ें शामिल हो सकती हैं वेटेड योग, इनपुट के सेट के ऊपर होता है, जहां हर इनपुट के लिए वेट की गणना न्यूरल नेटवर्क.

खुद का ध्यान रखना और मल्टी-हेड सेल्फ़-अटेंशन ट्रांसफ़ॉर्मर के बिल्डिंग ब्लॉक.

एलएलएम: बड़ी भाषा कौनसी होती है मॉडल? देखें.

विशेषता

#fairness

feature के लिए समानार्थी शब्द.

मशीन लर्निंग के लिए निष्पक्षता का मतलब है कि एट्रिब्यूट से अक्सर लोगों की विशेषताओं का पता चलता है.

एट्रिब्यूट सैंपलिंग

#df

डिसिज़न फ़ॉरेस्ट को ट्रेनिंग देने का एक तरीका. इसमें हर डिसिज़न ट्री, शर्त को सीखते समय, संभावित सुविधाओं के सिर्फ़ एक रैंडम सबसेट को ध्यान में रखता है. आम तौर पर, हर नोड के लिए, सुविधाओं के अलग-अलग सबसेट का सैंपल लिया जाता है. इसके उलट, डिसिज़न ट्री को ट्रेनिंग देते समय एट्रिब्यूट सैंपलिंग के बिना, हर नोड के लिए सभी संभावित सुविधाओं पर विचार किया जाता है.

AUC (आरओसी कर्व के नीचे का हिस्सा)

#fundamentals

0.0 से 1.0 के बीच की संख्या, बाइनरी क्लासिफ़िकेशन मॉडल की, पॉज़िटिव क्लास को नेगेटिव क्लास से अलग करने की क्षमता को दिखाती है. AUC 1.0 के जितना करीब होता है, मॉडल की अलग करने की क्षमता उतनी ही बेहतर होती है एक-दूसरे से क्लास.

उदाहरण के लिए, नीचे दिए गए इलस्ट्रेशन में क्लासिफ़ायर मॉडल दिखाया गया है जो पॉज़िटिव क्लास (हरे अंडाकार) को नेगेटिव क्लास से अलग करती है (बैंगनी आयत) सही तरीके से लिखें. असल दुनिया से परे एक शानदार मॉडल 1.0 का AUC:

इसके उलट, नीचे दिया गया इलस्ट्रेशन, क्लासिफ़ायर के लिए नतीजे दिखाता है बिना किसी क्रम के नतीजे जनरेट करने वाला मॉडल हो सकता है. इस मॉडल का AUC 0.5 है:

हां, पिछले मॉडल का AUC 0.5 है, न कि 0.0.

ज़्यादातर मॉडल दो चरम सीमाओं के बीच में होते हैं. उदाहरण के लिए, यह मॉडल, पॉज़िटिव को नेगेटिव से कुछ अलग करता है. इसलिए का AUC 0.5 और 1.0 के बीच होता है:

AUC, क्लासिफ़िकेशन थ्रेशोल्ड के लिए सेट की गई किसी भी वैल्यू को अनदेखा करता है. इसके बजाय, AUC, कैटगरी में बांटने की सभी संभावित सीमाओं को ध्यान में रखता है.

AUC और ROC कर्व के बीच संबंध के बारे में जानने के लिए आइकॉन पर क्लिक करें.

AUC के तहत आने वाले क्षेत्र को दिखाया जाता है आरओसी कर्व. उदाहरण के लिए, किसी ऐसे मॉडल के लिए आरओसी कर्व जो सकारात्मक और नकारात्मक नतीजों को पूरी तरह से अलग करता है, यह इस तरह दिखता है:

ऊपर दिए गए इलस्ट्रेशन में, स्लेटी रंग के क्षेत्र का एरिया दिखाया गया है. इस असामान्य मामले में, क्षेत्रफल का हिसाब लगाने के लिए, ग्रे क्षेत्र की लंबाई (1.0) को ग्रे क्षेत्र की चौड़ाई (1.0) से गुणा करें. इसलिए, 1.0 और 1.0 के प्रॉडक्ट का AUC, 1.0 होता है. यह AUC का सबसे ज़्यादा स्कोर होता है.

इसके उलट, किसी ऐसे क्लासिफ़ायर के लिए आरओसी कर्व, जो क्लास को बिल्कुल अलग नहीं कर सकता, इस तरह का होता है. स्लेटी रंग के इस क्षेत्र का एरिया 0.5 है.

आम तौर पर, आरओसी कर्व ऐसा दिखता है:

इस कर्व के नीचे के क्षेत्रफल की गणना मैन्युअल रूप से करना बहुत मुश्किल काम होगा, इसलिए, एक प्रोग्राम आम तौर पर ज़्यादातर AUC वैल्यू का हिसाब लगाता है.

---

AUC की ज़्यादा औपचारिक परिभाषा के लिए आइकॉन पर क्लिक करें.

AUC इस बात की संभावना है कि क्लासिफ़ायर इस बात पर ज़्यादा भरोसा करेगा कि रैंडम तरीके से चुना गया पॉज़िटिव उदाहरण असल में पॉज़िटिव होता है, बल्कि यादृच्छिक रूप से चुना गया नकारात्मक उदाहरण सकारात्मक है.

---

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में क्लासिफ़िकेशन: आरओसी और AUC देखें.

संवर्धित वास्तविकता

#image

यह एक ऐसी टेक्नोलॉजी है जो कंप्यूटर से जनरेट की गई इमेज को, उपयोगकर्ता के आस-पास मौजूद असली दुनिया के व्यू पर सुपरइंपोज़ करती है. इससे, उपयोगकर्ता को कंपोज़िट व्यू मिलता है.

ऑटोएन्कोडर

#language

#image

यह एक ऐसा सिस्टम है जो इनपुट. ऑटोएन्कोडर, एन्कोडर और डीकोडर. ऑटोएन्कोडर, नीचे दी गई दो चरणों वाली प्रोसेस पर भरोसा करते हैं:

1. एन्कोडर, इनपुट को (आम तौर पर) कम-डाइमेंशन वाले कम-डाइमेंशन वाले मोड में मैप करता है (इंटरमीडिएट) फ़ॉर्मैट में.
2. डिकोडर, कम डाइमेंशन वाले फ़ॉर्मैट को ओरिजनल ज़्यादा डाइमेंशन वाले इनपुट फ़ॉर्मैट में मैप करके, ओरिजनल इनपुट का लॉस वाला वर्शन बनाता है.

ऑटोएन्कोडर को शुरू से आखिर तक ट्रेनिंग दी जाती है. ऐसा करने के लिए वे डिकोडर की मदद लेते हैं एन्कोडर के इंटरमीडिएट फ़ॉर्मैट से ओरिजनल इनपुट को फिर से बनाएं जितना संभव हो सके. इंटरमीडिएट फ़ॉर्मैट, ओरिजनल फ़ॉर्मैट से छोटा (कम डाइमेंशन वाला) होता है. इसलिए, ऑटोएन्कोडर को यह पता करना पड़ता है कि इनपुट में कौनसी जानकारी ज़रूरी है. साथ ही, आउटपुट, इनपुट से पूरी तरह मेल नहीं खाएगा.

उदाहरण के लिए:

• अगर इनपुट डेटा ग्राफ़िक है, तो पूरी तरह से सटीक नहीं होने वाली कॉपी इसके समान होगी में असली ग्राफ़िक लगा था, लेकिन उसमें कुछ बदलाव किए गए थे. ऐसा हो सकता है कि हूबहू कॉपी न होने पर, ओरिजनल ग्राफ़िक से गड़बड़ी हट जाए या कुछ पिक्सल अपने-आप भर जाएं.
• अगर इनपुट डेटा टेक्स्ट है, तो ऑटोएन्कोडर ऐसा नया टेक्स्ट जनरेट करेगा जो मूल टेक्स्ट जैसा ही है, लेकिन इसके जैसा नहीं है.

वैरिएशनल ऑटोएन्कोडर भी देखें.

ऑटोमेशन पर बायस

#fairness

जब फ़ैसला लेने वाला कोई व्यक्ति बिना ऑटोमेशन के इस्तेमाल की जाने वाली जानकारी पर फ़ैसला लेने वाला सिस्टम, जब अपने-आप फ़ैसला लेने वाला सिस्टम गड़बड़ियां करता है.

निष्पक्षता: के प्रकार देखें पक्षपात देखें.

AutoML

मशीन लर्निंग बनाने के लिए, अपने-आप काम करने वाली कोई भी प्रोसेस मॉडल. AutoML अपने-आप ये काम कर सकता है:

• सबसे सही मॉडल खोजें.
• हाइपर पैरामीटर को ट्यून करें.
• डेटा तैयार करना. इसमें फ़ीचर इंजीनियरिंग भी शामिल है.
• इससे बनने वाले मॉडल को डिप्लॉय करें.

AutoML, डेटा साइंटिस्ट के लिए काम का है, क्योंकि यह उनका समय बचाता है और हम मशीन लर्निंग पाइपलाइन को डेवलप करने और नतीजों के अनुमान को बेहतर बनाने की कोशिश कर रहे हैं ज़्यादा सटीक होता है. यह मशीन लर्निंग से जुड़े मुश्किल टास्क को आसान बनाकर, उन लोगों के लिए भी फ़ायदेमंद है जो इस क्षेत्र के विशेषज्ञ नहीं हैं.

ऑटोमेटेड मशीन लर्निंग (AutoML) देखें.

ऑटो-रिग्रेसिव मॉडल

#language

#image

#generativeAI

ऐसा मॉडल जो अपने पिछले अनुमानों के आधार पर अनुमान लगाता है. उदाहरण के लिए, ऑटो-रिग्रेसिव लैंग्वेज मॉडल अगले पहले से अनुमानित टोकन के आधार पर टोकन. ट्रांसफ़ॉर्मर पर आधारित सभी लार्ज लैंग्वेज मॉडल, अपने-आप रिग्रेसिव होते हैं.

इसके उलट, GAN पर आधारित इमेज मॉडल आम तौर पर ऑटो-रिग्रेसिव नहीं होते क्योंकि वे सिंगल फ़ॉरवर्ड-पास में इमेज जनरेट करते हैं, न कि बार-बार चरण पूरे करें. हालांकि, इमेज जनरेट करने के कुछ मॉडल अपने-आप रिग्रेसिव होते हैं, क्योंकि ये चरण में इमेज जनरेट करते हैं.

सहायक नुकसान

लॉस फ़ंक्शन—जिसका इस्तेमाल किसी न्यूरल नेटवर्क मॉडल का मुख्य लॉस फ़ंक्शन—इससे ट्रेनिंग को ट्रेनिंग देने में मदद मिलती है शुरुआती इटरेशन यानी जब वेट ट्रेनिंग की प्रोसेस अचानक शुरू होती है.

सहायक लॉस फ़ंक्शन असरदार ग्रेडिएंट देते हैं पिछली लेयर में. इससे मदद मिलती है ट्रेनिंग के दौरान कन्वर्ज़न ग्रेडिएंट की समस्या को हल करके किया जा सकता है.

औसत प्रीसिज़न

रैंक के हिसाब से लगाए गए नतीजों की परफ़ॉर्मेंस की खास जानकारी देने वाली मेट्रिक. औसत शुद्धता का आकलन करने के लिए हर काम के नतीजे के लिए सटीक वैल्यू (हर नतीजे को पिछले नतीजे के मुकाबले, रैंक की गई ऐसी सूची जिसमें प्रॉडक्ट को बाज़ार से हटाए जाने की संख्या बढ़ती है).

पीआर कर्व के दायरे में आने का क्षेत्र भी देखें.

ऐक्सिस के साथ अलाइन की गई शर्त

#df

डिसिज़न ट्री में, एक स्थिति जिसमें सिर्फ़ एक सुविधा शामिल हो. उदाहरण के लिए, अगर क्षेत्र एक एट्रिब्यूट है, तो अक्ष के साथ अलाइन की गई शर्त यह है:

area > 200

तिरछी स्थिति से कंट्रास्ट करें.

B

बैकप्रोपगेशन

#fundamentals

लागू करने वाला एल्गोरिदम ग्रेडिएंट डिसेंट में न्यूरल नेटवर्क.

किसी न्यूरल नेटवर्क को ट्रेनिंग देने के लिए, नीचे दिए गए दो-पास वाले साइकल के कई इटरेशन की ज़रूरत होती है:

1. फ़ॉरवर्ड पास के दौरान, सिस्टम इतने बैच को प्रोसेस करता है अनुमान लगाने के लिए, उदाहरण. सिस्टम हर अनुमान की तुलना हर लेबल वैल्यू से करता है. इनके बीच अंतर अनुमान और लेबल की वैल्यू, उस उदाहरण के लिए लॉस है. सिस्टम, सभी उदाहरणों के लिए लॉस को एग्रीगेट करता है, ताकि कुल वैल्यू का पता लगाया जा सके वर्तमान बैच के लिए हानि.
2. बैकवर्ड पास (बैकप्रोपगेशन) के दौरान, सिस्टम सभी हाइडन लेयर में मौजूद सभी न्यूरॉन के वेट में बदलाव करके, लॉस को कम करता है.

न्यूरल नेटवर्क में अक्सर कई छिपी हुई लेयर में कई न्यूरॉन होते हैं. उनमें से हर न्यूरॉन, कुल नुकसान में अलग-अलग तरीके से योगदान देता है. बैकप्रोपगेशन से यह तय होता है कि किसी खास न्यूरॉन पर लागू किए गए वेट को बढ़ाना है या घटाना है.

लर्निंग रेट एक मल्टीप्लायर है, जो वह डिग्री जिस पर हर बैकवर्ड पास हर वज़न को बढ़ाता या घटाता है. ज़्यादा लर्निंग रेट, हर वेट को कम लर्निंग रेट की तुलना में ज़्यादा बढ़ाएगा या घटाएगा.

कैलकुलस के हिसाब से, बैकप्रोपगेशन चेन नियम को लागू करता है. इसका मतलब यह है कि बैकप्रोपगेशन, गड़बड़ी का पार्शियल डेरिवेटिव पैरामीटर के हिसाब से वैल्यू डालें.

कई साल पहले, एमएल के विशेषज्ञों को बैकप्रोपगेशन लागू करने के लिए कोड लिखना पड़ता था. Keras जैसे मॉडर्न एमएल एपीआई, अब आपके लिए बैकप्रोपैगेशन की सुविधा लागू करते हैं. वाह!

न्यूरल नेटवर्क देखें देखें.

बैगिंग

#df

किसी असेंबली को ट्रेन करने का तरीका, जहां हर मॉडल की मदद से ट्रेनिंग के किसी रैंडम सबसेट को ट्रेनिंग दी जाती है उदाहरण रीप्लेसमेंट की मदद से सैंपल किए गए. उदाहरण के लिए, रैंडम फ़ॉरेस्ट डिसिज़न ट्री को बैग बनाने की ट्रेनिंग दी गई.

bagging शब्द, bootstrap aggregating का छोटा रूप है.

ज़्यादा जानकारी के लिए, डिसीज़न फ़ॉरेस्ट कोर्स में रैंडम फ़ॉरेस्ट देखें.

शब्दों का झोंका

#language

किसी वाक्यांश या पैसेज में शब्दों को निरूपण, वह चाहे किसी भी क्रम में हो. उदाहरण के लिए, शब्दों का बैग, यहां दिए गए तीन वाक्यांशों को एक जैसा दिखाता है:

• कुत्ता उछलता है
• जंप द डॉग
• कुत्ता उछलता है

हर शब्द को स्पार्स वेक्टर के इंडेक्स से मैप किया जाता है, जहां वेक्टर में शब्दावली के हर शब्द का इंडेक्स होता है. उदाहरण के लिए, वाक्यांश द डॉग जंप, एक ऐसे फ़ीचर वेक्टर में मैप किया गया है जिसमें शून्य शून्य नहीं है the, dogfood, और शब्दों से संबंधित तीन इंडेक्स पर वैल्यू जंप. शून्य से ज़्यादा की वैल्यू इनमें से कोई भी हो सकती है:

• किसी शब्द की मौजूदगी दिखाने के लिए 1.
• बैग में कोई शब्द कितनी बार दिखता है. उदाहरण के लिए, अगर वाक्यांश मारून रंग का कुत्ता, मारून रंग के बालों वाला कुत्ता है है, तो मारून और कुत्ता, दोनों को 2 के तौर पर दिखाया जाएगा. वहीं, दूसरे शब्दों को 1 के तौर पर दिखाया जाएगा.
• कुछ अन्य वैल्यू, जैसे कि इस संख्या की गणना का लॉगारिद्म बैग में कोई शब्द कब दिखता है.

आधारभूत

यह एक ऐसा मॉडल है जिसका इस्तेमाल, किसी दूसरे मॉडल (आम तौर पर, ज़्यादा जटिल मॉडल) की परफ़ॉर्मेंस की तुलना करने के लिए, रेफ़रंस पॉइंट के तौर पर किया जाता है. उदाहरण के लिए, लॉजिस्टिक रिग्रेशन मॉडल का इस्तेमाल डीप मॉडल के लिए अच्छी बेसलाइन बनाई गई है.

किसी खास समस्या के लिए, बेसलाइन से मॉडल डेवलपर को यह तय करने में मदद मिलती है कि नए मॉडल को कम से कम कितनी परफ़ॉर्मेंस हासिल करनी चाहिए, ताकि वह काम का हो सके.

बैच

#fundamentals

एक ट्रेनिंग में इस्तेमाल किए गए उदाहरण का सेट दोहराव. बैच का साइज़, किसी बैच में मौजूद उदाहरणों की संख्या तय करता है.

बैच किस तरह से जुड़ा होता है, यह जानने के लिए epoch देखें epoch का इस्तेमाल करें.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में लीनियर रिग्रेशन: हाइपरपैरामीटर देखें.

एक साथ कई अनुमान लगाना

#TensorFlow

#GoogleCloud

एक से ज़्यादा यूआरएल पर अनुमान लगाने की प्रोसेस बिना लेबल वाले उदाहरण को छोटे-छोटे हिस्सों में बांटा गया सबसेट ("बैच").

बैच अनुमान की सुविधा, दोनों को साथ में इस्तेमाल करने की सुविधाओं का फ़ायदा ले सकती है ऐक्सेलरेटर चिप. इसका मतलब है कि एक से ज़्यादा ऐक्सेलरेटर एक साथ बिना लेबल वाले अलग-अलग बैच के अनुमानों का अनुमान लगा सकता है इसके उदाहरण हैं, जिससे हर सेकंड में अनुमानों की संख्या में बहुत तेज़ी से बढ़ोतरी होती है.

प्रोडक्शन एमएल सिस्टम: स्टैटिक बनाम डाइनैमिक देखें अनुमान देखें.

बैच नॉर्मलाइज़ेशन

इसके इनपुट या आउटपुट को नॉर्मलाइज़ करना इसमें ऐक्टिवेशन फ़ंक्शन छिपी हुई लेयर. बैच नॉर्मलाइज़ेशन से ये फ़ायदे मिल सकते हैं:

• न्यूरल नेटवर्क को ज़्यादा स्थिर बनाने के लिए, आउटलायर के वज़न के ख़िलाफ़ है.
• लर्निंग रेट को ज़्यादा पर सेट करें. इससे ट्रेनिंग की प्रोसेस तेज़ हो सकती है.
• ओवरफ़िटिंग कम करें.

बैच का आकार

#fundamentals

किसी बैच में उदाहरण की संख्या. उदाहरण के लिए, अगर बैच साइज़ 100 है, तो मॉडल हर इटरेशन में 100 उदाहरणों को प्रोसेस करता है.

बैच साइज़ की लोकप्रिय रणनीतियां इस तरह से हैं:

• स्टोकायस्टिक ग्रेडिएंट डिसेंट (एसजीडी), जिसमें बैच का साइज़ 1 है.
• पूरा बैच, जिसमें बैच का साइज़, उन सभी उदाहरणों की संख्या है ट्रेनिंग सेट. उदाहरण के लिए, अगर ट्रेनिंग सेट 10 लाख उदाहरण हैं, तो बैच का साइज़ 10 लाख होगा उदाहरण. आम तौर पर, पूरा बैच एक खराब रणनीति होती है.
• मिनी-बैच, जिसमें आम तौर पर बैच का साइज़ 10 से 1,000 के बीच होता है. आम तौर पर, छोटा बैच सबसे असरदार रणनीति होती है.

ज़्यादा जानकारी के लिए, ये देखें:

• मशीन लर्निंग क्रैश कोर्स में, प्रोडक्शन एमएल सिस्टम: स्टैटिक बनाम डाइनैमिक अनुमानी के बारे में जानकारी.
• डीप लर्निंग ट्यूनिंग प्लेबुक.

बेज़ियन न्यूरल नेटवर्क

संभावित न्यूरल नेटवर्क, जो वेट और आउटपुट में अनिश्चितता का हिसाब लगाता है. स्टैंडर्ड न्यूरल नेटवर्क रिग्रेशन मॉडल, आम तौर पर अदिश वैल्यू का अनुमान लगाता है; उदाहरण के लिए, कोई स्टैंडर्ड मॉडल घर की कीमत का अनुमान लगाता है कुल 8,53,000 हो सकते हैं. इसके उलट, बेज़ियन न्यूरल नेटवर्क, values; उदाहरण के लिए, बेज़ियन मॉडल 8,53,000 के घर की कीमत का अनुमान 67,200 का मानक विचलन.

बेज़ियन न्यूरल नेटवर्क, रिसर्च के लिए बेयस Theorem भार और अनुमानों में अनिश्चितता की गणना करने के लिए. बेज़ियन न्यूरल नेटवर्क तब फ़ायदेमंद साबित हो सकता है, जब अनिश्चितता का आकलन करना ज़रूरी हो, जैसे कि दवाइयों से जुड़े मॉडल. बेज़ियन न्यूरल नेटवर्क से भी मदद मिल सकती है ओवरफ़िटिंग से बचें.

बेज़ियन ऑप्टिमाइज़ेशन

प्रॉबेब्लिस्टिक रिग्रेशन मॉडल कम्प्यूटेशनल महंगाई को ऑप्टिमाइज़ करने की तकनीक सरोगेट को ऑप्टिमाइज़ करने के बजाय, मकसद फ़ंक्शन जो बेज़ियन लर्निंग तकनीक की मदद से, अनिश्चितता को मापते हैं. से बेज़ियन ऑप्टिमाइज़ेशन अपने-आप में बहुत महंगा होता है. आम तौर पर, इसका इस्तेमाल ऑप्टिमाइज़ करने के लिए किया जाता है ऐसे टास्क जिनका आकलन बहुत कम किया जाता हो और जिनमें बहुत कम पैरामीटर हों, जैसे कि हाइपर पैरामीटर चुनकर.

बेलमैन इक्वेशन

#rl

रिनफ़ोर्समेंट लर्निंग में, ऑप्टिमाइज़ की गई Q-फ़ंक्शन से यह पहचान पूरी होती है:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

रीनफ़ोर्समेंट लर्निंग एल्गोरिदम, इस पहचान को लागू करके, अपडेट करने के इस नियम की मदद से क्यू-लर्निंग बनाते हैं:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

रीइनफ़ोर्समेंट लर्निंग के अलावा, बेलम समीकरण का इस्तेमाल डायनैमिक प्रोग्रामिंग में भी किया जाता है. बेलमैन समीकरण के लिए Wikipedia पर दी गई जानकारी देखें.

BERT (बाईडायरेक्शनल एन्कोडर रिप्रज़ेंटेशन्स फ़्रॉम ट्रांसफ़ॉर्मर्स)

#language

टेक्स्ट के प्रज़ेंटेशन के लिए मॉडल आर्किटेक्चर. ट्रेन किया गया BERT मॉडल, टेक्स्ट की कैटगरी तय करने या एमएल के अन्य टास्क के लिए, बड़े मॉडल का हिस्सा बन सकता है.

BERT की विशेषताएं ये हैं:

• यह Transformer आर्किटेक्चर का इस्तेमाल करता है. इसलिए, यह सेल्फ़-अटेंशन पर निर्भर करता है.
• ट्रांसफ़ॉर्मर के एन्कोडर हिस्से का इस्तेमाल करता है. एन्कोडर का काम एक विशिष्ट प्रदर्शन करने के बजाय, अच्छा लेख निरूपण करना है कर सकते हैं.
• दोनों तरफ़ दो रास्ते हों.
• इनके लिए, मास्किंग का इस्तेमाल करता है बिना निगरानी वाली ट्रेनिंग.

BERT के वैरिएंट में ये शामिल हैं:

• ALBERT, जो A Light BERT का छोटा नाम है.
• LaBSE.

BERT के बारे में खास जानकारी पाने के लिए, ओपन सोर्स BERT: नेचुरल लैंग्वेज प्रोसेसिंग के लिए सबसे बेहतर प्री-ट्रेनिंग देखें.

पक्षपात (नैतिकता/निष्पक्षता)

#fairness

#fundamentals

1. किसी चीज़, व्यक्ति या ग्रुप के बारे में गलत धारणा, पूर्वाग्रह या किसी के मुकाबले किसी दूसरे के पक्ष में पक्षपात करना. इन पक्षपातों से संग्रह और डेटा की व्याख्या, सिस्टम का डिज़ाइन, और उपयोगकर्ता कैसे इंटरैक्ट करते हैं इस्तेमाल किया जा सकता है. इस तरह के भेदभाव के फ़ॉर्म में ये शामिल हैं:

• ऑटोमेशन बायस
• कन्फ़ेंस बायस
• एक्सपेरिमेंट करने वाले का पूर्वाग्रह
• ग्रुप एट्रिब्यूशन में गड़बड़ी
• इंप्लिसिट पूर्वाग्रह
• ग्रुप के सदस्यों के पक्ष में झुकाव
• बाहरी ग्रुप के लिए एकरूपता का पूर्वाग्रह

2. सैंपलिंग या रिपोर्टिंग की प्रोसेस के दौरान सिस्टम में कोई गड़बड़ी हुई. इस तरह के पूर्वाग्रह में ये शामिल हैं:

• कवरेज में पक्षपात
• नॉन-रिस्पॉन्स बायस
• सर्वे में हिस्सा लेने वाले लोगों में मौजूद पूर्वाग्रह
• रिपोर्टिंग के मापदंड
• सैंपलिंग बायस
• चुने गए डेटा में मौजूद पूर्वाग्रह

मशीन लर्निंग मॉडल में इसे बायस टर्म न समझें या पूर्वानुमान के मापदंड.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में निष्पक्षता: पक्षपात के टाइप देखें.

बायस (गणित) या बायस टर्म

#fundamentals

किसी ऑरिजिन से कोई रुकावट या ऑफ़सेट. बायस, मशीन लर्निंग मॉडल में एक पैरामीटर होता है. इसका चिह्न इनमें से किसी एक के तौर पर होता है:

• b
• w₀

उदाहरण के लिए, नीचे दिए गए फ़ॉर्मूला में बायस, b है:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

किसी सामान्य दो-आयामी रेखा में, बायस का मतलब सिर्फ़ "y-इंटरसेप्ट" होता है. उदाहरण के लिए, नीचे दिए गए इलस्ट्रेशन में लाइन का बायस 2 है.

पूर्वाग्रह मौजूद है क्योंकि सभी मॉडल ऑरिजिन (0,0) से शुरू नहीं होते. उदाहरण के लिए, मान लें कि किसी मनोरंजन पार्क में प्रवेश करने के लिए 2 यूरो का शुल्क लगता है और होटल के हर घंटे के लिए 0.5 यूरो. इसलिए, कुल कीमत को मैप करने वाले मॉडल में दो का पूर्वाग्रह है, क्योंकि सबसे कम कीमत दो यूरो है.

पक्षपात को नैतिकता और निष्पक्षता में पक्षपात या अनुमान में पक्षपात के साथ नहीं जोड़ा जाना चाहिए.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में लीनियर रिग्रेशन देखें.

दोनों तरफ़ ले जाया जा सकने वाला

#language

इस शब्द का इस्तेमाल, ऐसे सिस्टम के बारे में बताने के लिए किया जाता है जो टेक्स्ट के टारगेट सेक्शन से पहले और बाद के टेक्स्ट का आकलन करता है. इसके उलट, एकतरफ़ा सिस्टम सिर्फ़ उस टेक्स्ट का आकलन करता है जो टेक्स्ट के टारगेट सेक्शन से पहले आता है.

उदाहरण के लिए, मास्क किए गए भाषा मॉडल पर विचार करें, जिसे नीचे दिए गए सवाल में अंडरलाइन किए गए शब्द या शब्दों की संभावनाएं तय करनी होंगी:

_____ आपके साथ क्या है?

एकतरफ़ा भाषा मॉडल को अपनी संभावनाओं को सिर्फ़ "क्या", "है", और "वह" शब्दों से मिले कॉन्टेक्स्ट के आधार पर तय करना होगा. इसके उलट, एक द्विदिशात्मक भाषा मॉडल भी "के साथ" से संदर्भ पा सकता है और "आप", इससे मॉडल को बेहतर अनुमान लगाने में मदद मिल सकती है.

द्विभाषी लैंग्वेज मॉडल

#language

भाषा का ऐसा मॉडल जो यह संभावना बताता है कि दिया गया टोकन दिए गए स्थान पर पहले से मौजूद और फ़ॉलो किया जा रहा टेक्स्ट.

बिगम

#seq

#language

कोई N-ग्राम, जिसमें N=2 हो.

बाइनरी क्लासिफ़िकेशन

#fundamentals

यह एक तरह का क्लासिफ़िकेशन टास्क है, जो दो म्युचुअली एक्सक्लूसिव क्लास में से किसी एक का अनुमान लगाता है:

• positive class
• नेगेटिव क्लास

उदाहरण के लिए, नीचे दिए गए दो मशीन लर्निंग मॉडल में से हर एक बाइनरी क्लासिफ़िकेशन:

• वह मॉडल जो तय करता है कि ईमेल मैसेज स्पैम (पॉज़िटिव क्लास) या स्पैम नहीं है (नेगेटिव क्लास).
• मेडिकल लक्षणों की जांच करने वाला मॉडल, ताकि यह पता लगाया जा सके कि व्यक्ति को कोई खास बीमारी है (पॉज़िटिव क्लास) या कोई बीमारी नहीं है बीमारी (नेगेटिव क्लास).

मल्टी-क्लास क्लासिफ़िकेशन के साथ तुलना करें.

लॉजिस्टिक रिग्रेशन और क्लासिफ़िकेशन थ्रेशोल्ड भी देखें.

कैटगरी तय करना देखें देखें.

बाइनरी शर्त

#df

फ़ैसला लेने वाले ट्री में, ऐसी शर्त जो सिर्फ़ दो संभावित नतीजे देती है. आम तौर पर, ये नतीजे हां या नहीं होते हैं. उदाहरण के लिए, नीचे दी गई शर्त बाइनरी है:

temperature >= 100

नॉन-बाइनरी कंडिशन से कंट्रास्ट करें.

ज़्यादा जानकारी के लिए, डिसीज़न फ़ॉरेस्ट कोर्स में शर्तों के टाइप देखें.

बाइनिंग

बकेटिंग का समानार्थी शब्द.

BLEU (बाइलिंगुअल इवैलुएशन अंडरस्टडी)

#language

यह स्कोर 0.0 से 1.0 के बीच होता है. इससे दो भाषाओं (जैसे, अंग्रेज़ी और रशियन) के बीच अनुवाद की क्वालिटी का पता चलता है. BLEU का 1.0 स्कोर, अनुवाद के सही होने का संकेत देता है. वहीं, 0.0 स्कोर का मतलब है कि अनुवाद बहुत खराब है.

बूस्टिंग

एक ऐसी मशीन लर्निंग तकनीक जो बार-बार आसान और बहुत सटीक क्लासिफ़ायर नहीं होते (जिन्हें "कमज़ोर" क्लासिफ़ायर कहा जाता है) द्वारा क्लासिफ़ायर (एक "मज़बूत" क्लासिफ़ायर) उन उदाहरणों को बढ़ावा देना जिन्हें मॉडल फ़िलहाल लागू कर रहा है गलत कैटगरी में रखा गया है.

ग्रेडिएंट बूस्ट किया गया फ़ैसला देखें पेड़? पर जाएं.

बाउंडिंग बॉक्स

#image

किसी इमेज में, दिलचस्पी के किसी हिस्से के आस-पास मौजूद रेक्टैंगल के (x, y) निर्देशांक. जैसे, नीचे दी गई इमेज में कुत्ता.

ब्रॉडकास्ट किया जा रहा है

मैट्रिक के गणितीय ऑपरेशन में ऑपरेंड के आकार को, उस ऑपरेशन के साथ काम करने वाले डाइमेंशन में बड़ा करना. उदाहरण के लिए, रैखिक बीजगणित के लिए किसी आव्यूह में जोड़े जाने वाले दो संक्रियाओं की ज़रूरत होती है एक जैसे डाइमेंशन होने चाहिए. इस कारण, आप आकार का आव्यूह नहीं जोड़ सकते (m, n) से लेकर n लंबाई वाले वेक्टर तक. ब्रॉडकास्टिंग की मदद से, इस ऑपरेशन को चालू किया जा सकता है. इसके लिए, लंबाई n वाले वेक्टर को आकार (m, n) वाले मैट्रिक्स में बदला जाता है. इसके लिए, हर कॉलम में एक जैसी वैल्यू को दोहराया जाता है.

उदाहरण के लिए, नीचे दी गई परिभाषाओं के मुताबिक, लीनियर ऐल्जेब्रा में A+B का इस्तेमाल नहीं किया जा सकता, क्योंकि A और B के डाइमेंशन अलग-अलग हैं:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

हालांकि, ब्रॉडकास्ट करने पर B कार्रवाई को वर्चुअल तौर पर बड़ा करके यह ऑपरेशन A+B चालू हो जाता है:

 [[2, 2, 2],
  [2, 2, 2]]

इसलिए, A+B अब मान्य ऑपरेशन है:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

नीचे दी गई जानकारी देखें. ज़्यादा जानकारी के लिए, NumPy पर ब्रॉडकास्ट करना

बकेट

#fundamentals

किसी एक सुविधा को एक से ज़्यादा बाइनरी सुविधाओं में बदलना जिसे बकेट या बिन कहा जाता है, जो आम तौर पर वैल्यू की रेंज के हिसाब से तय होती है. कटी हुई सुविधा आम तौर पर लगातार बदलाव करने की सुविधा.

उदाहरण के लिए, तापमान को एक के तौर पर दिखाने के बजाय लगातार फ़्लोटिंग-पॉइंट सुविधा की मदद से, आप तापमान की रेंज को काट सकते हैं अलग-अलग कैटगरी में बांटना, जैसे:

• <= 10 डिग्री सेल्सियस का तापमान "ठंडा" रहेगा बकेट.
• तापमान 11 से 24 डिग्री सेल्सियस के बीच रहेगा. यह "सामान्य तापमान" रहेगा बकेट.
• >= 25 डिग्री सेल्सियस का तापमान "गर्म" रहेगा बकेट.

मॉडल, एक ही बकेट में मौजूद हर वैल्यू को एक जैसा मानेगा. उदाहरण के लिए, वैल्यू 13 और 22, दोनों ही टेंपरेट बकेट में हैं. इसलिए, मॉडल दोनों वैल्यू को एक जैसा मानता है.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

अगर तापमान को लगातार रिकॉर्ड होने वाली वैल्यू के तौर पर दिखाया जाता है, तो मॉडल, तापमान को एक ही वैल्यू के तौर पर इस्तेमाल करता है. अगर आप तापमान दिखाते हैं तीन बकेट के तौर पर सेट करता है, तो मॉडल हर बकेट को एक अलग सुविधा के रूप में देखता है. इसका मतलब है कि मॉडल, लेबल के साथ हर बकेट के अलग-अलग संबंधों को सीख सकता है. उदाहरण के लिए, लीनियर रिग्रेशन मॉडल, हर बकेट के लिए अलग-अलग वेट सीख सकता है.

बकेट की संख्या बढ़ाने से आपका मॉडल संबंधों की संख्या बढ़ाना, जिन्हें आपके मॉडल को सीखना चाहिए. उदाहरण के लिए, ठंडी, सामान्य, और गर्म बकेट, आपके मॉडल के लिए ट्रेनिंग देने वाली तीन अलग-अलग सुविधाएं हैं. अगर आपको अपनी सदस्यता को दो और बकेट -- उदाहरण के लिए, फ़्रीज़िंग और हॉट--तो आपका मॉडल अब पांच अलग-अलग सुविधाओं के साथ ट्रेनिंग करनी होगी.

आपको कैसे पता चलता है कि कितनी बकेट बनानी हैं या हर बकेट की रेंज क्या होनी चाहिए? आम तौर पर, जवाब पाने के लिए ज़रूरत के मुताबिक प्रयोग करना पड़ता है.

---

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में न्यूमेरिकल डेटा: बाइनिंग देखें.

C

कैलिब्रेशन लेयर

अनुमान के बाद किया जाने वाला अडजस्टमेंट. आम तौर पर, यह अनुमान में मौजूद पूर्वाग्रह को ध्यान में रखकर किया जाता है. अडजस्ट किए गए अनुमान और संभावनाएं, लेबल के किसी निगरानी वाले सेट के डिस्ट्रिब्यूशन से मेल खानी चाहिए.

कैंडिडेट जनरेशन

#recsystems

सुझावों का शुरुआती सेट जिसे सुझाव देने वाला सिस्टम. उदाहरण के लिए, किताबों की दुकान, जहां 1,00,000 किताबें मिलती हैं. संभावित किताबों की सूची बनाने के चरण में, किसी उपयोगकर्ता के लिए, ज़रूरत के मुताबिक किताबों की एक छोटी सूची बनाई जाती है. जैसे, 500 किताबें. हालांकि, किसी उपयोगकर्ता को 500 किताबों के सुझाव देना भी बहुत ज़्यादा है. सुझाव देने वाले सिस्टम के बाद के चरणों में, स्कोरिंग और फिर से रैंकिंग जैसी ज़्यादा खर्चीली प्रोसेस की मदद से, उन 500 सुझावों को कम कर दिया जाता है. साथ ही, उन्हें ज़्यादा काम के सुझावों के सेट में बदल दिया जाता है.

उम्मीदवार का जनरेट करना देखें खास जानकारी देखें.

कैंडिडेट सैंपलिंग

ट्रेनिंग के समय का ऑप्टिमाइज़ेशन, जो सभी पॉज़िटिव लेबल का इस्तेमाल करें. उदाहरण के लिए, softmax, लेकिन सिर्फ़ रैंडम नेगेटिव लेबल का सैंपल. उदाहरण के लिए, बीगल और कुत्ता लेबल वाले उदाहरण के लिए, कैंडिडेट सैंपलिंग, इनके लिए अनुमानित संभावनाओं और उनसे जुड़े लॉस टर्म का हिसाब लगाती है:

• बीगल
• कुत्ता
• बाकी नेगेटिव क्लास का कोई रैंडम सबसेट (उदाहरण के लिए, बिल्ली, लौलीपॉप, फ़ेंस).

इसका मतलब है कि नेगेटिव क्लास, कम बार होने वाले नेगेटिव रिइंफ़ॉर्सेमेंट से तब तक सीख सकती हैं, जब तक पॉज़िटिव क्लास को हमेशा सही पॉज़िटिव रिइंफ़ॉर्सेमेंट मिलता रहे. यह बात, अनुभव से पता चली है.

ट्रेनिंग एल्गोरिदम की तुलना में, कैंडिडेट सैंपलिंग की सुविधा ज़्यादा बेहतर तरीके से काम करती है जो सभी नेगेटिव क्लास के लिए अनुमानों को कैलकुलेट करता है. खास तौर पर, ऐसा तब होता है, जब नेगेटिव क्लास की संख्या बहुत ज़्यादा है.

कैटगरी से जुड़ा डेटा

#fundamentals

ऐसी सुविधाएं जिनमें संभावित वैल्यू का कोई खास सेट हो. उदाहरण के लिए, traffic-light-state नाम की कैटगरी वाली किसी सुविधा पर विचार करें. इसमें इन तीन में से सिर्फ़ एक वैल्यू हो सकती है:

• red
• yellow
• green

traffic-light-state को कैटगरी वाली सुविधा के तौर पर दिखाकर, कोई मॉडल ड्राइवर के व्यवहार पर red, green, और yellow के अलग-अलग असर के बारे में जान सकता है.

कैटगरी वाली सुविधाओं को कभी-कभी अलग-अलग सुविधाएं भी कहा जाता है.

संख्या वाले डेटा के साथ तुलना करें.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में कैटगरी वाले डेटा के साथ काम करना देखें.

कैज़ल लैंग्वेज मॉडल

#language

एकतरफ़ा लैंग्वेज मॉडल का समानार्थी शब्द.

इसके लिए, दो-तरफ़ा भाषा का मॉडल देखें लैंग्वेज मॉडलिंग में, अलग-अलग दिव्यांगों के लिए अलग-अलग तरीके अपनाए.

सेंट्रोइड

#clustering

क्लस्टर का केंद्र, जिसे k-means या k-median एल्गोरिदम. जैसे, अगर k की वैल्यू 3 है, तो k-मीन या k-median एल्गोरिदम, तीन सेंट्रोइड ढूंढता है.

ज़्यादा जानकारी के लिए, क्लस्टरिंग कोर्स में क्लस्टरिंग एल्गोरिदम देखें.

सेंट्राइड पर आधारित क्लस्टरिंग

#clustering

क्लस्टरिंग एल्गोरिदम की एक कैटगरी, जो डेटा को बिना हैरारकी वाले क्लस्टर में व्यवस्थित करती है. सेंट्राइड पर आधारित क्लस्टरिंग एल्गोरिदम में सबसे ज़्यादा इस्तेमाल किया जाने वाला एल्गोरिदम k-means है.

हैरारकल क्लस्टरिंग से अलग एल्गोरिदम पर काम करता है.

क्लस्टरिंग एल्गोरिदम देखें ज़्यादा जानकारी के लिए क्लस्टरिंग कोर्स में जाएं.

चेन-ऑफ़-थॉट प्रॉम्प्ट

#language

#generativeAI

एक प्रॉम्प्ट इंजीनियरिंग तकनीक, जो एक बड़े लैंग्वेज मॉडल (एलएलएम) में, जो तर्क के साथ, सिलसिलेवार तरीक़े से. उदाहरण के लिए, इस प्रॉम्प्ट पर ध्यान दें और दूसरे वाक्य पर खास ध्यान दें:

7 सेकंड में 0 से 60 मील प्रति घंटे की रफ़्तार तक पहुंचने वाली कार में, ड्राइवर को कितने जी फ़ोर्स का अनुभव होगा? जवाब में, काम के सभी कैलकुलेशन दिखाएं.

एलएलएम का जवाब इस तरह का हो सकता है:

• वैल्यू 0, 60, और 7 जोड़ते हुए, फ़िज़िक्स के फ़ॉर्मूले का क्रम दिखाएं ज़रूरत के हिसाब से डाला जा सकता है.
• बताएं कि उसने उन फ़ॉर्मूला को क्यों चुना और अलग-अलग वैरिएबल का क्या मतलब है.

चेन-ऑफ़-विचार, एलएलएम को सभी कैलकुलेशन करने के लिए मजबूर करता है, इससे आपको ज़्यादा सही जवाब मिल सकता है. इसके अलावा, सिलसिलेवार तरीके से सवाल पूछने की सुविधा की मदद से, उपयोगकर्ता एलएलएम के चरणों की जांच कर सकता है. इससे यह पता चलता है कि जवाब सही है या नहीं.

चैट

#language

#generativeAI

आम तौर पर, लार्ज लैंग्वेज मॉडल जैसे एमएल सिस्टम के साथ होने वाली बातचीत का कॉन्टेंट. चैट में की गई पिछली बातचीत (आपने क्या टाइप किया और बड़े लैंग्वेज मॉडल ने कैसे जवाब दिया) संदर्भ भी शामिल करें.

चैटबॉट, बड़े लैंग्वेज मॉडल का ऐप्लिकेशन है.

COVID-19 की जांच के लिए बनी चेकपोस्ट

ऐसा डेटा जो किसी मॉडल के पैरामीटर की स्थिति को कैप्चर करता है ट्रेनिंग के दौरान या ट्रेनिंग पूरी होने के बाद. उदाहरण के लिए, ट्रेनिंग के दौरान, ये काम किए जा सकते हैं:

1. ट्रेनिंग को जान-बूझकर या कुछ गड़बड़ियों की वजह से रोकना.
2. चेकपॉइंट कैप्चर करें.
3. इसके बाद, चेकपॉइंट को फिर से लोड करें. ऐसा किसी दूसरे हार्डवेयर पर किया जा सकता है.
4. ट्रेनिंग फिर से शुरू करें.

क्लास

#fundamentals

वह कैटगरी जो लेबल से जुड़ी हो सकती है. उदाहरण के लिए:

• बाइनरी क्लासिफ़िकेशन मॉडल में, जो स्पैम के तौर पर मार्क किया गया है, तो ये दो क्लास स्पैम हो सकती हैं और स्पैम नहीं.
• मल्टी-क्लास क्लासिफ़िकेशन मॉडल में कुत्तों की नस्लों की पहचान करने वाली कैटगरी, पूडल, बीगल, पग, वगैरह.

क्लासिफ़िकेशन मॉडल, क्लास का अनुमान लगाता है. इसके उलट, रिग्रेशन मॉडल किसी संख्या का अनुमान लगाता है देखी जा सकती है.

कैटगरी तय करना देखें देखें.

क्लासिफ़िकेशन मॉडल

#fundamentals

ऐसा मॉडल जिसका अनुमान क्लास है. उदाहरण के लिए, ये सभी क्लासिफ़िकेशन मॉडल नीचे दिए गए हैं:

• ऐसा मॉडल जो इनपुट वाक्य की भाषा का अनुमान लगाता है (फ़्रेंच? स्पैनिश? इटैलियन?).
• ऐसा मॉडल जो पेड़ों की प्रजातियों का अनुमान लगाता है (मेपल? ओक? Baobab?).
• ऐसा मॉडल जो किसी खास बीमारी के लिए, पॉज़िटिव या नेगेटिव क्लास का अनुमान लगाता है.

इसके उलट, रिग्रेशन मॉडल संख्याओं का अनुमान लगाते हैं की मदद से ज़्यादा काम किया जा सकता है.

आम तौर पर, क्लासिफ़िकेशन मॉडल दो तरह के होते हैं:

• बाइनरी क्लासिफ़िकेशन
• मल्टी-क्लास क्लासिफ़िकेशन

श्रेणी में बाँटने की सीमा

#fundamentals

बाइनरी क्लासिफ़िकेशन में, 0 से 1 के बीच की संख्या, जो लॉजिस्टिक रिग्रेशन मॉडल के रॉ आउटपुट को पॉज़िटिव क्लास या नेगेटिव क्लास के अनुमान में बदलती है. ध्यान दें कि क्लासिफ़िकेशन थ्रेशोल्ड एक ऐसी वैल्यू है जिसे कोई व्यक्ति चुनता है, न कि मॉडल ट्रेनिंग से चुनी गई वैल्यू.

लॉजिस्टिक रिग्रेशन मॉडल, 0 से 1 के बीच की रॉ वैल्यू दिखाता है. इसके बाद:

• अगर यह रॉ वैल्यू, क्लासिफ़िकेशन थ्रेशोल्ड से ज़्यादा है, तो पॉज़िटिव क्लास का अनुमान लगाया जाता है.
• अगर यह रॉ वैल्यू, कैटगरी के थ्रेशोल्ड से कम है, तो नेगेटिव क्लास का अनुमान लगाया जाता है.

उदाहरण के लिए, मान लीजिए कि क्लासिफ़िकेशन थ्रेशोल्ड 0.8 है. अगर रॉ वैल्यू 0.9 है, तो मॉडल पॉज़िटिव क्लास का अनुमान लगाता है. अगर रॉ वैल्यू 0.7 है, तो मॉडल ने नेगेटिव क्लास का अनुमान लगाया है.

क्लासिफ़िकेशन थ्रेशोल्ड चुनने से, फ़ॉल्स पॉज़िटिव और फ़ॉल्स नेगेटिव की संख्या पर काफ़ी असर पड़ता है.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

मॉडल या डेटासेट के बेहतर होने पर, इंजीनियर कभी-कभी कैटगरी तय करने के थ्रेशोल्ड में भी बदलाव करते हैं. जब डेटा की कैटगरी तय करने के लिए थ्रेशोल्ड में बदलाव होता है, पॉज़िटिव क्लास के अनुमान, अचानक नेगेटिव क्लास में बदल सकते हैं अब दुनिया भर के.

उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन बीमारी का अनुमान लगाने वाले मॉडल पर विचार करें. मान लें कि पहले साल में सिस्टम के चलने पर:

• किसी मरीज की रॉ वैल्यू 0.95 है.
• डेटा की कैटगरी तय करने के लिए थ्रेशोल्ड 0.94 है.

इसलिए, सिस्टम पॉज़िटिव क्लास का पता लगाता है. (मरीज़ डरते हुए कहता है, "ओह, नहीं! मुझे तबीयत ठीक नहीं है!")

एक साल बाद, शायद अब ये वैल्यू कुछ इस तरह दिखेंगी:

• एक ही मरीज़ के लिए रॉ वैल्यू 0.95 ही रहती है.
• क्लासिफ़िकेशन थ्रेशोल्ड 0.97 हो जाता है.

इसलिए, सिस्टम अब उस मरीज को नेगेटिव क्लास के तौर पर फिर से कैटगरी में बांटता है. ("आपका दिन शुभ हो! मुझे बीमारी नहीं है.") एक ही मरीज़. अलग-अलग तरह की जांच.

---

थ्रेशोल्ड और गड़बड़ी के बारे में जानकारी देखें मैट्रिक्स देखें.

वर्ग-असंतुलित डेटासेट

#fundamentals

क्लासिफ़िकेशन सवाल के लिए डेटासेट, जिसमें कुल संख्या हर क्लास के लेबल में काफ़ी अंतर होता है. उदाहरण के लिए, एक बाइनरी क्लासिफ़िकेशन डेटासेट पर विचार करें, जिसके दो लेबल इस तरह से बांटे गए हैं:

• 10,00,000 नेगेटिव लेबल
• 10 पॉज़िटिव लेबल

नेगेटिव लेबल और पॉज़िटिव लेबल का अनुपात 1,00,000 से 1 है. इसलिए, यह क्लास-असंतुलित डेटासेट है.

इसके उलट, नीचे दिया गया डेटासेट क्लास-असंतुलित नहीं है, क्योंकि नेगेटिव लेबल और पॉज़िटिव लेबल का अनुपात 1 के करीब है:

• 517 नेगेटिव लेबल
• 483 पॉज़िटिव लेबल

कई क्लास वाले डेटासेट को क्लास-असंतुलित भी माना जा सकता है. उदाहरण के लिए, निम्न मल्टी-क्लास क्लासिफ़िकेशन डेटासेट भी क्लास असंतुलित है, क्योंकि एक लेबल में अन्य दो की तुलना में कहीं ज़्यादा उदाहरण हैं:

• क्लास "ग्रीन" वाले 1,000,000 लेबल
• "बैंगनी" क्लास वाले 200 लेबल
• "नारंगी" क्लास वाले 350 लेबल

एंट्रॉपी, मैजरिटी क्लास, और अल्पसंख्यक वर्ग के नाम से जाना जाता है.

क्लिपिंग

#fundamentals

एक ऐसी तकनीक जिसकी मदद से आउटलायर को हैंडल किया जा सकता है इनमें से कोई एक या दोनों शर्तें:

• feature की वैल्यू को, तय सीमा से ज़्यादा होने पर, तय सीमा तक कम करना.
• उस सीमा तक कम से कम थ्रेशोल्ड से भी कम में सुविधा की वैल्यू बढ़ाना कम से कम थ्रेशोल्ड.

उदाहरण के लिए, मान लें कि किसी खास सुविधा के लिए, 40 से 60 की सीमा से बाहर की वैल्यू की संख्या 0.5% से कम है. इस मामले में, ये काम किए जा सकते हैं:

• अगर सभी वैल्यू 60 (ज़्यादा से ज़्यादा थ्रेशोल्ड) से ज़्यादा हैं, तो उन्हें 60 करने के लिए क्लिप करें.
• अगर वैल्यू 40 (कम से कम थ्रेशोल्ड) से कम है, तो उसे 40 करने के लिए क्लिप करें.

आउटलायर की वजह से, मॉडल को नुकसान पहुंच सकता है. इसकी वजह से कभी-कभी वेट की परफ़ॉर्मेंस होती है ट्रेनिंग के दौरान ओवरफ़्लो हो सकता है. कुछ आउटलायर, सटीक जानकारी जैसी मेट्रिक को काफ़ी खराब कर सकते हैं. क्लिप बनाना, सीमित करने की सामान्य तकनीक है कोई नुकसान नहीं पहुंचाता है.

ग्रेडिएंट क्लिपिंग फ़ोर्स ट्रेनिंग के दौरान, तय की गई रेंज में ग्रेडिएंट वैल्यू.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में न्यूमेरिकल डेटा: नॉर्मलाइज़ेशन देखें.

Cloud TPU

#TensorFlow

#GoogleCloud

Google Cloud पर मशीन लर्निंग वर्कलोड को तेज़ करने के लिए बनाया गया, खास हार्डवेयर एक्सेलरेटर.

क्लस्टरिंग

#clustering

मिलते-जुलते उदाहरणों को ग्रुप में बांटना. ऐसा खास तौर पर, बिना निगरानी वाले लर्निंग के दौरान किया जाता है. सभी उदाहरणों को ग्रुप में रखा जाता है. कोई व्यक्ति, वैकल्पिक रूप से हर क्लस्टर का मतलब बता सकता है.

कई क्लस्टरिंग एल्गोरिदम मौजूद हैं. उदाहरण के लिए, k-means एल्गोरिदम, उदाहरणों को सेंट्रॉइड के आस-पास होने के आधार पर क्लस्टर करता है. इसका उदाहरण नीचे दिए गए डायग्राम में दिया गया है:

इसके बाद, एक मानव शोधकर्ता इन क्लस्टर की समीक्षा कर सकता है और, उदाहरण के लिए, लेबल क्लस्टर 1 को "बौने पेड़" के तौर पर चुनें और क्लस्टर 2 को "पूरे आकार के पेड़" के तौर पर चुनें.

एक अन्य उदाहरण के रूप में, केंद्र बिंदु से उदाहरण की दूरी को इस तरह दिखाया गया है:

ज़्यादा जानकारी के लिए, क्लस्टरिंग कोर्स देखें.

साथ मिलकर अडैप्ट करना

जब न्यूरल, ट्रेनिंग डेटा में पैटर्न का अनुमान लगाते हैं, तो वे पूरी तरह से नेटवर्क के व्यवहार पर भरोसा करने के बजाय, खास तौर पर दूसरे न्यूरल के आउटपुट पर भरोसा करते हैं. जब साथ मिलकर बनने वाले पैटर्न पुष्टि करने वाले डेटा में मौजूद नहीं होते हैं, तो साथ मिलकर बदलाव करने की वजह से ओवरफ़िटिंग होती है. ड्रॉपआउट रेगुलराइज़ेशन से, एक साथ अडैप्ट होने की प्रक्रिया कम हो जाती है, क्योंकि ड्रॉपआउट से यह पक्का होता है कि न्यूरॉन सिर्फ़ कुछ खास न्यूरॉन पर निर्भर न हों.

मिलकर काम करने के लिए फ़िल्टर करना

#recsystems

किसी उपयोगकर्ता की दिलचस्पियों के बारे में अनुमान लगाना कई अन्य उपयोगकर्ताओं की पसंद के हिसाब से. कोलैबोरेटिव फ़िल्टरिंग का इस्तेमाल अक्सर सुझाव देने वाले सिस्टम में किया जाता है.

सहयोगी देखें फ़िल्टर करना देखें.

कॉन्सेप्ट ड्रिफ़्ट

सुविधाओं और लेबल के बीच के संबंध में बदलाव. समय के साथ, कॉन्सेप्ट ड्रिफ़्ट की वजह से मॉडल की क्वालिटी कम हो जाती है.

ट्रेनिंग के दौरान, मॉडल ट्रेनिंग सेट में मौजूद फ़ीचर और उनके लेबल के बीच के संबंध को समझता है. अगर ट्रेनिंग सेट में मौजूद लेबल, असल दुनिया के लिए अच्छे प्रॉक्सी हैं, तो मॉडल को असल दुनिया के लिए अच्छे अनुमान देने चाहिए. हालांकि, कॉन्सेप्ट ड्रिफ़्ट की वजह से, मॉडल के अनुमान समय के साथ खराब होने लगते हैं.

उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन का इस्तेमाल करें जो यह अनुमान लगाता है कि कोई कार मॉडल "ईंधन की बचत" वाला मॉडल है या नहीं. इसका मतलब है कि ये सुविधाएं हो सकती हैं:

• कार का वज़न
• इंजन कंप्रेशन
• ट्रांसमिशन टाइप

जब लेबल इनमें से कोई एक हो:

• ईंधन की बचत
• ईंधन की खपत ज़्यादा होती है

हालांकि, "ईंधन की बचत करने वाली कार" रखना बदल रहा है. साल 1994 में कम ईंधन खर्च करने वाली के तौर पर लेबल की गई कार को साल 2024 में ज़्यादा ईंधन खर्च करने वाली के तौर पर लेबल किया जाएगा. कॉन्सेप्ट ड्रिफ़्ट की समस्या वाले मॉडल से, समय के साथ कम और कम काम के अनुमान मिलते हैं.

नॉनस्टेशनरिटी की मदद से तुलना करें. साथ ही, इनके बीच अंतर बताएं.

अतिरिक्त नोट के लिए आइकॉन पर क्लिक करें.

कॉन्सेप्ट ड्रिफ़्ट की भरपाई करने के लिए, मॉडल को कॉन्सेप्ट ड्रिफ़्ट की दर से ज़्यादा तेज़ी से फिर से ट्रेन करें. उदाहरण के लिए, अगर कॉन्सेप्ट ड्रिफ़्ट मॉडल की सटीक जानकारी को हर दो महीने में बेहतर मार्जिन हासिल करें. इसके बाद, अपने मॉडल को बार-बार ट्रेनिंग दें दो महीनों से कम समय लगता है.

---

स्थिति

#df

फ़ैसला लेने वाले ट्री में, ऐसा कोई भी नोड जो किसी एक्सप्रेशन का आकलन करता है. उदाहरण के लिए, नीचे दिए गए फ़ैसले के पेड़ के हिस्से में दो शर्तें हैं:

स्थिति को स्प्लिट या टेस्ट भी कहा जाता है.

पत्ते के साथ कंट्रास्ट की स्थिति.

यह भी देखें:

• बाइनरी कंडिशन
• नॉन-बाइनरी कंडिशन.
• axis-aligned-condition
• oblique-condition

ज़्यादा जानकारी के लिए, डिसीज़न फ़ॉरेस्ट कोर्स में शर्तों के टाइप देखें.

बातचीत

#language

गलत जानकारी का पर्यायवाची.

भ्रम की तुलना में, शायद कल्पना करना तकनीकी तौर पर ज़्यादा सटीक शब्द है. हालांकि, पहले हैलुसिनेशन लोकप्रिय हुआ.

कॉन्फ़िगरेशन

मॉडल को ट्रेनिंग देने के लिए इस्तेमाल की जाने वाली शुरुआती प्रॉपर्टी वैल्यू को असाइन करने की प्रोसेस, शामिल हैं:

• मॉडल की कॉम्पोज़िंग लेयर
• डेटा की लोकेशन
• हाइपर पैरामीटर, जैसे:
  • लर्निंग रेट
  • दोहरावों
  • ऑप्टिमाइज़र
  • लॉस फ़ंक्शन

मशीन लर्निंग प्रोजेक्ट में, कॉन्फ़िगरेशन को किसी खास कॉन्फ़िगरेशन फ़ाइल या कॉन्फ़िगरेशन लाइब्रेरी का इस्तेमाल करके किया जा सकता है. जैसे:

• HParam
• जीन
• फ़िडल

एक पक्ष की पुष्टि करना

#fairness

किसी खास विषय में जानकारी को खोजने, उसकी व्याख्या करने, उसके पक्ष में होने और उसे याद करने की जिससे किसी व्यक्ति की पहले से मौजूद मान्यताओं या परिकल्पनाओं की पुष्टि हो सके. मशीन लर्निंग डेवलपर अनजाने में जानकारी इकट्ठा कर सकते हैं या लेबल कर सकते हैं डेटा का इस तरह इस्तेमाल करना जिससे मौजूदा उपयोगकर्ताओं की मौजूदा मान्यताएं. कंफ़र्मेशन बायस, एक तरह का अनुमान है.

एक्सपेरिमेंटर का पूर्वाग्रह, पुष्टि करने के पूर्वाग्रह का एक रूप है. इसमें, एक्सपेरिमेंटर तब तक मॉडल को ट्रेनिंग देता रहता है, जब तक कि पहले से मौजूद किसी अनुमान की पुष्टि नहीं हो जाती.

कन्फ़्यूज़न मैट्रिक्स

#fundamentals

NxN टेबल, जिसमें सही और गलत अनुमानों की संख्या की खास जानकारी होती है जिसे क्लासिफ़िकेशन मॉडल बनाया गया है. उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन मॉडल:

	ट्यूमर (अनुमानित)	ट्यूमर नहीं (अनुमानित)
टमर (ग्राउंड ट्रूथ)	18 (TP)	1 (FN)
ट्यूमर नहीं (ग्राउंड ट्रूथ)	6 (FP)	452 (TN)

पहले वाले भ्रम की मेट्रिक में ये चीज़ें दिखती हैं:

• उन 19 भविष्यवाणियों में से जिनमें असल सच था, टुमोर था इस मॉडल ने सही कैटगरी में 18 और गलती से 1 की कैटगरी दी है.
• जिन 458 अनुमानों में ग्राउंड ट्रूथ ट्यूमर नहीं था उनमें से मॉडल ने 452 को सही कैटगरी में और 6 को गलत कैटगरी में रखा.

मल्टी-क्लास क्लासिफ़िकेशन में भ्रम की स्थिति दिखाने वाला मैट्रिक्स समस्या के बारे में जानने से, गलतियों के पैटर्न को पहचानने में मदद मिलती है. उदाहरण के लिए, तीन क्लास वाले कई क्लास के क्लासिफ़िकेशन मॉडल के लिए, नीचे दिया गया कन्फ़्यूज़न मैट्रिक देखें. यह मॉडल, तीन अलग-अलग तरह के आइरिस (Virginica, Versicolor, और Setosa) की कैटगरी तय करता है. जब वर्जिनिका की ज़मीनी असली थी, तो भ्रम की स्थिति दिखाने वाले मैट्रिक्स से पता चलता है कि मॉडल, ग़लती से उस मॉडल Setosa की तुलना में Versicolor का अनुमान लगाएं:

	सेटोसा (अनुमानित)	वर्सीकलर (अनुमानित)	वर्जिनिका (अनुमानित)
सेटोसा (ग्राउंड ट्रूथ)	88	12	0
वर्सिकोलर (ग्राउंड ट्रूथ)	6	141	7
Virginica (ग्राउंड ट्रूथ)	2	27	109

इसका एक और उदाहरण देखें. भ्रम की स्थिति दिखाने वाले मैट्रिक्स से यह पता चल सकता है कि मॉडल यह पता लगाने के लिए कि हाथ से लिखे गए अंक गलती से 4 के बजाय 9 का अनुमान लगाते हैं, या गलती से 7 के बजाय 1 का अनुमान लगाती है.

कन्फ़्यूज़न मैट्रिक में, परफ़ॉर्मेंस की कई मेट्रिक का हिसाब लगाने के लिए ज़रूरी जानकारी होती है. इनमें प्रिसिज़न और रीकॉल शामिल हैं.

चुनाव क्षेत्र की पार्सिंग

#language

किसी वाक्य को व्याकरण के हिसाब से छोटे-छोटे स्ट्रक्चर में बांटना. एमएल सिस्टम का बाद का हिस्सा, जैसे कि नैचुरल लैंग्वेज अंडरस्टैंडिंग मॉडल, मूल वाक्य की तुलना में कॉम्पोनेंट को ज़्यादा आसानी से पार्स कर सकता है. उदाहरण के लिए, इस वाक्य पर विचार करें:

मेरे दोस्त ने दो बिल्लियों को गोद लिया है.

निर्वाचन क्षेत्र पार्सर इस वाक्य को इसमें ये दो लोग शामिल हैं:

• मेरा दोस्त एक संज्ञा वाक्यांश है.
• अनुपद दो बिल्लियों को क्रिया के तौर पर लिखा जाता है.

इन कॉम्पोनेंट को और छोटे कॉम्पोनेंट में बांटा जा सकता है. उदाहरण के लिए, क्रिया के वाक्यांश

दो बिल्लियों को गोद लिया

इन्हें इन ग्रुप में बांटा जा सकता है:

• adopted एक क्रिया है.
• two cats, एक और संज्ञा वाक्यांश है.

कॉन्टेक्स्ट के हिसाब से भाषा जोड़ना

#language

#generativeAI

एम्बेड करने का ऐसा तरीका जो शब्दों और वाक्यांशों को उसी तरह "समझता" है जिस तरह किसी भाषा के मूल निवासी उसे समझते हैं. प्रासंगिक भाषा एम्बेड करने की सुविधा मुश्किल सिंटैक्स, सिमेंटिक्स, और कॉन्टेक्स्ट को समझ सकती है.

उदाहरण के लिए, अंग्रेज़ी के शब्द cow के एम्बेड देखें. word2vec जैसे पुराने एम्बेडिंग, अंग्रेज़ी के शब्दों को इस तरह दिखा सकते हैं कि एम्बेडिंग स्पेस में गाय से बैल की दूरी, भेड़ (मादा भेड़) से बकरा (नर भेड़) या महिला से पुरुष की दूरी जैसी हो. प्रासंगिक भाषा एम्बेड करने की सुविधा से, वीडियो को और बेहतर बनाने के लिए, कभी-कभी अंग्रेज़ी बोलने वाले लोगों की पहचान की जा सकती है आम तौर पर गाय शब्द का इस्तेमाल गाय या बैल का मतलब समझने के लिए किया जाता है.

कॉन्टेक्स्ट विंडो

#language

#generativeAI

किसी दिए गए प्रॉम्प्ट में, मॉडल कितने टोकन प्रोसेस कर सकता है. कॉन्टेक्स्ट विंडो जितनी बड़ी होगी, मॉडल उतनी ही ज़्यादा जानकारी का इस्तेमाल करके प्रॉम्प्ट के लिए बेहतर और एक जैसे जवाब दे पाएगा.

लगातार चलने वाली सुविधा

#fundamentals

फ़्लोटिंग-पॉइंट सुविधा जिसमें कई विकल्प हो सकते हैं वैल्यू, जैसे कि तापमान या वज़न.

अलग-अलग सुविधा से कंट्रास्ट करें.

आसानी से इकट्ठा किया जाने वाला सैंपल

तेज़ी से एक्सपेरिमेंट चलाने के लिए, ऐसे डेटासेट का इस्तेमाल करना जो वैज्ञानिक तरीके से इकट्ठा नहीं किया गया है. बाद में, यह ज़रूरी होगा कि आप वैज्ञानिक रूप से इकट्ठा किए जाएं डेटासेट.

कन्वर्जेंस

#fundamentals

यह वह स्थिति होती है जब हर इटरेशन के साथ लॉस वैल्यू बहुत कम या बिल्कुल भी नहीं बदलती. उदाहरण के लिए, निम्न लॉस कर्व, करीब 700 बार दोहराया गया है:

कोई मॉडल तब कहता है, जब अतिरिक्त ट्रेनिंग काम नहीं करती मॉडल को बेहतर बनाने में मदद करता है.

डीप लर्निंग में, नुकसान की वैल्यू कभी-कभी स्थिर रहती हैं या घटते क्रम में कई बार दोहराया गया. लगातार लॉस वैल्यू की लंबी अवधि के दौरान, आपको कुछ समय के लिए कन्वर्ज़न होने का गलत एहसास हो सकता है.

शुरुआती स्टॉप भी देखें.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में मॉडल कन्वर्ज़न और लॉस कर्व देखें.

कॉनवैक्स फ़ंक्शन

ऐसा फ़ंक्शन जिसमें फ़ंक्शन के ग्राफ़ के ऊपर का क्षेत्र कॉन्वेक्स सेट. प्रोटोटाइप के तौर पर इस्तेमाल होने वाले उत्तल फ़ंक्शन का आकार, U अक्षर जैसा होता है. उदाहरण के लिए, ये सभी उत्तल फ़ंक्शन हैं:

इसके उलट, नीचे दिया गया फ़ंक्शन उत्तल नहीं है. ध्यान दें कि ग्राफ़ के ऊपर मौजूद क्षेत्र, उत्तल सेट नहीं है:

किसी स्ट्रिकली कन्वेक्स फ़ंक्शन में, सिर्फ़ एक स्थानीय कम से कम पॉइंट होता है, जो यह वैश्विक न्यूनतम बिंदु भी है. ये क्लासिक U के आकार वाले फ़ंक्शन हैं सख्ती से उत्तल फ़ंक्शन. हालांकि, कुछ उत्तल फ़ंक्शन (उदाहरण के लिए, सीधी रेखाएं) यू-आकार के नहीं होते.

गणित के बारे में ज़्यादा जानकारी पाने के लिए, इस आइकॉन पर क्लिक करें.

कई सामान्य लॉस फ़ंक्शन, जिनमें शामिल हैं यहां वेव्स फलन के बारे में बताया गया है:

• L₂ नुकसान
• लॉग का नुकसान
• L₁ रेगुलराइज़ेशन
• L₂ रेगुलराइज़ेशन

ग्रेडिएंट डिसेंट के कई वैरिएंट के लिए, यह पक्का है कि वे सख्ती से उत्तल फ़ंक्शन के कम से कम वैल्यू के करीब एक पॉइंट ढूंढेंगे. इसी तरह, स्टोकेस्टिक ग्रेडिएंट ढलान बहुत ज़्यादा संभावना है (हालांकि, इसकी कोई गारंटी नहीं है) पूरी तरह से उत्तेजित करने वाला फ़ंक्शन.

दो उत्तल फ़ंक्शन का योग (उदाहरण के लिए, L₂ लॉस + L₁ रेगुलराइज़ेशन) एक कन्वर्ज़न फ़ंक्शन है.

डीप मॉडल कभी भी कॉन्वेक्स फ़ंक्शन नहीं होते. दिलचस्प बात यह है कि कॉन्वेक्स ऑप्टिमाइज़ेशन के लिए डिज़ाइन किए गए एल्गोरिदम, डीप नेटवर्क पर काफ़ी अच्छे समाधान ढूंढते हैं. भले ही, यह गारंटी नहीं है कि वे समाधान, ग्लोबल मिनिमम हों.

---

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में कंवरजेंस और उत्तल फ़ंक्शन देखें.

कन्वर्ज़न ऑप्टिमाइज़ेशन

गणित की तकनीकों का इस्तेमाल करने की प्रोसेस, जैसे कि ग्रेडिएंट डिसेंट कम से कम Convex फ़ंक्शन. मशीन लर्निंग पर काफ़ी रिसर्च की गई है. इसका फ़ोकस, समस्याओं को उत्तेजित करने वाली ऑप्टिमाइज़ेशन समस्याओं के रूप में और उन समस्याओं को ज़्यादा हल करने में हैं.

पूरी जानकारी के लिए, बॉयड और वेंडेनबर्ग देखें. Convex ऑप्टिमाइज़ेशन.

कॉनवेक्स सेट

इयूक्लिडीन स्पेस का सबसेट, जैसे कि यूक्लिडीन स्पेस में मौजूद दो बिंदुओं के बीच बनाई जाने वाली लाइन सबसेट पूरी तरह से सबसेट के अंदर रहता है. उदाहरण के लिए, नीचे दिए गए दो आकार, उत्तल सेट होते हैं:

इसके उलट, ये दोनों आकार उत्तल सेट नहीं हैं:

कॉन्वोल्यूशन

#image

गणित में, आम तौर पर दो फ़ंक्शन का मिक्स होता है. मशीन में कॉन्वोल्यूशन कॉन्वोल्यूशन और फ़िल्टर और इनपुट मैट्रिक्स वज़न को ट्रेनिंग देने के लिए.

मशीन लर्निंग में "कंवोल्यूशन" शब्द का इस्तेमाल, अक्सर कंवोल्यूशन ऑपरेशन या कंवोल्यूशन लेयर के लिए किया जाता है.

जटिलताओं के बिना, मशीन लर्निंग एल्गोरिदम को बड़े टेंसर में हर सेल के लिए अलग-अलग वज़न. उदाहरण के लिए, 2K x 2K इमेज पर ट्रेनिंग करने वाले मशीन लर्निंग एल्गोरिदम को 40 लाख अलग-अलग वेट ढूंढने होंगे. कॉन्वोल्यूशन की मदद से, मशीन लर्निंग एल्गोरिदम को सिर्फ़ कॉन्वोल्यूशनल फ़िल्टर में हर सेल के लिए वेट ढूंढना होता है. इससे मॉडल को ट्रेन करने के लिए ज़रूरी मेमोरी काफ़ी कम हो जाती है. जब कॉन्वलूशनल फ़िल्टर लागू किया जाता है, तो इसे बस सेल में इस तरह दोहराया जाता है कि हर एक को गुणा किया जाता है फ़िल्टर के हिसाब से फ़िल्टर करें.

ज़्यादा जानकारी के लिए, इमेज क्लासिफ़िकेशन कोर्स में कन्वोल्यूशनल नेटवर्क के बारे में जानकारी देखें.

कॉन्वोल्यूशन फ़िल्टर

#image

दो अभिनेताओं में से एक कन्वोलूशनल ऑपरेशन. (अन्य कलाकार इनपुट मैट्रिक्स का एक हिस्सा है.) कॉन्वोल्यूशनल फ़िल्टर एक ऐसी मैट्रिक होती है जिसका रैंक, इनपुट मैट्रिक के रैंक जैसा होता है, लेकिन उसका साइज़ छोटा होता है. उदाहरण के लिए, 28x28 इनपुट मैट्रिक के लिए, फ़िल्टर 28x28 से छोटा कोई भी 2D मैट्रिक हो सकता है.

फ़ोटो में बदलाव करने के लिए, आम तौर पर कॉन्वोल्यूशनल फ़िल्टर की सभी सेल को एक और शून्य के एक तय पैटर्न पर सेट किया जाता है. मशीन लर्निंग में, आम तौर पर कॉन्वोल्यूशनल फ़िल्टर को रैंडम नंबर से शुरू किया जाता है. इसके बाद, नेटवर्क सही वैल्यू ट्रेन करता है.

ज़्यादा जानकारी के लिए, इमेज क्लासिफ़िकेशन कोर्स में कंवोल्यूशन देखें.

कॉन्वोल्यूशनल लेयर

#image

डीप न्यूरल नेटवर्क की एक लेयर, जिसमें कन्वोलूशनल फ़िल्टर, इनपुट के साथ पास करता है मैट्रिक्स. उदाहरण के लिए, नीचे दी गई 3x3 वैल्यू का इस्तेमाल करें कॉन्वोल्यूशन फ़िल्टर:

नीचे दिया गया ऐनिमेशन 9 वाली एक कॉन्वलूशन लेयर दिखाता है 5x5 इनपुट मैट्रिक्स से जुड़ी कॉन्वोल्यूशनल ऑपरेशंस. ध्यान दें कि हर कॉन्वोल्यूशनल ऑपरेशन, इनपुट मैट्रिक्स के अलग-अलग 3x3 स्लाइस पर काम करता है. नतीजे के तौर पर मिलने वाले 3x3 मैट्रिक्स (दाईं ओर) में 9 के नतीजे होते हैं कॉन्वोल्यूशनल ऑपरेशंस:

पूरी तरह से कनेक्ट है देखें लेयर ज़्यादा जानकारी के लिए, इमेज क्लासिफ़िकेशन कोर्स में जाएं.

कॉन्वोलूशनल न्यूरल नेटवर्क

#image

ऐसा न्यूरल नेटवर्क जिसमें कम से कम एक लेयर, कॉन्वोलूशन लेयर. सामान्य कॉन्वलूशन न्यूरल नेटवर्क में नीचे दी गई लेयर के कुछ कॉम्बिनेशन शामिल हैं:

• कॉन्वोलूशन लेयर
• पूलिंग लेयर
• सघन लेयर

कॉन्वोल्यूशनल न्यूरल नेटवर्क, कुछ तरह की समस्याओं को हल करने में काफ़ी कारगर साबित हुए हैं. जैसे, इमेज की पहचान करना.

कॉन्वोल्यूशनल ऑपरेशन

#image

गणित का यह दो चरणों वाला ऑपरेशन:

1. एलिमेंट के हिसाब से मल्टीप्लिकेशन ऑफ़ कॉन्वोल्यूशन फ़िल्टर और इनपुट मैट्रिक्स. (इनपुट मैट्रिक्स के स्लाइस की रैंक और साइज़, कॉन्वोल्यूशनल फ़िल्टर जैसा ही होता है.)
2. नतीजे के तौर पर मिले प्रॉडक्ट मैट्रिक्स में सभी वैल्यू का योग.

उदाहरण के लिए, यहां दिए गए 5x5 इनपुट मैट्रिक्स पर गौर करें:

अब इस 2x2 कॉन्वोल्यूशनल फ़िल्टर की कल्पना करें:

हर कॉन्वलूशनल ऑपरेशन में इनपुट मैट्रिक्स. उदाहरण के लिए, मान लें कि हम इनपुट मैट्रिक्स के ऊपर बाईं ओर. इसलिए, यह स्लाइस इस तरह दिखता है:

कन्वोल्यूशन लेयर में, कन्वोल्यूशन ऑपरेशन की एक सीरीज़ होती है. हर ऑपरेशन, इनपुट मैट्रिक्स के अलग-अलग स्लाइस पर काम करता है.

लागत

लॉस का समानार्थी शब्द.

को-ट्रेनिंग

सेमी-सुपरवाइज़्ड लर्निंग का तरीका, खास तौर पर तब फ़ायदेमंद होता है, जब ये सभी शर्तें पूरी होती हैं:

• बिना लेबल वाले उदाहरणों का अनुपात डेटासेट में, लेबल किए गए उदाहरणों की संख्या ज़्यादा है.
• यह एक वर्गीकरण समस्या है (बाइनरी या मल्टी-क्लास).
• dataset में ऐसी अनुमानित सुविधाएं जो एक-दूसरे से अलग हैं और एक-दूसरे की पूरक हैं.

को-ट्रेनिंग, अलग-अलग तरह के सिग्नल को बेहतर बनाती है. उदाहरण के लिए, किसी क्लासिफ़िकेशन मॉडल पर विचार करें इस्तेमाल की गई अलग-अलग कारों को अच्छी या खराब की कैटगरी में रखता है. अनुमान लगाने वाली सुविधाओं का एक सेट, कार के साल, मैन्युफ़ैक्चरर, और मॉडल जैसी सभी जानकारी पर फ़ोकस कर सकता है. वहीं, अनुमान लगाने वाली सुविधाओं का दूसरा सेट, कार के पिछले मालिक के ड्राइविंग रिकॉर्ड और कार के रखरखाव के इतिहास पर फ़ोकस कर सकता है.

को-ट्रेनिंग के बारे में बताने वाला मूल पेपर लेबल और बिना लेबल वाले डेटा को, को-ट्रेनिंग: ब्लम और मिशेल.

काउंटरफ़ैक्टुअल फ़ेयरनेस

#fairness

यह एक निष्पक्षता मेट्रिक है. इससे यह पता चलता है कि क्लासिफ़ायर, एक व्यक्ति के लिए वही नतीजा देता है या नहीं जो एक या एक से ज़्यादा संवेदनशील एट्रिब्यूट के अलावा, पहले व्यक्ति से मिलता-जुलता दूसरे व्यक्ति के लिए देता है. इसके लिए, क्लासिफ़ायर का आकलन करना काउंटरफ़ैक्चुअल फ़ेयरनेस एक ऐसा तरीका है जिसकी मदद से, यह पता लगाया जा सकता है कि किन सोर्स से यह पता लगाया जा सकता है कि को ध्यान में रखा जाना चाहिए.

ज़्यादा जानकारी के लिए, इनमें से किसी एक को देखें:

• मशीन लर्निंग क्रैश कोर्स में, फ़ेयरनेस: काउंटरफ़ैक्टुअल फ़ेयरनेस के बारे में जानकारी.
• जब दुनिया टकराती है: काउंटरफ़ैक्चुअल अफ़वाहों को जोड़ना निष्पक्षता के साथ

कवरेज बायस

#fairness

चुनी गई वैल्यू में बायस देखें.

क्रैश ब्लॉसम

#language

ऐसा वाक्य या वाक्यांश जिसका मतलब साफ़ तौर पर न पता चल रहा हो. क्रैश ब्लॉसम, सामान्य भाषा को समझने में एक बड़ी समस्या है. उदाहरण के लिए, हेडलाइन रेड टेप से स्काईस्क्रेपर का निर्माण रुका एक क्रैश ब्लॉसम है, क्योंकि एनएलयू मॉडल हेडलाइन का मतलब, सही या फिर अलंकार के तौर पर समझ सकता है.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

उस रहस्यमयी हेडलाइन के बारे में बताने के लिए:

• लाल टेप का मतलब है इनमें से कोई एक:
  • चिपकने वाला
  • बहुत ज़्यादा नौकरशाही
• होल्ड्स अप का मतलब इनमें से किसी एक से हो सकता है:
  • स्ट्रक्चरल सपोर्ट
  • पैसे ट्रांसफ़र करने में देरी

---

आलोचक

#rl

Deep Q-Network का समानार्थी शब्द.

क्रॉस-एन्ट्रॉपी

लॉग लॉस का सामान्य तरीके से मल्टी-क्लास क्लासिफ़िकेशन. क्रॉस-एन्ट्रापी, दो संभाव्यता डिस्ट्रिब्यूशन के बीच के अंतर को मेज़र करता है. इन्हें भी देखें परेशानी.

क्रॉस-वैलिडेशन

यह अनुमान लगाने का एक तरीका है कि कोई मॉडल कितना सामान्य हो सकता है नया डेटा इकट्ठा करने के लिए, मॉडल को ओवरलैप न करने वाले एक या उससे ज़्यादा डेटा सबसेट के हिसाब से टेस्ट किया जाता है ट्रेनिंग सेट से रोका गया.

क्यूमुलेटिव डिस्ट्रीब्यूशन फ़ंक्शन (सीडीएफ़)

ऐसा फ़ंक्शन जो टारगेट वैल्यू से कम या उसके बराबर सैंपल की फ़्रीक्वेंसी तय करता है. उदाहरण के लिए, लगातार वैल्यू के सामान्य डिस्ट्रिब्यूशन पर विचार करें. सीडीएफ़ से पता चलता है कि करीब 50% सैंपल, माध्य से कम या उसके बराबर होने चाहिए. साथ ही, करीब 84% सैंपल, माध्य से एक स्टैंडर्ड डेविएशन कम या उसके बराबर होने चाहिए.

D

डेटा का विश्लेषण

सैंपल, मेज़रमेंट, और विज़ुअलाइज़ेशन का इस्तेमाल करके, डेटा को समझना. डेटा विश्लेषण खास तौर पर तब फ़ायदेमंद हो सकता है, जब डेटासेट पाने के लिए, किसी व्यक्ति का मॉडल बनाने से पहले ही डेटा इकट्ठा करना ज़रूरी होता है. यह एक्सपेरिमेंट को समझने और सिस्टम से जुड़ी समस्याओं को डीबग करने के लिए भी ज़रूरी है.

डेटा बढ़ाना

#image

मैन्युअल तरीके से इस आइटम की रेंज और संख्या बढ़ाना ट्रेनिंग के उदाहरण मौजूदा कॉन्टेंट को ज़्यादा उदाहरण बनाने के लिए, उदाहरण. उदाहरण के लिए, मान लें कि इमेज आपकी सुविधाओं में से एक है, लेकिन आपके डेटासेट में इमेज के ज़रूरत के मुताबिक उदाहरण नहीं हैं, ताकि मॉडल काम के असोसिएशन सीख सके. आम तौर पर, अपने डेटासेट में ज़रूरत के मुताबिक लेबल की गई इमेज जोड़ी जाती हैं, ताकि आपके मॉडल को सही तरीके से ट्रेन किया जा सके. अगर ऐसा नहीं किया जा सकता, तो डेटा को बेहतर बनाने की सुविधा हर इमेज को घुमा सकता है, स्ट्रेच कर सकता है, और रिफ़्लेक्शन कर सकता है. ऐसा करके, इमेज के कई वैरिएंट बनाए जा सकते हैं जिससे इमेज में साफ़ तौर पर ट्रेनिंग ली हुई है.

DataFrame

#fundamentals

मेमोरी में डेटासेट दिखाने के लिए, pandas का लोकप्रिय डेटा टाइप.

डेटाफ़्रेम, टेबल या स्प्रेडशीट की तरह ही होता है. DataFrame के हर कॉलम का एक नाम (हेडर) होता है. साथ ही, हर पंक्ति की पहचान एक यूनीक नंबर से की जाती है.

DataFrame में मौजूद हर कॉलम को 2D कलेक्शन की तरह बनाया जाता है. हालांकि, हर कॉलम को उसका डेटा टाइप असाइन किया जा सकता है.

pandas.DataFrame का आधिकारिक रेफ़रंस पेज भी देखें.

डेटा पैरलललिज़्म

ट्रेनिंग या अनुमान को स्केल करने का एक तरीका, जो कई डिवाइसों पर पूरे मॉडल की कॉपी बनाता है. इसके बाद, हर डिवाइस पर इनपुट डेटा का सबसेट भेजता है. डेटा पैरलललिज़्म की मदद से, बहुत बड़े बैच साइज़ पर ट्रेनिंग और अनुमान लगाने की सुविधा चालू की जा सकती है. हालांकि, डेटा पैरलललिज़्म के लिए ज़रूरी है कि मॉडल इतना छोटा हो कि वह सभी डिवाइसों पर फ़िट हो सके.

आम तौर पर, डेटा पैरलललिज़्म की मदद से, ट्रेनिंग और अनुमान लगाने की प्रोसेस तेज़ होती है.

मॉडल पैरलललिज़्म भी देखें.

डेटा सेट या डेटासेट

#fundamentals

रॉ डेटा का कलेक्शन, जो आम तौर पर (लेकिन खास तौर पर नहीं) एक ही तरह से व्यवस्थित होता है नीचे दिए गए फ़ॉर्मैट में शामिल हैं:

• स्प्रेडशीट
• CSV (कॉमा लगाकर अलग की गई वैल्यू) फ़ॉर्मैट में फ़ाइल

डेटासेट एपीआई (tf.data)

#TensorFlow

डेटा पढ़ने के लिए एक हाई-लेवल TensorFlow एपीआई और उसे एक मशीन लर्निंग एल्गोरिदम की ज़रूरत के हिसाब से बदल सकते हैं. tf.data.Dataset ऑब्जेक्ट, एलिमेंट के क्रम को दिखाता है. इसमें हर एलिमेंट में एक या एक से ज़्यादा टेंसर होते हैं. tf.data.Iterator ऑब्जेक्ट, Dataset के एलिमेंट का ऐक्सेस देता है.

फ़ैसला लेने की सीमा

इनके बीच में सेपरेटर क्लास ने सीखा मॉडल बाइनरी क्लास या मल्टी-क्लास क्लासिफ़िकेशन से जुड़ी समस्याएं. उदाहरण के लिए, नीचे दी गई इमेज में बाइनरी क्लासिफ़िकेशन की समस्या को दिखाया गया है. इसमें, ऑरेंज क्लास और नीले रंग की क्लास के बीच की सीमा को डिसीज़न बॉर्डर कहा जाता है:

डिसीज़न फ़ॉरेस्ट

#df

कई डिसिज़न ट्री से बनाया गया मॉडल. डिसीज़न फ़ॉरेस्ट, अपने डिसीज़न ट्री के अनुमान को इकट्ठा करके अनुमान लगाता है. डिसिज़न फ़ॉरेस्ट में ये लोकप्रिय चीज़ें शामिल हैं रैंडम फ़ॉरेस्ट और ग्रेडिएंट बूस्ट किए गए पेड़.

फ़ैसले देखें जंगल सेक्शन में जाएं.

फ़ैसला लेने के लिए थ्रेशोल्ड

क्लासिफ़िकेशन थ्रेशोल्ड का दूसरा नाम.

डिसीज़न ट्री

#df

निगरानी में रखा गया लर्निंग मॉडल, जिसमें स्थिति और ली जाने की जानकारी हैरारकी के हिसाब से व्यवस्थित की जाती है. उदाहरण के लिए, यह डिसिज़न ट्री है:

डिकोडर

#language

आम तौर पर, कोई भी एमएल सिस्टम जो प्रोसेस किए गए, घने या अंदरूनी डेटा को ज़्यादा रॉ, स्पैर्स या बाहरी डेटा में बदलता है.

डिकोडर अक्सर किसी बड़े मॉडल का हिस्सा होते हैं, जहां वे अक्सर एन्कोडर के साथ जोड़ा गया हो.

सिलसिलेवार टास्क में, डिकोडर इसकी शुरुआत एन्कोडर की मदद से जनरेट की गई अंदरूनी स्थिति से शुरू होती है, ताकि अगले चरण का अनुमान लगाया जा सके क्रम.

Transformer आर्किटेक्चर में डिकोडर की परिभाषा के लिए, Transformer देखें.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में बड़े लैंग्वेज मॉडल देखें.

डीप मॉडल

#fundamentals

ऐसा न्यूरल नेटवर्क जिसमें एक से ज़्यादा न्यूरल नेटवर्क हों छिपी हुई लेयर.

डीप मॉडल को डीप न्यूरल नेटवर्क भी कहा जाता है.

वाइड मॉडल से कंट्रास्ट अलग हो.

डीप न्यूरल नेटवर्क

डीप मॉडल के लिए समानार्थी शब्द.

डीप क्यू-नेटवर्क (DQN)

#rl

Q-लर्निंग में, एक डीप न्यूरल नेटवर्क जो Q-फ़ंक्शन का अनुमान लगाता है.

क्रिटिक, Deep Q-Network का एक समानार्थी शब्द है.

डेमोग्राफ़िक पैरिटी

#fairness

यह एक फ़ेयरनेस मेट्रिक होती है, जिसका समाधान सिर्फ़ तब होता है, जब मॉडल के क्लासिफ़िकेशन के नतीजे, इस बात पर निर्भर नहीं करते हैं कि दिया गया संवेदनशील एट्रिब्यूट.

उदाहरण के लिए, अगर लिलिपुटियन और ब्रॉबडिंगनियन, दोनों ही ग्लब्बडब्रिब यूनिवर्सिटी में आवेदन करते हैं, तो डेमोग्राफ़ी के हिसाब से समानता तब हासिल होती है, जब लिलिपुटियन और ब्रॉबडिंगनियन, दोनों के लिए स्वीकार किए गए लोगों का प्रतिशत एक जैसा हो. भले ही, एक ग्रुप औसतन दूसरे ग्रुप से ज़्यादा योग्य हो.

समान संभावना और समान अवसर के साथ तुलना करें. इनकी मदद से, संवेदनशील एट्रिब्यूट के आधार पर, एग्रीगेट में कैटगरी के नतीजे दिखाए जा सकते हैं. हालांकि, कुछ खास ग्राउंड ट्रूथ लेबल के लिए, संवेदनशील एट्रिब्यूट के आधार पर कैटगरी के नतीजे नहीं दिखाए जा सकते. यहां जाएं: "हमले की रणनीति एक-दूसरे पर हमला कर रही है जिसमें विज़ुअलाइज़ेशन के लिए, स्मार्ट मशीन लर्निंग के साथ भेदभाव करना" डेमोग्राफ़िक समानता के लिए ऑप्टिमाइज़ करते समय ट्रेडऑफ़ के बारे में जानना.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में निष्पक्षता: डेमोग्राफ़िक के हिसाब से बराबरी देखें.

ग़ैर-ज़रूरी आवाज़ें हटाना

#language

सेल्फ़-सुपरवाइज़्ड लर्निंग के लिए एक सामान्य तरीका, जिसमें:

1. डेटासेट में ग़ैर-ज़रूरी आवाज़ें कृत्रिम रूप से जोड़ी जाती हैं.
2. मॉडल, ग़ैर-ज़रूरी आवाज़ों को हटाने की कोशिश करता है.

ग़ैर-ज़रूरी आवाज़ें कम करने की सुविधा, बिना लेबल वाले उदाहरणों से सीखने में मदद करती है. ओरिजनल dataset को टारगेट के तौर पर इस्तेमाल किया जाता है या label और शोर वाला डेटा है.

कुछ मास्क किए गए लैंग्वेज मॉडल, ग़ैर-ज़रूरी आवाज़ों को हटाने के लिए इस तरह का इस्तेमाल करते हैं:

1. बिना लेबल वाले वाक्य में कुछ जानकारी को मास्क करके, बिना आवाज़ वाले वाक्य को बनावटी तरीके से जोड़ा जाता है टोकन.
2. मॉडल, ओरिजनल टोकन का अनुमान लगाने की कोशिश करता है.

सघनता

#fundamentals

ऐसी सुविधा जिसमें ज़्यादातर या सभी वैल्यू शून्य नहीं होती हैं फ़्लोटिंग-पॉइंट वैल्यू का एक Tensor. उदाहरण के लिए, निम्न 10-एलिमेंट Tensor घना है, क्योंकि इसके नौ वैल्यू शून्य नहीं हैं:

8

3

7

5

2

4

0

4

9

6

स्पैस फ़ीचर के साथ तुलना करें.

सघन परत

पूरी तरह से कनेक्ट की गई लेयर का दूसरा नाम.

गहराई

#fundamentals

न्यूरल नेटवर्क में इनका योग:

• छिपी हुई लेयर की संख्या
• आउटपुट लेयर की संख्या, जो आम तौर पर 1 होती है
• किसी भी एम्बेडिंग लेयर की संख्या

उदाहरण के लिए, पांच छिपी हुई लेयर और एक आउटपुट लेयर वाले न्यूरल नेटवर्क की गहराई 6 होती है.

ध्यान दें कि इनपुट लेयर प्रभाव गहराई.

डेप्थ-वाइज़ सेपरेबल कॉन्वोल्यूशनल न्यूरल नेटवर्क (sepCNN)

#image

कन्वोल्यूशनल न्यूरल नेटवर्क का एक ऐसा आर्किटेक्चर जो Inception पर आधारित है. हालांकि, इसमें Inception मॉड्यूल को डेप्थवाइज़ सेपरेबल कन्वोल्यूशन से बदल दिया गया है. इसे एक्ससेप्शन भी कहा जाता है.

गहराई से अलग किया जा सकने वाला कॉन्वोलूशन (इसे शॉर्ट फ़ॉर्म भी कहा जाता है) दो अलग-अलग कॉन्वलूशन ऑपरेशन में एक स्टैंडर्ड 3D कॉन्वलूशन लागू करता है जो कंप्यूटेशनल तौर पर ज़्यादा कारगर होते हैं: पहला, डेप्थवाइज़ कॉन्वोल्यूशन, पहले, 1 (n × n × 1) की गहराई के साथ, और फिर दूसरे बिंदु के हिसाब से, 1 (1 × 1 y n) की लंबाई और चौड़ाई के साथ.

ज़्यादा जानने के लिए, Xception: डीप लर्निंग विद डेप्थवाइज़ सेपरेबल देखें बातचीत.

डिराइव्ड लेबल

प्रॉक्सी लेबल का समानार्थी शब्द.

डिवाइस

#TensorFlow

#GoogleCloud

इन दो संभावित परिभाषाओं के साथ कोई ओवरलोडेड टर्म:

1. हार्डवेयर की एक कैटगरी, जिसमें सीपीयू, जीपीयू, और TPU शामिल हैं. ये हार्डवेयर, TensorFlow सेशन चला सकते हैं.
2. ऐक्सेलरेटर चिप (GPU या TPU) पर किसी एमएल मॉडल को ट्रेनिंग देते समय, सिस्टम का वह हिस्सा जो असल में टेंसर और एम्बेड में बदलाव करता है. यह डिवाइस, ऐक्सेलरेटर चिप पर काम करता है. इसके उलट, होस्ट आम तौर पर, सीपीयू पर चलता है.

डिफ़रेंशियल प्राइवसी

मशीन लर्निंग में, मॉडल के ट्रेनिंग सेट में शामिल किसी भी संवेदनशील डेटा (उदाहरण के लिए, किसी व्यक्ति की निजी जानकारी) को ज़ाहिर होने से बचाने के लिए, पहचान छिपाने का तरीका. इस तरीके से यह पक्का किया जाता है कि मॉडल किसी व्यक्ति के बारे में ज़्यादा न सीखे या याद न रखे. ऐसा करने के लिए, मॉडल के दौरान सैंपलिंग और नॉइज़ जोड़कर किया जाता है अलग-अलग डेटा पॉइंट को धुंधला करने की ट्रेनिंग दी जाती है, ताकि डेटा पॉइंट के सार्वजनिक होने के खतरे को कम किया जा सके संवेदनशील ट्रेनिंग डेटा.

डिफ़रेंशियल प्राइवसी का इस्तेमाल, मशीन लर्निंग के अलावा अन्य प्लैटफ़ॉर्म पर भी किया जाता है. उदाहरण के लिए, डेटा साइंटिस्ट कभी-कभी लोगों की सुरक्षा के लिए डिफ़रेंशियल प्राइवसी का इस्तेमाल करते हैं अलग-अलग जनसांख्यिकी (उम्र, लिंग, आय, शिक्षा वगैरह) के लिए, प्रॉडक्ट के इस्तेमाल के आंकड़ों की गिनती करते समय आपकी निजता.

डाइमेंशन कम करने की सुविधा

किसी खास सुविधा को दिखाने के लिए इस्तेमाल किए गए डाइमेंशन की संख्या कम करना सुविधा वेक्टर में, आम तौर पर को एम्बेडिंग वेक्टर में बदलना.

आयाम

ओवरलोडेड टर्म जिसका इनमें से कोई एक मतलब है:

• किसी Tensor में निर्देशांक के लेवल की संख्या. इसके लिए उदाहरण:

  • स्केलर में कोई डाइमेंशन नहीं होता. उदाहरण के लिए, ["Hello"].
  • वेक्टर में एक डाइमेंशन होता है; उदाहरण के लिए, [3, 5, 7, 11].
  • किसी मैट्रिक्स में दो डाइमेंशन होते हैं; उदाहरण के लिए, [[2, 4, 18], [5, 7, 14]]. किसी खास सेल को एक डाइमेंशन वाले वेक्टर में खास तौर पर बताया जा सकता है एक निर्देशांक के साथ; आपको विशिष्ट रूप से किसी द्वि-आयामी मैट्रिक्स में मौजूद खास सेल हो.

• फ़ीचर वेक्टर में मौजूद एंट्री की संख्या.

• एम्बेडिंग लेयर में एलिमेंट की संख्या.

सीधे तौर पर प्रॉम्प्ट करना

#language

#generativeAI

ज़ीरो-शॉट प्रॉम्प्ट का पर्यायवाची.

डिस्क्रीट सुविधा

#fundamentals

एक ऐसी सुविधा जिसमें संभावित वैल्यू के सीमित सेट होते हैं. उदाहरण के लिए, ऐसी विशेषता जिसकी वैल्यू सिर्फ़ जानवर, सब्जी या खनिज हो सकती है, वह अलग-अलग (या कैटगरी वाली) विशेषता होती है.

लगातार चलने वाली सुविधा के साथ तुलना करें.

भेदभाव वाला मॉडल

एक ऐसा मॉडल जो किसी एक या अन्य सुविधाएं का इस्तेमाल करें. औपचारिक रूप से, भेदभाव वाले मॉडल सुविधाओं और weights; इसका मतलब है:

p(output | features, weights)

उदाहरण के लिए, कोई ऐसा मॉडल जो सुविधाओं और अहमियत के आधार पर यह अनुमान लगाता है कि कोई ईमेल स्पैम है या नहीं, वह भेदभाव करने वाला मॉडल है.

सुपरवाइज़्ड लर्निंग के ज़्यादातर मॉडल, भेदभाव करने वाले मॉडल होते हैं. इनमें कैटगरी तय करने और रिग्रेशन मॉडल भी शामिल हैं.

जनरेटिव मॉडल में अंतर होना चाहिए.

डिस्क्रिमिनेटर

यह सिस्टम यह तय करता है कि उदाहरण असली हैं या नकली.

इसके अलावा, जनरेटिव ऐडवर्सरी नेटवर्क में मौजूद सबसिस्टम, यह तय करता है कि जनरेटर से बनाए गए उदाहरण असली हैं या नकली.

ज़्यादा जानकारी के लिए, जीएएन कोर्स में डिस्करिमिनेटर देखें.

अलग-अलग असर

#fairness

अलग-अलग लोगों पर असर डालने वाले लोगों के बारे में फ़ैसले लेना सबग्रुप का अनुपात काफ़ी कम है. आम तौर पर, इसका मतलब उन स्थितियों से है जहां एल्गोरिदम की मदद से फ़ैसला लेने की प्रोसेस से, कुछ उप-समूहों को दूसरों की तुलना में ज़्यादा फ़ायदा या नुकसान पहुंचता है.

उदाहरण के लिए, मान लें कि एक ऐसा एल्गोरिदम जो लिलिपुटियन की मिनिएचर होम लोन पाने की शर्तों को उन्हें "मंज़ूरी नहीं दी गई" के तौर पर दिखाया जाएगा अगर उनके डाक पते में पिन कोड. अगर लिलिपुटियन में से बिग-इंडियन के पास, लिलिपुटियन में से लिटल-इंडियन के मुकाबले ज़्यादा पिन कोड वाले मेलिंग पते हैं, तो इस एल्गोरिदम से अलग-अलग असर पड़ सकता है.

अलग-अलग ट्रीटमेंट से कंट्रास्ट अलग होना, जो असमानताओं पर फ़ोकस करती है, जो सबग्रुप की विशेषताओं पर लागू होती है एल्गोरिदम से जुड़े फ़ैसले लेने की प्रोसेस के लिए, साफ़ तौर पर जानकारी दी जाती है.

अलग-अलग तरह से व्यवहार करना

#fairness

एल्गोरिदम की मदद से फ़ैसला लेने की प्रोसेस में, लोगों के संवेदनशील एट्रिब्यूट को ध्यान में रखना. इससे लोगों के अलग-अलग ग्रुप के साथ अलग-अलग व्यवहार किया जा सकता है.

उदाहरण के लिए, एक एल्गोरिदम के बारे में सोचें जो क़र्ज़ के आवेदन में दिए गए डेटा के आधार पर, लिलिपुटियन के लिए छोटे घर के क़र्ज़ की ज़रूरी शर्तें तय करता है. अगर एल्गोरिदम, इनपुट के तौर पर बिग-इंडियन या लिटल-इंडियन के तौर पर लिलिपुटियन के अफ़िलिएशन का इस्तेमाल करता है, तो वह उस डाइमेंशन के हिसाब से अलग-अलग तरीके से काम कर रहा है.

इसे अलग-अलग असर से अलग समझें. यह अलग-अलग ग्रुप पर, एल्गोरिदम के फ़ैसलों के सामाजिक असर में अंतर पर फ़ोकस करता है. भले ही, वे ग्रुप मॉडल के इनपुट हों या नहीं.

चेतावनी: संवेदनशील एट्रिब्यूट, डेटा में मौजूद अन्य सुविधाओं से हमेशा जुड़े होते हैं. इसलिए, संवेदनशील एट्रिब्यूट की जानकारी को साफ़ तौर पर हटाने से, यह गारंटी नहीं मिलती कि सबग्रुप को एक जैसा माना जाएगा. उदाहरण के लिए, किसी ट्रेनिंग डेटासेट से संवेदनशील डेमोग्राफ़िक एट्रिब्यूट हटाने पर, हो सकता है कि उप-ग्रुप के साथ अलग-अलग व्यवहार न किया जाए. हालांकि, इन ग्रुप पर अब भी अलग-अलग असर पड़ सकता है, क्योंकि डाक कोड, डेमोग्राफ़िक से जुड़ी अन्य जानकारी के लिए प्रॉक्सी के तौर पर काम कर सकता है.

आसवन

#generativeAI

किसी मॉडल (जिसे टीचर कहा जाता है) के साइज़ को कम करके, उसे एक छोटे मॉडल (जिसे स्टूडेंट कहा जाता है) में बदलने की प्रोसेस. यह मॉडल, ओरिजनल मॉडल के अनुमान को ज़्यादा से ज़्यादा सटीक तरीके से लागू करता है. डिस्टिलेशन उपयोगी है, क्योंकि छोटे मॉडल के दो मुख्य फ़ायदे हैं मॉडल (शिक्षक):

• अनुमान लगाने में कम समय लगता है
• मेमोरी और ऊर्जा की खपत में कमी

हालांकि, आम तौर पर छात्र-छात्राओं के अनुमान, शिक्षक के अनुमान के मुकाबले उतने अच्छे नहीं होते.

डिस्टिलेशन, छात्र-छात्राओं को ट्रेनिंग देता है कि आउटपुट के बीच के अंतर के आधार पर लॉस फ़ंक्शन के सुझाव देती है.

डिस्टिलेशन की तुलना नीचे दिए गए पदों से करें:

• बेहतर बनाना
• प्रॉम्प्ट पर आधारित लर्निंग

एलएलएम: फ़ाइन ट्यूनिंग, डिस्टिलेशन, और प्रॉम्प्ट इंजीनियरिंग देखें.

डिस्ट्रिब्यूशन

किसी दी गई वैल्यू के लिए, अलग-अलग वैल्यू की फ़्रीक्वेंसी और रेंज सुविधा या लेबल का इस्तेमाल करें. डिस्ट्रिब्यूशन से यह पता चलता है कि किसी खास वैल्यू की संभावना कितनी है.

नीचे दी गई इमेज में दो अलग-अलग डिस्ट्रिब्यूशन के हिस्टोग्राम दिखाए गए हैं:

• बाईं ओर, धन के पावर लॉ डिस्ट्रिब्यूशन के मुकाबले, उस धन को पाने वाले लोगों की संख्या.
• दाईं ओर, लंबाई के मुकाबले लोगों की संख्या का सामान्य डिस्ट्रिब्यूशन इतनी ऊंचाई तक नहीं था.

हर सुविधा और लेबल के डिस्ट्रिब्यूशन को समझने से, आपको यह तय करने में मदद मिल सकती है कि वैल्यू को नॉर्मलाइज़ कैसे करें और आउटलायर का पता कैसे लगाएं.

वाक्यांश डिस्ट्रिब्यूशन से बाहर वह वैल्यू है जो डेटासेट हो या ऐसा बहुत कम होता हो. उदाहरण के लिए, बिल्ली की इमेज वाले डेटासेट के लिए, शनि ग्रह की इमेज को डिस्ट्रिब्यूशन से बाहर माना जाएगा.

डिविज़िव क्लस्टरिंग

#clustering

हैरारकी क्लस्टरिंग देखें.

डाउनसैंपलिंग

#image

ओवरलोड किया गया शब्द, जिसका मतलब इनमें से कोई एक हो सकता है:

• किसी सुविधा में मौजूद जानकारी को कम करके ताकि मॉडल को बेहतर तरीके से ट्रेन किया जा सके. उदाहरण के लिए, इमेज पहचानने वाले मॉडल को ट्रेनिंग देने से पहले, ज़्यादा रिज़ॉल्यूशन वाली इमेज को कम रिज़ॉल्यूशन वाले फ़ॉर्मैट में बदलना.
• ऐसे डिवाइसों पर ट्रेनिंग देना जिनका प्रतिशत ज़रूरत से ज़्यादा प्रतिनिधित्व किया जाता है क्लास ताकि उन क्लास के लिए मॉडल ट्रेनिंग को बेहतर बनाया जा सके जिनके पास ज़्यादा प्रतिनिधित्व नहीं होता. उदाहरण के लिए, क्लास के हिसाब से असंतुलित डेटासेट में, मॉडल बड़ी संख्या में मौजूद क्लास के बारे में ज़्यादा और छोटी संख्या में मौजूद क्लास के बारे में कम सीखते हैं. डाउनसैंपलिंग की मदद से, ज़्यादा और कम संख्या वाली क्लास के लिए ट्रेनिंग की संख्या को संतुलित किया जा सकता है.

डेटासेट: असंतुलित डेटासेट देखें.

DQN

#rl

Deep Q-Network का शॉर्ट फ़ॉर्म.

सर्वे बीच में छोड़ने वाले लोगों के लिए रेगुलराइज़ेशन

रेगुलराइज़ेशन का एक फ़ॉर्म, जो न्यूरल नेटवर्क को ट्रेनिंग देने में मददगार होता है. ड्रॉपआउट रेगुलराइज़ेशन, किसी एक ग्रेडिएंट चरण के लिए, नेटवर्क लेयर में यूनिट की तय संख्या को रैंडम तरीके से हटा देता है. जितनी ज़्यादा यूनिट छोड़ी गईं, उतना ही मज़बूत होगा रेगुलराइज़ेशन के बारे में ज़्यादा जानें. यह नेटवर्क, छोटे नेटवर्क का तेज़ी से बड़ा कलेक्शन. पूरी जानकारी के लिए, ड्रॉपआउट: न्यूरल नेटवर्क को ज़्यादा फ़िट होने से रोकने का आसान तरीका देखें.

डाइनैमिक

#fundamentals

ऐसा काम जो बार-बार या लगातार किया जाता है. मशीन लर्निंग में, डाइनैमिक और ऑनलाइन शब्दों का समानार्थी मतलब होता है. मशीन लर्निंग में डाइनैमिक और ऑनलाइन का इस्तेमाल आम तौर पर इन कामों के लिए किया जाता है:

• डाइनैमिक मॉडल (या ऑनलाइन मॉडल) एक ऐसा मॉडल होता है जिसे बार-बार या लगातार फिर से ट्रेन किया जाता है.
• डाइनैमिक ट्रेनिंग या ऑनलाइन ट्रेनिंग, बार-बार या लगातार ट्रेनिंग की प्रोसेस है.
• डाइनैमिक अनुमान (या ऑनलाइन अनुमान) ऐसी प्रोसेस है जिसमें मांग के हिसाब से अनुमान जनरेट किए जाते हैं.

डाइनैमिक मॉडल

#fundamentals

ऐसा मॉडल जिसे बार-बार (शायद लगातार) फिर से ट्रेन किया जाता है. डाइनैमिक मॉडल, "हमेशा सीखते रहने वाला" होता है वह लगातार बदलते डेटा के हिसाब से ढल जाता है. डाइनैमिक मॉडल को ऑनलाइन मॉडल.

स्टैटिक मॉडल के साथ तुलना करें.

E

ईगर एक्ज़ीक्यूशन

#TensorFlow

TensorFlow प्रोग्रामिंग एनवायरमेंट, जिसमें ऑपरेशन तुरंत चलते हैं. इसके उलट, ग्राफ़ को लागू करने के दौरान, ऑपरेशन तब तक नहीं चलते, जब तक उनका साफ़ तौर पर आकलन नहीं किया जाता. तुरंत निष्पादन एक ज़रूरी इंटरफ़ेस, बहुत कुछ जैसे कि ज़्यादातर प्रोग्रामिंग भाषाओं में कोड. ऐसे प्रोग्राम जो जल्द ही लागू किए जाएंगे आम तौर पर, इसे ग्राफ़ एक्ज़ीक्यूशन प्रोग्राम के मुकाबले डीबग करना ज़्यादा आसान होता है.

तय समय से पहले रुकना

#fundamentals

सामान्य बनाने का एक तरीका, जिसके आखिर में शामिल होता है ट्रेनिंग में हार जाने से पहले ट्रेनिंग घटते क्रम में. जल्दी रोकने की सुविधा में, पुष्टि करने वाले डेटासेट पर लॉस बढ़ने पर, मॉडल को ट्रेनिंग देना जान-बूझकर बंद कर दिया जाता है. इसका मतलब है कि जब जनरलाइज़ेशन की परफ़ॉर्मेंस खराब हो जाती है.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

शुरुआत में रोकना अजीब लग सकता है. आखिरकार, जब तक नुकसान कम हो रहा है, तब तक मॉडल को ट्रेनिंग बंद करने के लिए कहना, किसी शेफ़ को डेज़र्ट पूरी तरह से पकने से पहले खाना बंद करने के लिए कहने जैसा हो सकता है. हालांकि, किसी मॉडल को बहुत ज़्यादा समय तक ट्रेनिंग देने से, ओवरफ़िटिंग हो सकती है. इसका मतलब है कि अगर किसी मॉडल को बहुत ज़्यादा समय तक ट्रेन किया जाता है, तो हो सकता है कि मॉडल ट्रेनिंग डेटा के हिसाब से ही काम करे. इससे, मॉडल नए उदाहरणों के लिए सही अनुमान नहीं लगा पाता.

---

पृथ्वी मूवर की दूरी (ईएमडी)

दो डिस्ट्रिब्यूशन की मिलती-जुलती समानता का पैमाना. पृथ्वी मूवर की दूरी जितनी कम होगी, डिस्ट्रिब्यूशन उतना ही ज़्यादा होगा.

दूरी में बदलाव करना

#language

एक जैसी दो टेक्स्ट स्ट्रिंग एक-दूसरे से कितनी मिलती-जुलती हैं. मशीन लर्निंग में, दूरी में बदलाव करना फ़ायदेमंद होता है, क्योंकि और दो स्ट्रिंग की तुलना करने का एक असरदार तरीका है. मिलती-जुलती स्ट्रिंग खोजने के लिए.

बदलाव की दूरी की कई परिभाषाएं हैं. हर परिभाषा में अलग-अलग स्ट्रिंग ऑपरेशन का इस्तेमाल किया जाता है. उदाहरण के लिए, लेवनश्टाइन डिस्टेंस, मिटाने, डालने, और बदलने के कम से कम ऑपरेशन पर विचार करता है.

उदाहरण के लिए, "heart" और "darts" शब्दों के बीच का लेवनश्टाइन डिस्टेंस 3 है, क्योंकि एक शब्द को दूसरे में बदलने के लिए, यहां दिए गए तीन बदलाव सबसे कम हैं:

1. heart → deart ("h" को "d" से बदलें)
2. डीआर्ट → डार्ट (मिटाएं "e")
3. डार्ट → डार्ट ("s" डालें)

आइनसम नोटेशन

दो टेंसर को एक साथ जोड़ने का तरीका बताने के लिए, एक बेहतर नोटेशन. टेंसर को एक टेंसर के तत्वों को गुणा करके जोड़ा जाता है अन्य टेंसर के एलिमेंट के आधार पर और फिर प्रॉडक्ट को जोड़कर. Einsum नोटेशन में, हर टेंसर के ऐक्सिस की पहचान करने के लिए सिंबल का इस्तेमाल किया जाता है. साथ ही, नतीजे में मिलने वाले नए टेंसर के आकार की जानकारी देने के लिए, उन सिंबल को फिर से व्यवस्थित किया जाता है.

NumPy एक सामान्य Einsum लागू करता है.

एम्बेडिंग लेयर

#language

#fundamentals

एक विशेष छिपी हुई लेयर जो बड़े पैमाने पर उपलब्ध कैटगरिकल सुविधा का इस्तेमाल करके, धीरे-धीरे लोअर डाइमेंशन एम्बेडिंग वेक्टर को सीखें. अगर आप एम्बेडिंग लेयर की मदद से, न्यूरल नेटवर्क को बेहतर तरीके से ट्रेनिंग देने में मदद मिलती है न कि सिर्फ़ हाई-डाइमेंशन वाली कैटगरी वाली सुविधा पर ट्रेनिंग देने से ज़्यादा.

उदाहरण के लिए, Earth पर फ़िलहाल पेड़ों की करीब 73,000 प्रजातियों की जानकारी उपलब्ध है. मान लें आपके मॉडल में मौजूद पेड़ों की संख्या एक सुविधा है. इसलिए, आपके मॉडल इनपुट लेयर में वन-हॉट वेक्टर 73,000 शामिल है तत्व लंबे हैं. उदाहरण के लिए, baobab को कुछ इस तरह दिखाया जाएगा:

73,000 एलिमेंट वाला कलेक्शन बहुत बड़ा है. अगर आप एम्बेडिंग लेयर नहीं जोड़ते हैं, तो मॉडल की तुलना में, ट्रेनिंग में काफ़ी समय लगेगा. ऐसा इसलिए है, क्योंकि 72,999 शून्य को गुणा करना. हो सकता है कि आप शामिल करने के लिए एम्बेडिंग लेयर को चुनें 12 डाइमेंशन चुने जा सकते हैं. ऐसा करने से, एम्बेडिंग लेयर धीरे-धीरे पेड़ की हर प्रजाति के लिए एक नया एम्बेड वेक्टर.

कुछ मामलों में, हैशिंग एक सही विकल्प है को एम्बेड करने वाली लेयर पर ले जाया जा सकता है.

एम्बेड करने की सुविधा देखें देखें.

स्पेस को एम्बेड करना

#language

डी-डाइमेंशन वाला वेक्टर स्पेस, जो हाई-डायमेंशनल से मिलता-जुलता है वेक्टर स्पेस को मैप किया जाता है. आम तौर पर, एम्बेड करने की जगह में ऐसी संरचना जो गणित के अर्थ वाले नतीजे देती हो; उदाहरण के लिए, इसमें वीडियो को एम्बेड करने की सबसे अच्छी जगह मिलती है. शब्दों की तुलना करने वाले टास्क हल कर सकते हैं.

दो एम्बेडमेंट के डॉट प्रॉडक्ट से उनकी समानता का पता चलता है.

एम्बेडिंग वेक्टर

#language

आम तौर पर, किसी भी फ़्लोटिंग-पॉइंट नंबर की कलेक्शन छिपी हुई लेयर, जो उस छिपी हुई लेयर के इनपुट के बारे में बताती है. आम तौर पर, एम्बेडिंग वेक्टर, एम्बेडिंग लेयर में ट्रेन किए गए फ़्लोटिंग-पॉइंट नंबर का कलेक्शन होता है. उदाहरण के लिए, मान लें कि किसी एम्बेडिंग लेयर को पृथ्वी पर मौजूद 73,000 पेड़ों की हर प्रजाति के लिए एम्बेडिंग वेक्टर सीखना है. शायद नीचे दी गई अरे बेओबैब ट्री के लिए एम्बेडिंग वेक्टर है:

एम्बेडिंग वेक्टर, बेतरतीब नंबरों का ग्रुप नहीं होता. एम्बेडिंग लेयर ट्रेनिंग के ज़रिए इन वैल्यू को तय करता है. यह वैसे ही होता है जैसे न्यूरल नेटवर्क को ट्रेनिंग के दौरान अन्य चीज़ों के बारे में पता चलता है. इसका हर एक एलिमेंट अरे, पेड़ की प्रजातियों की कुछ खासियतों के साथ मिलने वाली रेटिंग है. कौनसा एलिमेंट, पेड़ की किस प्रजाति की विशेषता को दिखाता है? यह तय करना बहुत मुश्किल है कि

एम्बेडिंग वेक्टर का गणितीय तौर पर सबसे अहम हिस्सा यह है कि मिलते-जुलते आइटम में फ़्लोटिंग-पॉइंट नंबर के मिलते-जुलते सेट होते हैं. उदाहरण के लिए, एक जैसी पेड़ की प्रजातियों के लिए, फ़्लोटिंग-पॉइंट वाली संख्याओं का सेट, अलग-अलग पेड़ की प्रजातियों के मुकाबले ज़्यादा मिलता-जुलता होता है. रेडवुड और सिक्वॉया, एक-दूसरे से संबंधित पेड़ों की प्रजातियां हैं. इसलिए, उनके पास फ़्लोटिंग-पॉइंटिंग नंबरों का सेट रेडवुड और नारियल के पेड़. एम्बेडिंग वेक्टर में संख्याएं मॉडल को फिर से ट्रेनिंग देते समय, हर बार मॉडल को बदला जाए, भले ही आप मॉडल को फिर से ट्रेनिंग दें एक जैसे इनपुट के साथ.

अनुभवजन्य क्यूमुलेटिव डिस्ट्रिब्यूशन फ़ंक्शन (eCDF या EDF)

कुल डिस्ट्रिब्यूशन फ़ंक्शन जो असली डेटासेट के अनुभवात्मक माप पर आधारित है. इस कीवर्ड का मान x-ऐक्सिस पर किसी भी पॉइंट पर किया गया फ़ंक्शन, वह डेटासेट जो बताई गई वैल्यू से कम या उसके बराबर हो.

एक्सपेरिमेंटल रिस्क मिनिमाइज़ेशन (ईआरएम)

ट्रेनिंग सेट पर लॉस को कम करने वाला फ़ंक्शन चुनना. स्ट्रक्चरल रिस्क मिनिमाइज़ेशन के साथ तुलना करें.

एन्कोडर

#language

आम तौर पर, कोई भी एमएल सिस्टम जो रॉ, स्पार्स या एक्सटर्नल से कन्वर्ट होता है और ज़्यादा प्रोसेस, सघन या ज़्यादा अंदरूनी रूप से दिखाना.

आम तौर पर, एन्कोडर किसी बड़े मॉडल का कॉम्पोनेंट होता है. इसमें अक्सर डिकोडर के साथ जोड़ा जाता है. कुछ ट्रांसफ़ॉर्मर एन्कोडर को डिकोडर के साथ जोड़ें, हालांकि दूसरे ट्रांसफ़ॉर्मर सिर्फ़ एन्कोडर का इस्तेमाल करते हैं या सिर्फ़ डिकोडर.

कुछ सिस्टम, एन्कोडर के आउटपुट का इस्तेमाल, क्लासिफ़िकेशन या रिग्रेशन नेटवर्क के इनपुट के तौर पर करते हैं.

सिलसिलेवार टास्क में, एक एन्कोडर इनपुट क्रम लेता है और एक अंदरूनी स्थिति (वेक्टर) देता है. इसके बाद, डीकोडर उस अंदरूनी स्थिति का इस्तेमाल करके, अगले क्रम का अनुमान लगाता है.

किसी एन्कोडर की परिभाषा जानने के लिए, ट्रांसफ़ॉर्मर देखें देखें.

एलएलएम: बड़ी भाषा कौनसी होती है मॉडल देखें.

एन्सेम्बल

अलग-अलग मॉडल का कलेक्शन, जिन्हें अलग-अलग ट्रेन किया गया है. इन मॉडल के अनुमानों का औसत या एग्रीगेट किया जाता है. कई मामलों में, कलाकारों का ग्रुप बेहतर होता है . उदाहरण के लिए, रैंडम फ़ॉरेस्ट कई फ़ॉर्मैट से बनाया गया ग्रुप है डिसिज़न ट्री. ध्यान दें कि सभी डिसिज़न फ़ॉरेस्ट असेंबली है.

बिना किसी क्रम के जंगल देखें.

एन्ट्रॉपी

#df

तय सीमा में इन्फ़ॉर्मेशन थ्योरी के तहत, संभाव्यता का अनुमान लगाना डिस्ट्रिब्यूशन है. इसके अलावा, एंट्रॉपी से यह भी पता चलता है कि हर उदाहरण में मौजूद जानकारी. डिस्ट्रिब्यूशन में ये शामिल हैं उच्चतम संभावित एंट्रॉपी जब किसी यादृच्छिक चर के सभी मान होते हैं समान रूप से संभावना होती है.

दो संभावित वैल्यू "0" वाले किसी सेट की एन्ट्रॉपी और "1" (उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन से जुड़े लेबल में) इसका फ़ॉर्मूला यह है:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

कहां:

• H एन्ट्रॉपी है.
• p, "1" उदाहरणों का अंश है.
• q, "0" का अंश है उदाहरण. ध्यान दें कि q = (1 - p)
• आम तौर पर, लॉग को लॉग₂ कहा जाता है. इस मामले में, एंट्रॉपी यूनिट बंद हो जाती है.

उदाहरण के लिए, मान लें कि:

• 100 उदाहरणों में वैल्यू "1" है
• 300 उदाहरणों में "0" वैल्यू है

इसलिए, एंट्रॉपी की वैल्यू यह है:

• p = 0.25
• q = 0.75
• H = (-0.25)log₂(0.25) - (0.75)log₂(0.75) = 0.81 बिट प्रति उदाहरण

ऐसा सेट जो पूरी तरह से संतुलित हो (उदाहरण के लिए, 200 "0" और 200 "1"s) हर उदाहरण के लिए 1.0 बिट की एंट्रॉपी होगी. जैसे-जैसे सेट ज़्यादा होता है असंतुलित, इसकी एंट्रॉपी 0.0 की ओर बढ़ जाती है.

फ़ैसला लेने वाले ट्री में, एन्ट्रापी से जानकारी हासिल करने में मदद मिलती है. इससे स्प्लिटर को, क्लासिफ़िकेशन के फ़ैसला लेने वाले ट्री के बढ़ने के दौरान शर्तें चुनने में मदद मिलती है.

एंट्रॉपी की तुलना इनसे करें:

• गिनी इंपरिटी
• क्रॉस-एंट्रॉपी लॉस फ़ंक्शन

एंट्रॉपी को अक्सर शैनन एंट्रॉपी कहा जाता है.

ज़्यादा जानकारी के लिए, डिसीज़न फ़ॉरेस्ट कोर्स में संख्यात्मक सुविधाओं के साथ बाइनरी क्लासिफ़िकेशन के लिए एग्ज़ैक्ट स्प्लिटर देखें.

वातावरण

#rl

रीइंफ़ोर्समेंट लर्निंग में, वह दुनिया जिसमें एजेंट होता है और एजेंट को उस दुनिया की स्थिति को देखने की अनुमति मिलती है. उदाहरण के लिए, यहां शतरंज का खेल या असली दुनिया जैसा भूलभुलैया. जब एजेंट, एनवायरमेंट पर कोई कार्रवाई लागू करता है, तो एनवायरमेंट एक स्टेटस से दूसरे स्टेटस में ट्रांज़िशन करता है.

एपिसोड

#rl

किसी एनवायरमेंट को सीखने के लिए, एजेंट के बार-बार किए गए हर प्रयास को रिनफ़ोर्समेंट लर्निंग कहते हैं.

epoch

#fundamentals

पूरे ट्रेनिंग सेट पर पूरा ट्रेनिंग पास, ताकि हर उदाहरण को एक बार प्रोसेस किया जा सके.

Epoch N/बैच साइज़ को दिखाता है ट्रेनिंग इटरेशन में, जहां N उदाहरणों की कुल संख्या.

उदाहरण के लिए, मान लें कि:

• इस डेटासेट में 1,000 उदाहरण शामिल हैं.
• बैच का साइज़ 50 उदाहरण है.

इसलिए, एक एपॉच के लिए 20 बार दोहराव की ज़रूरत होती है:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

लीनियर रिग्रेशन: हाइपर पैरामीटर देखें.

एप्सिलॉन लालची नीति

#rl

रीइन्फ़ोर्समेंट लर्निंग में, एक ऐसी नीति जो एप्सिलॉन प्रॉबबिलिटी के साथ रैंडम नीति या लालची से जुड़ी नीति का उल्लंघन न हो. उदाहरण के लिए, यदि एप्सिलॉन 0.9 है, तो नीति 90% मामलों में किसी भी क्रम में बनी नीति का पालन करती है और लालची 10% मामलों में नीति का पालन करता है.

एल्गोरिदम, एपिसोड के क्रम में एपसिलॉन की वैल्यू को कम करता है इसके बजाय, लालची नीति का पालन किया जाना चाहिए. इन्होंने बदलाव किया है नीति में बदलाव करते समय, एजेंट पहले बिना किसी क्रम के पर्यावरण को एक्सप्लोर करता है और फिर लालच में बिना किसी क्रम के एक्सप्लोरेशन के नतीजों का फ़ायदा उठाने की कोशिश करती है.

अवसर की समानता

#fairness

फ़ेयरनेस मेट्रिक, जिससे यह आकलन किया जा सके कि मॉडल वैल्यू के सभी मानों के लिए ज़रूरी नतीजे का समान रूप से अनुमान लगाना संवेदनशील एट्रिब्यूट का इस्तेमाल करें. दूसरे शब्दों में, अगर पॉज़िटिव क्लास ही उसे मॉडल बना सकती है, इसका लक्ष्य सही पॉज़िटिव रेट होना चाहिए सभी ग्रुप के लिए एक जैसा होगा.

अवसरों की समानता एक जैसी संभावनाओं से जुड़ी होती है. इसके लिए, सही पॉज़िटिव दरें दोनों होनी चाहिए गलत पॉज़िटिव दरें सभी ग्रुप के लिए एक जैसी हैं.

मान लें कि Glubbdubdrib University ने गणित के एक कठिन प्रोग्राम में, Lilliputians और Brobdingnagians दोनों को स्वीकार किया है. लिलिपुटियन का सेकंडरी स्कूल गणित की क्लास का बेहतरीन पाठ्यक्रम और ज़्यादातर छात्र-छात्राएं यूनिवर्सिटी प्रोग्राम में शामिल होने के लिए क्वालीफ़ाई किया था. ब्रोबडिंगनैजियन लोग माध्यमिक स्कूल यह नहीं करते कि वे गणित की क्लास नहीं देते हैं और इस वजह से, उनके छात्र-छात्राओं की संख्या बहुत कम है योग्य. अवसर की समानता इसके पसंदीदा लेबल के लिए संतुष्ट है "स्वीकार किया गया" राष्ट्रीयता के संबंध में (लिलिपुटियन या ब्रोबडिंगनाजियन) अगर योग्यता पूरी करने वाले छात्र-छात्राओं को समान रूप से दाखिला लेने की संभावना होती है, भले ही वे लिलिपुटियन या ब्रोबडिंगनैजियन हैं.

उदाहरण के लिए, मान लें कि 100 लिलिपुटियन और 100 ब्रोबडिंगनाजियन ग्लबडुब्ड्रिब यूनिवर्सिटी और दाखिले से जुड़े फ़ैसले इस तरह लिए जाते हैं:

टेबल 1. लिलिपुटियन आवेदक (90% योग्य हैं)

	क्वालिफ़ाई हुई	अयोग्य
स्वीकार किया गया	45	3
अस्वीकार किया गया	45	7
कुल	90	10
ज़रूरी शर्तें पूरी करने वाले छात्र-छात्राओं का प्रतिशत: 45/90 = 50% शर्तें पूरी न करने वाले छात्र-छात्राओं का प्रतिशत: 7/10 = 70% लिलिपुटियन छात्र-छात्राओं का कुल प्रतिशत: (45+3)/100 = 48%

 

टेबल 2. Brobdingnagian आवेदक (10% क्वालिफ़ाई हैं):

	क्वालिफ़ाई हुई	अयोग्य
अनुमति दी गई	5	9
अस्वीकार किया गया	5	81
कुल	10	90
स्वीकार किए गए छात्र-छात्राओं का प्रतिशत: 5/10 = 50% नहीं हटाए गए छात्र-छात्राओं का प्रतिशत अस्वीकार किए जाने का प्रतिशत: 81/90 = 90% ब्रोबडिंगनाजियन छात्र-छात्राओं का कुल प्रतिशत: (5+9)/100 = 14%

ऊपर दिए गए उदाहरण, क्वालिफ़ाई हुए छात्र-छात्राएं, क्योंकि लिलिपुटियन और ब्रोबडिंगनेगियन, दोनों उन्हें शामिल होने की संभावना 50% होती है.

सबको समान अवसर मिलते हैं, लेकिन निष्पक्षता से जुड़ी ये दो मेट्रिक संतुष्ट नहीं हैं:

• डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) समानता: लिलीपुटियन और ब्रोबडिंगनेजियन लोगों को अलग-अलग दरों पर, यूनिवर्सिटी में एडमिशन मिलता है; लिलीपुटियन के 48% छात्र-छात्राएं ही इस कोर्स में शामिल हैं, लेकिन सिर्फ़ 14% ही ब्रोबडिंगनैजियन छात्र-छात्राओं को अनुमति है.
• समान संभावनाएं: ज़रूरी शर्तें पूरी करने वाले लिलिपुटियन और ब्रॉबडिंगनागियन, दोनों छात्र-छात्राओं को स्वीकार किए जाने की संभावना एक जैसी होती है. हालांकि, यह शर्त पूरी नहीं होती कि ज़रूरी शर्तें पूरी न करने वाले लिलिपुटियन और ब्रॉबडिंगनागियन, दोनों छात्र-छात्राओं को अस्वीकार किए जाने की संभावना एक जैसी होती है. अमान्य आवेदनों को अस्वीकार किए जाने की दर, लिलिपुटियन के लिए 70% है, जबकि ब्रॉबडिंगनागियन के लिए यह दर 90% है.

देखें निष्पक्षता: समानता अवसर देखें.

इक्वलाइज़्ड ऑड्स

#fairness

यह मेट्रिक यह आकलन करती है कि कोई मॉडल, संवेदनशील एट्रिब्यूट की सभी वैल्यू के लिए, नतीजों का अनुमान एक जैसा अच्छी तरह से लगा रहा है या नहीं. यह मेट्रिक, पॉज़िटिव क्लास और नेगेटिव क्लास, दोनों के लिए एक जैसा अनुमान लगाती है, न कि सिर्फ़ किसी एक क्लास के लिए. दूसरे शब्दों में, सभी ग्रुप के लिए ट्रू पॉज़िटिव रेट और फ़ॉल्स नेगेटिव रेट, दोनों एक जैसे होने चाहिए.

सभी को बराबर मौका, सभी को बराबर अवसर से जुड़ा है. यह सिर्फ़ एक क्लास (पॉज़िटिव या नेगेटिव) के लिए गड़बड़ी की दरों पर फ़ोकस करता है.

उदाहरण के लिए, मान लें कि Glubbdubdrib University ने गणित के एक कठिन प्रोग्राम में, Lilliputians और Brobdingnagians, दोनों को स्वीकार किया है. लिलिपुटियन का सेकंडरी स्कूलों में गणित की क्लास का दमदार पाठ्यक्रम उपलब्ध कराया जाता है. छात्र-छात्राएं, यूनिवर्सिटी प्रोग्राम में शामिल हो सकते हैं. ब्रोबडिंगनैजियन लोग सेकंडरी स्कूलों में गणित की कक्षाएं नहीं चलती हैं. इसकी वजह से, बहुत कम और उनके छात्र-छात्राएं क्वालिफ़ाई हो गए हैं. समान अवसरों की शर्त तब पूरी होती है, जब कोई भी आवेदक, चाहे वह छोटा हो या बड़ा, ज़रूरी शर्तें पूरी करता हो, तो उसे प्रोग्राम में शामिल होने की बराबर संभावना होती है. साथ ही, अगर वह ज़रूरी शर्तें पूरी नहीं करता है, तो उसे अस्वीकार किए जाने की बराबर संभावना होती है.

मान लें कि 100 लिलिपुटियन और 100 ब्रॉबडिंगनागियन, ग्लब्बडब्रिब यूनिवर्सिटी में आवेदन करते हैं. साथ ही, दाखिले के फ़ैसले इस तरह लिए जाते हैं:

टेबल 3. लिलिपुटियन आवेदक (90% योग्य हैं)

	क्वालिफ़ाई हुई	अयोग्य
स्वीकार किया गया	45	2
अस्वीकार किया गया	45	8
कुल	90	10
ज़रूरी शर्तें पूरी करने वाले छात्र-छात्राओं का प्रतिशत: 45/90 = 50% शर्तें पूरी न करने वाले छात्र-छात्राओं का प्रतिशत: 8/10 = 80% लिलिपुटियन छात्र-छात्राओं का कुल प्रतिशत: (45+2)/100 = 47%

 

टेबल 4. ब्रोबडिंगनाजियन आवेदक (10% योग्य हैं):

	क्वालिफ़ाई हुई	अयोग्य
अनुमति दी गई	5	18
अस्वीकार किया गया	5	72
कुल	10	90
ज़रूरी शर्तें पूरी करने वाले छात्र-छात्राओं का प्रतिशत: 5/10 = 50% शर्तें पूरी न करने वाले छात्र-छात्राओं का प्रतिशत: 72/90 = 80% ब्रॉबडिंगनागियन छात्र-छात्राओं का कुल प्रतिशत: (5+18)/100 = 23%

क्वालिफ़ाई हुई लिलिपुटियन और ब्रोबडिंगनैजियन की वजह से, सभी नतीजे एक जैसे हैं दोनों छात्र-छात्राओं के पास, एडमिशन के लिए 50% संभावना और योग्यता न पाने वाले लिलिपुटियन हैं और Brobdingnagian में, आवेदन अस्वीकार होने की 80% संभावना है.

ध्यान दें: यहां एक जैसी संभावना का अनुमान लगाया जा सकता है, डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) समानता संतुष्ट नहीं है. Lilliputian और ब्रोबडिंगनाजियन के छात्र-छात्राओं को ग्लबडुब्ड्रिब यूनिवर्सिटी में भर्ती के लिए, अलग-अलग दरें; लिलिपुटियन में रहने वाले 47% छात्र-छात्राएं उसे स्वीकार कर लेते हैं. वहीं, 23% लोग ऐसे हैं ब्रोबडिंगनैजियन छात्र-छात्राओं को अनुमति है.

"सुपरवाइज़्ड लर्निंग में अवसर की समानता" में, बराबर संभावनाओं की आधिकारिक तौर पर परिभाषा इस तरह दी गई है: "अगर Ŷ और A, Y के आधार पर स्वतंत्र हैं, तो प्रिडिक्टर Ŷ, सुरक्षित एट्रिब्यूट A और नतीजे Y के लिए बराबर संभावनाओं को पूरा करता है."

ध्यान दें: 'समान संभावनाएं' मेट्रिक की तुलना, ज़्यादा आसान समान अवसर मेट्रिक से करें.

Estimator

#TensorFlow

ऐसा TensorFlow एपीआई जो अब काम नहीं करता. इसके बजाय, tf.keras का इस्तेमाल करें का अनुमान लगा सकते हैं.

evals

#language

#generativeAI

इसका इस्तेमाल मुख्य रूप से एलएलएम के आकलन के लिए किया जाता है. ज़्यादा शब्दों में, evals, आकलन.

आकलन

#language

#generativeAI

किसी मॉडल की क्वालिटी को मेज़र करने या अलग-अलग मॉडल की तुलना करने की प्रोसेस एक-दूसरे के ख़िलाफ़ लड़ते रहें.

सुपरवाइज़्ड मशीन लर्निंग मॉडल का आकलन करने के लिए, आम तौर पर पुष्टि करने वाले सेट और टेस्ट सेट के आधार पर इसका आकलन किया जाता है. एलएलएम का आकलन करना आम तौर पर, इसमें क्वालिटी और सुरक्षा से जुड़े आकलन शामिल होते हैं.

उदाहरण

#fundamentals

सुविधाओं की एक पंक्ति की वैल्यू और हो सकता है कि एक लेबल भी हो. सुपरवाइज़्ड लर्निंग के उदाहरणों को आम तौर पर दो कैटगरी में बांटा जा सकता है:

• लेबल किए गए उदाहरण में एक या उससे ज़्यादा सुविधाएं और एक लेबल होता है. लेबल किए गए उदाहरणों का इस्तेमाल, ट्रेनिंग के दौरान किया जाता है.
• बिना लेबल वाले उदाहरण में एक या ज़्यादा सुविधाएं उपलब्ध हैं, लेकिन कोई लेबल नहीं. अनुमान लगाने के दौरान, बिना लेबल वाले उदाहरणों का इस्तेमाल किया जाता है.

उदाहरण के लिए, मान लें कि आप किसी मॉडल को ट्रेनिंग के दौरान और छात्र-छात्राओं के टेस्ट स्कोर के बारे में जानकारी दी. यहां लेबल किए गए तीन उदाहरण दिए गए हैं:

सुविधाएं			लेबल
तापमान	नमी	दबाव	टेस्ट के स्कोर
15	47	998	अच्छा
19	34	1020	बहुत बढ़िया
18	92	1012	खराब

यहां लेबल नहीं किए गए तीन उदाहरण दिए गए हैं:

तापमान	नमी	दबाव
12	62	1014
21	47	1017
19	41	1021

उदाहरण के लिए, आम तौर पर dataset की लाइन, रॉ सोर्स होती है. उदाहरण के लिए, आम तौर पर इसमें कॉलम का सबसेट होता है डेटासेट. इसके अलावा, उदाहरण में दी गई सुविधाओं में, सिंथेटिक सुविधाएं, जैसे कि सुविधा क्रॉस.

ज़्यादा जानकारी के लिए, मशीन लर्निंग के बारे में जानकारी देने वाले कोर्स में सुपरवाइज़्ड लर्निंग देखें.

एक्सपीरियंस रीप्ले

#rl

रीइन्फ़ोर्समेंट लर्निंग में, DQN तकनीक का इस्तेमाल ट्रेनिंग डेटा में समय के बीच के संबंध को कम कर सकता है. एजेंट स्टेटस ट्रांज़िशन को रीप्ले बफ़र में सेव करता है और ट्रेनिंग डेटा बनाने के लिए, रीप्ले बफ़र से सैंपल ट्रांज़िशन का इस्तेमाल करता है.

एक्सपेरिमेंटर बायस

#fairness

एक पक्ष की पुष्टि करना देखें.

एक्सप्लोडिंग ग्रेडिएंट की समस्या

#seq

डीप न्यूरल नेटवर्क (खास तौर पर, रीकurrent न्यूरल नेटवर्क) में ग्रेडिएंट का अचानक बहुत ज़्यादा (ऊंचा) हो जाना. खड़ी ग्रेडिएंट की वजह से अक्सर बहुत बड़े अपडेट होते हैं इसके वेट के हर node का डीप न्यूरल नेटवर्क है.

एक्सप्लॉडिंग ग्रेडिएंट की समस्या वाले मॉडल को ट्रेन करना मुश्किल या असंभव हो जाता है. ग्रेडिएंट क्लिपिंग की मदद से, इस समस्या को कम किया जा सकता है.

वैनिशिंग ग्रेडिएंट की समस्या से तुलना करें.

F

फ़ॉर्मूला₁

"रोल-अप" बाइनरी क्लासिफ़िकेशन मेट्रिक यह सटीक और कॉल, दोनों पर निर्भर करता है. इसका फ़ॉर्मूला यहां दिया गया है:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

उदाहरण के लिए, यहां दी गई जानकारी देखें:

• precision = 0.6
• रीकॉल = 0.4

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

जब प्रिसिज़न और रीकॉल काफ़ी हद तक एक जैसे हों (जैसा कि पिछले उदाहरण में बताया गया है), F₁, अपने मीन के करीब है. जब सटीक हो और बाज़ार को याद करने का समय अलग हो काफ़ी हद तक, F₁ कम वैल्यू के करीब है. उदाहरण के लिए:

• precision = 0.9
• recall = 0.1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

निष्पक्षता का दायरा

#fairness

एक या उससे ज़्यादा परिभाषाएं पक्का करने के लिए, एल्गोरिदम में कंस्ट्रेंट लागू करना वे निष्पक्षता से पूरी तरह से संतुष्ट हैं. निष्पक्षता से जुड़ी पाबंदियों के उदाहरण:

• अपने मॉडल के आउटपुट को प्रोसेस करने के बाद.
• निष्पक्षता मेट्रिक का उल्लंघन करने पर, जुर्माना लगाने के लिए लॉस फ़ंक्शन में बदलाव करना.
• सीधे तौर पर, ऑप्टिमाइज़ेशन से जुड़ी समस्या में गणितीय शर्त जोड़ना.

निष्पक्षता मेट्रिक

#fairness

"निष्पक्षता" की गणितीय परिभाषा, जिसे मेज़र किया जा सकता है. आम तौर पर, निष्पक्षता से जुड़ी ये मेट्रिक इस्तेमाल की जाती हैं:

• एक जैसी संभावना वाले नतीजे
• अनुमानित समानता
• कंट्राफ़ैक्टुअल फ़ेयरनेस
• डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) समानता

निष्पक्षता की कई मेट्रिक एक-दूसरे के साथ काम नहीं करतीं. निष्पक्षता की मेट्रिक के साथ काम न करने की समस्या देखें.

फ़ॉल्स निगेटिव (FN)

#fundamentals

ऐसा उदाहरण जिसमें मॉडल ने गलती से नेगेटिव क्लास का अनुमान लगाया है. उदाहरण के लिए, मॉडल अनुमान लगाता है कि कोई खास ईमेल मैसेज स्पैम नहीं है (नेगेटिव क्लास) है, लेकिन वह ईमेल मैसेज असल में स्पैम है.

फ़ॉल्स नेगेटिव रेट

असल पॉज़िटिव उदाहरणों का अनुपात, जिनके लिए मॉडल ने गलती से नेगेटिव क्लास का अनुमान लगाया गया. गलत नतीजे मिलने की दर का हिसाब लगाने के लिए, यह फ़ॉर्मूला इस्तेमाल करें:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में थ्रेशोल्ड और भ्रम वाली मैट्रिक देखें.

फ़ॉल्स पॉज़िटिव (एफ़पी)

#fundamentals

ऐसा उदाहरण जिसमें मॉडल ने गलती से पॉज़िटिव क्लास का अनुमान लगाया है. उदाहरण के लिए, मॉडल एक खास ईमेल मैसेज स्पैम (पॉज़िटिव क्लास) है, लेकिन यह ईमेल मैसेज असल में स्पैम नहीं है.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में थ्रेशोल्ड और भ्रम वाली मैट्रिक देखें.

फ़ॉल्स पॉज़िटिव रेट (एफ़पीआर)

#fundamentals

असल नेगेटिव उदाहरणों का अनुपात, जिनके लिए मॉडल ने गलती से ऐसा किया है पॉज़िटिव क्लास का अनुमान लगाया. यह फ़ॉर्मूला असत्य की गणना करता है पॉज़िटिव रेट:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

फ़ॉल्स पॉज़िटिव रेट, आरओसी कर्व में x-ऐक्सिस होता है.

क्लासिफ़िकेशन: ROC और AUC देखें.

सुविधा

#fundamentals

किसी मशीन लर्निंग मॉडल के लिए इनपुट वैरिएबल. उदाहरण में एक या उससे ज़्यादा सुविधाएं शामिल होती हैं. उदाहरण के लिए, मान लें कि आप किसी मॉडल का इस्तेमाल करके, छात्र-छात्राओं के टेस्ट स्कोर पर मौसम की स्थिति का असर बताया गया है. यहां दी गई टेबल में तीन उदाहरण दिए गए हैं. इनमें से हर उदाहरण में तीन सुविधाएं और एक लेबल है:

सुविधाएं			लेबल
तापमान	नमी	दबाव	टेस्ट के स्कोर
15	47	998	92
19	34	1020	84
18	92	1012	87

लेबल से अलग करें.

सुपरवाइज़्ड लर्निंग देखें ज़्यादा जानकारी के लिए, मशीन लर्निंग कोर्स के बारे में जानकारी देखें.

फ़ीचर क्रॉस

#fundamentals

"क्रॉसिंग" से बनाई गई सिंथेटिक सुविधा कैटगरिकल या बकेट की गई सुविधाएं.

उदाहरण के लिए, "मनोभाव का अनुमान लगाने" वाले मॉडल पर विचार करें, जो इन चार में से किसी एक बकेट में तापमान दिखाता है:

• freezing
• chilly
• temperate
• warm

और यहां दी गई तीन बकेट में से किसी एक में हवा की रफ़्तार का पता लगाता है:

• still
• light
• windy

फ़ीचर क्रॉस के बिना, लीनियर मॉडल जिसमें सात अलग-अलग बाल्टी आ गई थी. इसलिए, मॉडल को उदाहरण के लिए, freezing के लिए अलग से ट्रेनिंग दी जाती है, जबकि उदाहरण के लिए, windy के लिए अलग से ट्रेनिंग दी जाती है.

इसके अलावा, आप एक ऐसा फ़ीचर क्रॉस ऑफ़ टेंपरेचर बना सकते हैं जिसमें हवा की रफ़्तार. इस सिंथेटिक सुविधा की ये 12 वैल्यू हो सकती हैं:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

फ़ीचर क्रॉस की मदद से, मॉडल को freezing-windy दिन और freezing-still दिन के मूड में अंतर पता चल सकता है.

अगर दो तरह की एआई से जनरेट की गई किसी सुविधा को बनाया जाता है, जिसमें हर एक में अलग-अलग बकेट, जो कि एक फ़ीचर क्रॉस है, यहां दिखाई गई सभी झलक सिर्फ़ उदाहरण हैं. उदाहरण के लिए, अगर किसी सुविधा में 1,000 बकेट हैं और अन्य सुविधा में 2,000 बकेट हैं, और इससे बने फ़ीचर क्रॉस में 2,000,000 बकेट हैं बकेट.

फ़ॉर्मल तौर पर, क्रॉस एक कार्टेज़ियन प्रॉडक्ट है.

फ़ीचर क्रॉस का इस्तेमाल, ज़्यादातर लीनियर मॉडल के साथ किया जाता है. साथ ही, इनका इस्तेमाल बहुत कम किया जाता है न्यूरल नेटवर्क से कनेक्ट करता है.

कैटगरिकल डेटा: सुविधा देखें क्रॉस देखें.

फ़ीचर इंजीनियरिंग

#fundamentals

#TensorFlow

यह एक ऐसी प्रोसेस है जिसमें ये चरण शामिल होते हैं:

1. यह तय करना कि मॉडल को ट्रेनिंग देने के लिए, किन सुविधाओं का इस्तेमाल किया जा सकता है.
2. डेटासेट से रॉ डेटा को, कोई समस्या नहीं है.

उदाहरण के लिए, आपके हिसाब से temperature एक काम की सुविधा हो सकती है. इसके बाद, बकेट के साथ एक्सपेरिमेंट किया जा सकता है, ताकि मॉडल अलग-अलग temperature रेंज से क्या सीख सकता है, यह ऑप्टिमाइज़ किया जा सके.

फ़ीचर इंजीनियरिंग को कभी-कभी फ़ीचर एक्सट्रैक्शन या फ़ीचराइज़ेशन भी कहा जाता है.

TensorFlow के बारे में ज़्यादा नोट देखने के लिए इस आइकॉन पर क्लिक करें.

TensorFlow में, फ़ीचर इंजीनियरिंग का मतलब अक्सर रॉ लॉग फ़ाइल की एंट्री को tf.Example प्रोटोकॉल बफ़र में बदलना होता है. इन्हें भी देखें tf.Transform.

---

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में न्यूमेरिकल डेटा: कोई मॉडल, फ़ीचर वैक्टर का इस्तेमाल करके डेटा को कैसे डालता है देखें.

फ़ीचर एक्सट्रैक्शन

ओवरलोडेड टर्म की इनमें से कोई एक परिभाषाएं:

• किसी दूसरे मॉडल में इनपुट के तौर पर इस्तेमाल करने के लिए, बिना निगरानी वाले या पहले से ट्रेन किए गए मॉडल (उदाहरण के लिए, न्यूरल नेटवर्क में हाइडन लेयर वैल्यू) से कैलकुलेट की गई इंटरमीडिएट फ़ीचर का डेटा वापस पाना.
• फ़ीचर इंजीनियरिंग का समानार्थी शब्द.

किसी सुविधा की अहमियत

#df

वैरिएबल की अहमियत का दूसरा नाम.

सुविधाओं का सेट

#fundamentals

आपका मशीन लर्निंग मॉडल, सुविधाओं के इस ग्रुप पर ट्रेन होता है. उदाहरण के लिए, पिन कोड, प्रॉपर्टी का साइज़, और प्रॉपर्टी की स्थिति, मकान की कीमत का अनुमान लगाने वाले मॉडल के लिए एक आसान फ़ीचर सेट हो सकता है.

सुविधा की खास बातें

#TensorFlow

tf.Example प्रोटोकॉल बफ़र से features डेटा निकालने के लिए ज़रूरी जानकारी के बारे में बताता है. क्योंकि tf.Example प्रोटोकॉल बफ़र, डेटा का एक कंटेनर होता है, आपको इसकी जानकारी देनी होगी निम्न:

• एक्सट्रैक्ट किया जाने वाला डेटा (यानी, सुविधाओं की कुंजियां)
• डेटा टाइप (उदाहरण के लिए, फ़्लोट या int)
• वीडियो की लंबाई (फ़िक्स्ड या वैरिएबल)

फ़ीचर वेक्टर

#fundamentals

feature की वैल्यू की कैटगरी में उदाहरण. फ़ीचर वेक्टर, ट्रेनिंग और अनुमान के दौरान इनपुट किया जाता है. उदाहरण के लिए, दो अलग-अलग सुविधाओं वाले मॉडल के लिए फ़ीचर वेक्टर हो सकता है:

[0.92, 0.56]

हर उदाहरण, फ़ीचर वेक्टर के लिए अलग-अलग वैल्यू देता है, इसलिए अगले उदाहरण के लिए फ़ीचर वेक्टर कुछ इस तरह का हो सकता है:

[0.73, 0.49]

फ़ीचर इंजीनियरिंग से यह तय होता है कि फ़ीचर वेक्टर में फ़ीचर को कैसे दिखाया जाए. उदाहरण के लिए, पांच संभावित वैल्यू, इससे जुड़ी हो सकती हैं वन-हॉट एन्कोडिंग का इस्तेमाल करें. इस मामले में, किसी उदाहरण के लिए फ़ीचर वेक्टर में चार शून्य और तीसरे पक्ष में सिंगल 1.0 को इस तरह से दिखाया गया है:

[0.0, 0.0, 1.0, 0.0, 0.0]

एक अन्य उदाहरण के रूप में, मान लें कि आपके मॉडल में तीन सुविधाएं हैं:

• बाइनरी कैटगरी वाली सुविधा, जिसमें पांच संभावित वैल्यू दिखाई गई हैं वन-हॉट एन्कोडिंग; उदाहरण के लिए: [0.0, 1.0, 0.0, 0.0, 0.0]
• अन्य बाइनरी कैटगरी वाली सुविधा, जिसमें तीन संभावित वैल्यू दिखाई गई हैं वन-हॉट एन्कोडिंग के साथ; उदाहरण के लिए: [0.0, 0.0, 1.0]
• फ़्लोटिंग-पॉइंट की सुविधा; उदाहरण के लिए: 8.3.

इस मामले में, हर उदाहरण के लिए फ़ीचर वेक्टर को दिखाया जाएगा नौ वैल्यू से. ऊपर दी गई सूची में उदाहरण के तौर पर दी गई वैल्यू के हिसाब से, फ़ीचर वेक्टर इस तरह का होगा:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

संख्या वाला डेटा: सुविधा का इस्तेमाल करके मॉडल डेटा कैसे डालता है वेक्टर देखें.

फ़ीचराइज़ेशन

किसी इनपुट सोर्स, जैसे कि दस्तावेज़ या वीडियो से सुविधाओं को निकालने और उन सुविधाओं को फ़ीचर वेक्टर में मैप करने की प्रोसेस.

मशीन लर्निंग के कुछ विशेषज्ञ, सुविधा को समानार्थी शब्द के तौर पर इस्तेमाल करते हैं फ़ीचर इंजीनियरिंग या सुविधा एक्सट्रैक्ट करने की सुविधा.

फ़ेडरेटेड लर्निंग

डिस्ट्रिब्यूटेड मशीन लर्निंग का एक तरीका, जो स्मार्टफ़ोन जैसे डिवाइसों पर मौजूद उदाहरणों का इस्तेमाल करके, मशीन लर्निंग मॉडल को ट्रेन करता है. फ़ेडरेटेड लर्निंग में, डिवाइसों का एक सबसेट, मौजूदा मॉडल को केंद्रीय समन्वय सर्वर से डाउनलोड करता है. ये डिवाइस, सेव किए गए उदाहरणों का इस्तेमाल करते हैं मॉडल में सुधार करने के लिए, डिवाइसों पर इसका इस्तेमाल किया जा सकता है. इसके बाद, डिवाइसों से मॉडल में हुए सुधारों को कोऑर्डिनेट करने वाले सर्वर पर अपलोड किया जाता है. हालांकि, ट्रेनिंग के उदाहरणों को अपलोड नहीं किया जाता. इन सुधारों को अन्य अपडेट के साथ एग्रीगेट करके, बेहतर ग्लोबल मॉडल बनाया जाता है. एग्रीगेशन के बाद, डिवाइसों के हिसाब से मॉडल के अपडेट अब उनकी ज़रूरत नहीं है, और इन्हें खारिज किया जा सकता है.

ट्रेनिंग के उदाहरण कभी अपलोड नहीं किए जाते. इसलिए, फ़ेडरेटेड लर्निंग, ध्यान दें कि डेटा इकट्ठा करने और डेटा इकट्ठा करने पर प्रतिबंध लगाने के बारे में निजता के सिद्धांत.

फ़ेडरेटेड लर्निंग के बारे में ज़्यादा जानकारी के लिए, यह ट्यूटोरियल देखें.

फ़ीडबैक लूप

#fundamentals

मशीन लर्निंग में, ऐसी स्थिति जिसमें किसी मॉडल के अनुमान से, उसी मॉडल या किसी दूसरे मॉडल के लिए ट्रेनिंग डेटा पर असर पड़ता है. उदाहरण के लिए, फ़िल्मों के सुझाव देने वाले मॉडल से, लोगों की पसंद पर असर पड़ेगा. इससे, फ़िल्म के सुझाव देने वाले बाद के मॉडल पर भी असर पड़ेगा.

प्रोडक्शन एमएल सिस्टम: सवाल पूछें पूछें देखें.

फ़ीडफ़ॉरवर्ड न्यूरल नेटवर्क (एफ़एफ़एन)

ऐसा न्यूरल नेटवर्क जिसमें साइकल या बार-बार होने वाले कनेक्शन न हों. उदाहरण के लिए, ट्रेडिशनल डीप न्यूरल नेटवर्क फ़ीडफ़ॉरवर्ड न्यूरल नेटवर्क चुनें. बार-बार होने वाले न्यूरल से अंतर) नेटवर्क, जो साइकल के होते हैं.

कुछ समय के लिए वीडियो बनाना

मशीन लर्निंग का एक तरीका, जिसका इस्तेमाल अक्सर ऑब्जेक्ट की कैटगरी तय करने के लिए किया जाता है. इसे सिर्फ़ कुछ ट्रेनिंग उदाहरणों से, बेहतर क्लासिफ़ायर को ट्रेन करने के लिए डिज़ाइन किया गया है.

वन-शॉट लर्निंग और ज़ीरो-शॉट लर्निंग.

कुछ शॉट के साथ प्रॉम्प्ट देना

#language

#generativeAI

ऐसा प्रॉम्प्ट जिसमें एक से ज़्यादा (कुछ) उदाहरण शामिल हों. इनसे पता चलता हो कि लार्ज लैंग्वेज मॉडल को कैसे जवाब देना चाहिए. उदाहरण के लिए, नीचे दिए गए लंबे प्रॉम्प्ट में दो क्वेरी शामिल हैं ये उदाहरण, क्वेरी का जवाब देने के लिए बड़ा लैंग्वेज मॉडल दिखाते हैं.

एक प्रॉम्प्ट के हिस्से	नोट
किसी चुने गए देश की आधिकारिक मुद्रा क्या है?	वह सवाल जिसका जवाब आपको एलएलएम से चाहिए.
फ़्रांस: EUR	एक उदाहरण.
यूनाइटेड किंगडम: GBP	एक और उदाहरण.
भारत:	असल क्वेरी.

आम तौर पर, कम-शॉट प्रॉम्प्टिंग से ज़ीरो-शॉट प्रॉम्प्टिंग और वन-शॉट प्रॉम्प्टिंग के मुकाबले बेहतर नतीजे मिलते हैं. हालांकि, उदाहरण के साथ डाले गए प्रॉम्प्ट के लिए, लंबे प्रॉम्प्ट की ज़रूरत होती है.

उदाहरण के साथ डाले गए प्रॉम्प्ट, फ़ew-शॉट लर्निंग का एक टाइप है. इसे प्रॉम्प्ट पर आधारित लर्निंग पर लागू किया जाता है.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में प्रॉम्प्ट इंजीनियरिंग देखें.

वायलिन

#language

Python-फ़र्स्ट कॉन्फ़िगरेशन वाली कॉन्फ़िगरेशन लाइब्रेरी, जो इनवेसिव कोड या इन्फ़्रास्ट्रक्चर के बिना फ़ंक्शन और क्लास की वैल्यू. Pax और अन्य एमएल कोडबेस के मामले में, ये फ़ंक्शन और क्लास में मॉडल और ट्रेनिंग को दिखाया जाता है हाइपर पैरामीटर.

Fiddle के हिसाब से, मशीन लर्निंग कोडबेस को आम तौर पर इनमें बांटा जाता है:

• लाइब्रेरी कोड, जो लेयर और ऑप्टिमाइज़र तय करता है.
• "glue" डेटासेट कोड, जो लाइब्रेरी को कॉल करता है और सब कुछ एक साथ कनेक्ट करता है.

Fiddle, बिना आकलन किए गए ग्लू कोड के कॉल स्ट्रक्चर को कैप्चर करता है और बदला जा सकता है.

फ़ाइन-ट्यूनिंग

#language

#image

#generativeAI

पहले से ट्रेन किए गए मॉडल पर, टास्क के हिसाब से दूसरा ट्रेनिंग पास किया जाता है. इससे, किसी खास इस्तेमाल के उदाहरण के लिए, मॉडल के पैरामीटर को बेहतर बनाया जा सकता है. उदाहरण के लिए, कुछ बड़े लैंग्वेज मॉडल के लिए, ट्रेनिंग का पूरा क्रम इस तरह है:

1. पहले से ट्रेनिंग: किसी बड़े लैंग्वेज मॉडल को बड़े सामान्य डेटासेट पर ट्रेन करें. जैसे, अंग्रेज़ी भाषा के सभी Wikipedia पेज.
2. फ़ाइन-ट्यूनिंग: पहले से ट्रेन किए गए मॉडल को कोई खास टास्क करने के लिए ट्रेनिंग दें, जैसे, स्वास्थ्य से जुड़ी क्वेरी का जवाब देना. आम तौर पर, बेहतर बनाने की प्रोसेस में किसी खास टास्क पर फ़ोकस करने वाले सैकड़ों या हज़ारों उदाहरण शामिल होते हैं.

एक और उदाहरण के तौर पर, बड़े इमेज मॉडल के लिए ट्रेनिंग का पूरा क्रम इस तरह है:

1. पहले से ट्रेनिंग: बड़े इमेज मॉडल को सामान्य इमेज डेटासेट पर ट्रेनिंग दें. जैसे, Wikimedia Commons में मौजूद सभी इमेज.
2. फ़ाइन-ट्यूनिंग: पहले से ट्रेन किए गए मॉडल को कोई खास टास्क करने के लिए ट्रेनिंग दें, जैसे कि ओर्का की इमेज जनरेट करना.

रणनीतियों को बेहतर बनाने के लिए, इनमें से किसी भी रणनीति का इस्तेमाल किया जा सकता है:

• पहले से ट्रेन किए गए मॉडल के मौजूदा पैरामीटर में सभी बदलाव करना. इसे कभी-कभी पूरी तरह से फ़ाइन-ट्यून करना भी कहा जाता है.
• पहले से ट्रेन किए गए मॉडल के सिर्फ़ कुछ पैरामीटर में बदलाव करना (आम तौर पर, आउटपुट लेयर के सबसे करीब की लेयर), जबकि अन्य मौजूदा पैरामीटर में कोई परिवर्तन न करें (आमतौर पर, परतें यह इनपुट लेयर के सबसे नज़दीक होता है. यहां जाएं: पैरामीटर की बेहतर ट्यूनिंग.
• ज़्यादा लेयर जोड़ना. आम तौर पर, ये लेयर आउटपुट लेयर के सबसे करीब मौजूद मौजूदा लेयर के ऊपर जोड़ी जाती हैं.

फ़ाइन-ट्यूनिंग, ट्रांसफ़र लर्निंग का एक फ़ॉर्म है. इसलिए, फ़ाइन ट्यूनिंग अलग लॉस फ़ंक्शन या अलग मॉडल का इस्तेमाल कर सकता है का इस्तेमाल करने पर मिलती है. उदाहरण के लिए, आपके पास ये विकल्प हैं ऐसे रिग्रेशन मॉडल बनाने के लिए, पहले से ट्रेनिंग पा चुके बड़े इमेज मॉडल को बेहतर बनाएं इनपुट इमेज में पक्षियों की संख्या दिखाता है.

फ़ाइन-ट्यूनिंग की तुलना इन शब्दों से करें:

• distillation
• प्रॉम्प्ट पर आधारित लर्निंग

फ़ाइन-ट्यूनिंग देखें देखें.

फ़्लैक्स

#language

बेहतर परफ़ॉर्मेंस वाला ओपन सोर्स लाइब्रेरी के लिए डीप लर्निंग को JAX पर बनाया गया है. फ़्लैक्स फ़ंक्शन देता है ट्रेनिंग के न्यूरल नेटवर्क के लिए भी उनकी परफ़ॉर्मेंस का आकलन करने के तरीकों के बारे में बताया गया है.

Flaxformer

#language

ओपन सोर्स ट्रांसफ़ॉर्मर लाइब्रेरी, Flax पर बनाया गया, जिसे खास तौर पर नैचुरल लैंग्वेज प्रोसेसिंग के लिए डिज़ाइन किया गया है और मल्टीमोडल रिसर्च शामिल करें.

गेट भूल जाओ

#seq

लंबी अवधि के लिए सेव की जाने वाली मेमोरी का हिस्सा यह सेल, सेल में होने वाली जानकारी के फ़्लो को कंट्रोल करता है. फ़ॉरगेट गेट, सेल स्टेटस से किस जानकारी को हटाना है, यह तय करके संदर्भ बनाए रखते हैं.

फ़ुल सॉफ़्टमैक्स

softmax का समानार्थी शब्द.

उम्मीदवार के लिए सैंपलिंग से तुलना करें.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में न्यूरल नेटवर्क: कई क्लास का वर्गीकरण देखें.

पूरी तरह कनेक्ट की गई लेयर

एक छिपी हुई लेयर, जिसमें हर नोड होता है अगली छिपी हुई लेयर में हर नोड से कनेक्ट होता है.

पूरी तरह से कनेक्टेड लेयर को डेंस लेयर भी कहा जाता है.

फ़ंक्शन ट्रांसफ़ॉर्मेशन

ऐसा फ़ंक्शन जो किसी फ़ंक्शन को इनपुट के तौर पर लेता है और बदले हुए फ़ंक्शन को आउटपुट के तौर पर दिखाता है. JAX, फ़ंक्शन ट्रांसफ़ॉर्मेशन का इस्तेमाल करता है.

G

GAN

जनरेटिव एडवरसिरियल ऐडवर्टाइज़ल डोमेन का छोटा नाम नेटवर्क का इस्तेमाल कर रहे हैं.

सामान्यीकरण

#fundamentals

किसी नए मॉडल की मदद से, पहले से देखा हुआ डेटा नहीं है. सामान्य नतीजे देने वाला मॉडल, ओवरफ़िटिंग वाले मॉडल के उलट होता है.

अतिरिक्त नोट के लिए आइकॉन पर क्लिक करें.

ट्रेनिंग सेट में दिए गए उदाहरणों के आधार पर, मॉडल को ट्रेनिंग दी जाती है. इस वजह से, मॉडल, ट्रेनिंग सेट में मौजूद डेटा की खास बातों को समझता है. सामान्यीकरण से यह पता चलता है कि आपका मॉडल, ट्रेनिंग सेट में न मौजूद उदाहरणों के आधार पर अच्छे अनुमान लगा सकता है या नहीं.

सामान्यीकरण को बढ़ावा देने के लिए, रेगुलराइज़ेशन की मदद से मॉडल को ट्रेनिंग देने के लिए, ट्रेनिंग सेट में मौजूद डेटा की खास बातों को कम ध्यान में रखा जाता है.

---

सामान्य जानकारी देखें देखें.

Gemini

#language

#image

#generativeAI

यह नेटवर्क, Google के सबसे बेहतर एआई से बना है. इस नेटवर्क के एलिमेंट में ये शामिल हैं:

• Gemini के अलग-अलग मॉडल.
• Gemini मॉडल के लिए, इंटरैक्टिव बातचीत वाला इंटरफ़ेस. उपयोगकर्ता प्रॉम्प्ट टाइप करते हैं और Gemini उन प्रॉम्प्ट का जवाब देता है.
• Gemini के अलग-अलग एपीआई.
• Gemini मॉडल पर आधारित कारोबार के लिए अलग-अलग प्रॉडक्ट. उदाहरण के लिए, Google Cloud के लिए Gemini.

Gemini मॉडल

#language

#image

#generativeAI

Google का आधुनिक ट्रांसफ़ॉर्मर-आधारित मल्टीमॉडल मॉडल. Gemini के मॉडल ख़ास तौर पर इसे एजेंट के साथ इंटिग्रेट करने के लिए डिज़ाइन किया गया है.

उपयोगकर्ता, Gemini मॉडल के साथ कई तरीकों से इंटरैक्ट कर सकते हैं. जैसे, इंटरैक्टिव डायलॉग इंटरफ़ेस और SDKs की मदद से.

सामान्यीकरण कर्व

#fundamentals

ट्रेनिंग में कमी और, दोनों का प्लॉट वैलिडेशन लॉस: दोहरावों.

सामान्यीकरण कर्व की मदद से, ओवरफ़िटिंग का पता लगाया जा सकता है. उदाहरण के लिए, निम्न सामान्यीकरण कर्व, ओवरफ़िटिंग का सुझाव देता है, क्योंकि पुष्टि नहीं हो सकती आखिरकार, ट्रेनिंग में कमी की तुलना में काफ़ी ज़्यादा हो जाती है.

सामान्य जानकारी देखें देखें.

सामान्य लीनियर मॉडल

लेस्ट स्क्वेयर्स रेग्रेसन मॉडल का सामान्यीकरण, जो गॉसियन नॉइज़ पर आधारित होते हैं. ये मॉडल, अन्य तरह के नॉइज़ पर आधारित अन्य तरह के मॉडल में बदल जाते हैं. जैसे, पॉइसन नॉइज़ या कैटगरी नॉइज़. सामान्य लीनियर मॉडल के उदाहरणों में ये शामिल हैं:

• लॉजिस्टिक रिग्रेशन
• मल्टी-क्लास रिग्रेशन
• लीस्ट स्क्वेयर रिग्रेशन

सामान्य लीनियर मॉडल के पैरामीटर, कॉन्वेक्स ऑप्टिमाइज़ेशन की मदद से मिल सकते हैं.

सामान्य लीनियर मॉडल में ये प्रॉपर्टी दिखती हैं:

• सबसे सही लेस स्क्वेयर्स रेग्रेशन मॉडल का औसत अनुमान, ट्रेनिंग डेटा के औसत लेबल के बराबर होता है.
• इष्टतम लॉजिस्टिक रिग्रेशन के आधार पर अनुमान लगाई गई औसत प्रॉबबिलिटी मॉडल, ट्रेनिंग डेटा पर मौजूद औसत लेबल के बराबर हो.

सामान्य लीनियर मॉडल की सुविधाओं की वजह से, इसकी परफ़ॉर्मेंस सीमित होती है. नापसंद करें डीप मॉडल, सामान्य लीनियर मॉडल "नई सुविधाओं के बारे में नहीं जान सकते".

जनरेटिव ऐडवर्सल नेटवर्क (GAN)

नया डेटा बनाने वाला सिस्टम, जिसमें जनरेटर डेटा बनाता है और डिस्करिमिनेटर यह तय करता है कि बनाया गया डेटा मान्य है या अमान्य.

ज़्यादा जानकारी के लिए, जनरेटिव अडवर्सेरी नेटवर्क कोर्स देखें.

जनरेटिव एआई

#language

#image

#generativeAI

बदलाव लाने वाला उभरता हुआ फ़ील्ड, जिसकी कोई औपचारिक परिभाषा नहीं है. हालांकि, ज़्यादातर विशेषज्ञ यह मानते हैं कि जनरेटिव एआई मॉडल बनाने ("जनरेट करने") वाला ऐसा कॉन्टेंट बनाएं जिसमें ये सभी चीज़ें शामिल हों:

• कॉम्प्लेक्स
• एक-दूसरे से जुड़े हों
• मूल

उदाहरण के लिए, जनरेटिव एआई मॉडल बेहतरीन तरह के लेख या इमेज बना सकता है.

पहले की कुछ टेक्नोलॉजी, जिनमें LSTMs शामिल है और RNN भी ओरिजनल मैसेज जनरेट कर सकते हैं और आसानी से इस्तेमाल किया जा सकता है. कुछ विशेषज्ञ इन पुरानी टेक्नोलॉजी को जनरेटिव एआई, जबकि कुछ अन्य लोगों को लगता है कि सही जनरेटिव एआई के लिए ज़्यादा मुश्किल जितनी पुरानी टेक्नोलॉजी की मदद से आउटपुट मिल सकता है.

अनुमानित ML में अंतर करें.

जनरेटिव मॉडल

व्यावहारिक तौर पर, ऐसा मॉडल जो इनमें से कोई एक काम करता है:

• ट्रेनिंग डेटासेट से नए उदाहरण बनाता है (जनरेट करता है). उदाहरण के लिए, जनरेटिव मॉडल, कविताओं के डेटासेट पर ट्रेनिंग के बाद कविता बना सकता है. जनरेटिव अडवर्सेरी नेटवर्क का जनरेटर हिस्सा, इस कैटगरी में आता है.
• नया उदाहरण मिलने की संभावना तय करता है कि या ट्रेनिंग सेट है या उसी तरीके से बनाया गया है जिससे ट्रेनिंग सेट में रखा गया है. उदाहरण के लिए, डेटासेट में अंग्रेज़ी के वाक्य शामिल हैं. जनरेटिव मॉडल इस बात की संभावना तय करें कि नया इनपुट, अंग्रेज़ी का एक मान्य वाक्य है.

जनरेटिव मॉडल, सैद्धांतिक तौर पर किसी डेटासेट में उदाहरणों या खास सुविधाओं के डिस्ट्रिब्यूशन का पता लगा सकता है. यानी:

p(examples)

अनसुपरवाइज़्ड लर्निंग मॉडल, जनरेटिव होते हैं.

भेदभाव वाले मॉडल से कंट्रास्ट अलग करें.

जेनरेटर

जनरेटिव ऐडवर्सेरी नेटवर्क में मौजूद सबसिस्टम, जो नए उदाहरण बनाता है.

डिसक्रिमिनेटिव मॉडल के साथ तुलना करें.

जिनी इंप्यूरिटी

#df

एन्ट्रापी जैसी मेट्रिक. स्प्लिटर लिखने के लिए जिनी इंप्युरिटी या एन्ट्रॉपी से मिले मान का इस्तेमाल करना कैटगरी तय करने के लिए शर्तें डिसिज़न ट्री. जानकारी हासिल करना, एन्ट्रापी से मिलता है. हासिल की गई मेट्रिक के लिए ऐसा कोई शब्द नहीं है जिसे दुनिया भर में स्वीकार किया जाता हो जीनी इंपरिटी से; हालांकि, यह बिना नाम वाली मेट्रिक उतनी ही अहम है जितनी ज़रूरी है फ़ायदा मिलता है.

Gini impurity को gini index या सिर्फ़ gini भी कहा जाता है.

जिनी इंप्यूरिटी के बारे में गणित के हिसाब से जानकारी चाहिए उनके लिए इस आइकॉन पर क्लिक करें.

जीनी इंपरिटी का मतलब है कि डेटा के नए हिस्से को गलत कैटगरी में रखा जा सकता है को उसी डिस्ट्रिब्यूशन से लिया गया है. दो के साथ किसी सेट की जीनी इंप्योरिटी संभावित वैल्यू "0" और "1" (उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन से जुड़ी समस्या) की गणना नीचे दिए गए फ़ॉर्मूला से की जाती है:

I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

कहां:

• I, गिनिन इंप्यूरिटी है.
• p, "1" का अंश है उदाहरण.
• q, "0" उदाहरणों का फ़्रैक्शन है. ध्यान दें कि q = 1-p

उदाहरण के लिए, नीचे दिया गया डेटासेट देखें:

• 100 लेबल (डेटासेट का 0.25) में "1" वैल्यू है
• 300 लेबल (डेटासेट का 0.75) में "0" वैल्यू है

इसलिए, गिनिन इंप्यूरिटी:

• p = 0.25
• q = 0.75
• I = 1 - (0.25² + 0.75²) = 0.375

इसलिए, उसी डेटासेट के किसी भी लेबल के गलत कैटगरी में रखे जाने की संभावना 37.5% होगी और सही कैटगरी में रखे जाने की संभावना 62.5% होगी.

पूरी तरह से संतुलित लेबल (उदाहरण के लिए, 200 "0" और 200 "1") का जीनी अशुद्धि का अनुपात 0.5 होगा. बहुत असंतुलित लेबल की जीनी अशुद्धि 0.0 के करीब होगी.

---

गोल्डन डेटासेट

मैन्युअल तरीके से चुने गए डेटा का सेट, जो ग्राउंड ट्रूथ को कैप्चर करता है. टीमें किसी मॉडल की क्वालिटी का आकलन करने के लिए, एक या उससे ज़्यादा गोल्डन डेटासेट का इस्तेमाल कर सकती हैं.

कुछ गोल्डन डेटासेट, ग्राउंड ट्रूथ के अलग-अलग सबडोमेन कैप्चर करते हैं. उदाहरण के लिए, इमेज क्लासिफ़िकेशन के लिए गोल्डन डेटासेट, रोशनी की स्थितियों को कैप्चर कर सकता है और इमेज रिज़ॉल्यूशन.

जीपीटी (जनरेटिव प्री-ट्रेन्ड ट्रांसफ़ॉर्मर)

#language

OpenAI ने Transformer पर आधारित लार्ज लैंग्वेज मॉडल का एक फ़ैमिली बनाया है.

GPT वैरिएंट, कई मोड पर लागू हो सकते हैं. इनमें ये शामिल हैं:

• इमेज जनरेट करने की प्रोसेस (उदाहरण के लिए, ImageGPT)
• टेक्स्ट टू इमेज जनरेशन (उदाहरण के लिए, DALL-E).

ग्रेडिएंट

इसके संबंध में पार्शियल डेरिवेटिव का वेक्टर सभी इंडिपेंडेंट वैरिएबल का इस्तेमाल करें. मशीन लर्निंग में, ग्रेडिएंट यह होता है मॉडल फ़ंक्शन के पार्शियल डेरिवेटिव का वेक्टर. ग्रेडिएंट, सबसे ज़्यादा चढ़ाई वाली दिशा में पॉइंट करता है.

ग्रेडिएंट इकट्ठा करना

बैकप्रोपगेशन तकनीक, जो हर एक बार के बजाय, हर युग में सिर्फ़ एक बार पैरामीटर अपडेट करती है. हर मिनी-बैच को प्रोसेस करने के बाद, ग्रेडिएंट अक्यूमेशन से बस कुल ग्रेडिएंट की संख्या अपडेट होती है. इसके बाद, एपिसोड में आखिरी मिनी-बैच को प्रोसेस करने के बाद, सिस्टम सभी ग्रेडिएंट बदलावों के आधार पर पैरामीटर को अपडेट करता है.

ग्रेडिएंट इकट्ठा करने की सुविधा तब काम की होती है, जब ट्रेनिंग के लिए उपलब्ध मेमोरी की तुलना में बैच का साइज़ बहुत बड़ा हो. जब मेमोरी की समस्या होती है, तो बैच का साइज़ कम करना स्वाभाविक है. हालांकि, सामान्य बैक-प्रॉपगेशन में बैच के साइज़ को कम करने से बढ़ोतरी होती है पैरामीटर के अपडेट की संख्या. ग्रेडिएंट अक्यूम्युलेशन, मॉडल को चालू करने में मदद करता है ताकि याददाश्त से जुड़ी समस्याएं न आएं, लेकिन अब भी आपकी ट्रेनिंग बेहतर तरीके से की जा सकती है.

ग्रेडिएंट बूस्टेड (डिसीज़न) ट्री (जीबीटी)

#df

एक तरह का फ़ैसले फ़ॉरेस्ट, जिसमें:

• ट्रेनिंग, सिर्फ़ इन चीज़ों पर निर्भर करती है ग्रेडिएंट बूस्टिंग.
• खराब मॉडल, फ़ैसला लेने वाला ट्री होता है.

ज़्यादा जानकारी के लिए, डिसीज़न फ़ॉरेस्ट कोर्स में ग्रेडिएंट बूस्टेड डिसीज़न ट्री देखें.

ग्रेडिएंट बूस्टिंग

#df

एक ट्रेनिंग एल्गोरिदम, जिसमें खराब मॉडल को बार-बार बेहतर बनाने (लोस कम करने) के लिए, बेहतर मॉडल को ट्रेन किया जाता है. उदाहरण के लिए, कमज़ोर मॉडल, लीनियर या छोटा डिसीज़न ट्री मॉडल हो सकता है. बेहतर मॉडल, पहले से ट्रेन किए गए सभी कमज़ोर मॉडल का योग होता है.

ग्रेडिएंट बूस्टिंग के सबसे आसान रूप में, हर बार इटरेशन के दौरान एक कमज़ोर मॉडल को मज़बूत मॉडल के लॉस ग्रेडिएंट का अनुमान लगाने के लिए ट्रेनिंग दी गई है. इसके बाद, मज़बूत मॉडल का आउटपुट, अनुमानित ग्रेडिएंट को घटाकर अपडेट किया जाता है. ग्रेडिएंट डिसेंट जैसा ही होता है.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

कहां:

• $F_{0}$, शुरुआती बेहतर मॉडल है.
• $F_{i+1}$ अगला बेहतर मॉडल है.
• $F_{i}$ मौजूदा मज़बूत मॉडल है.
• $\xi$ 0.0 और 1.0 के बीच की कोई वैल्यू होती है, जिसे shrinkage कहा जाता है, जो लर्निंग रेट में ग्रेडिएंट ढलान.
• $f_{i}$ एक ऐसा कमज़ोर मॉडल है जिसे $F_{i}$ के लॉस ग्रेडिएंट का अनुमान लगाने के लिए ट्रेन किया गया है.

ग्रेडिएंट बूसटिंग के आधुनिक वैरिएशन में, गणना के दौरान लॉस का दूसरा डेरिवेटिव (हेसियन) भी शामिल होता है.

डिसिज़न ट्री का इस्तेमाल आम तौर पर, कमजोर मॉडल के तौर पर किया जाता है ग्रेडिएंट बूस्टिंग. यहां जाएं: ग्रेडिएंट बूस्टेड (डिसिज़न) ट्री.

ग्रेडिएंट क्लिपिंग

#seq

आम तौर पर इस्तेमाल होने वाला एक तरीका, जिससे एक्सप्लॉडिंग ग्रेडिएंट की समस्या को कम किया जा सकता है. इसके लिए, मॉडल को ट्रेन करने के लिए, ग्रेडिएंट डिसेंट का इस्तेमाल करते समय, ग्रेडिएंट की ज़्यादा से ज़्यादा वैल्यू को कृत्रिम रूप से सीमित (क्लिपिंग) किया जाता है.

ग्रेडिएंट डिसेंट

#fundamentals

नुकसान को कम करने के लिए, गणित से जुड़ी एक तकनीक. ग्रेडिएंट ढलान, पुनरावृत्तीय रूप से समायोजित होता है वज़न और पक्षपात, नुकसान को कम करने के लिए, धीरे-धीरे सबसे अच्छे कॉम्बिनेशन को खोजा जा सकेगा.

ग्रेडिएंट डिसेंट, मशीन लर्निंग से काफ़ी पुराना है.

लीनियर रिग्रेशन: ग्रेडिएंट देखें descent देखें.

ग्राफ़

#TensorFlow

TensorFlow में, एक कंप्यूटेशन स्पेसिफ़िकेशन है. ग्राफ़ में नोड कार्रवाइयों को दिखाता है. किनारों को दिशा-निर्देश दिया गया है और नतीजे पास करने के बारे में बताया गया है (Tensor) को ऑपरेंड को किसी दूसरी कार्रवाई में बदला जाता है. इस्तेमाल की जाने वाली चीज़ें किसी ग्राफ़ को विज़ुअलाइज़ करने के लिए, TensorBoard.

ग्राफ़ एक्ज़ीक्यूशन

#TensorFlow

TensorFlow प्रोग्रामिंग एनवायरमेंट, जिसमें प्रोग्राम सबसे पहले एक ग्राफ़ बनाता है और फिर उस ग्राफ़ के पूरे या कुछ हिस्से को लागू करता है. TensorFlow 1.x में, ग्राफ़ को डिफ़ॉल्ट रूप से लागू करने का मोड होता है.

तय समय से पहले ट्रिगर होने की तुलना में.

लालची नीति

#rl

रीइन्फ़ोर्समेंट लर्निंग में, एक ऐसी नीति जो हमेशा ऐसी कार्रवाई जिसकी रिटर्न की उम्मीद सबसे ज़्यादा हो.

ज़मीनी हकीकत

#fundamentals

हकीकत.

यह असल में हुआ था.

उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन का इस्तेमाल करें मॉडल, जो यह अनुमान लगाता है कि छात्र-छात्राओं ने यूनिवर्सिटी में पढ़ाई के अपने पहले साल में क्या किया पास छह साल में पास हो जाएगा. इस मॉडल के लिए ज़मीनी हकीकत यह है कि या नहीं है कि उस छात्र ने वास्तव में छह साल के भीतर ग्रेजुएशन किया.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

हम ज़मीनी हकीकत को ध्यान में रखते हुए मॉडल की क्वालिटी का आकलन करते हैं. हालांकि, ज़मीनी हकीकत हमेशा पूरी तरह से, सही, और ईमानदार नहीं होता. उदाहरण के लिए, ज़मीनी हकीकत की संभावित कमियों के उदाहरण:

• ग्रेजुएशन के उदाहरण में, क्या हमें पक्के तौर पर पता है कि हर छात्र/छात्रा के लिए ग्रेजुएशन के रिकॉर्ड हमेशा सही होते हैं? क्या विश्वविद्यालय के रिकॉर्ड सही हैं?
• मान लीजिए कि लेबल एक फ़्लोटिंग-पॉइंट वैल्यू है, जिसे इंस्ट्रुमेंट से मेज़र किया गया है (उदाहरण के लिए, बैरोमीटर). हम कैसे पक्का कर सकते हैं कि हर इंस्ट्रूमेंट को एक ही तरह से कैलिब्रेट किया गया है या हर रीडिंग एक ही परिस्थिति में ली गई है?
• अगर लेबल, किसी व्यक्ति की राय पर आधारित है, तो हम कैसे पक्का कर सकते हैं कि हर रेटर, इवेंट का आकलन एक ही तरह से कर रहा है? परफ़ॉर्मेंस में सुधार लाने के लिए, कभी-कभी विशेषज्ञ समीक्षकों की राय दखल देते हैं.

---

ग्रुप एट्रिब्यूशन में मौजूद पूर्वाग्रह

#fairness

यह मानते हुए कि किसी व्यक्ति के लिए जो सही है वह सभी के लिए भी सही है उस ग्रुप में शामिल करें. डेटा इकट्ठा करने के लिए सुविधाजनक सैंपलिंग का इस्तेमाल करने पर, ग्रुप एट्रिब्यूशन बायस के असर को और भी बढ़ाया जा सकता है. नमूने के तौर पर चुने गए ऐसे डेटा में, एट्रिब्यूशन ऐसे हो सकते हैं जो असल स्थिति को नहीं दिखाते.

ग्रुप से बाहर के लोगों के लिए एक ही तरीके से होने वाले भेदभाव की जानकारी भी देखें और इन-ग्रुप बायस. साथ ही, देखें ईमानदारी: अलग-अलग तरह के पूर्वाग्रह देखें.

H

मतिभ्रम

#language

जनरेटिव एआई मॉडल से ऐसा आउटपुट जनरेट होना जो सही लगने के बावजूद, असल में गलत हो. यह मॉडल, असल दुनिया के बारे में दावा करता है. उदाहरण के लिए, जनरेटिव एआई मॉडल का यह दावा करना कि बराक ओबामा की मृत्यु 1865 में हो गई थी, गलत है.

हैशिंग

मशीन लर्निंग में, कैटगरी वाले डेटा को बकेट करने का तरीका. ऐसा तब किया जाता है, जब कैटगरी की संख्या ज़्यादा हो, लेकिन डेटासेट में दिखने वाली कैटगरी की संख्या कम हो.

उदाहरण के लिए, पृथ्वी पर पेड़ों की करीब 73,000 प्रजातियां हैं. 73,000 पेड़ों की हर प्रजाति को, 73,000 अलग-अलग कैटगरी वाली बकेट में दिखाया जा सकता है. अगर पेड़ों की कुल संख्या में से सिर्फ़ 200 प्रजाति के विज्ञापन दिखते हैं, तो तो हैशिंग का इस्तेमाल करके, करीब 500 बकेट.

एक ही बकेट में, पेड़ की कई प्रजातियां हो सकती हैं. उदाहरण के लिए, हैशिंग बैओबैब और रेड मेपल को डाला जा सकता है—आनुवंशिक रूप से असमानता कई प्रजातियों को एक ही बकेट में डाल दिया जाता है. इसके बावजूद, हैशिंग अब भी बड़ी कैटगरी के सेट को बकेट की चुनी गई संख्या में मैप करना. हैशिंग कैटगरी वाली सुविधा में, कई संभावित वैल्यू को मिलाकर वैल्यू को ग्रुप में रखकर, वैल्यू की कम संख्या को तय करने वाला तरीका है.

कैटगरिकल डेटा: शब्दावली और वन-हॉट देखें कोड में बदलने का तरीका देखें.

अनुभव

किसी समस्या का आसान और तुरंत लागू किया जा सकने वाला समाधान. उदाहरण के लिए, "एक अनुमान के आधार पर, हमने 86% सटीक बनाया. जब हमने एक डीप न्यूरल नेटवर्क, 98% तक सटीक हो गया है."

छिपी हुई लेयर

#fundamentals

न्यूरल नेटवर्क में एक लेयर, जो इनपुट लेयर (सुविधाएं) और आउटपुट लेयर (अनुमान). हर छिपी हुई लेयर में एक या एक से ज़्यादा न्यूरॉन होते हैं. उदाहरण के लिए, नीचे दिए गए न्यूरल नेटवर्क में दो हिडन लेयर हैं. पहली लेयर में तीन न्यूरॉन और दूसरी लेयर में दो न्यूरॉन हैं:

डीप न्यूरल नेटवर्क में एक से ज़्यादा, छिपी हुई लेयर. उदाहरण के लिए, ऊपर दी गई इमेज में डीप नेटल नेटवर्क दिखाया गया है, क्योंकि मॉडल में दो हिडन लेयर हैं.

न्यूरल नेटवर्क: नोड्स और हिडन देखें लेयर देखें.

हैरारकीकल क्लस्टरिंग

#clustering

क्लस्टरिंग एल्गोरिदम की कैटगरी, जो ट्री बनाती है क्लस्टर का हिस्सा हैं. हैरारकी क्लस्टरिंग, हैरारकी वाले डेटा के लिए सबसे सही है. जैसे, बोटैनिकल टैक्सोनॉमी. हैरारकी के हिसाब से क्लस्टर बनाने वाले दो तरह के एल्गोरिदम होते हैं:

• एग्लोमेरेटिव क्लस्टरिंग सबसे पहले हर उदाहरण को अपने क्लस्टर में असाइन करता है. इसके बाद, यह हैरारकी वाला ट्री बनाने के लिए, सबसे मिलते-जुलते क्लस्टर को बार-बार मर्ज करता है.
• डिविज़िव क्लस्टरिंग सबसे पहले सभी उदाहरणों को एक क्लस्टर में ग्रुप करती है. इसके बाद, क्लस्टर को बार-बार हैरारकी वाले ट्री में बांटती है.

सेंट्रॉइड पर आधारित क्लस्टरिंग के साथ तुलना करें.

ज़्यादा जानकारी के लिए, क्लस्टरिंग कोर्स में क्लस्टरिंग एल्गोरिदम देखें.

हिंज का खो जाना

लॉस फ़ंक्शन के फ़ैमिली ग्रुप क्लासिफ़िकेशन को फ़ैसले की सीमा जितना हो सके उतना दूर ट्रेनिंग के हर उदाहरण से लिया गया डेटा देखें, इस तरह, उदाहरणों और सीमा के बीच मार्जिन को बढ़ाया जा सकता है. KSVM, हिंज लॉस (या इससे जुड़े फ़ंक्शन, जैसे कि वर्गाकार हिंज लॉस). बाइनरी क्लासिफ़िकेशन के लिए, हिंज लॉस फ़ंक्शन को इस तरह से परिभाषित किया गया है:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

जहां y सही लेबल है, या तो -1 या +1 है और y' रॉ आउटपुट है क्लासिफ़ायर मॉडल का हिस्सा है:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

इसलिए, हिंग लॉस बनाम (y * y') का प्लॉट कुछ ऐसा दिखता है:

पुराने डेटा के आधार पर गलत नतीजे

#fairness

बायस का एक ऐसा टाइप जो दुनिया में पहले से मौजूद है और किसी डेटासेट में शामिल हो गया है. इन पक्षपातों से, मौजूदा सांस्कृतिक रूढ़िवादी सोच, डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) में असमानताएं, और कुछ सामाजिक ग्रुप के ख़िलाफ़ पूर्वाग्रहों को दिखाने की संभावना होती है.

उदाहरण के लिए, किसी क्लासिफ़िकेशन मॉडल पर विचार करें यह अनुमान लगाता है कि क़र्ज़ लेने वाला, डिफ़ॉल्ट रूप से अपना क़र्ज़ चुकाएंगे या नहीं, जो कि ट्रेनिंग के दौरान, 1980 के दशक के स्थानीय बैंकों से मिले क़र्ज़ के डिफ़ॉल्ट डेटा के आधार पर, दो देशों में ट्रेनिंग दी गई अलग-अलग समुदाय. अगर समुदाय A के पिछले आवेदक छह गुना ज़्यादा थे समुदाय B के आवेदकों की तुलना में, डिफ़ॉल्ट रूप से ऐतिहासिक पूर्वाग्रह को सीख सकता है, जिससे मॉडल की ओर से कम्यूनिटी A में क़र्ज़ की मंज़ूरी दे सकते हैं. भले ही, तब कम्यूनिटी के लिए बनाए गए ज़्यादा डिफ़ॉल्ट किराये अब काम के नहीं थे.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में निष्पक्षता: पक्षपात के टाइप देखें.

होल्डआउट डेटा

उदाहरण उन्हें ट्रेनिंग के दौरान जान-बूझकर इस्तेमाल न किया गया हो ("होल्ड किया गया"). पुष्टि करने के लिए इस्तेमाल होने वाला डेटासेट और टेस्ट डेटासेट, होल्डआउट डेटा के उदाहरण हैं. होल्डआउट डेटा से, यह पता लगाने में मदद मिलती है कि आपके मॉडल को जिस डेटा पर ट्रेन किया गया था उससे अलग डेटा पर, मॉडल की परफ़ॉर्मेंस कैसी होगी. ट्रेनिंग सेट के मुकाबले, होल्डआउट सेट पर होने वाली गड़बड़ी से, किसी ऐसे डेटासेट पर होने वाली गड़बड़ी का बेहतर अनुमान लगाया जा सकता है जिसे पहले कभी इस्तेमाल नहीं किया गया है.

होस्ट

#TensorFlow

#GoogleCloud

ऐक्सेलरेटर चिप (जीपीयू या TPU) पर किसी एमएल मॉडल को ट्रेनिंग देते समय, सिस्टम का वह हिस्सा इन दोनों को कंट्रोल करता है:

• कोड का पूरा फ़्लो.
• इनपुट पाइपलाइन का एक्सट्रैक्शन और ट्रांसफ़ॉर्मेशन.

आम तौर पर, होस्ट सीपीयू पर चलता है, न कि एक्सीलेरेटर चिप पर; यह device, डिवाइस पर टेंसर में हेर-फेर करता है ऐक्सेलरेटर चिप.

हाइपर पैरामीटर

#fundamentals

ऐसे वैरिएबल जिन्हें आपने या हाइपर पैरामीटर ट्यूनिंग सेवा के लिए इस्तेमाल किया है मॉडल को ट्रेनिंग देने के दौरान लगातार बदलाव करते रहें. उदाहरण के लिए, लर्निंग रेट एक हाइपरपैरामीटर है. आप एक ट्रेनिंग सेशन से पहले, लर्निंग रेट को 0.01 पर सेट करना होगा. अगर आपको यह तय किया जा सकता है कि 0.01 बहुत ज़्यादा है, इसलिए अगले ट्रेनिंग सेशन के लिए रेट 0.003 हो जाएगा.

वहीं दूसरी ओर, पैरामीटर वज़न और पूर्वाग्रह जो मॉडल ट्रेनिंग के दौरान सीखता है.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में लीनियर रिग्रेशन: हाइपरपैरामीटर देखें.

हाइपरप्लेन

वह सीमा जो किसी स्पेस को दो सबस्पेस में बांटती है. उदाहरण के लिए, लाइन दो डाइमेंशन में हाइपरप्लेन और प्लेन तीन डाइमेंशन में हाइपरप्लेन होता है. आम तौर पर, मशीन लर्निंग में हाइपरप्लेन, ज़्यादा डाइमेंशन वाले स्पेस को अलग करने वाली सीमा होती है. Kernel सपोर्ट वेक्टर मशीन का इस्तेमाल हाइपरप्लेन का इस्तेमाल, पॉज़िटिव क्लास को नेगेटिव क्लास से अलग करने के लिए किया जाता है. अक्सर अंतरिक्ष को देखा जा सकता है.

I

i.i.d.

स्वतंत्र रूप से और एक जैसे वितरित के लिए संक्षिप्त नाम.

इमेज पहचानने की सुविधा

#image

ऐसी प्रोसेस जो किसी इमेज में ऑब्जेक्ट, पैटर्न या कॉन्सेप्ट की कैटगरी तय करती है. इमेज की पहचान करने की सुविधा को इमेज का क्लासिफ़िकेशन भी कहा जाता है.

ज़्यादा जानकारी के लिए, यह देखें ML Practicum: इमेज क्लासिफ़िकेशन.

ज़्यादा जानकारी के लिए, एमएल प्रैक्टिकम: इमेज का क्लासिफ़िकेशन करने वाला कोर्स देखें.

असंतुलित डेटासेट

क्लास-असंतुलित डेटासेट का दूसरा नाम.

अनजाने में भेदभाव करना

#fairness

अपने मन के मॉडल और यादों के आधार पर, अपने-आप किसी चीज़ से जुड़ना या कोई अनुमान लगाना. अनजाने में होने वाले भेदभाव से इन चीज़ों पर असर पड़ सकता है:

• डेटा को इकट्ठा करने और उसे कैटगरी में बांटने का तरीका.
• मशीन लर्निंग सिस्टम को डिज़ाइन और डेवलप करने का तरीका.

उदाहरण के लिए, शादी की फ़ोटो की पहचान करने के लिए क्लासिफ़ायर बनाते समय, कोई इंजीनियर फ़ोटो में सफ़ेद रंग की ड्रेस की मौजूदगी को सुविधा के तौर पर इस्तेमाल कर सकता है. हालांकि, सफ़ेद रंग के कपड़े पहनने का रिवाज सिर्फ़ कुछ समय और कुछ संस्कृतियों में रहा है.

पुष्टि से जुड़े मापदंड भी देखें.

imputation

वैल्यू इंप्यूटेशन का छोटा फ़ॉर्मैट.

निष्पक्षता मेट्रिक के साथ काम नहीं करता

#fairness

यह विचार कि निष्पक्षता की कुछ धारणाएं पारस्परिक रूप से असंगत हैं और एक साथ संतुष्ट नहीं किया जा सकता. इसलिए, सभी एमएल समस्याओं पर लागू होने वाली, निष्पक्षता को मेज़र करने वाली कोई एक मेट्रिक नहीं है.

ऐसा लग सकता है कि यह बात आपको हतोत्साहित कर रही है. हालांकि, निष्पक्षता मेट्रिक के साथ काम न करने का मतलब यह नहीं है कि निष्पक्षता को बढ़ावा देने की कोशिशें बेकार हैं. इसके बजाय, यह सुझाव दिया गया है कि किसी एआई मॉडल की समस्या के हिसाब से, निष्पक्षता को परिभाषित किया जाना चाहिए. ऐसा, इसके इस्तेमाल के उदाहरणों से होने वाले नुकसान को रोकने के मकसद से किया जाना चाहिए.

देखें "इस पर (im)निष्पक्षता की संभावना" का इस्तेमाल करें.

कॉन्टेक्स्ट के हिसाब से सीखना

#language

#generativeAI

कुछ शॉट प्रॉम्प्ट के लिए समानार्थी शब्द.

इंडिपेंडेंटली ऐंड आइडेंटिकल डिस्ट्रिब्यूटेड (i.i.d)

#fundamentals

ऐसे डिस्ट्रिब्यूशन से तैयार किया गया डेटा जिसमें बदलाव नहीं होता है. साथ ही, जिसमें हर वैल्यू ड्रॉर, पहले बनाई गई वैल्यू पर निर्भर नहीं करता है. कोई आई॰आई॰डी॰ आदर्श गैस है मशीन का सीखना—एक उपयोगी गणितीय निर्माण, जो शायद सटीक रूप से कभी नहीं मिला अनुभव करते हैं. उदाहरण के लिए, किसी वेब पेज पर विज़िटर का वितरण ये आई.आई.डी. हो सकते है का समय पूरा हो जाता है. इसका मतलब है कि डिस्ट्रिब्यूशन उस संक्षिप्त विंडो के दौरान बदलाव हो जाता है और आम तौर पर एक व्यक्ति का आना-जाना होता है स्वतंत्र रूप से काम करते हैं. हालांकि, अगर आप समय की वह विंडो बढ़ाते हैं, इसलिए, वेब पेज पर आने वाले लोगों में सीज़न के मुताबिक अंतर दिख सकता है.

नॉन-स्टेशनैरिटी भी देखें.

व्यक्तिगत निष्पक्षता

#fairness

निष्पक्षता वाली एक मेट्रिक, जो यह जांच करती है कि मिलते-जुलते लोगों को कैटगरी में शामिल किया गया है या नहीं इसी तरह. उदाहरण के लिए, हो सकता है कि Brobdingnagian Academy को एक समान ग्रेड वाले दो छात्र-छात्राओं को लागू करके, व्यक्तिगत तौर पर निष्पक्षता का अनुरोध करना और तय किए गए स्कोर के हिसाब से, इस कोर्स में शामिल होने की संभावना बराबर होती है.

ध्यान दें कि किसी व्यक्ति के लिए निष्पक्षता का आकलन, "मिलती-जुलती" (इस मामले में, ग्रेड और टेस्ट के स्कोर) के बारे में आपकी परिभाषा पर पूरी तरह से निर्भर करता है. अगर मिलती-जुलती मेट्रिक में अहम जानकारी (जैसे, छात्र के सिलेबस की कठिनाई) मौजूद नहीं है, तो निष्पक्षता से जुड़ी नई समस्याएं आ सकती हैं.

किसी व्यक्ति के लिए निजता बनाए रखने के बारे में ज़्यादा जानने के लिए, "जानकारी के ज़रिए निजता बनाए रखना" लेख पढ़ें.

अनुमान

#fundamentals

मशीन लर्निंग में, उसके हिसाब से अनुमान लगाने की बिना लेबल वाले उदाहरणों पर, ट्रेन किए गए मॉडल को लागू करना.

आंकड़ों में अनुमान का कुछ अलग मतलब होता है. ज़्यादा जानकारी के लिए, सांख्यिकीय अनुमान के बारे में Wikipedia का लेख देखें.

सुपरवाइज़्ड लर्निंग सिस्टम में, अनुमान लगाने की भूमिका को समझने के लिए, एआई के बारे में जानकारी देने वाले कोर्स में सुपरवाइज़्ड लर्निंग देखें.

अनुमान लगाने का पाथ

#df

डिसिज़न ट्री में, अनुमान के दौरान, विशेष उदाहरण द्वारा लिया गया रास्ता अन्य शर्तों को रूट से खत्म करें एक लीफ़. उदाहरण के लिए, नीचे दिए गए डिसीज़न ट्री में, ज़्यादा मोटे ऐरो, किसी उदाहरण के लिए इन फ़ीचर वैल्यू के साथ, अनुमान लगाने का पाथ दिखाते हैं:

• x = 7
• y = 12
• z = -3

नीचे दिए गए उदाहरण में अनुमान का पाथ तीन से होकर गुज़रता है लीफ़ (Zeta) तक पहुंचने से पहले की शर्तें.

तीन मोटे ऐरो, अनुमान लगाने का पाथ दिखाते हैं.

डिसिज़न ट्री देखें पर जाएं.

जानकारी हासिल करना

#df

फ़ैसला फ़ॉरेस्ट में, किसी नोड के एन्ट्रापी और उसके चाइल्ड नोड के एन्ट्रापी के वज़ीदार (उदाहरणों की संख्या के हिसाब से) योग के बीच का अंतर. नोड की एन्ट्रॉपी, एन्ट्रॉपी होती है शामिल नहीं होंगी.

उदाहरण के लिए, इन एंट्रॉपी वैल्यू पर विचार करें:

• पैरंट नोड की एन्ट्रॉपी = 0.6
• काम के 16 उदाहरणों वाले एक चाइल्ड नोड का एन्ट्रापी = 0.2
• 24 काम के उदाहरणों वाले किसी दूसरे चाइल्ड नोड का एन्ट्रापी = 0.1

इसलिए, 40% उदाहरण एक चाइल्ड नोड में और 60% अन्य चाइल्ड नोड पर लागू होते हैं. इसलिए:

• चाइल्ड नोड का वेटेड एन्ट्रॉपी का कुल योग = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

इस तरह, मुझे यह जानकारी मिलती है:

• जानकारी गेन = पैरंट नोड की एंट्रॉपी - चाइल्ड नोड के वेटेड एंट्रॉपी का योग
• हासिल की गई जानकारी = 0.6 - 0.14 = 0.46

ज़्यादातर स्प्लिटर, ऐसी शर्तें तय करते हैं जिनसे ज़्यादा से ज़्यादा जानकारी हासिल की जा सके.

इन-ग्रुप बायस

#fairness

अपने ग्रुप या अपनी विशेषताओं को पक्षपात के साथ दिखाना. अगर टेस्टर या रेटर में मशीन लर्निंग डेवलपर के दोस्त, परिवार या साथ काम करने वाले लोग शामिल हैं, तो इन-ग्रुप बायस की वजह से प्रॉडक्ट की जांच या डेटासेट अमान्य हो सकता है.

इन-ग्रुप बायस, ग्रुप एट्रिब्यूशन बायस का एक टाइप है. ग्रुप से बाहर के लोगों के लिए एक ही तरीके से होने वाले भेदभाव की जानकारी भी देखें.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में निष्पक्षता: पक्षपात के टाइप देखें.

इनपुट जनरेटर

वह तरीका जिससे डेटा को न्यूरल नेटवर्क में लोड किया जाता है.

इनपुट जनरेटर को एक ऐसे कॉम्पोनेंट के तौर पर देखा जा सकता है जो रॉ डेटा को टेंसर में प्रोसेस करता है. इन टेंसर को ट्रेनिंग, आकलन, और अनुमान लगाने के लिए बैच जनरेट करने के लिए दोहराया जाता है.

इनपुट लेयर

#fundamentals

न्यूरल नेटवर्क की लेयर, जिसमें फ़ीचर वेक्टर होता है. इसका मतलब है कि इनपुट लेयर ट्रेनिंग के लिए उदाहरण देता है या अनुमान. उदाहरण के लिए, यहां दी गई इनपुट लेयर में न्यूरल नेटवर्क में दो सुविधाएं होती हैं:

इन-सेट स्थिति

#df

डिसिज़न ट्री में, एक स्थिति जो आइटम के सेट में एक आइटम की मौजूदगी की जांच करता है. उदाहरण के लिए, इन-सेट शर्त यह है:

  house-style in [tudor, colonial, cape]

अनुमान के दौरान, अगर घर के स्टाइल वाली सुविधा की वैल्यू tudor या colonial या cape है, तो इस शर्त की वैल्यू 'हां' होगी. अगर आपने हाउस-स्टाइल सुविधा की वैल्यू कुछ और है (उदाहरण के लिए, ranch), तो इस शर्त की वैल्यू 'नहीं' होती है.

आम तौर पर, इन-सेट शर्तों से ज़्यादा असरदार डिसिज़न ट्री बनते हैं. ये शर्तें, वन-हॉट कोड वाली सुविधाओं की जांच करने वाली शर्तों से बेहतर होती हैं.

इंस्टेंस

example का समानार्थी शब्द.

निर्देश ट्यूनिंग

#generativeAI

फ़ाइन-ट्यूनिंग का एक तरीका, जो जनरेटिव एआई मॉडल की, फ़ॉलो करने की क्षमता निर्देश. इंस्ट्रक्शनल ट्यूनिंग में, मॉडल को किसी सीरीज़ की ट्रेनिंग देनी होती है जिसमें आम तौर पर चौड़ी या चौड़ी करने में मदद मिलती है. इसके बाद, निर्देशों के हिसाब से तैयार किया गया मॉडल, कई तरह के टास्क के लिए ज़ीरो-शॉट प्रॉम्प्ट के लिए काम के जवाब जनरेट करता है.

इनकी तुलना और इनके साथ अंतर करना:

• पैरामीटर की बेहतर ट्यूनिंग
• प्रॉम्प्ट ट्यूनिंग

इंटरप्रेटेडेबिलिटी

#fundamentals

मशीन लर्निंग मॉडल के फ़ैसले को समझने लायक शब्दों में, किसी व्यक्ति को बताने या पेश करने की क्षमता.

उदाहरण के लिए, ज़्यादातर लीनियर रिग्रेशन मॉडल को आसानी से समझा जा सकता है. (आपको हर सुविधा के लिए, ट्रेन किए गए वेट को देखना होगा.) फ़ैसले के फ़ॉरेस्ट को समझना भी बहुत आसान है. हालांकि, कुछ मॉडल, उसे समझने लायक बनाने के लिए, मुश्किल विज़ुअलाइज़ेशन का होना ज़रूरी है.

एमएल मॉडल को समझने के लिए, लर्निंग इंटरप्रिटेबिलिटी टूल (एलआईटी) का इस्तेमाल किया जा सकता है.

इंटर-रेटर एग्रीमेंट

इससे पता चलता है कि कोई टास्क करते समय, रेटिंग देने वाले लोग कितनी बार सहमत होते हैं. अगर रेटिंग देने वाले लोग सहमत नहीं हैं, तो टास्क के निर्देशों को बेहतर बनाने की ज़रूरत हो सकती है. इसे कभी-कभी इंटर-एनोटेटर कानूनी समझौता भी कहा जाता है या इंटर-रेटर विश्वसनीयता. कोहेन का कप्पा भी देखें. यह, एक-दूसरे के साथ सहमति के आधार पर मेज़रमेंट करने का सबसे लोकप्रिय तरीका है.

ज़्यादा जानकारी के लिए, मशीन लर्निंग क्रैश कोर्स में कैटगरी वाला डेटा: आम समस्याएं देखें.

इंटरसेक्शन ओवर यूनियन (आईओयू)

#image

दो सेट के प्रतिच्छेदन को उनके यूनियन से भाग देने पर मिलने वाली संख्या. मशीन लर्निंग की मदद से इमेज की पहचान करने वाले टास्क में, IoU का इस्तेमाल करके यह मेज़र किया जाता है कि मॉडल के अनुमानित बाउंडिंग बॉक्स की तुलना में, ग्राउंड-ट्रूथ बाउंडिंग बॉक्स कितना सटीक है. इस मामले में, दो बॉक्स, ओवरलैप हो रहे क्षेत्र और कुल क्षेत्र के बीच का अनुपात है, और इसकी वैल्यू 0 से है (अनुमानित बाउंडिंग बॉक्स और ग्राउंड-ट्रूथ का कोई ओवरलैप नहीं बाउंडिंग बॉक्स) से 1 (अनुमानित बाउंडिंग बॉक्स और ग्राउंड-ट्रुथ बाउंडिंग बॉक्स में है एक जैसे निर्देशांक).

उदाहरण के लिए, नीचे दी गई इमेज में:

• अनुमानित बाउंडिंग बॉक्स (निर्देशांक, जो इस बात की सीमा तय करते हैं कि मॉडल अनुमान लगाता है कि पेंटिंग में नाइट टेबल मौजूद है) बैंगनी रंग में आउटलाइन की गई है.
• ग्राउंड-ट्रूथ बाउंडिंग बॉक्स (निर्देशांकों से तय होता है कि रात कहां पर है) टेबल असल में मौजूद है) हरे रंग से आउटलाइन की गई है.

यहां, अनुमान और ज़मीनी सच्चाई (नीचे बाईं ओर) के बाउंडिंग बॉक्स का इंटरसेक्शन 1 है और अनुमान और ज़मीनी सच्चाई (नीचे दाईं ओर) के बाउंडिंग बॉक्स का यूनियन 7 है. इसलिए, IoU \(\frac{1}{7}\)है.

IoU

इंटरसेक्शन ओवर यूनियन का शॉर्ट फ़ॉर्म.

आइटम मैट्रिक्स

#recsystems

सुझाव देने वाले सिस्टम में, एम्बेडिंग वेक्टर का मैट्रिक्स जो जनरेट किया गया हो मैट्रिक्स फ़ैक्टराइज़ेशन जो हर आइटम के बारे में लेटेंट सिग्नल देता है. आइटम मैट्रिक्स की हर पंक्ति में एक लेटेंट का मान होता है सुविधा का इस्तेमाल करें. उदाहरण के लिए, फ़िल्म के सुझाव देने वाला सिस्टम. आइटम मैट्रिक में मौजूद हर कॉलम, एक फ़िल्म के बारे में बताता है. लेटलेंट सिग्नल से शायद शैलियों के बारे में पता चलता हो. इसके अलावा, ये ऐसे सिग्नल भी हो सकते हैं जिनका विश्लेषण करना मुश्किल हो. इनमें शैलियों, सितारों, फ़िल्म की उम्र या अन्य चीज़ों के बीच जटिल इंटरैक्शन शामिल होते हैं.

आइटम मैट्रिक्स में कॉलम की संख्या, टारगेट की संख्या के बराबर है ऐसा मैट्रिक्स जिसे फ़ैक्टराइज़ किया जा रहा है. उदाहरण के लिए, अगर मूवी के सुझाव देने वाला कोई सिस्टम, 10,000 फ़िल्मों के टाइटल का आकलन करता है, तो आइटम मैट्रिक में 10,000 कॉलम होंगे.

आइटम

#recsystems

सुझाव देने वाले सिस्टम में, वे इकाइयां जो किसी सिस्टम का सुझाव है. उदाहरण के लिए, वीडियो ऐसे आइटम होते हैं जिन्हें कोई वीडियो सेव करता है की सलाह देता है, जबकि किताबें वे आइटम हैं जिनका सुझाव किसी बुकस्टोर ने दिया है.

फिर से करें

#fundamentals

ट्रेनिंग के दौरान, मॉडल के पैरामीटर, यानी मॉडल के वज़न और बायस में एक बार किया गया बदलाव. बैच के साइज़ से तय होता है कि एक बार में यह मॉडल प्रोसेस होने के कितने उदाहरण देता है. उदाहरण के लिए, अगर बैच का साइज़ 20 है, तो पैरामीटर में बदलाव करने से पहले मॉडल 20 उदाहरणों को प्रोसेस करता है.

न्यूरल नेटवर्क को ट्रेनिंग देते समय, एक बार में दो पास होते हैं:

1. किसी एक बैच में लॉस का आकलन करने के लिए फ़ॉरवर्ड पास.
2. लॉस और लर्निंग रेट के आधार पर, मॉडल के पैरामीटर में बदलाव करने के लिए बैकवर्ड पास (बैकप्रोपगेशन).

J

JAX

ऐरे कंप्यूटिंग लाइब्रेरी, जिसमें XLA (Accelerated Linear Algebra) और अपने-आप अंतर करने की सुविधा को एक साथ जोड़ा गया है. इससे, बेहतर परफ़ॉर्मेंस वाली संख्यात्मक कंप्यूटिंग की जा सकती है. JAX, आसान और बेहतर एपीआई उपलब्ध कराता है. इसकी मदद से, एलिमेंट को एक-दूसरे में बदलने की सुविधा के साथ, तेज़ी से काम करने वाला अंकों वाला कोड लिखा जा सकता है. JAX में ये सुविधाएं मिलती हैं:

• grad (अपने-आप अलग होने की सुविधा)
• jit (खास तौर पर एक साथ कई शॉर्ट वीडियो का कंपाइलेशन)
• vmap (ऑटोमैटिक वेक्टराइज़ेशन या बैचिंग)
• pmap (साथ में प्रोसेस होना)

JAX, अंकों वाली वैल्यू को अलग-अलग टेक्स्ट में बदलने के लिए इस्तेमाल की जाने वाली भाषा है Python के NumPy से मिलता-जुलता कोड, लेकिन उसके दायरे में बहुत बड़ा लाइब्रेरी. (असल में, JAX में मौजूद .numpy लाइब्रेरी, Python NumPy लाइब्रेरी की तरह ही काम करती है. हालांकि, इसे पूरी तरह से फिर से लिखा गया है.)

JAX, मशीन लर्निंग से जुड़े कई टास्क को तेज़ी से पूरा करने के लिए खास तौर पर बेहतर है. ऐसा, मॉडल और डेटा को GPU और TPU एक्सेलरेटर चिप पर एक साथ काम करने के लिए सही फ़ॉर्मैट में बदलकर किया जाता है.

Flax, Optax, Pax, और कई अन्य लाइब्रेरी, JAX इंफ़्रास्ट्रक्चर पर बनाई गई हैं.

K

Keras

Python का एक लोकप्रिय मशीन लर्निंग एपीआई. केरस इस पर चलता है कई डीप लर्निंग फ़्रेमवर्क के आधार पर बनाया जाता है. इनमें TensorFlow भी शामिल है, जहां इसे इस रूप में उपलब्ध tf.keras.

कर्नेल सपोर्ट वेक्टर मशीन (KSVMs)

एक क्लासिफ़िकेशन एल्गोरिदम, जो दो तरह के नतीजों के बीच के मार्जिन को बढ़ाना चाहता है पॉज़िटिव और इनपुट डेटा वेक्टर को मैप करके, नेगेटिव क्लास सैटलाइट से ली गई तस्वीरें देख सकते हैं. उदाहरण के लिए, प्रॉडक्ट की कैटगरी तय करने के बारे में सोचें इनपुट डेटासेट सौ फीचर्स हैं. बीच के मार्जिन को ज़्यादा से ज़्यादा बढ़ाने के लिए पॉज़िटिव और नेगेटिव क्लास का इस्तेमाल करते हैं, तो KSVM उन सुविधाओं को अंदरूनी तौर पर 10 लाख डाइमेंशन वाला स्पेस. KSVM, लॉस फ़ंक्शन का इस्तेमाल करता है जिसे हिंज कम हो जाना.

मुख्य बातें

#image

किसी इमेज में खास सुविधाओं के निर्देशांक. उदाहरण के लिए, इमेज की पहचान करने वाले ऐसे मॉडल के लिए, जिसमें फूल की प्रजातियों में अंतर किया जाता है, मुख्य पॉइंट हर पंखुड़ी का बीच, डंठल, और स्टैमन वगैरह हो सकते हैं.

के-फ़ोल्ड क्रॉस वैलिडेशन

किसी मॉडल की क्षमता का अनुमान लगाने के लिए एल्गोरिदम नए डेटा के बारे में सामान्य जानकारी दें. k-फ़ोल्ड में k का मतलब है डेटासेट के उदाहरणों को बराबर ग्रुप में बांटना; यानी, जब आप और अपने मॉडल को k बार टेस्ट करें. ट्रेनिंग और टेस्टिंग के हर राउंड के लिए, कोई एक अलग ग्रुप, टेस्ट सेट है और बाकी सभी ग्रुप ट्रेनिंग बन जाते हैं सेट. ट्रेनिंग और टेस्टिंग के k राउंड के बाद, चुनी गई टेस्ट मेट्रिक के औसत और स्टैंडर्ड डेविएशन का हिसाब लगाया जाता है.

उदाहरण के लिए, मान लें कि आपके डेटासेट में 120 उदाहरण हैं. इसके अलावा, मान लीजिए कि आप k को 4 पर सेट करने का फ़ैसला करते हैं. इसलिए, उदाहरणों को शफ़ल करने के बाद, आप डेटासेट को 30 उदाहरणों के चार बराबर ग्रुप में बांटते हैं और चार ट्रेनिंग और टेस्टिंग राउंड:

उदाहरण के लिए, मीन स्क्वेयर एरर (एमएसई), लीनियर रिग्रेशन मॉडल के लिए सबसे अहम मेट्रिक हो सकती है. इसलिए, आपको चारों राउंड में एमएसई का औसत और स्टैंडर्ड डेविएशन दिखेगा.

के-मीन

#clustering

यह एक लोकप्रिय क्लस्टरिंग एल्गोरिदम है, जिसमें उदाहरणों को ग्रुप किया जाता है बिना निगरानी के देखा जा सकता है. k-मीन एल्गोरिदम मूल रूप से ये काम करता है:

• यह बार-बार सबसे अच्छे k सेंटर पॉइंट (जिन्हें सेंट्रॉइड कहा जाता है) का पता लगाता है.
• हर उदाहरण को सबसे नज़दीकी सेंट्रोइड को असाइन करता है. नज़दीकी उदाहरण एक समान केंद्रक एक ही समूह से संबंधित होता है.

k-means एल्गोरिदम, सेंट्रोइड की जगहें चुनता है, ताकि हर उदाहरण से उसके सबसे नज़दीकी सेंट्रोइड की दूरी के स्क्वेयर को कम किया जा सके.

उदाहरण के लिए, कुत्ते की लंबाई और कुत्ते की चौड़ाई के हिसाब से जानकारी देने वाले ये प्लॉट देखें:

अगर k=3 है, तो k-मीन एल्गोरिदम, तीन सेंट्रोइड तय करेगा. हर उदाहरण को उसके सबसे नज़दीकी सेंट्रोइड को असाइन किया जाता है. इससे तीन ग्रुप बनते हैं:

मान लें कि एक निर्माता छोटे साइज़, कुत्तों के लिए मीडियम और बड़े स्वेटर. तीन सेंट्राइड, उस क्लस्टर में मौजूद हर कुत्ते की औसत ऊंचाई और औसत चौड़ाई की पहचान करते हैं. इसलिए, मैन्युफ़ैक्चरर स्वेटर का साइज़ उन तीन सेंट्रोइड पर होना चाहिए. ध्यान दें कि क्लस्टर का केंद्रक आमतौर पर क्लस्टर में एक उदाहरण नहीं होता है.

ऊपर दिए गए उदाहरणों में, सिर्फ़ दो एट्रिब्यूट (ऊंचाई और चौड़ाई) वाले उदाहरणों के लिए, क-मीन्स का इस्तेमाल दिखाया गया है. ध्यान दें कि k-means, कई सुविधाओं के उदाहरणों को ग्रुप कर सकता है.

के-मीडियन

#clustering

k-means से मिलता-जुलता क्लस्टरिंग एल्गोरिदम. कॉन्टेंट बनाने दोनों के बीच व्यावहारिक अंतर इस प्रकार है:

• क-मीन्स में, सेंट्रोइड तय करने के लिए, सेंट्रोइड के संभावित उम्मीदवार और उसके हर उदाहरण के बीच की दूरी के वर्ग का योग कम से कम किया जाता है.
• k-मीडियन में, सेंट्रोइड का पता लगाने के लिए, सेंट्रोइड उम्मीदवार और इसके हर उदाहरण के बीच की दूरी.

ध्यान दें कि दूरी की परिभाषाएं भी अलग-अलग हैं:

• के-मीन, उदाहरण के लिए, सेंट्राइड से इयूक्लिडियन दूरी पर निर्भर करता है. (दो डाइमेंशन में, यूक्लिडियन दूरी का मतलब है, पाइथागोरस प्रमेय की मदद से गणना करना कर्ण.) उदाहरण के लिए, k-मीन की दूरी (2,2) है और (5,-2) का मतलब होगा:

$$ {\text{Euclidean distance}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5 $$

• क-मीडियन, सेंट्राइड से किसी उदाहरण तक की मैनहैटन दूरी पर निर्भर करता है. यह दूरी कुल कुल डेल्टा का अनुमान है. उदाहरण के लिए, (2,2) और (5,-2) के बीच का k-मीडियन डिस्टेंस यह होगा:

$$ {\text{Manhattan distance}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7 $$

L

L₀ रेगुलराइज़ेशन

#fundamentals

रेगुलराइज़ेशन का एक टाइप, जो किसी मॉडल में शून्य से ज़्यादा वेट की कुल संख्या पर जुर्माना लगाता है. उदाहरण के लिए, 11 अशून्य भार वाला मॉडल 10 नॉन शून्य वेट वाले मिलते-जुलते मॉडल की तुलना में ज़्यादा जुर्माना लगाया जाएगा.

L₀ रेगुलराइज़ेशन को कभी-कभी L0-norm रेगुलराइज़ेशन भी कहा जाता है.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

आम तौर पर, बड़े मॉडल में L₀ रेगुलराइज़ेशन का इस्तेमाल करना मुश्किल होता है. इसकी वजह यह है कि L₀ रेगुलराइज़ेशन, ट्रेनिंग को कॉन्वेक्स ऑप्टिमाइज़ेशन समस्या में बदल देता है.

---

L₁ की कमी

#fundamentals

कुल वैल्यू कैलकुलेट करने वाला लॉस फ़ंक्शन असली लेबल की वैल्यू और वे वैल्यू जिनका अनुमान मॉडल लगाता है. उदाहरण के लिए, यहां पांच के बैच के लिए L₁ लॉस का हिसाब उदाहरण:

उदाहरण की असल वैल्यू	मॉडल की अनुमानित वैल्यू	डेल्टा की ऐब्सलूट वैल्यू
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L1 लॉस

L₂ लॉस की तुलना में, L₁ लॉस, आउटलायर के लिए कम संवेदनशील होता है.

मीन ऐब्सॉल्यूट एरर औसत वैल्यू है हर उदाहरण के लिए L₁ नुकसान.

औपचारिक गणित देखने के लिए आइकन पर क्लिक करें.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

where:

• $n$ उदाहरणों की संख्या है.
• लेबल की असल वैल्यू $y$ है.
• $\hat{y}$ वह वैल्यू है जिसका अनुमान मॉडल, $y$ के लिए लगाता है.

---

L₁ रेगुलराइज़ेशन

#fundamentals

रेगुलराइज़ेशन का एक टाइप, जो वेट की कुल वैल्यू के हिसाब से, वेट को दंडित करता है. L₁ रेगुलराइज़ेशन से, काम की नहीं या कम काम की सुविधाओं के वेट को ठीक 0 पर सेट करने में मदद मिलती है. इनके साथ वाली सुविधा मॉडल से 0 वज़न हटा दिया जाता है.

L₂ रेगुलराइज़ेशन के साथ तुलना करें.

L₂ की कमी

#fundamentals

लॉस फ़ंक्शन, जो असल लेबल वैल्यू और मॉडल की अनुमानित वैल्यू के बीच के अंतर का स्क्वेयर कैलकुलेट करता है. उदाहरण के लिए, यहां पांच उदाहरणों वाले बैच के लिए, L₂ लॉस का हिसाब लगाया गया है:

उदाहरण की असल वैल्यू	मॉडल की अनुमानित वैल्यू	डेल्टा का स्क्वेयर
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = L2 हार

स्क्वैरिंग की वजह से, L₂ की कमी से आउटलायर. इसका मतलब है कि L₂ लॉस, L₁ लॉस की तुलना में खराब अनुमानों पर ज़्यादा तेज़ी से प्रतिक्रिया करता है. उदाहरण के लिए, L₁ का नुकसान तो पिछले बैच के लिए, 16 के बजाय 8 होगा. ध्यान दें कि एक आउटलायर, 16 में से 9 डेटा पॉइंट के लिए ज़िम्मेदार है.

रेग्रेसन मॉडल आम तौर पर, लॉस फ़ंक्शन के तौर पर L₂ लॉस का इस्तेमाल करते हैं.

मीन स्क्वेयर्ड एरर औसत वैल्यू है हर उदाहरण के लिए L₂ नुकसान. स्क्वेयर्ड लॉस, L₂ लॉस का दूसरा नाम है.

औपचारिक गणित देखने के लिए आइकन पर क्लिक करें.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

where:

• $n$ उदाहरणों की संख्या है.
• लेबल की असल वैल्यू $y$ है.
• $\hat{y}$ वह वैल्यू है जिसका अनुमान मॉडल, $y$ के लिए लगाता है.

---

L₂ रेगुलराइज़ेशन

#fundamentals

यह एक तरह का रेगुलराइज़ेशन है, जो भार के स्क्वेयर के योग के अनुपात में भार. L₂ को रेगुलर करने से आउटलायर वेट (जिन्हें वैल्यू 0 के करीब हों, लेकिन 0 के आस-पास न हों. ऐसी सुविधाएं मॉडल में बनी रहती हैं जिनकी वैल्यू 0 के बहुत करीब होती है लेकिन मॉडल के अनुमान पर ज़्यादा असर नहीं डालते.

L₂ रेगुलराइज़ेशन की सुविधा से, सामान्य जानकारी पाने में हमेशा मदद मिलती है लीनियर मॉडल.

L₁ रेगुलराइज़ेशन के साथ तुलना करें.

लेबल

#fundamentals

सुपरवाइज़्ड मशीन लर्निंग में, "जवाब दो" या "नतीजे" वाला हिस्सा एक उदाहरण का है.

हर लेबल किए गए उदाहरण में एक या उससे ज़्यादा सुविधाएं और एक लेबल होता है. उदाहरण के लिए, स्पैम का पता लगाने वाले डेटासेट में, लेबल "स्पैम" या "स्पैम नहीं" हो सकता है. बारिश के डेटासेट में, लेबल एक तय समय के दौरान हुई बारिश.

लेबल किए गए उदाहरण

#fundamentals

एक ऐसा उदाहरण जिसमें एक या उससे ज़्यादा सुविधाएं और एक लेबल शामिल हैं. उदाहरण के लिए, नीचे दी गई टेबल में तीन हाउस वैल्यूएशन मॉडल के लेबल किए गए उदाहरण. हर एक में तीन सुविधाएं हैं और एक लेबल:

कमरों की संख्या	बाथरूम की संख्या	घर की उम्र	घर की कीमत (लेबल)
3	2	15	3,45,000 डॉलर
2	1	72	1,79,000 डॉलर
4	2	34	3,92,000 डॉलर

सुपरवाइज़्ड मशीन लर्निंग में, मॉडल, लेबल किए गए उदाहरणों के आधार पर ट्रेनिंग देते हैं और इन पर अनुमान लगाते हैं बिना लेबल वाले उदाहरण.

बिना लेबल वाले उदाहरणों के साथ कंट्रास्ट लेबल किए गए उदाहरण.

लेबल लीकेज

मॉडल के डिज़ाइन में गड़बड़ी, जिसमें सुविधा, लेबल के लिए प्रॉक्सी है. उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन मॉडल, जो अनुमान लगाता है क्या कोई संभावित खरीदार किसी खास प्रॉडक्ट को खरीदेगा या नहीं. मान लीजिए कि इस मॉडल की एक सुविधा, बूलियन नाम की SpokeToCustomerAgent. इसके अलावा, मान लें कि संभावित ग्राहक के प्रॉडक्ट खरीदने के बाद ही, ग्राहक एजेंट को असाइन किया जाता है. ट्रेनिंग के दौरान, मॉडल जल्द ही जुड़ाव के बारे में जान लेगा SpokeToCustomerAgent और लेबल के बीच.

लैम्डा

#fundamentals

नियमित किराया का दूसरा नाम.

Lambda एक ओवरलोड किया गया शब्द है. यहां हम नियमों के मुताबिक बनाने की प्रक्रिया में, इस शब्द की परिभाषा पर फ़ोकस कर रहे हैं.

LaMDA (बातचीत आधारित ऐप्लिकेशन के लिए भाषा का मॉडल)

#language

ट्रांसफ़ॉर्मर-आधारित बड़ा लैंग्वेज मॉडल. इसे Google ने डेवलप किया है. इसे Google ने ट्रेनिंग दी है यह एक बड़ा डायलॉग डेटासेट है, जो बातचीत के असली लगने वाले जवाब दे सकता है.

LaMDA: बातचीत की हमारी बेहतरीन टेक्नोलॉजी में इसकी खास जानकारी दी गई है.

लैंडमार्क

#image

खास जानकारी के लिए इस्तेमाल होने वाला समानार्थी शब्द.

लैंग्वेज मॉडल

#language

ऐसा मॉडल जो टोकन की संभावना का अनुमान लगाता है या टोकन की एक लंबी सूची में होने वाले टोकन का क्रम.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

टेक्स्ट का आकलन करने वाले कई मॉडल, भाषा मॉडल नहीं होते. उदाहरण के लिए, टेक्स्ट की कैटगरी तय करने वाले मॉडल और सेंटिमेंट विश्लेषण करने वाले मॉडल, भाषा मॉडल नहीं हैं.

---

लार्ज लैंग्वेज मॉडल

#language

कम से कम, ऐसा लैंग्वेज मॉडल जिसमें पैरामीटर की संख्या बहुत ज़्यादा हो. अनौपचारिक रूप से, किसी भी ट्रांसफ़ॉर्मर-आधारित लैंग्वेज मॉडल, जैसे Gemini या GPT.

लैटेंट स्पेस

#language

स्पेस एम्बेड करना का समानार्थी शब्द.

लेयर

#fundamentals

न्यूरॉन के एक सेट को न्यूरल नेटवर्क. लेयर के तीन सामान्य टाइप ये हैं:

• इनपुट लेयर, जो सभी सुविधाओं के लिए वैल्यू उपलब्ध कराती है.
• एक या एक से ज़्यादा छिपी हुई लेयर, जो सुविधाओं और लेबल के बीच नॉन-लाइनर संबंधों का पता लगाती हैं.
• आउटपुट लेयर, जिससे अनुमान लगाया जाता है.

उदाहरण के लिए, यहां दिए गए इलस्ट्रेशन में एक इनपुट लेयर, दो हिडन लेयर, और एक आउटपुट लेयर वाला न्यूरल नेटवर्क दिखाया गया है:

TensorFlow में, लेयर भी Python फ़ंक्शन हैं. ये टेंसर और कॉन्फ़िगरेशन के विकल्पों को इनपुट के तौर पर लेते हैं और आउटपुट के तौर पर दूसरे टेंसर जनरेट करते हैं.

लेयर एपीआई (tf.layers)

#TensorFlow

डीप न्यूरल नेटवर्क बनाने के लिए, TensorFlow एपीआई कई लेयर होती हैं. लेयर एपीआई की मदद से, अलग-अलग लेयर बनाई जा सकती हैं लेयर के टाइप, जैसे:

• पूरी तरह कनेक्ट की गई लेयर के लिए, tf.layers.Dense.
• कॉन्वोलूशन लेयर के लिए tf.layers.Conv2D.

लेयर एपीआई, Keras लेयर एपीआई के नियमों का पालन करता है. इसका मतलब है कि एक अलग प्रीफ़िक्स को छोड़कर, लेयर एपीआई के सभी फ़ंक्शन उनके नाम और हस्ताक्षर, Keras में उनसे मिलते-जुलते नामों और हस्ताक्षरों के हों लेयर एपीआई.

पत्ती

#df

डिसीज़न ट्री में मौजूद कोई भी एंडपॉइंट. शर्त के उलट, लीफ कोई जांच नहीं करता. इसके बजाय, लीफ़ देने का अनुमान लगाया जा सकता है. लीफ़, अनुमान के पाथ का टर्मिनल नोड भी होता है.

उदाहरण के लिए, नीचे दिए गए फ़ैसला ट्री में तीन लीफ़ हैं:

लर्निंग इंटरप्रिटेबिलिटी टूल (एलआईटी)

विज़ुअल, इंटरैक्टिव मॉडल-समझने और डेटा विज़ुअलाइज़ेशन टूल.

ओपन सोर्स LIT का इस्तेमाल करके मॉडल को समझने या विज़ुअलाइज़ करने के लिए टेक्स्ट, इमेज, और टेबल में तैयार किया गया डेटा शामिल है.

सीखने की दर

#fundamentals

यह एक फ़्लोटिंग-पॉइंट नंबर है, जो ग्रेडिएंट डिसेंट एल्गोरिदम को बताता है कि हर इटरेशन पर वेट और बायस को कितनी ज़ोर से अडजस्ट करना है. उदाहरण के लिए, 0.3 की लर्निंग रेट, 0.1 की लर्निंग रेट के मुकाबले, वज़न और बायस को तीन गुना ज़्यादा तेज़ी से अडजस्ट करेगी.

लर्निंग रेट एक मुख्य हाइपरपैरामीटर है. अगर आपने लर्निंग रेट को बहुत कम सेट किया है, तो ट्रेनिंग में बहुत ज़्यादा समय लगेगा. अगर आपने आपने सीखने की दर को बहुत ज़्यादा पर सेट किया हो, ग्रेडिएंट ढलान में अक्सर परेशानी होती है कन्वर्ज़न तक पहुंचना.

गणित के बारे में ज़्यादा जानकारी पाने के लिए, आइकॉन पर क्लिक करें.

हर बार के दौरान, ग्रेडिएंट डिसेंट एल्गोरिदम की मदद से, ग्रेडिएंट के हिसाब से सीखने की दर. नतीजे के तौर पर मिलने वाले प्रॉडक्ट को ग्रेडिएंट चरण के बारे में ज़्यादा जानें.

---

लीस्ट स्क्वेयर रिग्रेशन

L₂ लॉस को कम करके, ट्रेन किया गया लीनियर रिग्रेशन मॉडल.

रेखीय

#fundamentals

दो या उससे ज़्यादा वैरिएबल के बीच का संबंध, जिसे सिर्फ़ दिखाया जा सकता है जोड़ने और गुणा करने की सुविधा का इस्तेमाल करके.

लीनियर रिलेशनशिप का प्लॉट एक लाइन होता है.

nonlinear से कंट्रास्ट करें.

लीनियर मॉडल

#fundamentals

मॉडल, जो अनुमान लगाने के लिए, हर सुविधा के लिए एक वज़न असाइन करता है. (लीनियर मॉडल में भी बायस शामिल होता है.) इसके उलट, डीप मॉडल में, अनुमान और सुविधाओं के बीच संबंध आम तौर पर, nonlinear होता है.

आम तौर पर, डीप मॉडल के मुकाबले लीनियर मॉडल को ट्रेन करना आसान होता है. साथ ही, इन मॉडल को समझना भी आसान होता है. हालांकि, डीप मॉडल, सुविधाओं के बीच जटिल संबंधों को समझ सकते हैं.

लीनियर रिग्रेशन और लॉजिस्टिक रिग्रेशन दो तरह के लीनियर मॉडल हैं.

कैलकुलेशन देखने के लिए, आइकॉन पर क्लिक करें.

लीनियर मॉडल में यह फ़ॉर्मूला अपनाया जाता है:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

where:

• y', अनुमान का रॉ डेटा है. (कुछ खास तरह के लीनियर मॉडल में, रॉ अनुमान में और बदलाव किया जाएगा. उदाहरण के लिए, लॉजिस्टिक रिग्रेशन देखें.)
• b, बायस है.
• w का वज़न है, इसलिए w₁ w₂ पहली सुविधा का वेट, दूसरी सुविधा, और ऐसे अन्य विकल्प.
• x एक सुविधा है. इसलिए, x₁ x₂ पहली सुविधा की वैल्यू है, जो दूसरी सुविधा की वैल्यू है. वगैरह.

उदाहरण के लिए, मान लें कि तीन फ़ीचर के लिए लीनियर मॉडल, ये बायस और वेट सीखता है:

• b = 7
• w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

इसलिए, तीन फ़ीचर (x₁, x₂, और x₃) दिए जाने पर, लीनियर मॉडल हर अनुमान जनरेट करने के लिए, नीचे दिए गए समीकरण का इस्तेमाल करता है:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

मान लें कि किसी खास उदाहरण में ये वैल्यू शामिल हैं:

• x₁ = 4
• x₂ = -10
• x₃ = 5

उन वैल्यू को फ़ॉर्मूला में प्लग करने से, इस उदाहरण के लिए एक अनुमान मिलता है:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

लीनियर मॉडल में, सिर्फ़ ऐसे मॉडल शामिल नहीं होते हैं जो अनुमान लगाने के लिए सिर्फ़ लीनियर समीकरण का इस्तेमाल करते हैं. इनमें ऐसे मॉडल का एक बड़ा सेट भी शामिल होता है जो अनुमान लगाने वाले फ़ॉर्मूले के सिर्फ़ एक कॉम्पोनेंट के तौर पर लीनियर समीकरण का इस्तेमाल करते हैं. उदाहरण के लिए, लॉजिस्टिक रिग्रेशन, रॉ अनुमान (y') को पोस्ट-प्रोसेस करता है, ताकि सिर्फ़ 0 से 1 के बीच का अनुमानित फ़ाइनल वैल्यू मिल सके.

---

लीनियर रिग्रेशन

#fundamentals

मशीन लर्निंग मॉडल का एक टाइप, जिसमें ये दोनों बातें सही हों:

• मॉडल एक लीनियर मॉडल है.
• अनुमान, फ़्लोटिंग-पॉइंट वैल्यू होती है. (यह लीनियर रिग्रेशन का रिग्रेशन हिस्सा है.)

लॉजिस्टिक रिग्रेशन की मदद से, लीनियर रिग्रेशन के बीच का अंतर बताएं. इसके अलावा, क्लासिफ़िकेशन के साथ रिग्रेशन के कंट्रास्ट का इस्तेमाल करें.

LIT

लर्निंग इंटरप्रिटेबिलिटी टूल (एलआईटी) का छोटा नाम. इसे पहले भाषा इंटरप्रिटेबिलिटी टूल कहा जाता था.

एलएलएम

#language

#generativeAI

बड़े लैंग्वेज मॉडल के लिए छोटा नाम.

एलएलएम इवैलुएशन (आकलन)

#language

#generativeAI

परफ़ॉर्मेंस का आकलन करने के लिए मेट्रिक और मानदंडों का सेट बड़े लैंग्वेज मॉडल (एलएलएम). हाई लेवल पर, एलएलएम के आकलन:

• शोधकर्ताओं को उन क्षेत्रों की पहचान करने में मदद करना जहां एलएलएम में सुधार की ज़रूरत है.
• ये अलग-अलग एलएलएम की तुलना करने और किसी खास टास्क के लिए सबसे अच्छे एलएलएम की पहचान करने में मदद करते हैं.
• यह पक्का करने में मदद मिलती है कि एलएलएम का इस्तेमाल करना सुरक्षित और सही है.

लॉजिस्टिक रिग्रेशन

#fundamentals

रिग्रेशन मॉडल का एक टाइप, जो किसी संभावना का अनुमान लगाता है. लॉजिस्टिक रिग्रेशन मॉडल की ये विशेषताएं हैं:

• लेबल कैटगरी के हिसाब से है. लॉजिस्टिक रिग्रेशन का मतलब आम तौर पर बाइनरी लॉजिस्टिक रिग्रेशन से होता है. यह एक ऐसा मॉडल है जो दो संभावित वैल्यू वाले लेबल के लिए संभावनाओं का हिसाब लगाता है. मल्टीनोमियल लॉजिस्टिक रिग्रेशन, एक ऐसा वैरिएंट है जो आम तौर पर इस्तेमाल नहीं किया जाता. यह दो से ज़्यादा संभावित वैल्यू वाले लेबल के लिए, संभावनाओं का हिसाब लगाता है.
• ट्रेनिंग के दौरान लॉस फ़ंक्शन, लॉग लॉस होता है. (दो से ज़्यादा संभावित वैल्यू वाले लेबल के लिए, एक साथ कई लॉग लॉस यूनिट रखी जा सकती हैं.)
• इस मॉडल में लीनियर आर्किटेक्चर का इस्तेमाल किया गया है, न कि डीप न्यूरल नेटवर्क. हालांकि, इस परिभाषा का शेष हिस्सा इन पर भी लागू होता है डीप मॉडल, जो संभावनाओं का अनुमान लगाते हैं इस्तेमाल किया जा सकता है.

उदाहरण के लिए, लॉजिस्टिक रिग्रेशन मॉडल का इस्तेमाल करके, किसी इनपुट ईमेल के स्पैम होने या न होने की संभावना का हिसाब लगाया जा सकता है. मान लें कि अनुमान लगाने के दौरान, मॉडल का अनुमान 0.72 है. इसलिए, मॉडल इनका अनुमान लगा रहा है:

• ईमेल के स्पैम होने की 72% संभावना है.
• ईमेल के स्पैम न होने की संभावना 28% है.

लॉजिस्टिक रिग्रेशन मॉडल में, दो चरणों वाले इन आर्किटेक्चर का इस्तेमाल किया जाता है:

1. यह मॉडल, लीनियर फ़ंक्शन लागू करके, अनुमानित अनुमान (y') जनरेट करता है सुविधाओं का इस्तेमाल करें.
2. मॉडल, रॉ अनुमान का इस्तेमाल सिग्मॉइड फ़ंक्शन के इनपुट के तौर पर करता है. यह रॉ अनुमान को 0 से 1 के बीच की वैल्यू में बदल देता है.

किसी भी रिग्रेशन मॉडल की तरह, लॉजिस्टिक रिग्रेशन मॉडल भी किसी संख्या का अनुमान लगाता है. हालांकि, आम तौर पर यह संख्या, बाइनरी क्लासिफ़िकेशन मॉडल का हिस्सा बन जाती है. ऐसा इस तरह होता है:

• अगर अनुमानित संख्या ज़्यादा है, तो क्लासिफ़िकेशन थ्रेशोल्ड, बाइनरी क्लासिफ़िकेशन मॉडल, पॉज़िटिव क्लास का अनुमान लगाता है.
• अगर अनुमानित संख्या, क्लासिफ़िकेशन थ्रेशोल्ड से कम है, बाइनरी क्लासिफ़िकेशन मॉडल, नेगेटिव क्लास का अनुमान लगाता है.

लॉगिट

रॉ (नॉन-नॉर्मलाइज़्ड) ऐसे अनुमानों का वेक्टर जो किसी क्लासिफ़िकेशन मॉडल जनरेट करता है, जिसे आम तौर पर नॉर्मलाइज़ेशन फ़ंक्शन में पास किया जाता है. अगर मॉडल, मल्टी-क्लास क्लासिफ़िकेशन को हल कर रहा है की समस्या है, तो लॉजिट आम तौर पर softmax फ़ंक्शन का इस्तेमाल करना होगा. इसके बाद, सॉफ़्टमैक्स फ़ंक्शन, हर संभावित क्लास के लिए एक वैल्यू के साथ, (नॉर्मलाइज़ की गई) संभावनाओं का वेक्टर जनरेट करता है.

लॉग लॉस

#fundamentals

बाइनरी लॉजिस्टिक रिग्रेशन में इस्तेमाल किया जाने वाला लॉस फ़ंक्शन.

हिसाब देखने के लिए आइकॉन पर क्लिक करें.

लॉग लॉस का हिसाब लगाने के लिए, यह फ़ॉर्मूला इस्तेमाल किया जाता है:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

where:

• \((x,y)\in D\) एक ऐसा डेटासेट है जिसमें लेबल किए गए कई उदाहरण शामिल हैं. ये उदाहरण \((x,y)\) जोड़े होते हैं.
• \(y\) लेबल किए गए उदाहरण में लेबल है. यह लॉजिस्टिक रिग्रेशन है, इसलिए \(y\) की हर वैल्यू 0 या 1 होनी चाहिए.
• \(y'\) कोई अनुमानित वैल्यू है (0 से 1 के बीच की कोई वैल्यू), खास के लिए \(x\)में सुविधाओं का सेट दिया गया है.

---

लॉग-ऑड्स

#fundamentals

किसी इवेंट की संभावनाओं का लॉगरिदम.

कैलकुलेशन देखने के लिए, आइकॉन पर क्लिक करें.

अगर इवेंट की संभावना बाइनरी है, तो ऑड्स का मतलब, सफलता (p) की संभावना और फ़ेल होने (1-p) की संभावना के अनुपात से है. उदाहरण के लिए, मान लें कि किसी इवेंट का 90% सफलता और असफल होने की 10% संभावना. इस मामले में, ऑड का हिसाब इस तरह लगाया जाता है:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

लॉग-ऑड सिर्फ़ संख्याओं का लॉगारिद्म होता है. आम तौर पर, "लॉगारिद्म" का मतलब नेचुरल लॉगारिद्म से होता है. हालांकि, लॉगारिद्म में 1 से ज़्यादा का कोई भी बेस हो सकता है. इसलिए, हमारे उदाहरण के लॉग-ऑड्स इस तरह हैं:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

लॉग-ऑड्स फ़ंक्शन, सिग्मॉइड फ़ंक्शन का उलटा होता है.

---

लॉन्ग शॉर्ट-टर्म मेमोरी (एलएसटीएम)

#seq

इवेंट में एक टाइप की सेल प्रोसेस करने के लिए, बार-बार होने वाले न्यूरल नेटवर्क का इस्तेमाल किया जाता है ऐप्लिकेशन में डेटा का क्रम, जैसे कि लिखावट की पहचान, मशीन अनुवाद, और इमेज कैप्शनिंग. एलएसटीएम, वैनिशिंग ग्रेडिएंट की समस्या को हल करते हैं. यह समस्या, लंबे डेटा क्रम की वजह से आरएनएन को ट्रेनिंग देते समय होती है. एलएसटीएम, आरएनएन में मौजूद पिछली सेल के नए इनपुट और कॉन्टेक्स्ट के आधार पर, इंटरनल मेमोरी स्टेटस में इतिहास को बनाए रखते हैं.

LoRA

#language

#generativeAI

कम रैंक के लिए अडैप्ट करने की सुविधा का छोटा नाम.

हार

#fundamentals

किसी निगरानी में रखा गया मॉडल. इससे पता चलता है कि मॉडल का अनुमान, उसके लेबल से लिया गया है.

लॉस फ़ंक्शन, नुकसान का हिसाब लगाता है.

लॉस एग्रीगेटर

एक तरह का मशीन लर्निंग एल्गोरिदम, जो मॉडल की परफ़ॉर्मेंस को बेहतर बनाता है इसके लिए, उन्हें अलग-अलग मॉडल के अनुमानों और करने के लिए उन अनुमानों का इस्तेमाल किया जाता है. इस वजह से, लॉस एग्रीगेटर, अनुमानों के फ़र्क़ को कम कर सकता है और अनुमानों की सटीक होने को बेहतर बनाता है.

लॉस कर्व

#fundamentals

ट्रेनिंग की संख्या के फ़ंक्शन के तौर पर लॉस का प्लॉट दोहरावों. इस प्लॉट में, आम तौर पर होने वाले नुकसान के बारे में बताया गया है कर्व:

लॉस कर्व से यह पता चलता है कि आपका मॉडल कब कन्वर्ज़न कर रहा है या ओवरफ़िट हो रहा है.

लॉस कर्व में, इन सभी तरह के नुकसान को प्लॉट किया जा सकता है:

• ट्रेनिंग में कमी
• पुष्टि न होने की वजह
• टेस्ट लॉस

जनरलाइज़ेशन कर्व भी देखें.

लॉस फ़ंक्शन

#fundamentals

ट्रेनिंग या टेस्ट के दौरान, गणितीय फलन जो उदाहरणों के बैच में कमी. लॉस फ़ंक्शन, अच्छे अनुमान लगाने वाले मॉडल के लिए कम लॉस दिखाता है. वहीं, खराब अनुमान लगाने वाले मॉडल के लिए ज़्यादा लॉस दिखाता है.

आम तौर पर, ट्रेनिंग का मकसद लॉस फ़ंक्शन में होने वाले नुकसान को कम करना होता है वापस करना.

लॉस फ़ंक्शन कई तरह के होते हैं. जिस तरह का मॉडल बनाया जा रहा है उसके लिए सही लॉस फ़ंक्शन चुनें. उदाहरण के लिए:

• L₂ लॉस (या वर्ग में गड़बड़ी का माध्य) लीनियर रिग्रेशन के लिए लॉस फ़ंक्शन है.
• लॉग लॉस: लॉजिस्टिक रिग्रेशन.

लॉस सरफ़ेस

वज़न बनाम वज़न घटाने की जानकारी देने वाला ग्राफ़. ग्रेडिएंट डिसेंट का मकसद, ऐसे वेट ढूंढना है जिनके लिए लॉस सरफ़ेस, लोकल मिनिमम पर हो.

कम रैंक वाला अडैप्टैबिलिटी (LoRA)

#language

#generativeAI

बेहतर बनाने के लिए, पैरामीटर के हिसाब से बेहतर तकनीक. यह मॉडल के पहले से ट्रेन किए गए वज़न को "फ़्रीज़" कर देती है, ताकि उनमें बदलाव न किया जा सके. इसके बाद, मॉडल में ट्रेन किए जा सकने वाले वज़न का एक छोटा सेट डालती है. ट्रेन किए जा सकने वाले वेट का यह सेट, बेस मॉडल से काफ़ी छोटा होता है. इसलिए, इसे ट्रेन करने में काफ़ी कम समय लगता है. इसे "अपडेट मैट्रिक" भी कहा जाता है.

LoRA से ये फ़ायदे मिलते हैं:

• इससे उस डोमेन के लिए मॉडल के अनुमान की क्वालिटी बेहतर होती है जहां फ़ाइन-ट्यूनिंग लागू की जाती है.
• यह उन तकनीकों की तुलना में तेज़ी से फ़ाइन-ट्यून करता है जिनमें मॉडल के सभी पैरामीटर को फ़ाइन-ट्यून करना पड़ता है.
• एक ही बेस मॉडल को शेयर करने वाले कई खास मॉडल को एक साथ दिखाने की सुविधा चालू करके, अनुमान लगाने के लिए कंप्यूटेशनल लागत को कम करता है.

LoRA में आव्यूहों को अपडेट करने के बारे में ज़्यादा जानने के लिए, आइकॉन पर क्लिक करें.

LoRA में इस्तेमाल किए गए अपडेट मैट्रिक में, रैंक डिकंपोज़िशन मैट्रिक शामिल होते हैं. ये मैट्रिक, बेस मॉडल से ली जाती हैं, ताकि ग़ैर-ज़रूरी जानकारी को फ़िल्टर किया जा सके और मॉडल की सबसे अहम सुविधाओं पर ट्रेनिंग फ़ोकस की जा सके.

---

एलएसटीएम

#seq

लॉन्ग शॉर्ट-टर्म मेमोरी का छोटा नाम.

M

मशीन लर्निंग

#fundamentals

ऐसा प्रोग्राम या सिस्टम जो इनपुट डेटा से, मॉडल को ट्रेन करता है. ट्रेन किया गया मॉडल, उसी डिस्ट्रिब्यूशन से मिले नए (पहले कभी न देखे गए) डेटा से काम के अनुमान लगा सकता है जिसका इस्तेमाल मॉडल को ट्रेन करने के लिए किया गया था.

मशीन लर्निंग का मतलब, इन प्रोग्राम या सिस्टम से जुड़े अध्ययन के क्षेत्र से भी है.

बहुमत श्रेणी

#fundamentals

आम तौर पर, खोज के लिए इस्तेमाल होने वाले क्लास असंतुलित डेटासेट. उदाहरण के लिए, दिए गए डेटासेट में 99% नेगेटिव लेबल और 1% पॉज़िटिव लेबल मौजूद हैं, ज़्यादातर नेगेटिव लेबल ही आते हैं.

माइनॉरिटी क्लास के साथ कंट्रास्ट करें.

मार्कोव डिसीज़न प्रोसेस (एमडीपी)

#rl

फ़ैसला लेने वाले मॉडल को दिखाने वाला ग्राफ़, जहां फ़ैसले इसके क्रम को नेविगेट करने के लिए (या कार्रवाइयां) अपनाई जाती हैं राज्य यह मानकर चलता है कि मार्कोव प्रॉपर्टी होल्ड. तय सीमा में रीइन्फ़ोर्समेंट लर्निंग, जैसे कि ये ट्रांज़िशन अलग-अलग राज्यों के बीच अंकों वाला इनाम मिलता है.

मार्कोव प्रॉपर्टी

#rl

कुछ एनवायरमेंट की प्रॉपर्टी, जहां स्टेटस ट्रांज़िशन पूरी तरह से मौजूदा स्टेटस और एजेंट की कार्रवाई में मौजूद जानकारी से तय होते हैं.

मास्क किया गया लैंग्वेज मॉडल

#language

यह एक भाषा मॉडल है, जो किसी क्रम में खाली जगहों को भरने के लिए, उम्मीदवार टोकनों की संभावना का अनुमान लगाता है. उदाहरण के लिए, मास्क वाला लैंग्वेज मॉडल, उम्मीदवार के शब्दों की प्रायिकता का हिसाब लगा सकता है नीचे दिए गए वाक्य में अंडरलाइन को बदलने के लिए:

टोपी में ____ वापस आ गया.

साहित्य में आम तौर पर "MASK" स्ट्रिंग का इस्तेमाल किया जाता है ध्यान रखें. उदाहरण के लिए:

"MASK" टोपी में वापस आ गया.

मास्क वाले ज़्यादातर आधुनिक लैंग्वेज मॉडल, दो-तरफ़ा हैं.

matplotlib

एक ओपन सोर्स Python 2D प्लॉटिंग लाइब्रेरी. matplotlib की मदद से, आपको के अलग-अलग पहलुओं के बारे में बात करते हैं.

मैट्रिक्स फ़ैक्टरिज़ेशन

#recsystems

गणित में, उन आव्यूहों को ढूंढने की एक तकनीक जिनके डॉट प्रॉडक्ट से टारगेट मैट्रिक्स.

सुझाव देने वाले सिस्टम में, टारगेट मैट्रिक्स उपयोगकर्ता को अक्सर आइटम पर रेटिंग. उदाहरण के लिए, मूवी के सुझाव देने वाले सिस्टम के लिए टारगेट मैट्रिक कुछ इस तरह दिख सकती है. इसमें, पॉज़िटिव पूर्णांक, उपयोगकर्ता की रेटिंग हैं और 0 का मतलब है कि उपयोगकर्ता ने मूवी को रेटिंग नहीं दी है:

	कैसाब्लांका	द फ़िलाडेल्फ़िया स्टोरी	Black Panther	वंडर वुमन	दिल से
उपयोगकर्ता 1	5.0	3.0	0.0	2.0	0.0
उपयोगकर्ता 2	4.0	0.0	0.0	1.0	5.0
उपयोगकर्ता 3	3.0	1.0	4.0	5.0	0.0

मूवी के सुझाव देने वाले सिस्टम का मकसद, YouTube पर दर्शकों को बगैर रेटिंग वाली फ़िल्में. उदाहरण के लिए, क्या उपयोगकर्ता 1 को ब्लैक पैंथर पसंद आएगा?

सुझाव देने वाले सिस्टम के लिए एक तरीका यह है कि इन दो मैट्रिक को जनरेट करने के लिए, मैट्रिक के फ़ैक्टर का इस्तेमाल किया जाए:

• उपयोगकर्ता मैट्रिक्स, जो X जोड़े गए डाइमेंशन की संख्या.
• आइटम मैट्रिक, जिसका साइज़ एम्बेड किए गए डाइमेंशन की संख्या x आइटम की संख्या के हिसाब से होता है.

उदाहरण के लिए, हमारे तीन उपयोगकर्ताओं और पांच आइटम पर, मैट्रिक्स गुणनखंडन का इस्तेमाल करना इससे ये यूज़र मैट्रिक्स और आइटम मैट्रिक्स मिल सकता है:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

उपयोगकर्ता मैट्रिक और आइटम मैट्रिक के डॉट प्रॉडक्ट से, सुझाव वाली एक मैट्रिक बनती है. इसमें न सिर्फ़ उपयोगकर्ता की ओरिजनल रेटिंग होती है, बल्कि उन फ़िल्मों के लिए भी अनुमान होते हैं जिन्हें हर उपयोगकर्ता ने नहीं देखा है. उदाहरण के लिए, मान लें कि उपयोगकर्ता 1 ने Casablanca को 5.0 रेटिंग दी है. उम्मीद है कि सुझाव मैट्रिक में उस सेल से जुड़ा बिंदु प्रॉडक्ट करीब 5.0 होगा. यह इस तरह दिखता है:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

सबसे अहम बात यह है कि क्या उपयोगकर्ता 1 को ब्लैक पैंथर पसंद आएगा? डॉट प्रॉडक्ट लेना जब पहली पंक्ति और तीसरे कॉलम के आधार पर एक अनुमान मिलता है, 4.3 की रेटिंग:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

मैट्रिक्स फ़ैक्टराइज़ेशन से आम तौर पर एक यूज़र मैट्रिक्स और आइटम मैट्रिक्स मिलता है, जो साथ में, ये टारगेट मैट्रिक्स की तुलना में काफ़ी छोटे होते हैं.

कुल गड़बड़ी का मध्यमान (एमएई)

L₁ लॉस का इस्तेमाल करने पर, हर उदाहरण के लिए औसत लॉस. औसत पूर्ण गड़बड़ी की गणना इस तरह करें:

1. बैच के लिए, L₁ लॉस का हिसाब लगाएं.
2. L₁ लॉस को बैच में उदाहरणों की संख्या से भाग दें.

फ़ॉर्मल मैथ देखने के लिए, आइकॉन पर क्लिक करें.

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

कहां:

• $n$, उदाहरणों की संख्या है.
• लेबल की असल वैल्यू $y$ है.
• $\हैट{y}$ वह वैल्यू है जिसका अनुमान, मॉडल $y$ के लिए लगाता है.

---

उदाहरण के लिए, डिफ़ॉल्ट वैल्यू पर L₁ लॉस का हिसाब लगाएं पांच उदाहरणों का बैच:

उदाहरण की असल वैल्यू	मॉडल की अनुमानित वैल्यू	नुकसान (असल और अनुमानित वैल्यू के बीच का अंतर)
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L1 नुकसान

इसलिए, L₁ की वैल्यू 8 है और उदाहरणों की संख्या पांच है. इसलिए, मीन ऐब्सॉल्यूट एरर (औसतन गड़बड़ी) यह होता है:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

कुल गड़बड़ी के औसत के मुकाबले, वर्ग में गड़बड़ी का माध्य और रूट मीन स्क्वेयर की गड़बड़ी का इस्तेमाल करें.

मीन स्क्वेयर्ड एरर (MSE)

हर उदाहरण के लिए औसत नुकसान, जब L₂ नुकसान होता है इस्तेमाल किया गया. माध्य वर्ग गड़बड़ी की गणना इस तरह करें:

1. किसी बैच के लिए L₂ लॉस का हिसाब लगाएं.
2. L₂ लॉस को बैच में उदाहरणों की संख्या से भाग दें.

फ़ॉर्मल मैथ देखने के लिए, आइकॉन पर क्लिक करें.

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$ where:

• $n$ उदाहरणों की संख्या है.
• $y$, लेबल की असल वैल्यू है.
• $y$ के लिए मॉडल का अनुमान $\ot{y}$ है.

---

उदाहरण के लिए, पांच उदाहरणों के नीचे दिए गए बैच में नुकसान के बारे में सोचें:

वास्तविक मान	मॉडल का अनुमान	हार मिली	स्क्वेयर्ड लॉस
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			16 = L2 नुकसान

इसलिए, मीन स्क्वेयर एरर यह है:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

मीन स्क्वेयर्ड एरर, ट्रेनिंग के लिए एक लोकप्रिय ऑप्टिमाइज़र है. यह खास तौर पर लीनियर रिग्रेशन के लिए इस्तेमाल किया जाता है.

इसके साथ कंट्रास्ट मीन स्क्वेयर्ड एरर मीन ऐब्सॉल्यूट एरर और रूट मीन स्क्वेयर्ड गड़बड़ी.

TensorFlow Playground, 'मीन स्क्वेयर्ड एरर' का इस्तेमाल करता है नुकसान के मानों की गणना करने के लिए.

आउटलायर के बारे में ज़्यादा जानकारी देखने के लिए, आइकॉन पर क्लिक करें.

आउटलायर, मीन स्क्वेयर एरर पर काफ़ी असर डालते हैं. जैसे, 1 का नुकसान 1 के वर्ग का नुकसान होता है, लेकिन 3 का नुकसान 3 होने पर 9 का वर्ग घटता है. पिछली टेबल में, 3 की कमी के साथ दिया गया उदाहरण यह मीन स्क्वेयर्ड एरर (मीन स्क्वेयर्ड एरर) की करीब 56% समस्या है. हर उदाहरण के लिए इसका इस्तेमाल किया गया है मीन स्क्वेयर्ड एरर (मीन स्क्वेयर्ड एरर) के मामले में, सिर्फ़ 6% मामलों में एक खाता खो जाता है.

आउटलायर, मीन स्क्वेयर्ड एरर की तरह मीन ऐब्सॉल्यूट एरर पर ज़्यादा असर नहीं डालते. उदाहरण के लिए, एबसलूट मायन वैल्यू के सिर्फ़ ~38% के लिए, तीन खातों का नुकसान.

क्लिपिंग एक ऐसा तरीका है जिससे अत्यधिक आउटलायर, आपके मॉडल की अनुमान लगाने की क्षमता को नुकसान पहुंचाने से रोके जा सकते हैं.

---

मेश

#TensorFlow

#GoogleCloud

एमएल पैरलल प्रोग्रामिंग में, यह TPU चिप को डेटा और मॉडल असाइन करने से जुड़ा एक शब्द है. साथ ही, यह तय करने से जुड़ा है कि इन वैल्यू को कैसे शेयर किया जाएगा या डुप्लीकेट किया जाएगा.

मेश एक ओवरलोडेड टर्म है, जिसका इनमें से कोई एक मतलब हो सकता है:

• TPU चिप का फ़िज़िकल लेआउट.
• डेटा और मॉडल को TPU चिप पर मैप करने के लिए, एक ऐब्स्ट्रैक्ट लॉजिकल कंस्ट्रक्ट.

दोनों ही मामलों में, मेश को आकार के तौर पर दिखाया जाता है.

मेटा-लर्निंग

#language

मशीन लर्निंग का एक सबसेट जो लर्निंग एल्गोरिदम को खोजता है या उसे बेहतर बनाता है. मेटा-लर्निंग सिस्टम का मकसद, किसी मॉडल को ट्रेनिंग देना भी हो सकता है, ताकि वह कम डेटा या पिछले टास्क से मिले अनुभव से, नया टास्क तेज़ी से सीख सके. मेटा-लर्निंग एल्गोरिदम आम तौर पर ये काम करने की कोशिश करते हैं:

• हाथ से तैयार की गई सुविधाओं (जैसे, इनीशियलाइज़र या ऑप्टिमाइज़र होते हैं.
• डेटा की कम खपत और कम्प्यूट-कुशलता का उपयोग करें.
• सामान्यीकरण को बेहतर बनाना.

मेटा-लर्निंग, फ़्यू-शॉट लर्निंग से जुड़ा है.

मीट्रिक

#TensorFlow

वह आंकड़ा जो आपके लिए मायने रखता है.

मकसद एक ऐसी मेट्रिक होती है जो मशीन लर्निंग सिस्टम ऑप्टिमाइज़ करने की कोशिश करता है.

Metrics API (tf.metrics)

मॉडल का आकलन करने के लिए, TensorFlow एपीआई. उदाहरण के लिए, tf.metrics.accuracy से यह पता चलता है कि किसी मॉडल के अनुमान, लेबल से कितनी बार मेल खाते हैं.

मिनी-बैच

#fundamentals

बैच का एक छोटा, रैंडम तौर पर चुना गया सबसेट, जिसे एक इटरेशन में प्रोसेस किया जाता है. आम तौर पर, किसी मिनी-बैच का बैच साइज़ 10 से 1,000 उदाहरणों के बीच होता है.

उदाहरण के लिए, मान लें कि पूरे ट्रेनिंग सेट (पूरे बैच) में 1,000 उदाहरण हैं. मान लें कि आपने हर एक मिनी-बैच का बैच साइज़ 20 पर सेट किया है. इसलिए, हर बार 1,000 उदाहरणों में से 20 उदाहरणों के आधार पर लॉस का पता लगाया जाता है. इसके बाद, वेट और बायस में उसी हिसाब से बदलाव किया जाता है.

पूरे बैच के सभी उदाहरणों के लॉस की तुलना में, किसी छोटे बैच के लॉस का हिसाब लगाना ज़्यादा असरदार होता है.

मिनी-बैच स्टोकेस्टिक ग्रेडिएंट डिसेंट

ग्रेडिएंट डिसेंट एल्गोरिदम, जो मिनी-बैच. दूसरे शब्दों में, मिनी-बैच स्टोकेस्टिक ग्रेडिएंट डिसेंट, ट्रेनिंग डेटा के छोटे सबसेट के आधार पर ग्रेडिएंट का अनुमान लगाता है. सामान्य स्टोकैस्टिक ग्रेडिएंट ढलान साइज़ 1 का मिनी बैच.

कम से कम नुकसान

इसके लिए लॉस फ़ंक्शन जनरेटिव एआई की मदद से काम करने वाले नेटवर्क, जो डिस्ट्रिब्यूशन के बीच की क्रॉस-एंट्रॉपी पर आधारित है और असली डेटा को अपने हिसाब से इस्तेमाल किया जा सकता है.

कम से कम नुकसान का इस्तेमाल इसमें पहला पेपर जिसमें बताया गया हो जनरेटिव एआई की मदद से काम करने वाले नेटवर्क.

अल्पसंख्यक वर्ग

#fundamentals

आम तौर पर, कम इस्तेमाल होने वाला लेबल क्लास असंतुलित डेटासेट. उदाहरण के लिए, अगर किसी डेटासेट में 99% नेगेटिव लेबल और 1% पॉज़िटिव लेबल हैं, तो पॉज़िटिव लेबल, माइनॉरिटी क्लास हैं.

बड़ी संख्या में मौजूद क्लास के साथ तुलना करें.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

एक लाख उदाहरणों वाला ट्रेनिंग सेट सुनने में शानदार लगता है. हालांकि, अगर अल्पसंख्यक क्लास का प्रतिनिधित्व ठीक से नहीं किया गया है, तो हो सकता है कि बहुत बड़ा ट्रेनिंग सेट भी काफ़ी न हो. डेटासेट में मौजूद उदाहरणों की कुल संख्या पर कम और कम्यूनिटी क्लास में मौजूद उदाहरणों की संख्या पर ज़्यादा ध्यान दें.

अगर आपके डेटासेट में अल्पसंख्यक वर्ग के काफ़ी उदाहरण मौजूद नहीं हैं, तो देखें डाउनसैंपलिंग का इस्तेमाल करके (परिभाषा दूसरे बुलेट पॉइंट में) शामिल करें.

---

विशेषज्ञों का मिश्रण

#language

#generativeAI

न्यूरल नेटवर्क की परफ़ॉर्मेंस को बेहतर बनाने के लिए बनाई गई एक योजना. इसमें, किसी दिए गए इनपुट टोकन या उदाहरण को प्रोसेस करने के लिए, इसके पैरामीटर (जिन्हें एक्सपर्ट कहा जाता है) के सिर्फ़ सबसेट का इस्तेमाल किया जाता है. गेटिंग नेटवर्क, हर इनपुट टोकन या उदाहरण को सही विशेषज्ञों को भेजता है.

ज़्यादा जानकारी के लिए, इनमें से कोई भी पेपर देखें:

• बहुत बड़े न्यूरल नेटवर्क: कम गेट वाली विशेषज्ञों की लेयर
• विशेषज्ञों की पसंद के साथ-साथ विशेषज्ञों का मिक्स रूटिंग

माली (ML)

मशीन लर्निंग का छोटा नाम.

MMIT

#language

#image

#generativeAI

के लिए संक्षिप्त रूप मल्टीमॉडल निर्देश-ट्यून किया गया.

एमएनआईएसटी

#image

यह एक सार्वजनिक डोमेन डेटासेट है, जिसे LeCun, Cortes, और Burges ने इकट्ठा किया है. इसमें 60,000 इमेज हैं. हर इमेज में यह दिखाया गया है कि किसी व्यक्ति ने 0 से 9 के बीच के किसी अंक को मैन्युअल तरीके से कैसे लिखा है. हर इमेज को 28x28 इंटिजर के ऐरे के तौर पर सेव किया जाता है. इसमें हर इंटिजर, ग्रेस्केल वैल्यू होती है, जो 0 से 255 के बीच होती है.

एमएनआईएसटी, मशीन लर्निंग के लिए एक कैननिकल डेटासेट है. इसका इस्तेमाल अक्सर नए मशीन लर्निंग के तरीके बताए गए हैं. जानकारी के लिए, यह देखें हाथ से लिखे गए अंकों का एमएनआईएसटी डेटाबेस.

मोडैलिटी

#language

डेटा की बेहतर कैटगरी. उदाहरण के लिए, संख्याएं, टेक्स्ट, इमेज, वीडियो, और ऑडियो, पांच अलग-अलग मोड हैं.

मॉडल

#fundamentals

आम तौर पर, कोई भी गणितीय कॉन्स्ट्रक्ट जो इनपुट डेटा को प्रोसेस करता है और आउटपुट दिखाता है. इसे अलग तरीके से लिखा गया हो. मॉडल, पैरामीटर और स्ट्रक्चर का सेट होता है जिसकी ज़रूरत किसी सिस्टम को अनुमान लगाने के लिए होती है. सुपरवाइज़्ड मशीन लर्निंग में, कोई मॉडल, इनपुट के तौर पर उदाहरण लेता है और आउटपुट के रूप में अनुमान. निगरानी में रखी गई मशीन लर्निंग में, मॉडल कुछ हद तक अलग होते हैं. उदाहरण के लिए:

• लीनियर रिग्रेशन मॉडल में वेट का सेट होता है और पूर्वाग्रह.
• न्यूरल नेटवर्क मॉडल में ये चीज़ें शामिल होती हैं:
  • छिपी हुई लेयर का सेट, जिसमें हर लेयर में एक या ज़्यादा न्यूरॉन.
  • हर न्यूरॉन से जुड़े वेट और बायस.
• डिसीज़न ट्री मॉडल में ये शामिल होते हैं:
  • ट्री का आकार; यानी, वह पैटर्न जिसमें शर्तें और पत्तियां जुड़ी होती हैं.
  • शर्तें और पत्तियां.

मॉडल को सेव किया जा सकता है, वापस लाया जा सकता है या उसकी कॉपी बनाई जा सकती है.

बिना निगरानी वाली मशीन लर्निंग भी मॉडल जनरेट करती है. आम तौर पर, यह एक ऐसा फ़ंक्शन होता है जो किसी इनपुट उदाहरण को सबसे सही क्लस्टर से मैप कर सकता है.

बीजगणित और प्रोग्रामिंग फ़ंक्शन की एमएल मॉडल से तुलना करने के लिए, आइकॉन पर क्लिक करें.

बीजगणितीय फ़ंक्शन एक मॉडल है:

  f(x, y) = 3x -5xy + y2 + 17

पिछला फ़ंक्शन, इनपुट वैल्यू (x और y) को आउटपुट पर मैप करता है.

इसी तरह, नीचे दिया गया प्रोग्रामिंग फ़ंक्शन भी एक मॉडल है:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

कॉलर पिछले Python फ़ंक्शन में आर्ग्युमेंट पास करता है और Python फ़ंक्शन, return स्टेटमेंट के ज़रिए आउटपुट जनरेट करता है.

डीप न्यूरल नेटवर्क का गणितीय स्ट्रक्चर, ऐल्जेब्रिक या प्रोग्रामिंग फ़ंक्शन से काफ़ी अलग होता है. इसके बावजूद, डीप न्यूरल नेटवर्क इनपुट (उदाहरण) लेता है और आउटपुट (अनुमान) देता है.

कोई प्रोग्रामर, प्रोग्रामिंग फ़ंक्शन को मैन्युअल तरीके से कोड करता है. इसके उलट, ऑटोमेटेड ट्रेनिंग के दौरान, मशीन लर्निंग मॉडल धीरे-धीरे सबसे सही पैरामीटर सीखता है.

---

मॉडल की कपैसिटी

समस्याओं की जटिलता, जिन्हें मॉडल सीख सकता है. यह प्रोसेस जितनी मुश्किल होगी समस्याओं को सीख सकती है, इसलिए मॉडल की क्षमता उतनी ही ज़्यादा होगी. मॉडल का आम तौर पर, मॉडल पैरामीटर की संख्या बढ़ने पर क्षमता बढ़ जाती है. क्लासिफ़ायर की क्षमता की आधिकारिक परिभाषा के लिए, वीसी डाइमेंशन देखें.

मॉडल कैस्केडिंग

#generativeAI

यह एक ऐसा सिस्टम है जो किसी खास अनुमान से जुड़ी क्वेरी के लिए, सबसे सही मॉडल चुनता है.

ऐसे मॉडल के एक समूह की कल्पना करें जो बहुत बड़े (बहुत सारे पैरामीटर का इस्तेमाल करके बहुत छोटा (बहुत कम पैरामीटर) तक बदला जा सकता है. छोटे मॉडल की तुलना में, बहुत बड़े मॉडल अनुमान लगाने के समय, कंप्यूटिंग संसाधनों का ज़्यादा इस्तेमाल करते हैं. हालांकि, बहुत बड़ी संख्या में आम तौर पर, मॉडल को छोटे मॉडल की तुलना में ज़्यादा मुश्किल अनुरोध मिल सकते हैं. मॉडल कैस्केडिंग, अनुमान क्वेरी की जटिलता तय करता है और फिर अनुमान लगाने के लिए, सबसे सही मॉडल चुनता है. मॉडल कैस्केडिंग का मुख्य मकसद यह है कि अनुमान की लागत कम की जाए आम तौर पर छोटे मॉडल चुनते हैं और ज़्यादा इमेज के लिए सिर्फ़ बड़े मॉडल को चुनते हैं जटिल क्वेरी के लिए इस्तेमाल किया जाता है.

मान लें कि एक छोटा मॉडल फ़ोन पर चलता है और उस मॉडल का बड़ा वर्शन, रिमोट सर्वर पर चलता है. मॉडल को सही तरीके से कैस्केड करने से, लागत और इंतज़ार का समय कम हो जाता है. ऐसा इसलिए होता है, क्योंकि छोटे मॉडल को आसान अनुरोधों को मैनेज करने की सुविधा मिलती है. साथ ही, मुश्किल अनुरोधों को मैनेज करने के लिए, सिर्फ़ रिमोट मॉडल को कॉल किया जाता है.

मॉडल राऊटर भी देखें.

मॉडल पैरलललिज़्म

#language

ट्रेनिंग या अनुमान लगाने की प्रोसेस को स्केल करने का एक तरीका, जिसमें एक मॉडल के अलग-अलग हिस्सों को अलग-अलग डिवाइसों पर डाला जाता है. मॉडल के पैरलल प्रोसेसिंग की सुविधा, ऐसे मॉडल को इस्तेमाल करने की अनुमति देती है जो एक ही डिवाइस में फ़िट नहीं हो पाते.

मॉडल समानता को लागू करने के लिए, सिस्टम आम तौर पर ये काम करता है:

1. शार्ड, मॉडल को छोटे-छोटे हिस्सों में बांटते हैं.
2. उन छोटे पार्ट को बनाने की ट्रेनिंग, एक से ज़्यादा प्रोसेसर के बीच बांटती है. हर प्रोसेसर, मॉडल के अपने हिस्से को ट्रेन करता है.
3. एक मॉडल बनाने के लिए, नतीजों को जोड़ता है.

मॉडल पैरलिज़्म ट्रेनिंग को धीमा कर देता है.

डेटा समानता भी देखें.

मॉडल राऊटर

#generativeAI

वह एल्गोरिदम जो इसके लिए सबसे सही मॉडल तय करता है मॉडल कैस्केडिंग में अनुमान. मॉडल राउटर, आम तौर पर एक मशीन लर्निंग मॉडल होता है. यह किसी दिए गए इनपुट के लिए, सबसे अच्छा मॉडल चुनने का तरीका धीरे-धीरे सीखता है. हालांकि, मॉडल राऊटर कभी-कभी ज़्यादा आसान हो सकता है, नॉन-मशीन लर्निंग एल्गोरिदम का इस्तेमाल करें.

मॉडल ट्रेनिंग

सबसे अच्छा मॉडल तय करने की प्रोसेस.

दिलचस्पी बढ़ाना

यह एक बेहतर ग्रेडिएंट डिसेंट एल्गोरिदम है, जिसमें लर्निंग स्टेप निर्भर करता है न सिर्फ़ मौजूदा चरण में डेरिवेटिव पर, बल्कि डेरिवेटिव पर भी के ठीक पहले वाले चरण(चरण) का हो. मोमेंटम में, समय के साथ ग्रेडिएंट के एक्सपोनेंशियल वेटेड मूविंग ऐवरेज का हिसाब लगाना शामिल है. यह भौतिक विज्ञान में मोमेंटम के जैसा ही है. मोमेंटम कभी-कभी सीखने में रुकावट पैदा करता है स्थानीय मिनिमा में फंसा हुआ है.

MOE

#language

#image

#generativeAI

मिले-जुले विशेषज्ञों के लिए छोटा नाम.

कई क्लास की कैटगरी

#fundamentals

निगरानी में रखी गई लर्निंग में, क्लासिफ़िकेशन की समस्या जिसमें डेटासेट में लेबल की दो से ज़्यादा क्लास हों. उदाहरण के लिए, Iris डेटासेट में मौजूद लेबल, इन तीन में से किसी एक क्लास में होने चाहिए:

• आइरिस सेटोसा
• आइरिस वर्जिनिका
• आइरिस वर्सिकलर

आइरिस डेटासेट पर ट्रेन किया गया मॉडल, नए उदाहरणों के आधार पर आइरिस टाइप का अनुमान लगाता है. यह मॉडल, कई क्लास का क्लासिफ़िकेशन करता है.

इसके उलट, क्लासिफ़िकेशन की ऐसी समस्याएं जिनमें सिर्फ़ दो क्लास के बीच अंतर किया जाता है उन्हें बाइनरी क्लासिफ़िकेशन मॉडल कहा जाता है. उदाहरण के लिए, ऐसा ईमेल मॉडल जो स्पैम या स्पैम नहीं है का अनुमान लगाता है एक बाइनरी क्लासिफ़िकेशन मॉडल है.

क्लस्टरिंग समस्याओं में, मल्टी-क्लास क्लासिफ़िकेशन का मतलब दो क्लस्टर में.

मल्टी-क्लास लॉजिस्टिक रिग्रेशन

इसमें लॉजिस्टिक रिग्रेशन का इस्तेमाल करना होगा: मल्टी-क्लास क्लासिफ़िकेशन से जुड़े सवाल.

मल्टी-हेड सेल्फ़-अटेंशन

#language

सेल्फ़-अटेंशन का एक एक्सटेंशन, जो इनपुट क्रम में हर पोज़िशन के लिए, सेल्फ़-अटेंशन मैकेनिज्म को कई बार लागू करता है.

ट्रांसफ़ॉर्मर ने मल्टी-हेड सेल्फ़-अटेंशन पेश किया.

मल्टीमोडल मॉडल

#language

ऐसा मॉडल जिसके इनपुट और/या आउटपुट में एक से ज़्यादा फ़ील्ड शामिल हैं मोडैलिटी का इस्तेमाल करें. उदाहरण के लिए, ऐसे मॉडल पर विचार करें जो दोनों एक इमेज और एक टेक्स्ट कैप्शन (दो मोडलिटी) का इस्तेमाल, सुविधाओं के तौर पर करें और एक स्कोर देता है, जो बताता है कि इमेज के लिए टेक्स्ट का कैप्शन कितना सही है. इसलिए, इस मॉडल के इनपुट मल्टीमोडल होते हैं और आउटपुट यूनिमोडल होता है.

मल्टीमोडल निर्देशों के हिसाब से ट्यून किया गया

#language

निर्देश के हिसाब से बनाया गया मॉडल, जो टेक्स्ट के अलावा इमेज, वीडियो, और ऑडियो जैसे इनपुट को भी प्रोसेस कर सकता है.

बहुपद वर्गीकरण

मल्टी-क्लास क्लासिफ़िकेशन का दूसरा नाम.

मल्टीनोमियल रिग्रेशन

मल्टी-क्लास लॉजिस्टिक रिग्रेशन के लिए, समानार्थी शब्द.

मल्टीटास्क

मशीन लर्निंग की एक तकनीक, जिसमें एक मॉडल को कई टास्क करने के लिए ट्रेन किया जाता है.

मल्टीटास्क मॉडल को ऐसे डेटा पर ट्रेनिंग देकर बनाया जाता है जो इन कामों के लिए सही हो में से हर एक को पूरा करना होगा. इससे मॉडल को शेयर करने का तरीका सीखने में मदद मिलती है सभी टास्क के बारे में जानकारी दी जाती है. इससे मॉडल को ज़्यादा असरदार तरीके से सीखने में मदद मिलती है.

कई टास्क के लिए ट्रेन किए गए मॉडल में, आम तौर पर बेहतर जनरलाइज़ेशन की क्षमताएं होती हैं और यह अलग-अलग तरह के डेटा को हैंडल करने में ज़्यादा बेहतर हो सकता है.

नहीं

NaN ट्रैप

जब ट्रेनिंग के दौरान आपके मॉडल में मौजूद कोई संख्या NaN हो जाती है, तो आपके मॉडल में मौजूद कई या सभी संख्याएं आखिर में NaN हो जाती हैं.

NaN, नहीं कोई संख्या है.

नैचुरल लैंग्वेज अंडरस्टैंडिंग

#language

उपयोगकर्ता ने जो टाइप किया या कहा उसके आधार पर, उपयोगकर्ता के इंटेंट का पता लगाना. उदाहरण के लिए, कोई सर्च इंजन, सामान्य भाषा को समझने की सुविधा का इस्तेमाल करके यह तय करता है कि उपयोगकर्ता ने जो टाइप किया है या कहा है उससे वह क्या खोज रहा है.

नेगेटिव क्लास

#fundamentals

बाइनरी क्लासिफ़िकेशन में, एक क्लास को पॉज़िटिव और दूसरी क्लास को नेगेटिव कहा जाता है. पॉज़िटिव क्लास वह चीज़ या इवेंट है जिसकी जांच मॉडल कर रहा है और नेगेटिव क्लास दूसरी संभावना है. उदाहरण के लिए:

• किसी मेडिकल टेस्ट में नेगेटिव क्लास "ट्यूमर नहीं" हो सकती है.
• ईमेल की कैटगरी तय करने वाली सुविधा में, नेगेटिव क्लास "स्पैम नहीं" हो सकती है.

पॉज़िटिव क्लास के साथ तुलना करें.

नेगेटिव सैंपलिंग

उम्मीदवार के सैंपलिंग के लिए समानार्थी शब्द.

न्यूरल आर्किटेक्चर सर्च (एनएएस)

ऐसी तकनीक जो किसी दस्तावेज़ के आर्किटेक्चर को अपने-आप डिज़ाइन करने की न्यूरल नेटवर्क का इस्तेमाल करें. एनएएस एल्गोरिदम, किसी न्यूरल नेटवर्क को ट्रेन करने के लिए ज़रूरी समय और संसाधनों को कम कर सकते हैं.

NAS आम तौर पर इनका इस्तेमाल करता है:

• सर्च स्पेस, जो संभावित आर्किटेक्चर का एक सेट होता है.
• फ़िटनेस फ़ंक्शन, जो यह मेज़र करता है कि किसी खास टास्क पर कोई खास आर्किटेक्चर कितनी अच्छी तरह परफ़ॉर्म करता है.

एनएएस एल्गोरिदम अक्सर संभावित आर्किटेक्चर के एक छोटे सेट से शुरू होते हैं और धीरे-धीरे खोज स्पेस का दायरा बढ़ाता जाएगा, क्योंकि एल्गोरिदम यह समझने में मदद करता है कि आर्किटेक्चर असरदार होते हैं. फ़िटनेस फ़ंक्शन आम तौर पर, किसी ट्रेनिंग सेट पर आर्किटेक्चर की परफ़ॉर्मेंस पर आधारित होता है. साथ ही, एल्गोरिदम को आम तौर पर रीइंफ़ोर्समेंट लर्निंग तकनीक का इस्तेमाल करके ट्रेन किया जाता है.

एनएएस एल्गोरिदम, कई तरह के टास्क के लिए बेहतर परफ़ॉर्म करने वाले आर्किटेक्चर ढूंढने में असरदार साबित हुए हैं. इनमें इमेज क्लासिफ़िकेशन, टेक्स्ट क्लासिफ़िकेशन, और मशीन ट्रांसलेशन शामिल हैं.

न्यूरल नेटवर्क

#fundamentals

ऐसा मॉडल जिसमें कम से कम एक छिपी हुई लेयर हो. डीप न्यूरल नेटवर्क, एक तरह का न्यूरल नेटवर्क है. इसमें एक से ज़्यादा हिडन लेयर होती हैं. उदाहरण के लिए, नीचे दिया गया डायग्राम देखकर एक डीप न्यूरल नेटवर्क दिखाता है, जिसमें दो छिपी हुई लेयर होती हैं.

किसी न्यूरल नेटवर्क में मौजूद हर न्यूरॉन, अगली लेयर के सभी नोड से कनेक्ट होता है. उदाहरण के लिए, पिछले डायग्राम में देखें कि पहली छिपी हुई लेयर में मौजूद तीनों न्यूरॉन, दूसरी छिपी हुई लेयर में मौजूद दोनों न्यूरॉन से अलग-अलग कनेक्ट होते हैं.

कंप्यूटर पर लागू किए गए न्यूरल नेटवर्क को कभी-कभी ऐrtificial neural networks कहा जाता है, ताकि उन्हें मस्तिष्क और अन्य तंत्रिका सिस्टम में पाए जाने वाले न्यूरल नेटवर्क से अलग किया जा सके.

कुछ न्यूरल नेटवर्क, अलग-अलग सुविधाओं और लेबल के बीच का बेहद जटिल नॉन-लाइनियर संबंध, हूबहू कॉपी कर सकते हैं.

कॉन्वोलूशनल न्यूरल नेटवर्क और बार-बार होने वाला न्यूरल नेटवर्क.

न्यूरॉन

#fundamentals

मशीन लर्निंग में, न्यूरल नेटवर्क की छिपी हुई लेयर में मौजूद एक अलग यूनिट. हर न्यूरॉन, नीचे दी गई दो चरणों वाली कार्रवाई करता है:

1. यह फ़ंक्शन, इनपुट वैल्यू के भारित योग को गुणा करने पर मिलने वाली वैल्यू का हिसाब लगाता है वज़न के आधार पर फ़िल्टर करें.
2. ऐक्टिवेशन फ़ंक्शन को इनपुट के तौर पर, वेटेड योग पास करता है.

पहली हिडन लेयर में मौजूद न्यूरॉन, इनपुट लेयर में मौजूद फ़ीचर वैल्यू से इनपुट स्वीकार करता है. इसके अलावा, किसी दूसरी छिपी हुई लेयर में न्यूरॉन पहला डेटा, पिछली छिपी हुई लेयर में मौजूद न्यूरॉन से इनपुट स्वीकार करता है. उदाहरण के लिए, दूसरी हिडन लेयर में मौजूद न्यूरॉन, पहली हिडन लेयर में मौजूद न्यूरॉन से इनपुट स्वीकार करता है.

नीचे दिए गए इलस्ट्रेशन में दो न्यूरॉन और उनके इनपुट को हाइलाइट किया गया है.

न्यूरल नेटवर्क में मौजूद न्यूरॉन, दिमाग और नर्वस सिस्टम के अन्य हिस्सों में मौजूद न्यूरॉन के व्यवहार की नकल करता है.

एन-ग्राम

#seq

#language

N शब्दों का क्रम. उदाहरण के लिए, पूरी तरह से पागलपन में 2-ग्राम होता है. क्रम का ज़रूरी होना, madly truly को truly madly से अलग बनाता है.

नहीं	इस तरह के एन-ग्राम के लिए नाम	उदाहरण
2	बिग्राम या दो वर्णों का ग्रुप	जाना, जाना, लंच करना, डिनर करना
3	ट्रिग्रम या तीन वर्णों का ग्रुप	ate too much, three blind mice, the bell tolls
4	4 ग्राम	पार्क में टहलना, हवा में धूल उड़ना, लड़के ने दाल खाना

सामान्य भाषा की समझ मॉडल, N-ग्राम की मदद से यह अनुमान लगाते हैं कि उपयोगकर्ता कौनसा शब्द टाइप करेगा या कहें. उदाहरण के लिए, मान लें कि किसी उपयोगकर्ता ने three blind टाइप किया. त्रिकोणमिति पर आधारित एक एनएलयू मॉडल यह अनुमान लगाएगा कि उपयोगकर्ता, अगली बार माइस टाइप करेगा.

शब्दों के बैग के साथ N-ग्राम के बीच अंतर करें, जो कि शब्दों का बिना क्रम वाला सेट.

एनएलयू

#language

प्राकृतिक भाषा के लिए संक्षिप्त नाम समझना.

नोड (डिसिज़न ट्री)

#df

डिसिज़न ट्री में, कोई भी स्थिति या लीफ़.

नोड (न्यूरल नेटवर्क)

#fundamentals

छिपी हुई लेयर में एक न्यूरॉन.

नोड (TensorFlow ग्राफ़)

#TensorFlow

TensorFlow के ग्राफ़ में की गई कार्रवाई.

शोर

मोटे तौर पर, ऐसी कोई भी चीज़ जो डेटासेट में सिग्नल को छिपा देती है. डेटा में ग़ैर-ज़रूरी जानकारी कई तरीकों से शामिल हो सकती है. उदाहरण के लिए:

• रेटिंग देने वाले लोग, वीडियो को लेबल करने में गलती करते हैं.
• इंसान और इंस्ट्रुमेंट, सुविधाओं की वैल्यू को गलत तरीके से रिकॉर्ड या मिटा देते हैं.

अन्य स्थिति

#df

ऐसी शर्त जिसमें दो से ज़्यादा संभावित नतीजे हों. उदाहरण के लिए, नॉन-बाइनरी शर्त में तीन संभावित नतीजे हो सकते हैं:

नॉन-लीनियर

#fundamentals

दो या उससे ज़्यादा वैरिएबल के बीच का ऐसा संबंध जिसे सिर्फ़ जोड़ और गुणा के ज़रिए नहीं दिखाया जा सकता. एक लीनियर संबंध इसे लाइन के तौर पर दिखाया जा सकता है; एक nonlinear संबंध जिसे एक रेखा के रूप में दिखाया जाता है. उदाहरण के लिए, दो मॉडल लें, जिनमें से हर मॉडल में एक सुविधा को एक लेबल से जोड़ा गया हो. बाईं ओर मौजूद मॉडल, लीनियर है और दाईं ओर का मॉडल नॉनलीनियर है:

नॉन-रिस्पॉन्स बायस

#fairness

चुनी गई वैल्यू में बायस देखें.

नॉन-स्टेशनरी

#fundamentals

ऐसी सुविधा जिसकी वैल्यू एक या उससे ज़्यादा डाइमेंशन में बदलती हैं. आम तौर पर, यह वैल्यू समय के हिसाब से बदल जाती है. उदाहरण के लिए, नॉन-स्टेशनरी डेटा के ये उदाहरण देखें:

• किसी स्टोर में बेचे जाने वाले स्विमसूट की संख्या, मौसम के हिसाब से अलग-अलग होती है.
• किसी खास इलाके में किसी खास फ़ल की पैदावार, साल के ज़्यादातर समय के लिए शून्य होती है. हालांकि, कुछ समय के लिए यह ज़्यादा होती है.
• जलवायु परिवर्तन की वजह से, साल के औसत तापमान में बदलाव हो रहा है.

स्टेशनरिटी के साथ कंट्रास्ट करें.

नॉर्मलाइज़ेशन

#fundamentals

मोटे तौर पर, किसी वैरिएबल की असल रेंज को बदलने की प्रोसेस में वैल्यू सेट करें, जैसे कि:

• -1 से +1
• 0 से 1
• Z-स्कोर (लगभग -3 से +3)

उदाहरण के लिए, मान लें कि किसी खास सुविधा की वैल्यू की असल रेंज 800 से 2,400 है. फ़ीचर इंजीनियरिंग के हिस्से के तौर पर, असल वैल्यू को स्टैंडर्ड रेंज में नॉर्मलाइज़ किया जा सकता है. जैसे, -1 से +1.

नॉर्मलाइज़ेशन यहां एक सामान्य काम है फ़ीचर इंजीनियरिंग. आम तौर पर, मॉडल तेज़ी से ट्रेन होते हैं और बेहतर अनुमान देते हैं. ऐसा तब होता है, जब फ़ीचर वेक्टर में मौजूद हर संख्या वाली फ़ीचर की रेंज एक जैसी हो.

संख्यात्मक डेटा के साथ काम करना मॉड्यूल देखें. Z-स्कोर नॉर्मलाइज़ेशन भी देखें.

नॉवल्टी डिटेक्शन

यह तय करने की प्रोसेस कि कोई नया (नया) उदाहरण, ट्रेनिंग सेट के उसी डिस्ट्रिब्यूशन से आता है या नहीं. दूसरे शब्दों में, ट्रेनिंग सेट पर ट्रेनिंग के बाद, नई चीज़ों का पता लगाने की सुविधा यह तय करती है कि कोई नया उदाहरण (अनुमान लगाने या अतिरिक्त ट्रेनिंग के दौरान) आउटलायर है या नहीं.

आउटलायर की पहचान के साथ तुलना करें.

संख्या वाला डेटा

#fundamentals

सुविधाएं को पूर्णांक या असल वैल्यू वाली संख्याओं के तौर पर दिखाया जाता है. उदाहरण के लिए, घर की कीमत का आकलन करने वाला मॉडल, घर के साइज़ (वर्ग फ़ीट या वर्ग मीटर में) को संख्या के तौर पर दिखाएगा. प्रतिनिधित्व सुविधा के न्यूमेरिक डेटा से पता चलता है कि सुविधा की वैल्यू में लेबल के साथ गणितीय संबंध. इसका मतलब है कि एक घर में जितने वर्ग मीटर में काफ़ी जगह है घर की वैल्यू के साथ गणितीय संबंध.

सभी इंटीजर डेटा को अंकों वाले डेटा के तौर पर नहीं दिखाया जाना चाहिए. उदाहरण के लिए, दुनिया के कुछ हिस्सों में पिन कोड पूर्णांक होते हैं. हालांकि, पूर्णांक वाले पिन कोड को मॉडल में संख्या के तौर पर नहीं दिखाया जाना चाहिए. ऐसा इसलिए है, क्योंकि 20000 का पिन कोड, 10,000 के पिन कोड के मुकाबले दोगुना (या आधा) असरदार नहीं होता. इसके अलावा, अलग-अलग पिन कोड, रीयल एस्टेट की अलग-अलग वैल्यू से जुड़े होते हैं. हालांकि, हम यह नहीं मान सकते कि पिन कोड 20000 की रीयल एस्टेट वैल्यू, पिन कोड 10000 की रीयल एस्टेट वैल्यू से दोगुनी है. पिन कोड को कैटगरी के हिसाब से डेटा के तौर पर दिखाया जाना चाहिए आज़माएं.

संख्या वाली सुविधाओं को कभी-कभी कहा जाता है लगातार सुविधाएं इस्तेमाल करने की सुविधा.

NumPy

ओपन सोर्स मैथ लाइब्रेरी, जो Python में ऐरे के बेहतर तरीके से इस्तेमाल करने की सुविधा देती है. pandas, NumPy पर आधारित है.

O

कैंपेन का मकसद

वह मेट्रिक जिसे आपका एल्गोरिदम ऑप्टिमाइज़ करने की कोशिश कर रहा है.

मकसद फ़ंक्शन

गणित का वह फ़ॉर्मूला या मेट्रिक जिसे मॉडल ऑप्टिमाइज़ करना चाहता है. उदाहरण के लिए, लीनियर रिग्रेशन के लिए मकसद फ़ंक्शन आम तौर पर मायन स्क्वेयर्ड लॉस होता है. इसलिए, किसी रेखीय रिग्रेशन मॉडल को ट्रेनिंग देते समय, ट्रेनिंग का मकसद मीन स्क्वेयर लॉस को कम करना होता है.

कुछ मामलों में, लक्ष्य मकसद फ़ंक्शन को बढ़ाना होता है. उदाहरण के लिए, अगर मकसद फ़ंक्शन सटीक है, तो लक्ष्य ज़्यादा सटीक बनाने के लिए.

नुकसान भी देखें.

तिरछी स्थिति

#df

फ़ैसला ट्री में, एक ऐसी शर्त जिसमें एक से ज़्यादा सुविधाएं शामिल हों. उदाहरण के लिए, अगर ऊंचाई और चौड़ाई, दोनों एट्रिब्यूट हैं, तो यह एक अस्पष्ट शर्त है:

  height > width

ऐक्सिस के साथ अलाइन की गई शर्त के साथ तुलना करें.

अॉफ़लाइन

#fundamentals

स्टैटिक के लिए समानार्थी.

ऑफ़लाइन अनुमान

#fundamentals

ऐसे मॉडल की प्रोसेस जो सुझावों का बैच जनरेट करती है और फिर उन अनुमानों को कैश मेमोरी (सेव करना) के लिए तैयार करना है. इसके बाद, ऐप्लिकेशन अनुमानित जानकारी को ऐक्सेस कर सकते हैं मॉडल को फिर से चलाने के बजाय कैश मेमोरी के अनुमान का इस्तेमाल करता है.

उदाहरण के लिए, एक ऐसा मॉडल जो हर चार घंटे में स्थानीय मौसम के पूर्वानुमान (अनुमान) जनरेट करता है. प्रत्येक मॉडल के चलने के बाद, सिस्टम सभी स्थानीय मौसम के पूर्वानुमान को कैश मेमोरी में सेव करता है. मौसम के पूर्वानुमान बताने वाले ऐप्लिकेशन, कैश मेमोरी से पूर्वानुमान हासिल करते हैं.

ऑफ़लाइन अनुमान लगाने की प्रोसेस को स्टैटिक अनुमान भी कहा जाता है.

ऑनलाइन अनुमान से अंतर होना चाहिए.

वन-हॉट एन्कोडिंग

#fundamentals

कैटगरी वाले डेटा को वेक्टर के तौर पर दिखाना, जिसमें:

• एक एलिमेंट 1 पर सेट है.
• बाकी सभी एलिमेंट 0 पर सेट हैं.

वन-हॉट एन्कोडिंग का इस्तेमाल आम तौर पर उन स्ट्रिंग या आइडेंटिफ़ायर को दिखाने के लिए किया जाता है जो संभावित वैल्यू का सीमित सेट होता है. उदाहरण के लिए, मान लें कि Scandinavia नाम की किसी कैटगरी वाली सुविधा की पांच संभावित वैल्यू हैं:

• "डेनमार्क"
• "स्वीडन"
• "नॉर्वे"
• "फ़िनलैंड"
• "आइसलैंड"

वन-हॉट कोडिंग, इन पांच वैल्यू को इस तरह दिखा सकती है:

country	वेक्टर
"डेनमार्क"	1	0	0	0	0
"स्वीडन"	0	1	0	0	0
"नॉर्वे"	0	0	1	0	0
"फ़िनलैंड"	0	0	0	1	0
"आइसलैंड"	0	0	0	0	1

वन-हॉट कोडिंग की मदद से, मॉडल पांचों देशों के आधार पर अलग-अलग कनेक्शन सीख सकता है.

किसी सुविधा को संख्यात्मक डेटा के तौर पर दिखाना के बजाय वन-हॉट एन्कोडिंग का इस्तेमाल किया जाएगा. हमें खेद है कि वे अंकों के हिसाब से स्कैंडिनेवियन देशों का चुनाव नहीं होता. उदाहरण के लिए, नीचे दिए गए न्यूमेरिक निरूपण पर विचार करें:

• "Denmark" is 0
• "स्वीडन" 1 है
• "नॉर्वे" 2 है
• "फ़िनलैंड" 3 है
• "आइसलैंड" 4 है

अंकों को कोड में बदलने की सुविधा की मदद से, मॉडल रॉ संख्याओं को गणितीय तरीके से समझता है और उन संख्याओं पर ट्रेनिंग की कोशिश करता है. हालांकि, आइसलैंड में नॉर्वे के मुकाबले दोगुना (या आधा) कुछ भी नहीं है. इसलिए, मॉडल कुछ अजीब नतीजे देगा.

वन-शॉट लर्निंग

मशीन लर्निंग का तरीका, जिसका इस्तेमाल अक्सर ऑब्जेक्ट की कैटगरी तय करने के लिए किया जाता है. इसे एक ही ट्रेनिंग के उदाहरण से, कैटगरी तय करने के असरदार तरीकों के बारे में बताया गया है.

फ़्यू-शॉट लर्निंग और ज़ीरो-शॉट लर्निंग के बारे में भी जानें.

वन-शॉट प्रॉम्प्ट

#language

#generativeAI

एक ऐसा प्रॉम्प्ट जिसमें एक उदाहरण शामिल हो. इसमें बताया गया हो कि कैसे बड़े लैंग्वेज मॉडल का जवाब देना चाहिए. उदाहरण के लिए, यहां दिए गए प्रॉम्प्ट में एक उदाहरण दिया गया है. इसमें लार्ज लैंग्वेज मॉडल को यह दिखाया गया है कि उसे किसी क्वेरी का जवाब कैसे देना चाहिए.

एक प्रॉम्प्ट के हिस्से	नोट
किसी चुने गए देश की आधिकारिक मुद्रा क्या है?	वह सवाल जिसका जवाब आपको एलएलएम से चाहिए.
फ़्रांस: EUR	एक उदाहरण.
भारत:	असल क्वेरी.

एक बार में प्रॉम्प्ट करने की सुविधा की तुलना इन शब्दों से करें:

• ज़ीरो-शॉट प्रॉम्प्ट
• उदाहरण के साथ डाले गए प्रॉम्प्ट

one-vs.-all

#fundamentals

N क्लास वाली कैटगरी तय करने की समस्या के लिए, N अलग-अलग बाइनरी क्लासिफ़ायर वाला समाधान. हर संभावित नतीजे के लिए एक बाइनरी क्लासिफ़ायर. उदाहरण के लिए, किसी ऐसे मॉडल के लिए जो उदाहरणों को जानवर, सब्जी या खनिज के तौर पर बांटता है, एक-बनाम-सभी वाला समाधान, नीचे दिए गए तीन अलग-अलग बाइनरी क्लासिफ़ायर उपलब्ध कराएगा:

• जानवर है या नहीं
• सब्ज़ी बनाम सब्ज़ी नहीं
• मिनरल बनाम नॉन-मिनरल

online

#fundamentals

डाइनैमिक का समानार्थी शब्द.

ऑनलाइन अनुमान

#fundamentals

मांग पर अनुमान जनरेट करना. उदाहरण के लिए, मान लें कि कोई ऐप्लिकेशन किसी मॉडल को इनपुट भेजता है और अनुमान का अनुरोध करता है. ऑनलाइन अनुमान का इस्तेमाल करने वाला सिस्टम, अनुरोध का जवाब मॉडल (और ऐप्लिकेशन पर सुझाव लौटाना).

ऑफ़लाइन अनुमान से तुलना करें.

कार्रवाई (ऑप)

#TensorFlow

TensorFlow में, ऐसी कोई भी प्रोसेस जो Tensor में हेर-फेर करता है या उसे बंद कर देता है. इसके लिए उदाहरण के लिए, मैट्रिक्स गुणा वह संक्रिया होती है जिसमें दो टेन्सर को इनपुट के तौर पर एक Tensor जनरेट करता है और उसे आउटपुट के तौर पर जनरेट करता है.

ओटैक्स

JAX के लिए, ग्रेडिएंट प्रोसेसिंग और ऑप्टिमाइज़ेशन लाइब्रेरी. Optax उन बिल्डिंग ब्लॉक को उपलब्ध कराकर रिसर्च करने में मदद करता है जो कस्टम तरीक़ों से फिर से जोड़ा जाना चाहिए, जैसे कि पैरामेट्रिक मॉडल डीप न्यूरल नेटवर्क चुनें. अन्य लक्ष्यों में ये शामिल हैं:

• आसान, जांचे गए, और बेहतर तरीके से कुछ भी लागू करने के लिए, मुख्य कॉम्पोनेंट.
• कम लेवल के कॉम्पोनेंट को कस्टम ऑप्टिमाइज़र (या ग्रेडिएंट प्रोसेसिंग के अन्य कॉम्पोनेंट) में जोड़कर, प्रोडक्टिविटी को बेहतर बनाना.
• सभी के लिए सीखने-सिखाने का तरीका आसान बनाकर नए आइडिया को अपनाने में तेज़ी लाना का इस्तेमाल करें.

ऑप्टिमाइज़र

ग्रेडिएंट डिसेंट एल्गोरिदम को लागू करने का एक खास तरीका. लोकप्रिय ऑप्टिमाइज़र में ये शामिल हैं:

• AdaGrad, जिसका मतलब है, ADAptive GRADient ढलान.
• एडम, जिसका पूरा नाम ADAptive with Momentum है.

आउट-ग्रुप एक ही तरह का भेदभाव

#fairness

ग्रुप के बाहर के सदस्यों को, ग्रुप में मौजूद सदस्यों की तुलना में ज़्यादा समान देखने की आदत व्यवहार, मूल्यों, व्यक्तित्व गुणों, और अन्य विशेषताएं. इन-ग्रुप का मतलब है, वे लोग जिनके साथ अक्सर बातचीत की जाती है; out-group का मतलब उन लोगों से है जिनके साथ आम तौर पर इंटरैक्ट नहीं किया जाता. अगर लोगों से बाहरी ग्रुप के बारे में एट्रिब्यूट देने के लिए कहा जाता है, तो हो सकता है कि वे एट्रिब्यूट, उन एट्रिब्यूट के मुकाबले कम बारीक और ज़्यादा स्टीरियोटाइप वाले हों जो लोग अपने ग्रुप के लोगों के लिए बताते हैं.

उदाहरण के लिए, लिलीपुटियन, दूसरे लिलीपुटियन लोगों के घरों का ब्यौरा दे सकते हैं साथ ही, इसमें आर्किटेक्चर स्टाइल, विंडो, और किसी भी ऑब्जेक्ट के बारे में दरवाज़े, और साइज़. हालांकि, यही लोग सिर्फ़ यह एलान कर सकते हैं कि ब्रोबडिंगनैजियन लोग एक जैसे घरों में रहते हैं.

आउट-ग्रुप एकरूपता पक्षपात एक ऐसा रूप है ग्रुप एट्रिब्यूशन बायस.

इन-ग्रुप बायस भी देखें.

आउटलायर डिटेक्शन

किसी विज्ञापन में आउटलायर की पहचान करने की प्रोसेस ट्रेनिंग सेट.

नए कॉन्टेंट का पता लगाने की सुविधा के साथ तुलना करें.

जिसकी परफ़ॉर्मेंस सामान्य से अलग रही

ऐसी वैल्यू जो ज़्यादातर अन्य वैल्यू से अलग हों. मशीन लर्निंग में, इनमें से कोई भी आउटलायर होता है:

• ऐसा इनपुट डेटा जिसकी वैल्यू, माध्य से करीब तीन स्टैंडर्ड डिविएशन से ज़्यादा हो.
• उच्च निरपेक्ष मान वाले भार.
• अनुमानित वैल्यू, असल वैल्यू से काफ़ी अलग हैं.

उदाहरण के लिए, मान लें कि widget-price किसी खास मॉडल की एक सुविधा है. मान लें कि औसत widget-price, मानक विचलन के साथ 7 यूरो है 1 यूरो का हो सकता है. इसलिए, 12 यूरो या 2 यूरो के widget-price वाले उदाहरणों को आउटलायर माना जाएगा, क्योंकि उनमें से हर कीमत, माध्य से पांच स्टैंडर्ड डेविएशन है.

आउटलायर अक्सर टाइपिंग की गलतियां या इनपुट से जुड़ी अन्य गलतियों की वजह से होते हैं. अन्य मामलों में, आउटलायर कोई गलती नहीं होती; आखिरकार, पाँच मानक विचलनों की वैल्यू वे बहुत कम हैं, लेकिन नामुमकिन नहीं हैं.

आउटलायर की वजह से, मॉडल ट्रेनिंग में अक्सर समस्याएं आती हैं. आउटलायर को मैनेज करने का एक तरीका, क्लिपिंग है.

आउट-ऑफ-बैग इवैल्यूएशन (ओओबी इवैल्यूएशन)

#df

फ़ैसला फ़ॉरेस्ट की क्वालिटी का आकलन करने का तरीका. इसमें हर फ़ैसला ट्री की जांच, उन उदाहरणों के आधार पर की जाती है जिनका इस्तेमाल, उस फ़ैसला ट्री के ट्रेनिंग के दौरान न किया गया था. उदाहरण के लिए, नीचे दिए गए डायग्राम में, ध्यान दें कि सिस्टम हर डिसिज़न ट्री को ट्रेनिंग देता है करीब दो-तिहाई उदाहरणों पर आधारित होता है. इसके बाद, बचे हुए एक-तिहाई उदाहरण.

आउट-ऑफ़-बैग इवैलुएशन, कंप्यूटेशनल तौर पर कुशल और कंज़र्वेटिव है क्रॉस-वैलिडेशन के तरीके का अनुमान. क्रॉस-वैलिडेशन के दौरान, क्रॉस-वैलिडेशन वाले हर राउंड के लिए एक मॉडल को ट्रेनिंग दी जाती है (उदाहरण के लिए, 10 मॉडल को 10-फ़ोल्ड क्रॉस-वैलिडेशन की ट्रेनिंग दी गई है). OOB के आकलन से एक मॉडल को ट्रेनिंग दी जाती है. बैगिंग, ट्रेनिंग के दौरान हर ट्री से कुछ डेटा को अलग रखती है. इसलिए, ओयूबी (ऑउट ऑफ़ बैंड) आकलन, क्रॉस-वैलिडेशन का अनुमान लगाने के लिए उस डेटा का इस्तेमाल कर सकती है.

आउटपुट लेयर

#fundamentals

"फ़ाइनल" यह न्यूरल नेटवर्क की एक लेयर है. आउटपुट लेयर में अनुमान होता है.

इस इलस्ट्रेशन में, एक छोटा डीप न्यूरल नेटवर्क दिखाया गया है. इसमें इनपुट लेयर, दो हिडन लेयर, और एक आउटपुट लेयर है:

ओवरफ़िटिंग

#fundamentals

कोई मॉडल बनाना, जो ट्रेनिंग डेटा को इतना बारीकी से इकट्ठा किया जाता है कि मॉडल नए डेटा पर सही अनुमान लगा सकता है.

रेगुलराइज़ेशन से, ओवरफ़िटिंग कम हो सकती है. बड़े और अलग-अलग तरह के ट्रेनिंग सेट पर ट्रेनिंग करने से, ओवरफ़िटिंग की समस्या भी कम हो सकती है.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

ओवरफ़िटिंग का मतलब है, सख्ती से अपने पसंदीदा लोगों की सलाह का पालन करना शिक्षक. आप शायद उस शिक्षक की क्लास में सफल होंगे, लेकिन शायद "ज़्यादा फ़िट" हो शिक्षक के आइडिया को स्वीकार करना न भूलें. क्लास. अलग-अलग तरह के शिक्षकों की सलाह अपनाने से, आपको नई स्थितियों में बेहतर तरीके से अडजस्ट करने में मदद मिलेगी.

---

ओवरसैंपलिंग

किसी अल्पसंख्यक वर्ग के उदाहरणों का फिर से इस्तेमाल करना क्लास-असंतुलित डेटासेट में मौजूद होना चाहिए, इससे बेहतर ट्रेनिंग सेट बनाया जा सकता है.

उदाहरण के लिए, बाइनरी क्लासिफ़िकेशन वाली ऐसी समस्या पर विचार करें जिसमें बड़ी क्लास का अनुपात, छोटी क्लास से 5,000:1 है. यदि डेटासेट में दस लाख उदाहरण हैं, तो डेटासेट में अल्पसंख्यक वर्ग के सिर्फ़ 200 उदाहरण हैं, जो असरदार ट्रेनिंग के लिए बहुत कम उदाहरण हों. इस कमी से निपटने के लिए, उन 200 उदाहरणों को कई बार ज़रूरत से ज़्यादा सैंपल (फिर से इस्तेमाल) कर सकता है. उपयोगी प्रशिक्षण के लिए काफ़ी उदाहरण हों.

ज़्यादा सैंपलिंग करते समय, आपको ओवरफ़िटिंग से बचना होगा.

कम सैंपलिंग के साथ तुलना करें.

P

पैक किया गया डेटा

डेटा को ज़्यादा बेहतर तरीके से सेव करने का तरीका.

पैक किया गया डेटा, कंप्रेस किए गए फ़ॉर्मैट का इस्तेमाल करके या . पैक किया गया डेटा, मेमोरी और कंप्यूटेशन की संख्या को कम करता है, ताकि इससे आपको और तेज़ी से ट्रेनिंग मिलेगी. साथ ही, मॉडल का अनुमान आसानी से लगाया जा सकेगा.

पैक किए गए डेटा का इस्तेमाल अक्सर अन्य तकनीकों के साथ किया जाता है. जैसे, डेटा बढ़ाना और नियमित करना. इससे मॉडल की परफ़ॉर्मेंस और बेहतर होती है.

पांडा

#fundamentals

numpy पर ऊपर बना कॉलम-ओरिएंटेड डेटा विश्लेषण एपीआई. कई मशीन लर्निंग फ़्रेमवर्क, इसमें TensorFlow भी शामिल है. यह इनपुट के तौर पर पांडा के डेटा स्ट्रक्चर का इस्तेमाल करता है. देखें pandas के दस्तावेज़ देखें.

पैरामीटर

#fundamentals

ऐसे वज़न और बायस जिन्हें मॉडल, ट्रेनिंग. उदाहरण के लिए, लीनियर रिग्रेशन मॉडल में, पैरामीटर में नीचे दिए गए फ़ॉर्मूले में, बायस (b) और सभी वेट (w₁, w₂ वगैरह) शामिल होते हैं:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

इसके उलट, हाइपरपैरामीटर वे वैल्यू होती हैं जिन्हें आप या कोई हाइपरपैरामीटर ट्यूनिंग सेवा, मॉडल को देती है. उदाहरण के लिए, लर्निंग रेट एक हाइपरपैरामीटर है.

पैरामीटर-कुशल ट्यूनिंग

#language

#generativeAI

पहले से ट्रेन किए गए भाषा मॉडल (पीएलएम) को पूरी तरह से फ़ाइन-ट्यून करने के मुकाबले, ज़्यादा असरदार तरीके से फ़ाइन-ट्यून करने के लिए तकनीकों का सेट. पैरामीटर-कुशल आम तौर पर, ट्यूनिंग पूरे डेटा के मुकाबले काफ़ी कम पैरामीटर होते हैं लेकिन आम तौर पर, बड़ा लैंग्वेज मॉडल, जो या करीब-करीब पूरे डेटा से बना एक बड़ा लैंग्वेज मॉडल भी फ़ाइन-ट्यून.

पैरामीटर-कुशल ट्यूनिंग की इनके साथ तुलना करें:

• निर्देश ट्यून करना
• प्रॉम्प्ट ट्यूनिंग

पैरामीटर-इफ़िशिएंट ट्यूनिंग को पैरामीटर-इफ़िशिएंट फ़ाइन-ट्यूनिंग भी कहा जाता है.

पैरामीटर सर्वर (पीएस)

#TensorFlow

ऐसी जॉब जो किसी मॉडल के पैरामीटर को ट्रैक करती है डिस्ट्रिब्यूटेड सेटिंग में बदल जाएगा.

पैरामीटर अपडेट

ट्रेनिंग के दौरान, मॉडल के पैरामीटर में बदलाव करने की प्रोसेस. आम तौर पर, यह बदलाव ग्रेडिएंट डिसेंट के एक ही दोहराव में किया जाता है.

आंशिक डेरिवेटिव

ऐसा डेरिवेटिव, जिसमें एक वैरिएबल को छोड़कर बाकी सभी वैरिएबल को कॉन्स्टेंट माना जाता है. उदाहरण के लिए, x के हिसाब से f(x, y) का आंशिक डेरिवेटिव, f का डेरिवेटिव होता है. इसे सिर्फ़ x के फ़ंक्शन के तौर पर माना जाता है. इसका मतलब है कि y को एक जैसा बनाए रखना. x के हिसाब से f का आंशिक डेरिवेटिव, सिर्फ़ इस बात पर फ़ोकस करता है कि x में क्या बदलाव हो रहा है. साथ ही, यह समीकरण के अन्य सभी वैरिएबल को अनदेखा करता है.

पार्टिसिपेशन बायस

#fairness

नॉन-रिस्पॉन्स बायस का दूसरा नाम. चुनी गई वैल्यू में बायस देखें.

बंटवारे की रणनीति

वह एल्गोरिदम जिसकी मदद से वैरिएबल को पैरामीटर सर्वर में बांटा जाता है.

Pax

यह एक प्रोग्रामिंग फ़्रेमवर्क है, जिसे बड़े पैमाने पर न्यूरल नेटवर्क मॉडल को ट्रेन करने के लिए डिज़ाइन किया गया है. ये मॉडल इतने बड़े होते हैं कि वे एक से ज़्यादा TPU ऐक्सेलरेटर चिप स्लाइस या पॉड पर काम करते हैं.

Pax, Flax पर आधारित है. Flax, JAX पर आधारित है.

परसेप्ट्रॉन

एक सिस्टम (हार्डवेयर या सॉफ़्टवेयर), जो एक या उससे ज़्यादा इनपुट वैल्यू लेता है, इनपुट के वेटेड योग पर फ़ंक्शन चलाता है, और एक आउटपुट वैल्यू का हिसाब लगाता है. मशीन लर्निंग में, फ़ंक्शन आम तौर पर नॉनलीनियर होता है, जैसे कि ReLU, sigmoid या tanh. उदाहरण के लिए, नीचे दिया गया परसेप्ट्रॉन, तीन इनपुट वैल्यू को प्रोसेस करने के लिए सिग्मॉइड फ़ंक्शन पर निर्भर करता है:

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

नीचे दिए गए इलस्ट्रेशन में, परसेप्ट्रॉन तीन इनपुट लेता है. इनमें से हर इनपुट को परसेप्ट्रॉन में शामिल करने से पहले, वज़न के हिसाब से बदला जाता है:

पर्सेप्ट्रॉन यहां के न्यूरॉन हैं न्यूरल नेटवर्क.

प्रदर्शन

ओवरलोड किया गया शब्द, जिसका मतलब ये है:

• सॉफ़्टवेयर इंजीनियरिंग में स्टैंडर्ड का मतलब. जैसे: यह सॉफ़्टवेयर कितना तेज़ (या बेहतर) तरीके से काम करता है?
• मशीन लर्निंग का मतलब. पेश है, परफ़ॉर्मेंस नीचे दिया गया सवाल: यह मॉडल कितना सही है? इसका मतलब है कि मॉडल का अनुमान कितना अच्छा है?

पर्म्यूटेशन वैरिएबल की अहमियत

#df

एक टाइप वैरिएबल की अहमियत, जो आकलन करता है को अनुमति देने के बाद, मॉडल की अनुमान गड़बड़ी में बढ़ोतरी सुविधा के मान. वैरिएशन के क्रम में बदलाव करने की अहमियत, मॉडल पर निर्भर नहीं करती.

perplexity

एक तरीका, जिससे पता चलता है कि कोई मॉडल अपना टास्क कितनी अच्छी तरह पूरा कर रहा है. उदाहरण के लिए, मान लें कि आपका टास्क किसी शब्द के पहले कुछ अक्षर पढ़ना है जब कोई उपयोगकर्ता फ़ोन के कीबोर्ड पर टाइप कर रहा है और संभावित ग्राहकों की सूची पूर्ण शब्दों का इस्तेमाल किया जा सकता है. इस टास्क के लिए, पेरप्लेक्सिटी, P, अनुमानित तौर पर उन अनुमानों की संख्या होती है जिन्हें आपको अपनी सूची में शामिल करना होता है, ताकि उसमें वह असली शब्द शामिल हो जिसे उपयोगकर्ता टाइप करने की कोशिश कर रहा है.

किसी समस्या को क्रॉस-एंट्रॉपी से इस तरह से जोड़ा जा सकता है:

$$P= 2^{-\text{cross entropy}}$$

पाइपलाइन

मशीन लर्निंग एल्गोरिदम से जुड़ा इन्फ़्रास्ट्रक्चर. पाइपलाइन में, डेटा इकट्ठा करना, डेटा को ट्रेनिंग डेटा फ़ाइलों में डालना, एक या उससे ज़्यादा मॉडल को ट्रेनिंग देना, और मॉडल को प्रोडक्शन में एक्सपोर्ट करना शामिल है.

पाइपलाइन

#language

मॉडल के पैरलल प्रोसेसिंग का एक फ़ॉर्म, जिसमें मॉडल की प्रोसेसिंग को लगातार चरण में बांटा जाता है और हर चरण को अलग-अलग डिवाइस पर चलाया जाता है. जब कोई चरण एक बैच को प्रोसेस कर रहा होता है, तब पिछला चरण अगले बैच पर काम कर सकता है.

स्टेज की गई ट्रेनिंग भी देखें.

पिजित

यह JAX फ़ंक्शन है, जो कोड को कई हिस्सों में चलाने के लिए बांटता है ऐक्सेलरेटर चिप. उपयोगकर्ता एक फ़ंक्शन pjit को पास करता है, जो ऐसा फ़ंक्शन लौटाता है जिसमें समान सिमैंटिक होता है, लेकिन उसे कंपाइल किया जाता है XLA की कंप्यूटेशन की मदद से कंप्यूट किया जाता है, जो कई डिवाइसों पर चलता है (जैसे कि जीपीयू या TPU कोर).

pjit की मदद से लोग, कंप्यूटेशन को फिर से लिखे बिना ही शार्ड कर सकते हैं. इसके लिए, SPMD पार्टीशनर.

मार्च 2023 से, pjit को jit के साथ मर्ज कर दिया गया है. ज़्यादा जानकारी के लिए, डिस्ट्रिब्यूटेड ऐरे और ऑटोमैटिक पैरलललाइज़ेशन देखें.

पीएलएम

#language

#generativeAI

पहले से ट्रेन की गई भाषा के मॉडल का छोटा नाम.

pmap

JAX फ़ंक्शन, जो किसी इनपुट फ़ंक्शन की कॉपी चलाता है एक से ज़्यादा हार्डवेयर डिवाइसों पर इस्तेमाल कर सकते हैं. (सीपीयू, जीपीयू या TPU). इनमें अलग-अलग इनपुट वैल्यू होनी चाहिए. pmap, SPMD पर निर्भर करता है.

policy

#rl

रीइन्फ़ोर्समेंट लर्निंग में, एजेंट की प्रॉबेब्लिस्टिक मैपिंग राज्यों से कार्रवाई तक.

पूल करना

#image

पहले बनाए गए आव्यूहों (या आव्यूहों) को कम करना छोटे मैट्रिक्स पर कॉन्वोलूशन लेयर. आम तौर पर, पूल करने के लिए सबसे ज़्यादा या औसत वैल्यू का इस्तेमाल किया जाता है पूल किए गए हिस्से में. उदाहरण के लिए, मान लें कि हमारे पास यह 3x3 मैट्रिक्स है:

पूल करने की प्रोसेस, कॉन्वोल्यूशनल प्रोसेस की तरह ही, उस मैट्रिक्स को स्लाइस में बांटती है. इसके बाद, कॉन्वोल्यूशनल प्रोसेस को स्ट्राइड के हिसाब से स्लाइड करती है. उदाहरण के लिए, मान लें कि पूलिंग ऑपरेशन कॉन्वोलूशनल मैट्रिक्स को 1x1 की चाल के साथ 2x2 स्लाइस में बांटता है. नीचे दिए गए डायग्राम में दिखाया गया है कि पूल करने के चार तरीके हैं. मान लें कि पूल करने की हर कार्रवाई, उस स्लाइस में चार में से सबसे बड़ी वैल्यू चुनती है:

पूल करने से, इनपुट मैट्रिक में ट्रांसलेशन इनवैरिएंस लागू करने में मदद मिलती है.

विज़न ऐप्लिकेशन के लिए पूल करने की प्रोसेस को स्पेशल पूलिंग कहा जाता है. टाइम सीरीज़ वाले ऐप्लिकेशन में, आम तौर पर पूल करने की प्रोसेस को समय के हिसाब से पूल करना कहा जाता है. आम तौर पर, पूल करने की प्रोसेस को सबसैंपलिंग या डाउनसैंपलिंग कहा जाता है.

पोज़िशनल कोड

#language

टोकन के एम्बेड करने के लिए, किसी क्रम में टोकन की स्थिति की जानकारी जोड़ने की तकनीक. ट्रांसफ़ॉर्मर मॉडल, पोज़िशनल एन्कोडिंग का इस्तेमाल करके, क्रम के अलग-अलग हिस्सों के बीच के संबंध को बेहतर तरीके से समझते हैं.

पोज़िशनल एन्कोडिंग को आम तौर पर लागू करने के लिए, साइनसोइडल फ़ंक्शन का इस्तेमाल किया जाता है. (खास तौर पर, साइनसोइडल फ़ंक्शन की फ़्रीक्वेंसी और ऐम्प्ल्यट्यूड, क्रम में टोकन की पोज़िशन से तय होता है.) इस तकनीक की मदद से, ट्रांसफ़ॉर्मर मॉडल, क्रम के अलग-अलग हिस्सों पर ध्यान देना सीखता है.

पॉज़िटिव क्लास

#fundamentals

वह क्लास जिसकी जांच की जा रही है.

उदाहरण के लिए, कैंसर मॉडल में पॉज़िटिव क्लास "ट्यूमर" हो सकती है. ईमेल की कैटगरी तय करने वाली सुविधा का पॉज़िटिव क्लास "स्पैम" हो सकता है.

नेगेटिव क्लास के साथ कंट्रास्ट करें.

अतिरिक्त नोट के लिए आइकॉन पर क्लिक करें.

पॉज़िटिव क्लास शब्द भ्रम की स्थिति पैदा कर सकता है, क्योंकि "पॉज़िटिव" शब्द नतीजा कई टेस्ट में से कोई एक काम करना मुश्किल होता है. उदाहरण के लिए, कई मेडिकल टेस्ट कैंसर या बीमारियों से जुड़े होते हैं. आम तौर पर, आपको डॉक्टर से यह सुनना अच्छा लगता है कि "बधाई हो! आपके टेस्ट के नतीजे नेगेटिव आए हैं." इसके बावजूद, पॉज़िटिव क्लास वह इवेंट होता है जिसे टेस्ट करने की कोशिश करता है.

हां, सही और नकारात्मक, दोनों तरह की वैल्यू को एक साथ टेस्ट किया जा रहा है क्लास.

---

प्रोसेस होने के बाद

#fairness

#fundamentals

मॉडल को चलाने के बाद, मॉडल के आउटपुट में बदलाव करना. पोस्ट-प्रोसेसिंग का इस्तेमाल, निष्पक्षता से जुड़ी पाबंदियों को लागू करने के लिए किया जा सकता है. मॉडल में बदलाव करती हैं.

उदाहरण के लिए, बाइनरी क्लासिफ़ायर पर पोस्ट-प्रोसेसिंग लागू की जा सकती है और तय की गई कैटगरी में रखने के लिए, अवसर की समानता बनी रहती है कुछ एट्रिब्यूट के लिए, सही पॉज़िटिव रेट की जांच करें इस एट्रिब्यूट की सभी वैल्यू एक जैसी होती हैं.

पीआर AUC (पीआर कर्व के अंदर का हिस्सा)

इंटरपोलेशन किए गए प्रिसिज़न-रीकॉल कर्व के नीचे का एरिया. इसे क्लासिफ़िकेशन थ्रेशोल्ड की अलग-अलग वैल्यू के लिए, (रीकॉल, प्रिसिज़न) पॉइंट प्लॉट करके पाया जाता है. इसके तरीके के आधार पर इसका आकलन किया जाता है, तो PR AUC औसत सटीक.

Praxis

Pax की मुख्य और बेहतर परफ़ॉर्मेंस वाली एमएल लाइब्रेरी. आम तौर पर, जिसे "लेयर लाइब्रेरी" कहते हैं.

Praxis में, लेयर क्लास की परिभाषाओं के साथ-साथ, इसके साथ काम करने वाले ज़्यादातर कॉम्पोनेंट भी शामिल हैं. इनमें ये शामिल हैं:

• डेटा इनपुट
• कॉन्फ़िगरेशन लाइब्रेरी (HParam और Fiddle)
• ऑप्टिमाइज़र

Praxis से मॉडल क्लास की परिभाषाएं मिलती हैं.

प्रीसिज़न

क्लासिफ़िकेशन मॉडल के लिए एक मेट्रिक, जो इस सवाल का जवाब देती है:

जब मॉडल ने पॉज़िटिव क्लास का अनुमान लगाया, तो कितने प्रतिशत अनुमान सही थे?

इसका फ़ॉर्मूला यहां दिया गया है:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

कहां:

• सही पॉज़िटिव का मतलब है कि मॉडल ने पॉज़िटिव क्लास का सही अनुमान लगाया है.
• फ़ॉल्स पॉज़िटिव का मतलब है कि मॉडल ने गलती से पॉज़िटिव क्लास का अनुमान लगाया है.

उदाहरण के लिए, मान लें कि किसी मॉडल ने 200 सकारात्मक अनुमान लगाए. इन 200 पॉज़िटिव अनुमानों में से:

• 150 ट्रू पॉज़िटिव थे.
• इनमें से 50 फ़ॉल्स पॉज़िटिव थे.

इस मामले में:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

सटीक होने और याद रखने के बीच अंतर करें.

ज़्यादा जानकारी के लिए, क्लासिफ़िकेशन: सटीक जानकारी, रीकॉल, सटीक जानकारी, और इससे जुड़ी मेट्रिक देखें.

प्रीसिज़न-रीकॉल कर्व

प्रीसिज़न बनाम रीकॉल का कर्व क्लासिफ़िकेशन के थ्रेशोल्ड.

अनुमान

#fundamentals

किसी मॉडल का आउटपुट. उदाहरण के लिए:

• बाइनरी क्लासिफ़िकेशन मॉडल का अनुमान, या तो पॉज़िटिव होता है क्लास या नेगेटिव क्लास.
• मल्टी-क्लास क्लासिफ़िकेशन मॉडल का अनुमान एक क्लास है.
• लीनियर रिग्रेशन मॉडल का अनुमान एक संख्या होती है.

प्रिडिक्शन बायस

वह मान जो दिखाता है कि औसत अनुमान, लेबल के औसत से मिलते हैं डेटासेट में शामिल है.

इसे मशीन लर्निंग मॉडल में मौजूद बायस या नैतिकता और निष्पक्षता में बायस के साथ न जोड़ें.

अनुमानित एमएल

कोई भी स्टैंडर्ड ("क्लासिक") मशीन लर्निंग सिस्टम.

अनुमानित ML शब्द की कोई औपचारिक परिभाषा नहीं है. इसके बजाय, यह शब्द एमएल सिस्टम की ऐसी कैटगरी को अलग करता है जो इन पर आधारित नहीं है जनरेटिव एआई.

अनुमानित समानता

#fairness

एक फ़ेयरनेस मेट्रिक, जो यह जांचती है कि क्या, सेट करने के लिए, सटीक दरें मिलती हैं सबग्रुप के लिए बराबर हैं.

उदाहरण के लिए, कॉलेज में दाखिला पाने का अनुमान लगाने वाला मॉडल, देश के हिसाब से अनुमानित समानता को पूरा करेगा. ऐसा तब होगा, जब लिलिपुटियन और ब्रॉबडिंगनियन के लिए, सटीक अनुमान लगाने की दर एक जैसी हो.

अनुमानित समानता को कभी-कभी अनुमानित दर की समानता भी कहा जाता है.

"निष्पक्षता की परिभाषाएं पूरी जानकारी दी गई" (सेक्शन 3.2.1) का इस्तेमाल करें.

किराये की अनुमानित समानता

#fairness

अनुमानित समानता का एक और नाम.

डेटा को पहले से प्रोसेस करना

#fairness

मॉडल को ट्रेनिंग देने से पहले, डेटा को प्रोसेस करना. प्री-प्रोसेसिंग यह हो सकी शब्दों के संग्रह से उन शब्दों को निकालना जितना आसान है जो अंग्रेज़ी शब्दकोश में आते हैं या किसी शब्द को नए सिरे से लिखने जितना मुश्किल हो सकते हैं डेटा पॉइंट को इस तरह से सेट करते हैं कि वे एक-दूसरे से जुड़े हुए कई एट्रिब्यूट हटा देते हैं संवेदनशील एट्रिब्यूट का इस्तेमाल करें. डेटा को पहले से प्रोसेस करने से, निष्पक्षता से जुड़ी शर्तों को पूरा करने में मदद मिल सकती है.

पहले से ट्रेन किया गया मॉडल

#language

#image

#generativeAI

ऐसे मॉडल या मॉडल के कॉम्पोनेंट (जैसे, एम्बेडिंग वेक्टर) जिन्हें पहले से ही ट्रेन किया जा चुका है. कभी-कभी, आप पहले से ट्रेन किए गए एम्बेडिंग वेक्टर को न्यूरल नेटवर्क का इस्तेमाल करें. अन्य मामलों में, आपका मॉडल पहले से ट्रेन किए गए एम्बेडिंग पर भरोसा करने के बजाय, एम्बेडिंग वैक्टर को खुद ट्रेन करेगा.

पहले से ट्रेन किए गए लैंग्वेज मॉडल का मतलब, बड़े लैंग्वेज मॉडल से है, जिसे पहले से ट्रेनिंग दी गई है.

प्री-ट्रेनिंग

#language

#image

#generativeAI

बड़े डेटासेट पर मॉडल की शुरुआती ट्रेनिंग. पहले से ट्रेन किए गए कुछ मॉडल, बड़े और जटिल होते हैं. आम तौर पर, उन्हें अतिरिक्त ट्रेनिंग देकर बेहतर बनाया जाता है. उदाहरण के लिए, मशीन लर्निंग के विशेषज्ञ बड़े टेक्स्ट डेटासेट पर, बड़ा लैंग्वेज मॉडल, जैसे कि विकिपीडिया के सभी अंग्रेज़ी पेज. प्री-ट्रेनिंग के बाद, आगे दिए गए विकल्पों में से किसी का इस्तेमाल करके, मॉडल को बेहतर बनाया जा सकता है तकनीकें:

• डिस्टिलेशन
• बेहतर बनाना
• निर्देश ट्यूनिंग
• पैरामीटर की बेहतर ट्यूनिंग
• प्रॉम्प्ट ट्यूनिंग

पहले से मौजूद भरोसा

डेटा पर ट्रेनिंग शुरू करने से पहले, आपके पास उसके बारे में क्या जानकारी है. उदाहरण के लिए, L₂ रेगुलराइज़ेशन इन चीज़ों पर निर्भर करता है इस बात को पहले से मान लें कि वज़न छोटा और सामान्य होना चाहिए शून्य के आस-पास वितरित होता है.

प्रॉबेब्लिस्टिक रिग्रेशन मॉडल

ऐसा रिग्रेशन मॉडल जो हर सुविधा के लिए, वज़न के साथ-साथ उन वज़न की अनिश्चितता का भी इस्तेमाल करता है. संभावित रेग्रेसन मॉडल, अनुमान और उस अनुमान की अनिश्चितता जनरेट करता है. उदाहरण के लिए, संभाव्यता वाले रिग्रेशन मॉडल से, 12 के स्टैंडर्ड डेविएशन के साथ 325 का अनुमान मिल सकता है. प्रॉबेब्लिस्टिक रिग्रेशन के बारे में ज़्यादा जानकारी मॉडल की तरह, Colab को इस डिवाइस पर देखें tensorflow.org.

प्रोबैबिलिटी डेंसिटी फ़ंक्शन

यह फ़ंक्शन उन डेटा सैंपल की फ़्रीक्वेंसी की पहचान करता है जिनमें बिलकुल तय करें. जब किसी डेटासेट की वैल्यू, लगातार फ़्लोटिंग-पॉइंट होती हैं तो सटीक मिलान बहुत कम ही होते हैं. हालांकि, वैल्यू x से वैल्यू y तक, प्रोबैबिलिटी डेंसिटी फ़ंक्शन को इंटिग्रेट करने पर, x और y के बीच डेटा सैंपल की अनुमानित फ़्रीक्वेंसी मिलती है.

उदाहरण के लिए, ऐसा सामान्य डिस्ट्रिब्यूशन लें जिसका माध्य 200 और 30 का मानक विचलन. 211.4 से 218.7 की रेंज में आने वाले डेटा सैंपल की अनुमानित फ़्रीक्वेंसी तय करने के लिए, 211.4 से 218.7 के बीच के सामान्य डिस्ट्रिब्यूशन के लिए, प्रायिकता घनत्व फ़ंक्शन को इंटिग्रेट किया जा सकता है.

मैसेज

#language

#generativeAI

बड़े लैंग्वेज मॉडल के इनपुट के तौर पर डाला गया कोई भी टेक्स्ट का इस्तेमाल करें. प्रॉम्प्ट इतने छोटे हो सकते हैं वाक्यांश या फिर मनचाहे तरीके से लंबा पासवर्ड डालें. उदाहरण के लिए, किसी उपन्यास का पूरा टेक्स्ट. प्रॉम्प्ट कई कैटगरी में आते हैं. इनमें, इस टेबल में दी गई कैटगरी भी शामिल हैं:

प्रॉम्प्ट की कैटगरी	उदाहरण	नोट
सवाल	कबूतर कितनी तेज़ी से उड़ सकता है?
निर्देश	अरेबिट्रेज के बारे में कोई मज़ेदार कविता लिखें.	ऐसा प्रॉम्प्ट जिसमें लार्ज लैंग्वेज मॉडल से कुछ करने के लिए कहा जाता है.
उदाहरण	Markdown कोड को एचटीएमएल में बदलें. उदाहरण के लिए: Markdown: * सूची का आइटम एचटीएमएल: <ul> <li>सूची का आइटम</li> </ul>	इस उदाहरण वाले प्रॉम्प्ट का पहला वाक्य एक निर्देश है. प्रॉम्प्ट का बाकी हिस्सा, उदाहरण के तौर पर दिया गया है.
भूमिका	यह बताना कि मशीन लर्निंग ट्रेनिंग में ग्रेडिएंट डिसेंट का इस्तेमाल क्यों होता है आपने भौतिकी में पीएचडी की डिग्री ली हो.	वाक्य का पहला हिस्सा एक निर्देश है; वाक्यांश "फ़िज़िक्स में पीएचडी की डिग्री हासिल की" भूमिका वाला हिस्सा है.
मॉडल को पूरा करने के लिए इनपुट का कुछ हिस्सा	यूनाइटेड किंगडम के प्रधानमंत्री यहां रहते हैं	कुछ हिस्से वाला इनपुट प्रॉम्प्ट, अचानक खत्म हो सकता है (जैसा कि इस उदाहरण में है) या अंडरस्कोर के साथ खत्म हो सकता है.

जनरेटिव एआई मॉडल, किसी सवाल का जवाब, टेक्स्ट के ज़रिए दे सकता है. कोड, इमेज, एम्बेड करना, वीडियो...बहुत कुछ.

प्रॉम्प्ट-आधारित लर्निंग

#language

#generativeAI

कुछ खास मॉडल की क्षमता, जो उन्हें किसी खास प्रॉडक्ट के हिसाब से ढलने में मदद करते हैं आर्बिट्रेरी टेक्स्ट इनपुट (प्रॉम्प्ट) के जवाब में उनका व्यवहार. प्रॉम्प्ट पर आधारित सीखने के एक आम मॉडल में, बड़े लैंग्वेज मॉडल के जवाब में, टेक्स्ट जनरेट कर रहा है. उदाहरण के लिए, मान लें कि कोई उपयोगकर्ता यह प्रॉम्प्ट डालता है:

न्यूटन के गति के तीसरे नियम का सारांश लिखें.

प्रॉम्प्ट के आधार पर लर्निंग करने वाले मॉडल को, पिछले प्रॉम्प्ट के जवाब देने के लिए खास तौर पर ट्रेनिंग नहीं दी जाती. इसके बजाय, मॉडल को भौतिकी के बारे में काफ़ी जानकारी है. साथ ही, भाषा के सामान्य नियमों और आम तौर पर काम के जवाबों के बारे में भी काफ़ी जानकारी है. यह जानकारी (उम्मीद है कि) उपयोगी जानकारी देने के लिए काफ़ी है जवाब. लोगों से मिला अन्य सुझाव, जैसे कि "यह जवाब काफ़ी मुश्किल था." या "प्रतिक्रिया क्या होती है?"), प्रॉम्प्ट पर आधारित कुछ लर्निंग सिस्टम और उनके जवाबों को ज़्यादा काम का बनाया जा सके.

प्रॉम्प्ट डिज़ाइन

#language

#generativeAI

प्रॉम्प्ट इंजीनियरिंग का समानार्थी शब्द.

प्रॉम्प्ट इंजीनियरिंग

#language

#generativeAI

मनचाहा जवाब पाने वाले प्रॉम्प्ट बनाने की कला बड़े लैंग्वेज मॉडल से लिया गया है. प्रॉम्प्ट को इंसान तैयार करते हैं. अच्छी तरह से स्ट्रक्चर किए गए प्रॉम्प्ट लिखना, यह पक्का करने का एक अहम हिस्सा है लार्ज लैंग्वेज मॉडल से काम के जवाब पाएँ. प्रॉम्प्ट इंजीनियरिंग इन चीज़ों पर निर्भर करती है कई बातों पर निर्भर करता है. जैसे:

• यह डेटासेट, लार्ज लैंग्वेज मॉडल को पहले से ट्रेन करने और शायद बेहतर बनाने के लिए इस्तेमाल किया जाता है.
• temperature और डिकोड करने से जुड़े अन्य पैरामीटर, जिनका इस्तेमाल मॉडल जवाब जनरेट करने के लिए करता है.

मददगार प्रॉम्प्ट लिखने के बारे में ज़्यादा जानने के लिए, प्रॉम्प्ट डिज़ाइन के बारे में जानकारी देखें.

प्रॉम्प्ट डिज़ाइन, प्रॉम्प्ट इंजीनियरिंग का दूसरा नाम है.

प्रॉम्प्ट ट्यूनिंग

#language

#generativeAI

पैरामीटर को बेहतर तरीके से ट्यून करने का एक तरीका, जो "प्रीफ़िक्स" को सीखता है. सिस्टम, प्रॉम्प्ट के पहले इस प्रीफ़िक्स को जोड़ता है.

प्रॉम्प्ट ट्यूनिंग का एक वैरिएशन, प्रीफ़िक्स ट्यूनिंग है. इसमें हर लेयर में प्रीफ़िक्स जोड़ा जाता है. इसके उलट, ज़्यादातर प्रॉम्प्ट ट्यूनिंग इनपुट लेयर में प्रीफ़िक्स जोड़ता है.

प्रीफ़िक्स के बारे में ज़्यादा जानने के लिए, आइकॉन पर क्लिक करें.

प्रॉम्प्ट ट्यूनिंग के लिए, "प्रीफ़िक्स" (इसे "सॉफ़्ट प्रॉम्प्ट" भी कहा जाता है) टेक्स्ट टोकन से पहले, कुछ सीखे गए और टास्क के हिसाब से वेक्टर असल प्रॉम्प्ट से एम्बेड करना. सिस्टम, मॉडल के सभी अन्य पैरामीटर को फ़्रीज़ करके और किसी खास टास्क पर फ़ाइन-ट्यून करके, सॉफ़्ट प्रॉम्प्ट को सीखता है.

---

प्रॉक्सी लेबल

#fundamentals

डेटासेट में सीधे तौर पर उपलब्ध नहीं होने वाले लेबल का अनुमान लगाने के लिए इस्तेमाल किया जाने वाला डेटा.

उदाहरण के लिए, मान लें कि आपको कर्मचारी के तनाव के लेवल का अनुमान लगाने के लिए, किसी मॉडल को ट्रेन करना है. आपके डेटासेट में, अनुमान लगाने वाली कई सुविधाएं हैं, लेकिन इसमें तनाव का लेवल नाम का लेबल नहीं है. इसके बावजूद, आपने तनाव के लेवल के लिए, "ऑफ़िस में होने वाली दुर्घटनाएं" को प्रॉक्सी लेबल के तौर पर चुना. आखिरकार, तनाव में रहने वाले कर्मचारियों की तुलना में, शांत रहने वाले कर्मचारियों को ज़्यादा ऐक्सिडेंट होते हैं. या वे ऐसा करते हैं? ऐसा हो सकता है कि काम करने की जगह पर होने वाली दुर्घटनाओं की संख्या में कई वजहों से बढ़ोतरी और गिरावट आती हो.

दूसरे उदाहरण के तौर पर, मान लें कि आपको क्या बारिश हो रही है? को बूलियन लेबल बनाना है सकता है, लेकिन आपके डेटासेट में बारिश का डेटा नहीं है. अगर आपने तस्वीरें उपलब्ध हैं, तो आप लोगों की तस्वीरें लगा सकते हैं क्या बारिश हो रही है? के लिए प्रॉक्सी लेबल के रूप में छाते ले जाना क्या यह एक अच्छा प्रॉक्सी लेबल है? ऐसा हो सकता है. हालांकि, कुछ देशों के लोग बारिश से बचने के बजाय, धूप से बचने के लिए छतरी का इस्तेमाल ज़्यादा करते हैं.

प्रॉक्सी लेबल अक्सर सटीक नहीं होते हैं. जब भी संभव हो, प्रॉक्सी लेबल के बजाय असली लेबल चुनें. इसलिए, जब कोई असल लेबल मौजूद न हो, तो प्रॉक्सी चुनें लेबल बहुत सावधानी से लेबल किया होगा, सबसे कम भयानक प्रॉक्सी लेबल कैंडिडेट चुना जा सकता है.

प्रॉक्सी (संवेदनशील एट्रिब्यूट)

#fairness

स्टैंड-इन के तौर पर इस्तेमाल किया जाने वाला एट्रिब्यूट संवेदनशील एट्रिब्यूट का इस्तेमाल करें. उदाहरण के लिए, व्यक्ति के पिन कोड का इस्तेमाल उसकी आय के लिए प्रॉक्सी के तौर पर किया जा सकता है. नस्ल या जाति.

प्योर फ़ंक्शन

ऐसा फ़ंक्शन जिसके आउटपुट सिर्फ़ इसके इनपुट पर आधारित होते हैं और जिसका कोई साइड नहीं होता इफ़ेक्ट. खास तौर पर, प्योर फ़ंक्शन किसी ग्लोबल स्थिति का न तो इस्तेमाल करता है और न ही उसमें बदलाव करता है, जैसे, किसी फ़ाइल का कॉन्टेंट या फ़ंक्शन के बाहर के किसी वैरिएबल की वैल्यू.

प्योर फ़ंक्शन का इस्तेमाल करके थ्रेड-सुरक्षित कोड बनाया जा सकता है, जो कई सारे ब्राउज़र में model कोड को शार्प करते समय ऐक्सेलरेटर चिप.

JAX के फ़ंक्शन को बदलने के तरीकों के लिए ज़रूरी है कि इनपुट फ़ंक्शन पूरी तरह से फ़ंक्शन हैं.

Q

क्यू-फ़ंक्शन

#rl

रीइन्फ़ोर्समेंट लर्निंग में, वह फ़ंक्शन जो यह अनुमान लगाता है कि return के दौरान इसमें कार्रवाई जानकारी दें और फिर दी गई नीति का पालन करें.

क्यू-फ़ंक्शन को स्टेट-ऐक्शन वैल्यू फ़ंक्शन भी कहा जाता है.

क्यू-लर्निंग

#rl

रीइंफ़ोर्समेंट लर्निंग में, एक ऐसा एल्गोरिदम है जो एजेंट को बेलमैन समीकरण लागू करके, मार्कोव डिसीज़न प्रोसेस का सबसे सही क्यू-फ़ंक्शन सीखने की अनुमति देता है. मार्कोव के डिसिज़न प्रोसेस मॉडल एक एनवायरमेंट.

क्वेनटाइल

क्वंटाइल बकेट करने की हर बकेट.

क्वानटाइल बकेटिंग

किसी सुविधा की वैल्यू को बकेट में बांटना, ताकि हर बकेट में एक जैसी (या लगभग एक जैसी) संख्या में उदाहरण हों. उदाहरण के लिए, नीचे दिया गया डायग्राम 44 पॉइंट को 4 बकेट में बांटता है, जिनमें से हर एक बकेट 11 पॉइंट हैं. आकृति में प्रत्येक बकेट के लिए पॉइंट की संख्या समान है, तो कुछ बकेट x-वैल्यू की अलग-अलग चौड़ाई में होती हैं.

क्वांटाइज़ेशन

ओवरलोडेड टर्म, जिसका इस्तेमाल इनमें से किसी भी तरीके से किया जा सकता है:

• क्वांटाइल बकेटिंग को लागू करना किसी ख़ास सुविधा पर.
• डेटा को शून्य और शून्य में बदलना. ऐसा इसलिए, ताकि डिवाइसों को तेज़ी से स्टोर किया जा सके, उन्हें ट्रेनिंग दी जा सके, और अनुमान लगाना. बूलियन डेटा, दूसरे फ़ॉर्मैट के मुकाबले गड़बड़ियों और ग़ैर-ज़रूरी डेटा के लिए ज़्यादा मज़बूत होता है. इसलिए, क्वांटाइज़ेशन से मॉडल की सटीकता को बेहतर बनाया जा सकता है. क्वांटाइज़ेशन की तकनीकों में, राउंडिंग, ट्रिंकेट करना, और बाइनिंग शामिल है.

• मॉडल के पैरामीटर को सेव करने के लिए इस्तेमाल किए जाने वाले बिट की संख्या कम करना. उदाहरण के लिए, मान लें कि किसी मॉडल के पैरामीटर को 32-बिट फ़्लोटिंग-पॉइंट नंबर के तौर पर सेव किया गया है. क्वांटाइज़ेशन, उन पैरामीटर को 32 बिट से 4, 8 या 16 बिट में बदल देता है. क्वांटाइज़ेशन की मदद से फ़ॉलो किया जा रहा है:

  • कंप्यूट, मेमोरी, डिस्क, और नेटवर्क के इस्तेमाल की जानकारी
  • अनुमान लगाने में लगने वाला समय
  • ऊर्जा की खपत

  हालांकि, क्वांटाइज़ेशन की वजह से, कभी-कभी मॉडल के अनुमान सही नहीं होते.

सूची

#TensorFlow

TensorFlow ऑपरेशन, जो सूची के डेटा को लागू करता है स्ट्रक्चर. आम तौर पर, I/O में इस्तेमाल किया जाता है.

R

RAG

#fundamentals

रिट्रिवल-ऑगमेंटेड जनरेशन का छोटा नाम.

रैंडम फ़ॉरेस्ट

#df

डिसिज़न ट्री का ग्रुप, जिसमें हर डिसिज़न ट्री को किसी खास तरह के रैंडम नॉइज़ के साथ ट्रेन किया जाता है. जैसे, बैगिंग.

रैंडम फ़ॉरेस्ट एक तरह के फ़ैसले फ़ॉरेस्ट हैं.

रैंडम पॉलिसी

#rl

रीइन्फ़ोर्समेंट लर्निंग में, नीति बिना किसी क्रम के कार्रवाई.

रैंकिंग

एक तरह की सुपरवाइज़्ड लर्निंग जिसका इसका मकसद आइटम की सूची को क्रम से लगाना है.

रैंक (सामान्य)

उन कैटगरी की मशीन लर्निंग प्रॉब्लम में क्लास की रैंक जिन्हें कैटगरी में बांटा जाता है सबसे कम से लेकर सबसे कम लेवल तक की क्लास. उदाहरण के लिए, व्यवहार के आधार पर रैंकिंग करने वाला सिस्टम, कुत्ते के इनामों को सबसे ज़्यादा (स्टीक) से लेकर सबसे कम (मुरझाए हुए केल) तक रैंक कर सकता है.

rank (Tensor)

#TensorFlow

टेंसर में डाइमेंशन की संख्या. उदाहरण के लिए, एक अदिश का रैंक 0 है, एक सदिश का रैंक 1 है, और आव्यूह की रैंक 2 है.

रैंक (सामान्य) से अलग है.

रेटिंग देने वाला

#fundamentals

ऐसा व्यक्ति जो उदाहरणों के लिए लेबल देता है. "एनोटेटर" रेटिंग देने वाले का दूसरा नाम भी है.

रीकॉल

क्लासिफ़िकेशन मॉडल के लिए एक मेट्रिक, जो इस सवाल का जवाब देती है:

जब असल सच पॉज़िटिव क्लास, कितने प्रतिशत अनुमान लगाए गए मॉडल पॉज़िटिव क्लास के तौर पर सही पहचान करता है?

इसका फ़ॉर्मूला यहां दिया गया है:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

कहां:

• 'सही मायनों में पॉज़िटिव' का मतलब है कि मॉडल ने पॉज़िटिव क्लास का सही अनुमान लगाया.
• फ़ॉल्स नेगेटिव का मतलब है कि मॉडल ने नेगेटिव क्लास का अनुमान गलती से लगाया है.

उदाहरण के लिए, मान लें कि आपके मॉडल ने ऐसे उदाहरणों पर 200 अनुमान लगाए जिनके लिए ज़मीनी हकीकत ही एक सकारात्मक क्लास थी. इन 200 अनुमानों में से:

• इनमें से 180 ट्रू पॉज़िटिव थे.
• 20 फ़ॉल्स निगेटिव थे.

इस मामले में:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

वर्ग असंतुलित डेटासेट के बारे में नोट के लिए आइकन पर क्लिक करें.

रीकॉल, खास तौर पर उन क्लासिफ़िकेशन मॉडल के अनुमान लगाने की क्षमता का पता लगाने के लिए मददगार होता है जिनमें पॉज़िटिव क्लास कम होती है. उदाहरण के लिए, क्लास असंतुलित डेटासेट जिसमें किसी खास बीमारी का पॉज़िटिव क्लास सिर्फ़ 10 मरीज़ों में होता है दस लाख में से. मान लीजिए कि आपका मॉडल 50 लाख ऐसे अनुमान लगाता है जो ये नतीजे मिलते हैं:

• 30 सही बातें
• 20 फ़ॉल्स नेगेटिव
• 49,99,000 सही नेगेटिव
• 950 फ़ॉल्स पॉज़िटिव

इसलिए, इस मॉडल को बाज़ार से हटाना है:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

इसके उलट, इस मॉडल की सटीक होने की स्थिति यह है:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

सटीक होने की ज़्यादा वैल्यू देखने में अच्छी लगती है, लेकिन असल में इसका कोई मतलब नहीं है. क्लास-असंतुलित डेटासेट के लिए, रीकॉल, सटीक होने की तुलना में ज़्यादा फ़ायदेमंद मेट्रिक है.

---

ज़्यादा जानकारी के लिए, क्लासिफ़िकेशन: सटीक जानकारी, रीकॉल, सटीक जानकारी, और इससे जुड़ी मेट्रिक देखें.

सुझाव देने वाला सिस्टम

#recsystems

यह एक ऐसा सिस्टम है जो हर उपयोगकर्ता के लिए, बड़े कॉर्पस से, पसंदीदा आइटम का एक छोटा सेट चुनता है. उदाहरण के लिए, वीडियो का सुझाव देने वाला सिस्टम, दो वीडियो के सुझाव दे सकता है को मिलाकर, 1,00,000 वीडियो के कलेक्शन में से कैसाब्लांका और एक उपयोगकर्ता के लिए द फ़िलाडेल्फ़िया स्टोरी और वंडर वुमन और दूसरे के लिए ब्लैक पैंथर. वीडियो का सुझाव देने वाला सिस्टम, उसके आधार पर सुझाव दिए जाते हैं, जैसे:

• ऐसी फ़िल्में जिन्हें आपके जैसे उपयोगकर्ताओं ने रेटिंग दी है या देखी हैं.
• शैली, डायरेक्टर, अभिनेता, टारगेट की गई डेमोग्राफ़िक...

रेक्टिफ़ाइड लीनियर यूनिट (ReLU)

#fundamentals

ये ऐक्टिवेशन फ़ंक्शन होते हैं:

• अगर इनपुट नेगेटिव या शून्य है, तो आउटपुट 0 होगा.
• अगर इनपुट पॉज़िटिव है, तो आउटपुट, इनपुट के बराबर होता है.

उदाहरण के लिए:

• अगर इनपुट -3 है, तो आउटपुट 0 होगा.
• अगर इनपुट में +3 है, तो आउटपुट 3.0 होगा.

यहां ReLU का प्लॉट दिया गया है:

ReLU एक काफ़ी लोकप्रिय ऐक्टिवेशन फ़ंक्शन है. आसान तरीके से काम करने के बावजूद, ReLU की मदद से न्यूरल नेटवर्क, एट्रिब्यूट और लेबल के बीच नॉन-लाइनर संबंधों को सीख सकता है.

बार-बार होने वाला न्यूरल नेटवर्क

#seq

ऐसा न्यूरल नेटवर्क जो जान-बूझकर कई ब्राउज़र पर चल रहा हो बार, जहां हर हिस्से का फ़ीड अगली बार चलाया जाता है. खास तौर पर, पिछली बार चलाए गए डेटा की छिपी हुई लेयर, अगली बार रन करने के दौरान, उसी छिपी हुई लेयर पर इनपुट डालें. बार-बार होने वाले न्यूरल नेटवर्क खास तौर पर, क्रम का आकलन करने में मदद करते हैं, ताकि छिपी हुई लेयर न्यूरल नेटवर्क के पिछले हिस्सों में न्यूरल नेटवर्क के पिछले हिस्सों से सीख सकता है क्रम में रखें.

उदाहरण के लिए, नीचे दिए गए चित्र में एक ऐसा रीकरेंट न्यूरल नेटवर्क दिखाया गया है जो चार बार चलता है. ध्यान दें कि पहले रन में, छिपी हुई लेयर में सीखी गई वैल्यू, दूसरे रन में उन ही छिपी हुई लेयर के इनपुट का हिस्सा बन जाती हैं. इसी तरह, दूसरी बार चलाने पर, छिपी हुई लेयर में सीखी गई वैल्यू, तीसरे बार चलाने पर उसी छिपी हुई लेयर के इनपुट का हिस्सा बन जाती हैं. इस तरह, बार-बार होने वाला न्यूरल नेटवर्क, धीरे-धीरे ट्रेनिंग देता है और सिर्फ़ मतलब के बजाय पूरे क्रम के मतलब का अनुमान लगाता है होने चाहिए.

रिग्रेशन मॉडल

#fundamentals

आम तौर पर, ऐसा मॉडल जो संख्या के हिसाब से अनुमान जनरेट करता है. (इसके उलट, क्लासिफ़िकेशन मॉडल से क्लास जनरेट होती है prediction.) उदाहरण के लिए, नीचे दिए गए सभी रिग्रेशन मॉडल के उदाहरण हैं:

• ऐसा मॉडल जो किसी खास घर की वैल्यू का अनुमान लगाता है, जैसे कि 4,23,000 यूरो.
• यह एक ऐसा मॉडल है जो किसी पेड़ की औसत उम्र का अनुमान लगाता है. जैसे, 23.2 साल.
• यह एक ऐसा मॉडल है जो अगले छह घंटों में किसी शहर में होने वाली बारिश की मात्रा का अनुमान लगाता है. जैसे, 0.18 इंच.

आम तौर पर, रेग्रेसन मॉडल दो तरह के होते हैं:

• लीनियर रिग्रेशन, जो ऐसी लाइन ढूंढता है जो सुविधाओं के लिए लेबल वैल्यू को सबसे बेहतर तरीके से फ़िट करती है.
• लॉजिस्टिक रिग्रेशन, जिससे 0.0 और 1.0 के बीच की संभावना, जिसे सिस्टम आम तौर पर किसी क्लास के लिए मैप करता है सुझाव.

अंकों के हिसाब से अनुमान देने वाला हर मॉडल, रिग्रेशन मॉडल नहीं होता. कुछ मामलों में, अंकों के हिसाब से अनुमान, असल में सिर्फ़ एक क्लासिफ़िकेशन मॉडल होता है. इसमें क्लास के नाम अंकों में होते हैं. उदाहरण के लिए, ऐसा मॉडल जो अनुमान लगाता है अंकों वाला पिन कोड, क्लासिफ़िकेशन मॉडल है, न कि रिग्रेशन मॉडल.

रेगुलराइज़ेशन

#fundamentals

ऐसा कोई भी तरीका जो ओवरफ़िटिंग को कम करता है. नियमों का पालन करने के लिए, ये तरीके सबसे ज़्यादा इस्तेमाल किए जाते हैं:

• L₁ रेगुलराइज़ेशन
• L₂ रेगुलराइज़ेशन
• ड्रॉपआउट रेगुलराइज़ेशन
• एरली स्टॉपिंग (यह रेगुलराइज़ेशन का कोई आधिकारिक तरीका नहीं है, लेकिन इससे ओवरफ़िटिंग को असरदार तरीके से सीमित किया जा सकता है)

रेगुलराइज़ेशन को मॉडल की जटिलता पर लगने वाले जुर्माने के तौर पर भी परिभाषित किया जा सकता है.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

रेगुलराइज़ेशन करना मुश्किल है. आम तौर पर, नियमित करने की अवधि बढ़ाना बढ़ोतरी ट्रेनिंग कम कर देती है, जिससे भ्रम की स्थिति पैदा होती है. हालांकि, यह ऐसी होती है का मकसद ट्रेनिंग में होने वाले नुकसान को कम से कम करना है?

नहीं. इसका मकसद ट्रेनिंग में होने वाले नुकसान को कम करना नहीं है. इसका मकसद है कि करने में मदद मिलती है. दिलचस्प बात यह है कि रेगुलराइज़ेशन बढ़ाने से ट्रेनिंग लॉस बढ़ता है, लेकिन आम तौर पर इससे मॉडल को असल दुनिया के उदाहरणों के आधार पर बेहतर अनुमान लगाने में मदद मिलती है.

---

रेगुलराइज़ेशन रेट

#fundamentals

वह संख्या जो ट्रेनिंग के दौरान नियमित तौर पर नियमित करना. अपनी रेगुलराइज़ेशन रेट, ओवरफ़िटिंग को कम करता है. हालांकि, मॉडल की अनुमान लगाने वाली पावर को कम कर सकती है. इसके उलट, रेगुलराइज़ेशन रेट को कम करने या हटाने से, ओवरफ़िटिंग बढ़ जाती है.

हिसाब देखने के लिए आइकॉन पर क्लिक करें.

रेगुलराइज़ेशन रेट को आम तौर पर ग्रीक लेटर लैम्डा के तौर पर दिखाया जाता है. यहां दिए गए आसान लॉस समीकरण से, lambda के असर के बारे में पता चलता है:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

जहां रेगुलराइज़ेशन, रेगुलराइज़ेशन करने का कोई तरीका है. इसमें ये शामिल हैं;

• L₁ रेगुलराइज़ेशन
• L₂ रेगुलराइज़ेशन

---

रीइन्फ़ोर्समेंट लर्निंग (आरएल)

#rl

एल्गोरिदम का एक फ़ैमिली, जो सबसे सही नीति को सीखता है. इसका लक्ष्य, किसी एनवायरमेंट के साथ इंटरैक्ट करते समय, रिटर्न को बढ़ाना है. उदाहरण के लिए, ज़्यादातर गेम में जीतना सबसे बड़ा इनाम होता है. बेहतर बनाने के लिए लर्निंग सिस्टम, गेम में पहले की गई उन चालों का आकलन करके, मुश्किल गेम खेलने में माहिर हो सकते हैं जिनकी वजह से गेम में जीत हासिल हुई और उन चालों का आकलन करके जिन्होंने गेम में हार का सामना कराया.

लोगों के सुझाव, शिकायत या राय की मदद से रीइन्फ़ोर्समेंट लर्निंग (आरएलएचएफ़)

#generativeAI

#rl

मॉडल के जवाबों की क्वालिटी को बेहतर बनाने के लिए, रेटिंग देने वाले लोगों के सुझाव, राय या शिकायत का इस्तेमाल करना. उदाहरण के लिए, आरएलएचएफ़ मैकेनिज़्म उपयोगकर्ताओं से किसी मॉडल की क्वालिटी को रेटिंग देने के लिए कह सकता है जवाब के लिए 👍 या 🎊 इमोजी का इस्तेमाल करें. इसके बाद, सिस्टम उस सुझाव या राय के आधार पर, आने वाले समय में अपने जवाबों में बदलाव कर सकता है.

ReLU

#fundamentals

रेक्टिफ़ाइड लीनियर यूनिट का छोटा नाम.

बफ़र को फिर से चलाएं

#rl

DQN जैसे एल्गोरिदम में, वह मेमोरी जिसका इस्तेमाल एजेंट करता है स्थिति ट्रांज़िशन स्टोर करने के लिए अनुभव को फिर से चलाने की सुविधा.

प्रतिरूप

ट्रेनिंग सेट या मॉडल की कॉपी, आम तौर पर किसी दूसरी मशीन पर. उदाहरण के लिए, कोई सिस्टम इनका इस्तेमाल कर सकता है डेटा के साथ काम करने को लागू करने की रणनीति:

1. किसी मौजूदा मॉडल की प्रतिकृतियों को एक से ज़्यादा मशीनों पर रखें.
2. हर प्रतिकृति को ट्रेनिंग सेट के अलग-अलग सबसेट भेजें.
3. पैरामीटर के अपडेट इकट्ठा करें.

रिपोर्टिंग में भेदभाव

#fairness

यह ज़रूरी नहीं है कि लोग जितनी बार किसी ऐक्शन, नतीजे या प्रॉपर्टी के बारे में लिखते हैं उतनी ही बार वे असल ज़िंदगी में भी ऐसा करते हों. इसके अलावा, यह भी ज़रूरी नहीं है कि कोई प्रॉपर्टी किसी खास तरह के लोगों के लिए ज़्यादा काम की हो. रिपोर्टिंग में पक्षपात होने पर, उस डेटा के कॉम्पोज़िशन पर असर पड़ सकता है जिससे मशीन लर्निंग सिस्टम सीखते हैं.

उदाहरण के लिए, किताबों में laughed शब्द, breathed शब्द से ज़्यादा इस्तेमाल होता है. मशीन लर्निंग मॉडल, किसी किताब के कॉर्पस में हंसने और सांस लेने की फ़्रीक्वेंसी का अनुमान लगाता है. इससे यह पता चलता है कि हंसने की फ़्रीक्वेंसी, सांस लेने की फ़्रीक्वेंसी से ज़्यादा है.

प्रतिनिधित्व

काम की सुविधाओं के साथ डेटा को मैप करने की प्रोसेस.

री-रैंकिंग

#recsystems

सुझाव देने वाले सिस्टम का आखिरी चरण, जिसके दौरान स्कोर किए गए आइटम को उनके क्रम के अनुसार फिर से ग्रेड किया जा सकता है (आम तौर पर, गैर-एमएल) एल्गोरिदम. फिर से रैंकिंग करने की प्रोसेस में, स्कोरिंग फ़ेज़ से जनरेट की गई आइटम की सूची का आकलन किया जाता है. इसके लिए, ये कार्रवाइयां की जाती हैं:

• ऐसे आइटम हटाना जिन्हें उपयोगकर्ता पहले ही खरीद चुका है.
• इसके अलावा, ज़्यादा से ज़्यादा नए प्रॉडक्ट की संख्या बढ़ाई जा रही है.

रिट्रीवल ऑगमेंटेड जनरेशन (आरएजी)

#fundamentals

लार्ज लैंग्वेज मॉडल (एलएलएम) के आउटपुट की क्वालिटी को बेहतर बनाने की एक तकनीक. इसमें, मॉडल को ट्रेन करने के बाद, उसे इकट्ठा किए गए ज्ञान के सोर्स के साथ जोड़ा जाता है. RAG एलएलएम के जवाबों को ज़्यादा सटीक बनाता है. इसके लिए, वह ट्रेन किए गए एलएलएम का इस्तेमाल करता है भरोसेमंद नॉलेज बेस या दस्तावेज़ों से मिली जानकारी का ऐक्सेस.

रिकवर करने में मदद करने वाली जनरेशन को इस्तेमाल करने की कुछ सामान्य वजहें ये हैं:

• मॉडल के जनरेट किए गए जवाबों को ज़्यादा सटीक बनाना.
• मॉडल को उस जानकारी का ऐक्सेस देना जिस पर उसे ट्रेनिंग नहीं दी गई है.
• मॉडल में मौजूद जानकारी में बदलाव करना.
• सोर्स का उद्धरण देने के लिए मॉडल को चालू करना.

उदाहरण के लिए, मान लीजिए कि कोई केमिस्ट्री ऐप्लिकेशन PaLM का इस्तेमाल करता है खास जानकारी जनरेट करने के लिए एपीआई उपयोगकर्ता क्वेरी से संबंधित होता है. जब ऐप्लिकेशन के बैकएंड से कोई क्वेरी मिलती है, तब बैकएंड:

1. उपयोगकर्ता की क्वेरी से जुड़ा डेटा खोजता है ("प्राप्त करता है").
2. उपयोगकर्ता की क्वेरी में काम के केमिकल का डेटा जोड़ता है ("बढ़ाएं").
3. जोड़े गए डेटा के आधार पर खास जानकारी बनाने के लिए, एलएलएम को निर्देश देता है.

रिटर्न

#rl

एक खास नीति और एक खास स्थिति को ध्यान में रखते हुए, रीइन्फ़ोर्समेंट लर्निंग में, यह, एजेंट से मिले सभी इनाम का कुल योग होता है नीति का पालन करते समय एपिसोड के आखिर में जानकारी दें. एजेंट इसमें, इनाम में छूट देने से मिलने वाले संभावित इनामों की जानकारी शामिल होती है. यह इनाम पाने के लिए ज़रूरी राज्य ट्रांज़िशन के मुताबिक है.

इसलिए, अगर छूट का फ़ैक्टर \(\gamma\)है और \(r_0, \ldots, r_{N}\), एपिसोड के आखिर तक मिलने वाले इनामों को दिखाता है, तो रिटर्न का हिसाब इस तरह से लगाया जाता है:

$$\text{Return} = r_0 + \gamma r_1 + \gamma^2 r_2 + \ldots + \gamma^{N-1} r_{N-1}$$

इनाम

#rl

रीइन्फ़ोर्समेंट लर्निंग में, किसी राज्य में, action, जैसा कि परिवेश.

रिज रेगुलराइज़ेशन

L₂ रेगुलराइज़ेशन का समानार्थी शब्द. रिडग रेगुलराइज़ेशन शब्द का इस्तेमाल, अक्सर आंकड़ों के संदर्भ में किया जाता है. वहीं, L₂ रेगुलराइज़ेशन का इस्तेमाल, मशीन लर्निंग में ज़्यादा किया जाता है.

RNN

#seq

रीकurrent न्यूरल नेटवर्क का छोटा नाम.

आरओसी (रिसीवर ऑपरेटिंग एट्रिब्यूट) कर्व

#fundamentals

बाइनरी क्लासिफ़िकेशन में, अलग-अलग क्लासिफ़िकेशन थ्रेशोल्ड के लिए, ट्रू पॉज़िटिव रेट बनाम फ़ॉल्स पॉज़िटिव रेट का ग्राफ़.

आरओसी कर्व के आकार से पता चलता है कि बाइनरी क्लासिफ़िकेशन मॉडल, पॉज़िटिव क्लास को नेगेटिव क्लास से अलग करने में कितना कारगर है. उदाहरण के लिए, मान लीजिए कि कि एक बाइनरी क्लासिफ़िकेशन मॉडल, सभी नेगेटिव वैल्यू को पूरी तरह से अलग करता है सभी पॉज़िटिव क्लास से क्लास:

पिछले मॉडल के लिए आरओसी कर्व इस तरह दिखता है:

इसके उलट, नीचे दिए गए इलस्ट्रेशन में किसी खराब मॉडल के लिए, लॉजिस्टिक रिग्रेशन की रॉ वैल्यू का ग्राफ़ दिखाया गया है. यह मॉडल, नेगेटिव क्लास को पॉज़िटिव क्लास से अलग नहीं कर सकता:

इस मॉडल के लिए आरओसी कर्व ऐसा दिखता है:

असल दुनिया में, ज़्यादातर बाइनरी क्लासिफ़िकेशन मॉडल अलग-अलग होते हैं कुछ हद तक पॉज़िटिव और नेगेटिव क्लास, लेकिन आम तौर पर बिलकुल पूरी तरह से नहीं. इसलिए, एक सामान्य आरओसी कर्व इन दोनों चरम सीमाओं के बीच होता है:

आरओसी कर्व पर (0.0,1.0) के सबसे नज़दीक मौजूद पॉइंट से, सैद्धांतिक तौर पर, कैटगरी तय करने के लिए सबसे सही थ्रेशोल्ड का पता चलता है. हालांकि, असल दुनिया के कई अन्य मुद्दे सही कैटगरी तय करने के थ्रेशोल्ड को चुनने पर असर डालती हैं. उदाहरण के लिए, शायद फ़ॉल्स नेगेटिव की वजह से फ़ॉल्स पॉज़िटिव के मुकाबले कहीं ज़्यादा नुकसान पहुंचता है.

AUC नाम की अंकों वाली मेट्रिक, आरओसी कर्व की जानकारी को एक फ़्लोटिंग-पॉइंट वैल्यू में बताती है.

भूमिका के लिए निर्देश

#language

#generativeAI

प्रॉम्प्ट का एक वैकल्पिक हिस्सा, जो जनरेटिव एआई मॉडल के जवाब के लिए टारगेट ऑडियंस की पहचान करता है. भूमिका के प्रॉम्प्ट बिना, लार्ज लैंग्वेज मॉडल ऐसा जवाब देता है जो सवाल पूछने वाले व्यक्ति के लिए मददगार हो सकता है या नहीं. रोल प्रॉम्प्ट के साथ, एक बड़ी भाषा मॉडल इस तरह से जवाब दे सकता है कि जो किसी खास टारगेट ऑडियंस को टारगेट करना. उदाहरण के लिए, नीचे दिए गए भूमिका प्रॉम्प्ट वाला हिस्सा प्रॉम्प्ट बोल्डफ़ेस में होते हैं:

• अर्थशास्त्र में पीएचडी के लिए इस लेख का सारांश बनाओ.
• दस साल के बच्चे के लिए बताएं कि ज्वार-भाटा कैसे काम करते हैं.
• 2008 की वित्तीय संकट के बारे में बताओ. जैसे किसी छोटे बच्चे या गोल्डन रिट्रीवर से बात की जाती है वैसे ही बोलें.

रूट

#df

डिसिज़न ट्री में, शुरुआती नोड (पहली शर्त). तरीके के हिसाब से, डायग्राम रूट को डिसिज़न ट्री के सबसे ऊपर दिखाता है. उदाहरण के लिए:

रूट डायरेक्ट्री

#TensorFlow

वह डायरेक्ट्री जिसे TensorFlow की सबडायरेक्ट्री होस्ट करने के लिए तय किया जाता है कई मॉडल की चेकपॉइंट और इवेंट फ़ाइलें शामिल हैं.

रूट मीन स्क्वेयर्ड एरर (RMSE)

#fundamentals

मीन स्क्वेयर्ड एरर का वर्गमूल.

रोटेशनल इन्वैरियंस

#image

इमेज को अलग-अलग कैटगरी में बांटने की समस्या में, एल्गोरिदम की यह क्षमता कि वह इमेज के ओरिएंटेशन में बदलाव होने पर भी, इमेज को अलग-अलग कैटगरी में बांट सके. उदाहरण के लिए, एल्गोरिदम अब भी टेनिस रैकेट की पहचान कर सकता है, क्या यह ऊपर की ओर इशारा करता है, तिरछा या नीचे की ओर. ध्यान दें कि रोटेशन इनवैरिएंस हमेशा ज़रूरी नहीं होता; उदाहरण के लिए, उलटे 9 को 9 के तौर पर नहीं माना जाना चाहिए.

अनुवादक इनवैरिएंस और साइज़ इनवैरियंस.

R-squared

रिग्रेशन मेट्रिक, यह बताती है कि किसी लेबल में, किसी एक फ़ीचर या फ़ीचर सेट की वजह से कितना बदलाव हुआ है. आर-स्क्वेयर, 0 और 1 के बीच की वैल्यू होती है. इसका मतलब इस तरह समझा जा सकता है:

• 0 के R-वर्ग का मतलब है कि किसी लेबल की कोई भी भिन्नता सुविधा सेट.
• 1 के R-वर्ग का मतलब है कि किसी लेबल की सभी विविधता सुविधा सेट.
• 0 से 1 के बीच का आर-स्क्वेयर यह दिखाता है कि किसी खास सुविधा या सुविधाओं के सेट से, लेबल के वैरिएशन का अनुमान किस हद तक लगाया जा सकता है. उदाहरण के लिए, 0.10 के R-वर्ग का मतलब है कि वैरिएंस का 10 प्रतिशत लेबल में सुविधा सेट के कारण है, तो 0.20 के R-वर्ग का मतलब है कि 20 प्रतिशत, सुविधा के सेट की वजह से है. यह क्रम इसी हिसाब से तय होता है.

R-स्क्वेयर, पीयर्सन कोरिलेशन गुणांक के बीच होता है. बुनियादी सत्य.

S

सैंपलिंग बायस

#fairness

चुनाव के मापदंड देखें.

रिप्लेसमेंट की मदद से सैंपलिंग

#df

उम्मीदवार के आइटम के सेट में से आइटम चुनने का तरीका आइटम को एक से ज़्यादा बार चुना जा सकता है. "with replacement" वाक्यांश का मतलब है कि हर आइटम चुनने के बाद, चुने गए आइटम को संभावित आइटम के पूल में वापस लाया जाता है. इन्वर्स तरीका, बिना बदले सैंपल करना, इसका मतलब है कि किसी उम्मीदवार के आइटम को सिर्फ़ एक बार चुना जा सकता है.

उदाहरण के लिए, फलों के इस सेट पर विचार करें:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

मान लें कि सिस्टम किसी भी क्रम में, fig को पहले आइटम के तौर पर चुनता है. अगर रिप्लेसमेंट के साथ सैंपलिंग का इस्तेमाल किया जा रहा है, तो सिस्टम निम्न सेट में से दूसरा आइटम:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

हां, यह पहले की तरह ही सेट है. इसलिए, हो सकता है कि सिस्टम fig को फिर से चुनें.

अगर सैंपलिंग के लिए, रिप्लेसमेंट का इस्तेमाल नहीं किया जा रहा है, तो सैंपल चुनने के बाद, उसे फिर से नहीं चुना जा सकता. उदाहरण के लिए, अगर सिस्टम पहले सैंपल के तौर पर fig को रैंडम तौर पर चुनता है, तो fig को फिर से नहीं चुना जा सकता. इसलिए, सिस्टम नीचे दिए गए (कम किए गए) सेट में से दूसरा सैंपल चुनता है:

fruit = {kiwi, apple, pear, cherry, lime, mango}

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

रिप्लेसमेंट की मदद से सैंपल करना में रीप्लेसमेंट शब्द का इस्तेमाल करने पर, भ्रम की स्थिति पैदा हो जाती है कई लोग. अंग्रेज़ी में, रिप्लेसमेंट का मतलब "बदली" होता है. हालांकि, रिप्लेसमेंट की मदद से सैंपल करना, असल में फ़्रेंच परिभाषा का इस्तेमाल करता है रीप्लेसमेंट का इस्तेमाल करें, जिसका मतलब है "किसी चीज़ को वापस लाना."

अंग्रेज़ी के शब्द replacement का अनुवाद, फ़्रेंच के शब्द remplacement के तौर पर किया गया है.

---

सेव मॉडल

#TensorFlow

TensorFlow के मॉडल को सेव और वापस पाने के लिए सुझाया गया फ़ॉर्मैट. SavedModel, भाषा के हिसाब से काम करने वाला और रिकवर किया जा सकने वाला सीरियलाइज़ेशन फ़ॉर्मैट है. इससे, बेहतर लेवल के सिस्टम और टूल, TensorFlow मॉडल बना सकते हैं, उनका इस्तेमाल कर सकते हैं, और उन्हें बदल सकते हैं.

पूरी जानकारी के लिए, TensorFlow प्रोग्रामर गाइड में सेव करना और वापस लाना वाला चैप्टर देखें.

सेवर

#TensorFlow

मॉडल के चेकपॉइंट सेव करने के लिए ज़िम्मेदार TensorFlow ऑब्जेक्ट.

स्केलर

एक संख्या या एक स्ट्रिंग, जिसे रैंक 0 के टेंसर के तौर पर दिखाया जा सकता है. उदाहरण के लिए, निम्न कोड की हर लाइन, TensorFlow में एक स्केलर बनाती है:

breed = tf.Variable("poodle", tf.string)
temperature = tf.Variable(27, tf.int16)
precision = tf.Variable(0.982375101275, tf.float64)

स्केलिंग

ऐसा कोई भी गणितीय बदलाव या तकनीक जो किसी लेबल की रेंज में बदलाव करती हो और/या सुविधा की वैल्यू. स्केलिंग के कुछ तरीके, नॉर्मलाइज़ेशन जैसे ट्रांसफ़ॉर्मेशन के लिए काफ़ी काम के होते हैं.

मशीन लर्निंग में स्केलिंग के उपयोगी तरीके ये हैं:

• लीनियर स्केलिंग, जिसमें आम तौर पर घटाव और मूल मान को -1 और +1 के बीच की संख्या से बदलने के लिए भाग दें या 0 और 1 के बीच होना चाहिए.
• लॉगारिद्मिक स्केलिंग, जो ओरिजनल वैल्यू को उसकी लॉगारिदम.
• Z-स्कोर नॉर्मलाइज़ेशन, जो फ़्लोटिंग-पॉइंट वैल्यू के साथ ओरिजनल वैल्यू, जो उस सुविधा के माध्य से मानक विचलन.

scikit-learn

मशीन लर्निंग का एक लोकप्रिय ओपन-सोर्स प्लैटफ़ॉर्म. scikit-learn.org देखें.

स्कोरिंग

#recsystems

यह सुझाव देने वाले सिस्टम का हिस्सा है से मिलने वाले हर आइटम के लिए मान या रैंकिंग देता है उम्मीदवार के जनरेशन में होने वाला चरण.

चुनने से जुड़ा मापदंड

#fairness

चुनने की प्रोसेस की वजह से, सैंपल डेटा से लिए गए नतीजों में गड़बड़ियां हुईं यह डेटा में मौजूद सैंपल के बीच सामान्य अंतर जनरेट करता है और जिनकी निगरानी नहीं की गई. चुनिंदा नमूने के लिए ये गड़बड़ियां हो सकती हैं:

• कवरेज में पक्षपात: डेटासेट में दी गई जनसंख्या, उस जनसंख्या से मेल नहीं खाती जिसके लिए मशीन लर्निंग मॉडल, अनुमान लगा रहा है.
• सैंपलिंग बायस: टारगेट ग्रुप से रैंडम तरीके से डेटा इकट्ठा नहीं किया जाता.
• गैर-रिस्पॉन्स बायस (इसे पार्टिसिपेशन बायस भी कहा जाता है): कुछ समूह उपयोगकर्ताओं की तुलना में अलग-अलग दरों पर सर्वे से ऑप्ट-आउट करते हैं अन्य समूह.

उदाहरण के लिए, मान लें कि आपने एक मशीन लर्निंग मॉडल बनाया है, जो लोगों के मनोरंजन के लिए फ़िल्म चुनने में मदद करता है. ट्रेनिंग डेटा इकट्ठा करने के लिए, सिनेमा में फ़िल्म देखने के लिए आई हर उस व्यक्ति को सर्वे दिया जाता है जो थिएटर की सबसे आगे वाली सीट पर बैठा हो. ऐसा हो सकता है कि आपको यह तरीका, डेटासेट इकट्ठा करने का एक सही तरीका लगे. हालांकि, डेटा इकट्ठा करने के इस तरीके से, चुनिंदा डेटा के लिए इन तरह के पूर्वाग्रह हो सकते हैं:

• कवरेज में पक्षपात: फ़िल्म देखने वाले लोगों के डेटा का इस्तेमाल करके, हो सकता है कि आपके मॉडल के अनुमान उन लोगों के लिए सही न हों जिन्होंने पहले से फ़िल्म में इतनी दिलचस्पी नहीं दिखाई थी.
• सैंपलिंग में पक्षपात: आपने रैंडम सैंपलिंग के बजाय, सिर्फ़ उन लोगों का सैंपल लिया है जो फ़िल्म देखने के लिए सबसे आगे की पंक्ति में बैठे थे. ऐसा हो सकता है कि आगे की पंक्ति में बैठे लोगों की दिलचस्पी, दूसरी पंक्तियों में बैठे लोगों की तुलना में फ़िल्म में ज़्यादा हो.
• नॉन-रिस्पॉन्स बायस: आम तौर पर, जिन लोगों की राय ज़्यादा ज़ोरदार होती है वे वैकल्पिक सर्वे में ज़्यादा बार जवाब देते हैं. फ़िल्म के बारे में सर्वे करना ज़रूरी नहीं है. इसलिए, जवाबों के सामान्य (बेल-आकार) डिस्ट्रिब्यूशन के बजाय, बाइमोडल डिस्ट्रिब्यूशन होने की संभावना ज़्यादा होती है.

सेल्फ़-अटेंशन (इसे सेल्फ़-अटेंशन लेयर भी कहा जाता है)

#language

एक न्यूरल नेटवर्क लेयर, जो एम्बेड करना (उदाहरण के लिए, टोकन एम्बेड करना) एम्बेड करने के एक और क्रम में जोड़ा जा सकता है. आउटपुट क्रम में मौजूद हर एम्बेडिंग को, ध्यान वाले तरीके से इनपुट क्रम के एलिमेंट की जानकारी को इंटिग्रेट करके बनाया जाता है.

सेल्फ़-ध्यान रखने का खुद हिस्सा दिखाने का मतलब है, करने की ज़रूरत नहीं है. सेल्फ़-अटेन्शन, Transformers के मुख्य बिल्डिंग ब्लॉक में से एक है. यह "क्वेरी", "की", और "वैल्यू" जैसी डिक्शनरी लुकअप शब्दावली का इस्तेमाल करता है.

सेल्फ़-अटेन्शन लेयर, इनपुट रिप्रज़ेंटेशन के क्रम से शुरू होती है. हर शब्द के लिए एक रिप्रज़ेंटेशन होता है. किसी शब्द के लिए इनपुट का प्रतिनिधित्व, एक आसान एम्बेडिंग हो सकता है. किसी इनपुट क्रम में मौजूद हर शब्द के लिए, नेटवर्क कीवर्ड के हर एलिमेंट के लिए, शब्द के हिसाब से स्कोर तय करता है. शब्द. काम के होने के आधार पर मिलने वाले स्कोर से यह तय होता है कि शब्द के आखिरी वर्शन में, दूसरे शब्दों के वर्शन कितने शामिल हैं.

उदाहरण के लिए, नीचे दिया गया वाक्य देखें:

जानवर बहुत थका हुआ था, इसलिए वह सड़क पार नहीं किया.

यहां दी गई इमेज (Transformer: A Novel Neural Network Architecture for Language Understanding से ली गई है) में, सर्वनाम it के लिए, सेल्फ़-अटेन्शन लेयर का अटेन्शन पैटर्न दिखाया गया है. इसमें हर लाइन के गहरे रंग से पता चलता है कि हर शब्द, प्रॉडक्ट के बारे में बताने में कितना योगदान देता है:

खुद पर ध्यान देने की लेयर में, "इससे" काम के शब्दों को हाइलाइट किया जाता है. इस मामले में, ऐटेनशन लेयर ने उन शब्दों को हाइलाइट करना सीख लिया है जिनका यह इस्तेमाल कर सकती है. साथ ही, जानवर को सबसे ज़्यादा अहमियत दी गई है.

n टोकन के सीक्वेंस के लिए, खुद को ध्यान में रखने से एक क्रम बदल जाता है क्रम में हर जगह पर एक बार, n अलग-अलग बार एम्बेड करने की सुविधा.

ध्यान भी दें और मल्टी-हेड सेल्फ़-अटेंशन.

सेल्फ़-सुपरवाइज़्ड लर्निंग

कई तकनीकों का इस्तेमाल करके, अनसुपरवाइज़्ड मशीन लर्निंग से जुड़ी समस्या सुपरवाइज़्ड मशीन लर्निंग की समस्या में इसके लिए, सरोगेट लेबल बनाए जा सकते हैं बिना लेबल वाले उदाहरण.

BERT जैसे कुछ Transformer-आधारित मॉडल, खुद से निगरानी करने वाली लर्निंग का इस्तेमाल करते हैं.

सेल्फ़-सुपरवाइज़्ड ट्रेनिंग, सेमी-सुपरवाइज़्ड लर्निंग का एक तरीका है.

खुद को ट्रेनिंग देना

सेल्फ़-सुपरवाइज़्ड लर्निंग का एक वैरिएंट, जो खास तौर पर तब काम आता है, जब ये सभी शर्तें पूरी होती हैं:

• डेटासेट में, बिना लेबल वाले उदाहरणों का लेबल वाले उदाहरणों से अनुपात ज़्यादा है.
• यह कैटगरी से जुड़ी समस्या है.

सेल्फ़-ट्रेनिंग तब तक काम करती है, जब तक कि मॉडल सुधार होना बंद हो जाता है:

1. इन कामों के लिए, निगरानी वाली मशीन लर्निंग का इस्तेमाल करना लेबल किए गए उदाहरणों के मुताबिक, मॉडल को ट्रेनिंग दें.
2. पहले चरण में बनाए गए मॉडल का इस्तेमाल करके, लेबल नहीं किए गए उदाहरणों के लिए अनुमान (लेबल) जनरेट करें. साथ ही, जिन उदाहरणों के लिए ज़्यादा भरोसा है उन्हें लेबल किए गए उदाहरणों में लेबल के साथ ले जाएं.

ध्यान दें कि चरण 2 की हर सूचना, पहले चरण के लिए लेबल किए गए ज़्यादा उदाहरण जोड़ती है ट्रेन करते रहें.

सेमी-सुपरवाइज़्ड लर्निंग

ऐसे डेटा पर मॉडल को ट्रेनिंग देना जिसमें ट्रेनिंग के कुछ उदाहरणों के लेबल हों अन्य को नहीं. सेमी-सुपरवाइज़्ड लर्निंग की एक तकनीक यह है कि बिना लेबल वाले उदाहरण और फिर अनुमानित लेबलों के आधार पर ट्रेनिंग देकर, मॉडल. सेमी-सुपरवाइज़्ड लर्निंग तब फ़ायदेमंद हो सकती है, जब लेबल पाने की कीमत ज़्यादा हो, लेकिन बिना लेबल वाले उदाहरणों की संख्या ज़्यादा हो.

सेल्फ़-ट्रेनिंग, सेमी-सुपरवाइज़्ड लर्निंग की एक तकनीक है.

संवेदनशील एट्रिब्यूट

#fairness

एक ऐसा मानवीय एट्रिब्यूट, जिसे कानूनी वजह से खास तौर पर ध्यान में रखा जा सकता है, नैतिक, सामाजिक या निजी वजहों से.

भावनाओं का विश्लेषण

#language

किसी सेवा, प्रॉडक्ट, संगठन या विषय के लिए, किसी ग्रुप के ज़्यादातर लोगों के सकारात्मक या नेगेटिव नज़रिए का पता लगाने के लिए, आंकड़ों या मशीन लर्निंग एल्गोरिदम का इस्तेमाल करना. उदाहरण के लिए, नैचुरल लैंग्वेज यूंडरस्टैंडिंग का इस्तेमाल करके, एल्गोरिदम किसी यूनिवर्सिटी कोर्स के टेक्स्ट वाले सुझावों या राय पर सेंटिमेंट का विश्लेषण कर सकता है. इससे यह पता चलता है कि आम तौर पर, छात्र-छात्राओं को कोर्स कितना पसंद आया या नापसंद आया.

सीक्वेंसी मॉडल

#seq

ऐसा मॉडल जिसका इनपुट क्रम से जुड़ा हो. उदाहरण के लिए, पहले देखे गए वीडियो के क्रम से देखा गया अगला वीडियो.

सीक्वेंस-टू-सीक्वेंस टास्क

#language

यह एक ऐसा टास्क है जो टोकन के इनपुट क्रम को टोकन के आउटपुट क्रम में बदलता है. उदाहरण के लिए, सीक्वेंस-टू-सीक्वेंस के दो लोकप्रिय टास्क ये हैं:

• अनुवादक:
  • इनपुट का क्रम: "मुझे तुमसे प्यार है".
  • आउटपुट सीक्वेंस का सैंपल: "Je t'aime."
• सवालों के जवाब देना:
  • इनपुट का क्रम: "क्या मुझे न्यूयॉर्क में अपनी कार चाहिए?"
  • सैंपल आउटपुट सीक्वेंस: "नहीं. कृपया अपनी कार घर पर रखें."

व्यक्ति खा सकता है

ऑनलाइन अनुमान या ऑफ़लाइन अनुमान के ज़रिए अनुमान देने के लिए, ट्रेन किए गए मॉडल को उपलब्ध कराने की प्रोसेस.

आकार (टेन्सर)

किसी इवेंट के हर डाइमेंशन में एलिमेंट की संख्या टेंसर. आकार को पूर्ण संख्याओं की सूची के तौर पर दिखाया जाता है. उदाहरण के लिए, यहां दिए गए दो डाइमेंशन वाले टेंसर का शेप [3,4] है:

[[5, 7, 6, 4],
 [2, 9, 4, 8],
 [3, 6, 5, 1]]

TensorFlow, डाइमेंशन के क्रम को दिखाने के लिए, पंक्ति-मुख्य (C-स्टाइल) फ़ॉर्मैट का इस्तेमाल करता है. इसलिए, TensorFlow में आकार [4,3] के बजाय [3,4] होता है. दूसरे शब्दों में, दो-डाइमेंशन वाले TensorFlow Tensor में, [पंक्तियों की संख्या, कॉलम की संख्या] है.

स्टैटिक शेप, एक टेंसर आकार होता है. इसे कंपाइल करते समय जाना पड़ता है.

डाइनैमिक शेप, कंपाइल करने के समय जानकारी नहीं देता. इसलिए, यह रनटाइम डेटा पर निर्भर करता है. इस टेंसर को TensorFlow में, [3, ?] की तरह प्लेसहोल्डर डाइमेंशन के साथ दिखाया जा सकता है.

शार्ड

#TensorFlow

#GoogleCloud

ट्रेनिंग सेट का लॉजिकल डिवीज़न या model. आम तौर पर, कुछ प्रोसेस उदाहरणों या पैरामीटर को बराबर साइज़ के हिस्सों में बांटकर, शर्ड बनाती हैं. इसके बाद, हर शर्ड को किसी अलग मशीन को असाइन किया जाता है.

मॉडल को अलग-अलग हिस्सों में बांटने को मॉडल पैरलेलिज्म कहा जाता है; डेटा को अलग-अलग हिस्सों में बांटने को डेटा पैरलेलिज्म कहा जाता है.

शंकी

#df

इसमें हाइपर पैरामीटर होता है ग्रेडिएंट बूस्टिंग, जो कंट्रोल करती है ओवरफ़िटिंग (ओवरफ़िटिंग). ग्रेडिएंट बूस्टिंग में छोटा करें , GA4 में लर्निंग रेट ग्रेडिएंट डिसेंट. सिकुड़ने की दर, दशमलव वाली वैल्यू होती है. यह 0.0 और 1.0 के बीच होती है. छोटी शंकुरण वैल्यू, बड़ी शंकुरण वैल्यू की तुलना में, ज़्यादा ओवरफ़िटिंग को कम करती है.

सिगमॉइड फ़ंक्शन

#fundamentals

गणित का एक फ़ंक्शन, जो इनपुट वैल्यू को तय सीमा वाली रेंज में "छोड़ देता है". आम तौर पर, यह रेंज 0 से 1 या -1 से +1 होती है. इसका मतलब है कि आप किसी भी संख्या (दो, दस लाख, नेगेटिव बिलियन, जो भी हो) को सिग्मॉइड में बदल देता है और आउटपुट अब भी सीमित रेंज. सिग्मॉइड ऐक्टिवेशन फ़ंक्शन का प्लॉट ऐसा दिखता है:

मशीन लर्निंग में सिगमॉइड फ़ंक्शन का इस्तेमाल कई कामों के लिए किया जाता है. जैसे:

• लॉजिस्टिक रिग्रेशन या मल्टीनोमियल रिग्रेशन मॉडल के रॉ आउटपुट को संभावना में बदलना.
• कुछ न्यूरल नेटवर्क में, ऐक्टिवेशन फ़ंक्शन के तौर पर काम करना.

कैलकुलेशन देखने के लिए, आइकॉन पर क्लिक करें.

इनपुट नंबर x के लिए सिगमॉइड फ़ंक्शन का फ़ॉर्मूला यह है:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

मशीन लर्निंग में, x आम तौर पर एक वज़न वाला योग होता है.

---

समानता का माप

#clustering

क्लस्टरिंग एल्गोरिदम में, वह मेट्रिक जिसका इस्तेमाल यह तय करने के लिए किया जाता है कोई दो उदाहरण कितने मिलते-जुलते हैं.

एक प्रोग्राम / एक से ज़्यादा डेटा (एसपीएमडी)

पैरलललिज़्म की एक तकनीक, जिसमें एक ही कैलकुलेशन को अलग-अलग डिवाइसों पर, अलग-अलग इनपुट डेटा पर एक साथ चलाया जाता है. एसपीएमडी का लक्ष्य, ज़्यादा तेज़ी से नतीजे पाना है. यह पैरलल प्रोग्रामिंग का सबसे सामान्य तरीका है.

साइज़ इन्वैरियंस

#image

इमेज क्लासिफ़िकेशन के सवाल में, एल्गोरिदम की यह क्षमता कि इमेज का साइज़ बदलने पर भी इमेज को अलग-अलग कैटगरी में बांट सकती हैं. उदाहरण के लिए, एल्गोरिदम अब भी बिल्ली की पहचान कर सकता है, भले ही उसमें 20 लाख पिक्सल या 2 लाख पिक्सल का इस्तेमाल किया गया हो. ध्यान दें कि इमेज को अलग-अलग कैटगरी में बांटने वाले सबसे अच्छे एल्गोरिदम के लिए भी, साइज़ में बदलाव होने पर इमेज की पहचान करने की सुविधा काम नहीं करती. उदाहरण के लिए, किसी एल्गोरिदम (या इंसान) के बिल्ली की ऐसी इमेज जो सिर्फ़ 20 पिक्सल लेता है.

ट्रांसलेशनल इनवैरिएंस और रोटेशनल इनवैरिएंस भी देखें.

स्केचिंग

#clustering

बिना निगरानी वाली मशीन लर्निंग में, एल्गोरिदम की एक कैटगरी होती है. यह कैटगरी, उदाहरणों के आधार पर मिलती-जुलती चीज़ों का शुरुआती विश्लेषण करती है. स्केचिंग एल्गोरिदम, एक जैसे होने की संभावना वाले पॉइंट की पहचान करने के लिए, लोकलिटी-सेंसिटिव हैश फ़ंक्शन का इस्तेमाल करते हैं. इसके बाद, उन्हें बकेट में बांटते हैं.

स्केचिंग की मदद से, बड़े डेटासेट में मिलती-जुलती चीज़ों का हिसाब लगाने के लिए, कम कैलकुलेशन की ज़रूरत होती है. हर एक के लिए समानता का पता लगाने के बजाय डेटासेट में उदाहरणों के जोड़े हैं, तो हम दोनों के लिए समानता का आकलन करते हैं हर बकेट में कुछ पॉइंट पाएं.

स्किप-ग्राम

#language

एक n-gram, जो मूल शब्दों को छोड़ सकता है (या "स्किप" कर सकता है) संदर्भ का इस्तेमाल किया जाता है, तो हो सकता है कि N शब्द मूल रूप से उनके आस-पास न हों. ज़्यादा सटीक तरीके से, "k-स्किप-n-ग्राम" एक ऐसा n-ग्राम होता है जिसमें ज़्यादा से ज़्यादा k शब्द छोड़े गए हों.

उदाहरण के लिए, "The Quick Brown fox" ये 2-ग्राम की हो सकती हैं:

• "the quick"
• "क्विक ब्राउन"
• "brown fox"

"1-स्किप-2-ग्राम", शब्दों का एक ऐसा जोड़ा होता है जिसमें एक से ज़्यादा शब्द नहीं होते. इसलिए, "the quick brown fox" में एक-स्किप वाले ये दो-ग्राम हैं:

• "द ब्राउन"
• "झटपट लोमड़ी"

इसके अलावा, सभी 2-ग्राम 1-स्किप-2-ग्राम भी होते हैं, क्योंकि कम एक शब्द से ज़्यादा स्किप किया जा सकता है.

स्किप-ग्राम, किसी शब्द के आस-पास के कॉन्टेक्स्ट को ज़्यादा समझने के लिए काम के होते हैं. उदाहरण में, "फ़ॉक्स" सीधे तौर पर "क्विक" से जुड़ा था, लेकिन 2-ग्राम के सेट में नहीं.

स्किप-ग्राम की मदद से ट्रेनिंग करें वर्ड एम्बेड करने के मॉडल.

सॉफ़्टमैक्स

#fundamentals

यह फ़ंक्शन, मल्टी-क्लास क्लासिफ़िकेशन मॉडल में हर संभावित क्लास की संभावनाएं तय करता है. सभी संभावनाओं का जोड़, 1.0 होता है. उदाहरण के लिए, नीचे दी गई टेबल से पता चलता है कि सॉफ़्टमैक्स, अलग-अलग संभावनाओं को कैसे बांटता है:

इमेज एक...	प्रॉबेबिलिटी
कुत्ता	0.85
cat	.13
घोड़ा	.02

सॉफ़्टमैक्स को फ़ुल सॉफ़्टमैक्स भी कहा जाता है.

उम्मीदवारों के सैंपल के साथ तुलना करें.

कैलकुलेशन देखने के लिए, आइकॉन पर क्लिक करें.

सॉफ़्टमैक्स का समीकरण इस तरह है:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

where:

• $\sigma_i$, आउटपुट वेक्टर है. आउटपुट वेक्टर का हर एलिमेंट इस एलिमेंट की प्रॉबबिलिटी के बारे में बताता है. आउटपुट वेक्टर में मौजूद सभी एलिमेंट का योग 1.0 होता है. आउटपुट वेक्टर में उतने ही एलिमेंट होते हैं जितने इनपुट वेक्टर, $z$ में होते हैं.
• $z$, इनपुट वेक्टर है. इनपुट वेक्टर के हर एलिमेंट में शामिल है एक फ़्लोटिंग-पॉइंट वैल्यू.
• $K$, इनपुट वैक्टर (और आउटपुट वैक्टर) में मौजूद एलिमेंट की संख्या है.

उदाहरण के लिए, मान लें कि इनपुट वेक्टर है:

[1.2, 2.5, 1.8]

इसलिए, सॉफ़्टमैक्स डिनॉमिनेटर की गणना इस तरह करता है:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

इसलिए, हर एलिमेंट की सॉफ़्टमैक्स संभावना यह है:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

इसलिए, आउटपुट वेक्टर इस तरह का होगा:

$$\sigma = [0.154, 0.565, 0.281]$$

$\sigma$ में तीन एलिमेंट का कुल योग 1.0 है. वाह!

---

सॉफ़्ट प्रॉम्प्ट ट्यूनिंग

#language

#generativeAI

किसी खास टास्क के लिए, लार्ज लैंग्वेज मॉडल को ट्यून करने की एक तकनीक. इसमें ज़्यादा संसाधनों की ज़रूरत वाले फ़ाइन-ट्यूनिंग की ज़रूरत नहीं होती. मॉडल में सभी वेट को फिर से ट्रेन करने के बजाय, सॉफ़्ट प्रॉम्प्ट ट्यूनिंग एक ही लक्ष्य को हासिल करने के लिए, प्रॉम्प्ट में अपने-आप बदलाव करती है.

टेक्स्ट प्रॉम्प्ट और सॉफ़्ट प्रॉम्प्ट ट्यूनिंग आम तौर पर, प्रॉम्प्ट में अतिरिक्त टोकन एम्बेड करता है और बैकप्रोपैगेशन का इस्तेमाल करें.

"हार्ड" प्रॉम्प्ट में, टोकन एम्बेड के बजाय असली टोकन होते हैं.

स्पैर्स फ़ीचर

#language

#fundamentals

ऐसी सुविधा जिसकी वैल्यू ज़्यादातर शून्य या खाली होती हैं. उदाहरण के लिए, एक वैल्यू 1 और एक लाख वैल्यू 0 वाली सुविधा, कम डेटा वाली सुविधा है. इसके उलट, डेंस फ़ीचर की वैल्यू, आम तौर पर शून्य या खाली नहीं होती हैं.

मशीन लर्निंग में, बहुत सारी सुविधाएं कम काम की होती हैं. कैटगरी वाली सुविधाएं आम तौर पर कम होती हैं. उदाहरण के लिए, जंगल में मौजूद पेड़ों की 300 संभावित प्रजातियों में से, सिर्फ़ मैपल ट्री की पहचान कर सकती है. इसके अलावा, किसी वीडियो लाइब्रेरी में मौजूद लाखों वीडियो में से, एक उदाहरण से सिर्फ़ "Casablanca" की पहचान की जा सकती है.

आम तौर पर, किसी मॉडल में कम फ़ीचर को वन-हॉट एन्कोडिंग की मदद से दिखाया जाता है. अगर वन-हॉट एन्कोडिंग बड़ी है, आपके पास सबसे ऊपर एम्बेडिंग लेयर का इस्तेमाल करने का विकल्प होता है बेहतर परफ़ॉर्मेंस के लिए, वन-हॉट एन्कोडिंग.

स्पैर्स रिप्रज़ेंटेशन

#language

#fundamentals

स्पार्स सुविधा में, नॉन-ज़ीरो एलिमेंट की सिर्फ़ पोज़िशन को स्टोर करना.

उदाहरण के लिए, मान लें कि species नाम की एक कैटगरी वाली सुविधा, Google Analytics 36 किसी जंगल में किस तरह के पेड़ हैं. इसके अलावा, मान लें कि हर उदाहरण में सिर्फ़ एक प्रजाति की पहचान की गई है.

हर उदाहरण में पेड़ की प्रजाति को दिखाने के लिए, वन-हॉट वेक्टर का इस्तेमाल किया जा सकता है. वन-हॉट वेक्टर में एक 1 होगा ( उस उदाहरण में पेड़ों की खास प्रजातियां) और 35 0 ( पेड़ की 35 प्रजातियां उस उदाहरण में नहीं हैं). इसलिए, maple का वन-हॉट वर्शन कुछ ऐसा दिख सकता है:

इसके अलावा, स्पैर्स रिप्रज़ेंटेशन से सिर्फ़ किसी खास प्रजाति की जगह की पहचान की जा सकती है. अगर maple 24वें स्थान पर है, तो maple का स्पैर्स रिप्रज़ेंटेशन इस तरह होगा:

24

ध्यान दें कि स्पैर्स प्रज़ेंटेशन, वन-हॉट प्रज़ेंटेशन के मुकाबले काफ़ी छोटा होता है.

ध्यान दें: आपको डायरेक्ट फ़ीचर इनपुट के तौर पर, स्पैर्स रिप्रज़ेंटेशन पास नहीं करना चाहिए मॉडल को दिया गया है. इसके बजाय, ट्रेनिंग देने से पहले, स्पैर्स रिप्रज़ेंटेशन को एक-हॉट रिप्रज़ेंटेशन में बदलें.

थोड़ा और जटिल उदाहरण देखने के लिए आइकॉन पर क्लिक करें.

मान लीजिए कि आपके मॉडल के प्रत्येक उदाहरण में इन शब्दों का प्रतिनिधित्व होना चाहिए—लेकिन उन शब्दों का क्रम—अंग्रेजी वाक्य में. अंग्रेज़ी में करीब 1,70,000 शब्द होते हैं. इसलिए, अंग्रेज़ी एक खास शब्द है जिसमें करीब 1,70,000 एलिमेंट शामिल हैं. अंग्रेज़ी के ज़्यादातर वाक्यों में, उन 1,70,000 शब्दों में से बहुत कम शब्दों का इस्तेमाल किया जाता है. इसलिए, किसी एक उदाहरण में मौजूद शब्दों का सेट, ज़्यादातर मामलों में बहुत कम डेटा होगा.

इस वाक्य पर ध्यान दें:

My dog is a great dog

इस वाक्य में मौजूद शब्दों को दिखाने के लिए, वन-हॉट वेक्टर के किसी वैरिएंट का इस्तेमाल किया जा सकता है. इस वैरिएंट में, वेक्टर की कई सेल में शून्य से ज़्यादा वैल्यू हो सकती है. इसके अलावा, इस वैरिएंट में किसी सेल में एक के अलावा कोई और इंटेजर भी हो सकता है. हालांकि, "मेरा", "है", "a", और "शानदार" शब्द इस्तेमाल किए गए हैं केवल दिखाई देते हैं एक वाक्य में "कुत्ता" शब्द दो बार दिखाई देता है. इस वाक्य में मौजूद शब्दों को दिखाने के लिए, वन-हॉट वैक्टर के इस वैरिएंट का इस्तेमाल करने पर, 1,70,000 एलिमेंट वाला यह वैक्टर मिलता है:

एक ही वाक्य को कम शब्दों में इस तरह पेश किया जाएगा:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

अगर आपको कोई समस्या आ रही है, तो आइकॉन पर क्लिक करें.

"स्पार्स रिप्रज़ेंटेशन" शब्द कई लोगों को भ्रमित करता है, क्योंकि प्रतिनिधित्व अपने-आप कोई स्पैर्स वेक्टर नहीं है. इसके बजाय, विरल असल में, यह स्पैर्स वेक्टर का सघन निरूपण है. इंडेक्स का प्रतिनिधित्व, "स्पैस रिप्रज़ेंटेशन" की तुलना में थोड़ा साफ़ है.

---

स्पैर्स वेक्टर

#fundamentals

ऐसा वेक्टर जिसकी वैल्यू ज़्यादातर शून्य होती हैं. स्पार्स भी देखें सुविधा और स्पैर्सिटी.

कम जानकारी होना

किसी सदिश या आव्यूह में शून्य (या शून्य) पर सेट किए गए तत्वों की संख्या को भाग देने पर मिलने वाली संख्या वेक्टर या मैट्रिक्स में एंट्री की कुल संख्या के हिसाब से फ़िल्टर करें. उदाहरण के लिए, किसी 100-एलिमेंट मैट्रिक्स पर विचार करें, जिसमें 98 सेल में शून्य हो. की कैलकुलेशन कम जानकारी का इस्तेमाल इस तरह किया जाता है:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

फ़ीचर स्पैर्सिटी का मतलब, फ़ीचर वेक्टर की स्पैर्सिटी से है; मॉडल स्पैर्सिटी का मतलब, मॉडल वेट की स्पैर्सिटी से है.

स्पेशल पूलिंग

#image

पूलिंग देखें.

बांटें

#df

फ़ैसला लेने के लिए ट्री में, शर्त का दूसरा नाम.

स्प्लिटर

#df

डिसिज़न ट्री की ट्रेनिंग के दौरान, (और एल्गोरिदम) की तुलना में, हर नोड पर स्थिति.

SPMD

सिंगल प्रोग्राम / एक से ज़्यादा डेटा का छोटा नाम.

स्क्वेयर्ड हिंज लॉस

हिंग लॉस का वर्ग. चौकोर हिंज लॉस पेनल्टी कब्ज़ों के सामान्य तौर पर कम होने की तुलना में, यह ज़्यादा तेज़ी से अलग होता है.

वर्ग लॉस

#fundamentals

L₂ नुकसान का पर्यायवाची.

चरणों में ट्रेनिंग

#language

अलग-अलग स्टेज के हिसाब से किसी मॉडल को ट्रेनिंग देने की रणनीति. इसका मकसद, ट्रेनिंग प्रोसेस को तेज़ करना या मॉडल की क्वालिटी को बेहतर बनाना हो सकता है.

प्रोग्रेसिव स्टैकिंग के तरीके का इलस्ट्रेशन यहां दिया गया है:

• पहले चरण में तीन छिपी हुई लेयर होती हैं और दूसरे चरण में छह छिपी हुई लेयर होती हैं. स्टेज 3 में 12 छिपी हुई लेयर हैं.
• स्टेज 2, छिपी हुई तीन लेयर में सीखे गए वज़न के साथ ट्रेनिंग शुरू करता है पहला चरण. तीसरे चरण में, दूसरे चरण की छह छिपी हुई लेयर में सीखे गए वेट का इस्तेमाल करके ट्रेनिंग शुरू की जाती है.

पाइपलाइनिंग भी देखें.

राज्य

#rl

रीइंफ़ोर्समेंट लर्निंग में, पैरामीटर की वैल्यू से एनवायरमेंट के मौजूदा कॉन्फ़िगरेशन के बारे में पता चलता है. एजेंट, कार्रवाई चुनने के लिए इन वैल्यू का इस्तेमाल करता है.

स्टेट-ऐक्शन वैल्यू फ़ंक्शन

#rl

Q-फ़ंक्शन का समानार्थी शब्द.

स्टैटिक

#fundamentals

लगातार करने के बजाय एक बार किया गया. स्टैटिक और ऑफ़लाइन शब्दों के समानार्थी शब्द हैं. मशीन लर्निंग में स्टैटिक और ऑफ़लाइन का इस्तेमाल आम तौर पर इन कामों के लिए किया जाता है:

• स्टैटिक मॉडल (या ऑफ़लाइन मॉडल) मॉडल को ट्रेनिंग देने के बाद, कुछ समय के लिए इस्तेमाल किया गया.
• स्टैटिक ट्रेनिंग (या ऑफ़लाइन ट्रेनिंग) एक ऐसी ट्रेनिंग की प्रोसेस है जिसमें स्टैटिक मॉडल के रूप में किया जा सकता है.
• स्टैटिक इंफ़रेंस (या ऑफ़लाइन इंफ़रेंस) एक ऐसी प्रोसेस है जिसमें मॉडल एक बार में कई अनुमान जनरेट करता है.

डाइनैमिक से कंट्रास्ट करें.

स्टैटिक अनुमान

#fundamentals

ऑफ़लाइन अनुमान के लिए समानार्थी शब्द.

स्टेशनरिटी

#fundamentals

ऐसी सुविधा जिसकी वैल्यू एक या उससे ज़्यादा डाइमेंशन में नहीं बदलती. आम तौर पर, समय में वैल्यू नहीं बदलती. उदाहरण के लिए, किसी ऐसी सुविधा की वैल्यू जो 2021 और 2023 में एक जैसी दिखती है, वह स्टेशनरी है.

असल दुनिया में, बहुत कम फ़ीचर में स्टेशनरी दिखती है. समान सुविधाएं स्थायित्व (जैसे समुद्र का स्तर) में समय के साथ बदलाव होता है.

नॉन-स्टेशनरिटी के साथ तुलना करें.

चरण

एक बैच का फ़ॉरवर्ड पास और बैकवर्ड पास.

फ़ॉरवर्ड पास और बैकवर्ड पास के बारे में ज़्यादा जानकारी के लिए, बैकप्रोपगेशन देखें.

स्टेप साइज़

सीखने की दर का समानार्थी शब्द.

स्टोकेस्टिक ग्रेडिएंट डिसेंट (एसजीडी)

#fundamentals

ग्रेडिएंट डिसेंट एल्गोरिदम, जिसमें बैच का साइज़ एक है. दूसरे शब्दों में, SGD ट्रेनिंग समान रूप से ट्रेनिंग सेट से मिली रैंडम वैल्यू.

स्ट्राइड

#image

कॉन्वोल्यूशनल ऑपरेशन या पूलिंग में, इनपुट स्लाइस की अगली सीरीज़ के हर डाइमेंशन में डेल्टा. उदाहरण के लिए, यहां दिया गया ऐनिमेशन, कॉन्वोल्यूशनल ऑपरेशन के दौरान (1,1) स्ट्राइड दिखाता है. इसलिए, अगला इनपुट स्लाइस, पिछले इनपुट स्लाइस की दाईं ओर से शुरू होता है. जब ऑपरेशन दाएं किनारे तक पहुंच जाता है, तो अगला स्लाइस पूरी तरह से बाईं ओर होता है, लेकिन एक पोज़िशन नीचे होता है.

पिछले उदाहरण में, दो डाइमेंशन वाली स्ट्राइड दिखाई गई है. अगर इनपुट मैट्रिक्स तीन-डाइमेंशन वाला होता है और चाल भी तीन-डाइमेंशन में होती है.

स्ट्रक्चरल रिस्क मिनिमाइज़ेशन (एसआरएम)

एक ऐसा एल्गोरिदम जो दो लक्ष्यों को संतुलित करता है:

• सबसे सटीक अनुमान लगाने वाला मॉडल बनाने की ज़रूरत (उदाहरण के लिए, सबसे कम नुकसान).
• मॉडल को जितना हो सके उतना आसान बनाए रखने की ज़रूरत न हो. उदाहरण के लिए, रेगुलराइज़ेशन).

उदाहरण के लिए, ट्रेनिंग सेट पर लॉस और रेगुलराइज़ेशन को कम करने वाला फ़ंक्शन, स्ट्रक्चरल रिस्क को कम करने वाला एल्गोरिदम है.

empirical जोखिम को कम करने से अलग करें.

सब-सैंपलिंग

#image

पूलिंग देखें.

सबवर्ड टोकन

#language

भाषा मॉडल में, टोकन, किसी शब्द का सबसे छोटा हिस्सा होता है. यह पूरा शब्द भी हो सकता है.

उदाहरण के लिए, "itemize" जैसे शब्द को "item" (रूट शब्द) और "ize" (सर्फ़िक्स) में बांटा जा सकता है. इनमें से हर शब्द को अपने टोकन से दिखाया जाता है. आम तौर पर इस्तेमाल न होने वाले शब्दों को ऐसे हिस्सों में बांटने पर, उन्हें सबवर्ड कहा जाता है. इससे भाषा मॉडल, शब्द के सामान्य हिस्सों पर काम कर पाते हैं. जैसे, प्रीफ़िक्स और सफ़िक्स.

इसके विपरीत, "going" जैसे सामान्य शब्द हो सकता है कि वह बंटा न हुआ हो और जिसे एक टोकन से दिखाया जाता है.

सारांश

#TensorFlow

TensorFlow में, किसी खास step. इसका इस्तेमाल, आम तौर पर ट्रेनिंग के दौरान मॉडल मेट्रिक को ट्रैक करने के लिए किया जाता है.

सुपरवाइज़्ड मशीन लर्निंग

#fundamentals

किसी मॉडल को सुविधाओं की मदद से ट्रेनिंग देना और उनके संबंधित लेबल. सुपरवाइज़्ड मशीन लर्निंग, सवालों के एक सेट और उनके जवाबों का अध्ययन करके किसी विषय को सीखने जैसा है. सवालों और जवाबों के बीच मैपिंग करने के बाद, छात्र-छात्राएं उसी विषय पर नए (पहले कभी न देखे गए) सवालों के जवाब दे सकते हैं.

बिना निगरानी वाली मशीन लर्निंग से तुलना करें.

एआई की मदद से जनरेट की गई सुविधा

#fundamentals

ऐसी सुविधा जो इनपुट सुविधाओं में मौजूद नहीं है, लेकिन वे एक या एक से ज़्यादा एलिमेंट का इस्तेमाल करते हैं. एआई की मदद से जनरेट किए गए फ़ीचर बनाने के तरीके निम्नलिखित शामिल करें:

• रेंज बिन में लगातार चलने वाली सुविधा बकेट करना.
• सुविधा का क्रॉस बनाना.
• किसी सुविधा की वैल्यू को दूसरी सुविधा की वैल्यू से गुणा करना (या उससे भाग देना) या खुद से गुणा करना (या उससे भाग देना). उदाहरण के लिए, अगर a और b इनपुट सुविधाएं हैं, तो एआई से जनरेट की गई सुविधाओं के उदाहरण यहां दिए गए हैं:
  • ऐबी
  • a²
• किसी सुविधा की वैल्यू में ट्रांसेंडेंटल फ़ंक्शन लागू करना. उदाहरण के लिए, अगर c एक इनपुट फ़ीचर है, तो सिंथेटिक फ़ीचर के उदाहरण यहां दिए गए हैं:
  • sin(c)
  • एलएन(सी)

नॉर्मलाइज़ या स्केलिंग करके बनाई गई सुविधाएं सिर्फ़ एआई की मदद से काम करने वाले फ़ीचर नहीं माने जाते.

T

T5

#language

टेक्स्ट-टू-टेक्स्ट ट्रांसफ़र लर्निंग मॉडल, जिसे Google के एआई ने 2020 में लॉन्च किया था. T5 एक एन्कोडर-डीकोडर मॉडल है, जो ट्रांसफ़ॉर्मर आर्किटेक्चर, जिसे बहुत बड़ी डेटासेट. यह नैचुरल लैंग्वेज प्रोसेसिंग से जुड़े कई कामों में असरदार है. जैसे, टेक्स्ट जनरेट करना, भाषाओं का अनुवाद करना, और बातचीत वाले तरीके से सवालों के जवाब देना.

T5 का नाम, "टेक्स्ट-टू-टेक्स्ट ट्रांसफ़र ट्रांसफ़ॉर्मर" में मौजूद पांच T से मिलता है.

T5X

#language

यह एक ओपन-सोर्स, मशीन लर्निंग फ़्रेमवर्क है. इसे बड़े पैमाने पर नैचुरल लैंग्वेज प्रोसेसिंग (एनएलपी) मॉडल बनाने और ट्रेन करने के लिए डिज़ाइन किया गया है. T5 को T5X कोड बेस पर लागू किया जाता है (जो इसे JAX और Flax पर बनाया गया है).

टेबल में क्यू-लर्निंग

#rl

रीइंफ़ोर्समेंट लर्निंग में, टेबल का इस्तेमाल करके क्यू-लर्निंग लागू करना. इससे, स्टेटस और कार्रवाई के हर कॉम्बिनेशन के लिए, क्यू-फ़ंक्शन को सेव किया जा सकता है.

टारगेट

लेबल का समानार्थी शब्द.

टारगेट नेटवर्क

#rl

डीप क्यू-लर्निंग में, एक न्यूरल नेटवर्क है जो स्टेबल है मुख्य न्यूरल नेटवर्क का अनुमान, जिसमें मुख्य न्यूरल नेटवर्क Q-फ़ंक्शन या नीति लागू करता है. इसके बाद, टारगेट के अनुमानित Q-वैल्यू के आधार पर मुख्य नेटवर्क को ट्रेनिंग दी जा सकती है नेटवर्क. इसलिए, फ़ीडबैक लूप से बचा जा सकता है. यह लूप तब होता है, जब मुख्य नेटवर्क, अपने हिसाब से अनुमानित Q-वैल्यू पर ट्रेनिंग करता है. इस सुझाव से बचने के लिए, ट्रेनिंग की स्थिरता बढ़ जाती है.

टास्क

ऐसी समस्या जिसे मशीन लर्निंग की तकनीकों का इस्तेमाल करके हल किया जा सकता है. जैसे:

• कैटगरी
• रिग्रेशन
• क्लस्टरिंग
• गड़बड़ी की पहचान करना

तापमान

#language

#image

#generativeAI

ऐसा हाइपर पैरामीटर जो रैंडमनेस को कंट्रोल करता है होता है. ज़्यादा तापमान पर, रैंडम आउटपुट ज़्यादा मिलता है, जबकि कम तापमान पर रैंडम आउटपुट कम मिलता है.

सबसे सही तापमान चुनना, खास ऐप्लिकेशन और मॉडल के आउटपुट की पसंदीदा प्रॉपर्टी पर निर्भर करता है. उदाहरण के लिए, क्रिएटिव आउटपुट जनरेट करने वाला ऐप्लिकेशन बनाते समय, शायद आप टेंपरेचर बढ़ा दें. इसके उलट, इमेज या टेक्स्ट को अलग-अलग कैटगरी में बांटने वाले मॉडल को बनाते समय, शायद आप तापमान को कम कर दें. इससे मॉडल की सटीकता और एक जैसी परफ़ॉर्मेंस को बेहतर बनाया जा सकता है.

तापमान का इस्तेमाल अक्सर सॉफ्टमैक्स के साथ किया जाता है.

टेम्पोरल डेटा

अलग-अलग समय पर रिकॉर्ड किया गया डेटा. उदाहरण के लिए, साल के हर दिन रिकॉर्ड की गई, सर्दियों के कोट की बिक्री को टाइमसेरियल डेटा कहा जाएगा.

Tensor

#TensorFlow

TensorFlow प्रोग्राम में प्राइमरी डेटा स्ट्रक्चर. टेन्सर N-डाइमेंशन वाले होते हैं (जहां N बहुत बड़ी हो सकती है) डेटा स्ट्रक्चर, सबसे आम तौर पर स्केलर, वेक्टर, देखा जा सकता है. Tensor के एलिमेंट में पूर्णांक, फ़्लोटिंग-पॉइंट हो सकते हैं, या स्ट्रिंग वैल्यू.

TensorBoard

#TensorFlow

एक या एक से ज़्यादा TensorFlow प्रोग्राम के दौरान सेव की गई खास जानकारी दिखाने वाला डैशबोर्ड.

TensorFlow

#TensorFlow

एक बड़ा, डिस्ट्रिब्यूटेड, मशीन लर्निंग प्लैटफ़ॉर्म. इस शब्द का यह भी मतलब है TensorFlow स्टैक में बेस एपीआई लेयर, जो सामान्य कंप्यूटेशन की मदद से काम करती है डेटाफ़्लो ग्राफ़ पर लागू किया जा सकता है.

TensorFlow का इस्तेमाल मुख्य रूप से मशीन लर्निंग के लिए किया जाता है. हालांकि, TensorFlow का इस्तेमाल उन गैर-मशीन लर्निंग टास्क के लिए भी किया जा सकता है जिनमें डेटाफ़्लो ग्राफ़ का इस्तेमाल करके संख्यात्मक गणना की ज़रूरत होती है.

TensorFlow Playground

#TensorFlow

यह एक ऐसा प्रोग्राम है जो विज़ुअलाइज़ करता है कि अलग-अलग हाइपरपैरामीटर, मॉडल (मुख्य रूप से न्यूरल नेटवर्क) की ट्रेनिंग पर कैसे असर डालते हैं. TensorFlow Playground को आज़माने के लिए, http://playground.tensorflow.org पर जाएं.

TensorFlow सर्विंग

#TensorFlow

प्रोडक्शन में ट्रेन किए गए मॉडल को डिप्लॉय करने के लिए प्लैटफ़ॉर्म.

टेंसर प्रोसेसिंग यूनिट (TPU)

#TensorFlow

#GoogleCloud

ऐप्लिकेशन के हिसाब से बनाया गया इंटिग्रेटेड सर्किट (एएसआईसी), जो मशीन लर्निंग वर्कलोड की परफ़ॉर्मेंस को ऑप्टिमाइज़ करता है. इन एएसआईसी को TPU डिवाइस पर, कई TPU चिप के तौर पर डिप्लॉय किया जाता है.

टेंसर रैंक

#TensorFlow

रैंक (टेंसर) देखें.

टेंसर का आकार

#TensorFlow

अलग-अलग डाइमेंशन में, टेंसर में मौजूद एलिमेंट की संख्या. उदाहरण के लिए, [5, 10] टेंसर का एक डाइमेंशन 5 और दूसरा डाइमेंशन 10 वाला है.

टेंसर का साइज़

#TensorFlow

टेंसर में स्केलर की कुल संख्या. उदाहरण के लिए, [5, 10] टेन्सर का साइज़ 50 है.

TensorStore

एक लाइब्रेरी, जो कई डाइमेंशन वाले बड़े ऐरे को बेहतर तरीके से पढ़ और लिख सकती है.

समझौता खत्म होने की शर्त

#rl

रीइन्फ़ोर्समेंट लर्निंग में, वे शर्तें जो यह तय कर सकते हैं कि कोई एपिसोड कब खत्म होगा. जैसे, एजेंट के पास पहुंचने का समय किसी राज्य या स्थिति के ट्रांज़िशन की सीमा से ज़्यादा हो. उदाहरण के लिए, tic-tac-toe में (साथ ही नॉन्स और क्रॉस के नाम से जाना जाता है), तो एपिसोड तब खत्म हो जाता है, जब कोई खिलाड़ी तीन लगातार स्पेस या सभी स्पेस मार्क होने पर.

टेस्ट

#df

फ़ैसला लेने के लिए ट्री में, शर्त का दूसरा नाम.

टेस्ट में नुकसान

#fundamentals

यह मेट्रिक है, जो किसी मॉडल की नुकसान के बारे में बताती है टेस्ट का सेट. मॉडल बनाते समय, आम तौर पर, टेस्ट में होने वाले नुकसान को कम करने की कोशिश करें. इसकी वजह यह है कि कम टेस्ट लॉस, कम ट्रेनिंग लॉस या कम पुष्टि करने के लिए इस्तेमाल होने वाले लॉस की तुलना में, क्वालिटी का बेहतर सिग्नल होता है.

टेस्ट लॉस और ट्रेनिंग लॉस या पुष्टि करने के दौरान होने वाले लॉस के बीच का बड़ा अंतर, कभी-कभी यह बताता है कि आपको रेगुलराइज़ेशन रेट बढ़ाना होगा.

टेस्ट सेट

जांच के लिए रिज़र्व किए गए dataset का एक सबसेट ट्रेन किया गया मॉडल.

आम तौर पर, डेटासेट में मौजूद उदाहरणों को इन तीन अलग-अलग सबसेट में बांटा जाता है:

• ट्रेनिंग सेट
• पुष्टि करने के लिए डेटा सेट
• टेस्ट सेट

डेटासेट में मौजूद हर उदाहरण, पहले से मौजूद किसी एक सबसेट से जुड़ा होना चाहिए. उदाहरण के लिए, एक ही उदाहरण, ट्रेनिंग सेट और जांच सेट, दोनों में शामिल नहीं होना चाहिए.

ट्रेनिंग सेट और पुष्टि करने वाला सेट, दोनों मॉडल को ट्रेन करने से जुड़े होते हैं. टेस्ट सेट, ट्रेनिंग से सिर्फ़ अप्रत्यक्ष रूप से जुड़ा होता है. इसलिए, टेस्ट लॉस, ट्रेनिंग लॉस या पुष्टि करने से जुड़ा लॉस के मुकाबले, कम पक्षपात वाली और बेहतर क्वालिटी वाली मेट्रिक होती है.

टेक्स्ट स्पैन

#language

टेक्स्ट स्ट्रिंग के किसी खास सबसेक्शन से जुड़ा ऐरे इंडेक्स स्पैन. उदाहरण के लिए, Python स्ट्रिंग s="Be good now" में good शब्द, टेक्स्ट स्पैन में 3 से 6 तक का होता है.

tf.Example

#TensorFlow

मशीन लर्निंग मॉडल को ट्रेन करने या अनुमान लगाने के लिए, इनपुट डेटा की जानकारी देने वाला स्टैंडर्ड प्रोटोकॉल बफ़र.

tf.keras

#TensorFlow

Google Analytics 4 प्रॉपर्टी में इंटिग्रेट किए गए Keras को लागू करना TensorFlow.

थ्रेशोल्ड (डिसिज़न ट्री के लिए)

#df

ऐक्सिस के साथ अलाइन की गई शर्त में, वह वैल्यू जिसकी तुलना सुविधा से की जा रही है. उदाहरण के लिए, 75 थ्रेशोल्ड की वैल्यू नीचे दी गई है:

grade >= 75

थ्रेशोल्ड शब्द का यह फ़ॉर्म, क्लासिफ़िकेशन थ्रेशोल्ड से अलग है.

टाइम सीरीज़ का विश्लेषण

#clustering

मशीन लर्निंग और आंकड़ों का एक सबफ़ील्ड जो विश्लेषण करता है अस्थायी डेटा. मशीन लर्निंग से जुड़ी कई तरह की समस्याओं के लिए, टाइम सीरीज़ विश्लेषण की ज़रूरत होती है. इनमें डेटा की कैटगरी तय करना, क्लस्टर बनाना, अनुमान लगाना, और गड़बड़ी का पता लगाना शामिल है. उदाहरण के लिए, बिक्री के पुराने डेटा के आधार पर, महीने के हिसाब से सर्दियों के कोट की बिक्री का अनुमान लगाने के लिए, टाइम सीरीज़ विश्लेषण का इस्तेमाल किया जा सकता है.

टाइमस्टेप

#seq

एक "अनरोल किया गया" एक सेल में बार-बार होने वाला न्यूरल नेटवर्क. उदाहरण के लिए, नीचे दिए गए डायग्राम में तीन टाइम स्टेप दिखाए गए हैं. t-1, t, और t+1 सबस्क्रिप्ट):

टोकन

#language

भाषा मॉडल में, वह एटमिक यूनिट जिस पर मॉडल को प्रशिक्षित किया जा रहा है और जिस पर अनुमान लगाया जा रहा है. टोकन आम तौर पर, फ़ॉलो किया जा रहा है:

• कोई शब्द—उदाहरण के लिए, वाक्यांश "कुत्तों को बिल्लियों जैसा" इसमें तीन शब्द हैं टोकन: "कुत्ते", "पसंद", और "बिल्लियां".
• कोई वर्ण—उदाहरण के लिए, वाक्यांश "बाइक मछली" नौ शामिल हैं वर्ण टोकन. (ध्यान दें कि खाली जगह को एक टोकन के तौर पर गिना जाता है.)
• सबवर्ड—जिसमें एक शब्द एक टोकन या एक से ज़्यादा टोकन हो सकता है. सबवर्ड में रूट शब्द, प्रीफ़िक्स या सफ़िक्स होता है. उदाहरण के लिए, अगर भाषा मॉडल में सबवर्ड का इस्तेमाल टोकन के तौर पर किया जाता है, तो हो सकता है कि उसमें "कुत्ते" शब्द दिखे दो टोकन के रूप में (मूल शब्द "डॉग" और बहुवचन प्रत्यय "s"). वही हो सकता है कि भाषा मॉडल में एक शब्द "लंबा" दिखे दो सबवर्ड के तौर पर ( मूल शब्द "tall" और प्रत्यय "er").

भाषा मॉडल के बाहर के डोमेन के टोकन, ऐटॉमिक यूनिट. उदाहरण के लिए, कंप्यूटर विज़न में, टोकन किसी इमेज का सबसेट हो सकता है.

Tower

डीप न्यूरल नेटवर्क का एक कॉम्पोनेंट, जो एक डीप न्यूरल नेटवर्क था. कुछ मामलों में, हर टावर किसी अलग डेटा सोर्स से डेटा पढ़ता है. ये टावर तब तक अलग-अलग रहते हैं, जब तक उनके आउटपुट को फ़ाइनल लेयर में नहीं जोड़ दिया जाता. अन्य मामलों में, (उदाहरण के लिए, कई ट्रांसफ़ॉर्मर के एन्कोडर और डिकोडर टावर में), टावर एक-दूसरे से जुड़े होते हैं.

टीपीयू (TPU)

#TensorFlow

#GoogleCloud

टेंसर प्रोसेसिंग यूनिट का छोटा नाम.

TPU चिप

#TensorFlow

#GoogleCloud

प्रोग्राम किया जा सकने वाला लीनियर ऐल्जेब्रा एक्सेलरेटर, जिसमें चिप पर हाई बैंडविड्थ वाली मेमोरी होती है. इसे मशीन लर्निंग के ज़्यादा काम के लिए ऑप्टिमाइज़ किया गया है. TPU डिवाइस पर कई TPU चिप डिप्लॉय किए गए हैं.

TPU डिवाइस

#TensorFlow

#GoogleCloud

एक प्रिंटेड सर्किट बोर्ड (पीसीबी), जिसमें कई TPU चिप, ज़्यादा बैंडविड्थ वाले नेटवर्क इंटरफ़ेस, और सिस्टम कूलिंग हार्डवेयर होते हैं.

TPU मास्टर

#TensorFlow

#GoogleCloud

सेंट्रल कोऑर्डिनेशन प्रोसेस, एक होस्ट मशीन पर चल रही होती है जो और उसे डेटा, नतीजे, प्रोग्राम, परफ़ॉर्मेंस, और सिस्टम की हेल्थ की जानकारी मिलती है TPU वर्कर को. TPU मास्टर, TPU डिवाइसों के सेटअप और बंद होने को भी मैनेज करता है.

TPU नोड

#TensorFlow

#GoogleCloud

Google Cloud पर मौजूद ऐसा TPU रिसॉर्स जिसमें कोई खास TPU टाइप हो. TPU नोड, पीयर वीपीएन नेटवर्क से आपके वीपीएन नेटवर्क से कनेक्ट होता है. TPU नोड, Cloud TPU API में बताए गए संसाधन हैं.

टीपीयू (TPU) पॉड

#TensorFlow

#GoogleCloud

Google में TPU डिवाइसों का खास कॉन्फ़िगरेशन डेटा सेंटर. TPU पॉड में मौजूद सभी डिवाइस, एक खास ज़्यादा स्पीड वाले नेटवर्क से एक-दूसरे से कनेक्ट होते हैं. TPU पॉड, TPU डिवाइस, TPU के किसी खास वर्शन के लिए उपलब्ध हैं.

TPU रिसॉर्स

#TensorFlow

#GoogleCloud

Google Cloud पर मौजूद TPU इकाई, जिसे आपने बनाया है, मैनेज किया है या इस्तेमाल किया है. इसके लिए उदाहरण के लिए, TPU नोड और TPU टाइप TPU संसाधन.

TPU स्लाइस

#TensorFlow

#GoogleCloud

TPU स्लाइस, TPU पॉड में मौजूद TPU डिवाइसों का एक छोटा हिस्सा होता है. TPU स्लाइस में मौजूद सभी डिवाइस, एक खास ज़्यादा स्पीड वाले नेटवर्क से एक-दूसरे से कनेक्ट होते हैं.

TPU का टाइप

#TensorFlow

#GoogleCloud

एक या उससे ज़्यादा TPU डिवाइसों का कॉन्फ़िगरेशन TPU हार्डवेयर का वर्शन. बनाते समय, TPU टाइप चुना जाता है Google Cloud पर TPU नोड. उदाहरण के लिए, v2-8 TPU टाइप, 8 कोर वाला सिंगल TPU v2 डिवाइस है. v3-2048 TPU टाइप में 256 होते हैं नेटवर्क वाले TPU v3 डिवाइस और कुल 2048 कोर. TPU के टाइप एक संसाधन हैं में परिभाषित किया गया है Cloud TPU API.

TPU वर्कर

#TensorFlow

#GoogleCloud

यह एक ऐसी प्रोसेस है जो होस्ट मशीन पर चलती है और मशीन लर्निंग प्रोग्राम को एक्ज़ीक्यूट करती है TPU डिवाइसों पर.

ट्रेनिंग

#fundamentals

सबसे सही पैरामीटर तय करने की प्रोसेस (वेट और पक्षपात) से बनाया गया है, जिसमें एक मॉडल शामिल है. ट्रेनिंग के दौरान, सिस्टम उदाहरण देखें और पैरामीटर को धीरे-धीरे अडजस्ट करें. ट्रेनिंग में हर एक का इस्तेमाल होता है उदाहरण के लिए, कुछ समय से लेकर करोड़ों बार.

ट्रेनिंग में हुई कमी

#fundamentals

यह एक मेट्रिक है, जो किसी खास ट्रेनिंग के दौरान मॉडल के लॉस को दिखाती है. उदाहरण के लिए, मान लें कि हानि फलन मीन स्क्वेयर्ड एरर होता है. शायद 10वें आइटरेशन के लिए ट्रेनिंग लॉस (मीन स्क्वेयर्ड एरर) 2.2 है और 100वें आइटरेशन के लिए ट्रेनिंग लॉस 1.9 है.

लॉस कर्व, ट्रेनिंग लॉस को दोहराव की संख्या के मुकाबले प्लॉट करता है. लॉस कर्व से ट्रेनिंग के बारे में ये संकेत मिलते हैं:

• नीचे की ओर वाले स्लोप का मतलब है कि मॉडल में सुधार हो रहा है.
• ऊपर की ओर बढ़ने का मतलब है कि मॉडल की परफ़ॉर्मेंस खराब हो रही है.
• सपाट ढलान का मतलब है कि मॉडल कंसर्वेशन तक पहुंच गया है.

उदाहरण के लिए, यहां दिया गया लॉस कर्व, कुछ हद तक आदर्श है. इसमें यह दिखाया गया है:

• शुरुआती दोहरावों के दौरान, डाउनवर्ड स्लोप का ज़्यादा होना. इसका मतलब है कि मॉडल में तेज़ी से सुधार हो रहा है.
• ट्रेनिंग के आखिर तक धीरे-धीरे सपाट (लेकिन अब भी नीचे की ओर) स्लोप, जिसका मतलब है कि शुरुआती दोहरावों के मुकाबले, मॉडल में अब भी धीमी रफ़्तार से सुधार हो रहा है.
• ट्रेनिंग के खत्म होने की तरफ़ का सपाट ढलान, जिससे दर्शकों को एक ही जगह के खिलाड़ी में शामिल होने का सुझाव मिलता है.

ट्रेनिंग लॉस अहम है, लेकिन जनरलाइज़ेशन भी देखें.

ट्रेनिंग और ब्राउज़र में वेब पेज खोलने के दौरान परफ़ॉर्मेंस में अंतर

#fundamentals

ट्रेनिंग के दौरान मॉडल की परफ़ॉर्मेंस और इस्तेमाल के दौरान उसी मॉडल की परफ़ॉर्मेंस के बीच का अंतर.

ट्रेनिंग सेट

#fundamentals

किसी मॉडल को ट्रेनिंग देने के लिए इस्तेमाल किए गए डेटासेट का सबसेट.

आम तौर पर, डेटासेट में दिए गए उदाहरणों को इन तीन हिस्सों में बांटा गया है अलग-अलग सबसेट:

• ट्रेनिंग सेट
• पुष्टि करने के लिए डेटा सेट
• टेस्ट सेट

आम तौर पर, डेटासेट में मौजूद हर उदाहरण, पहले दिए गए सबसेट में से सिर्फ़ एक से जुड़ा होना चाहिए. उदाहरण के लिए, एक ही उदाहरण, ट्रेनिंग सेट और पुष्टि करने वाले सेट, दोनों में शामिल नहीं होना चाहिए.

ट्रजेक्टरी

#rl

रीइंफ़ोर्समेंट लर्निंग में, ट्यूपल का क्रम, जो एजेंट की स्थिति के ट्रांज़िशन के क्रम को दिखाता है. इसमें हर ट्यूपल, किसी स्थिति के ट्रांज़िशन के लिए, स्थिति, कार्रवाई, इनाम, और अगली स्थिति से जुड़ा होता है.

ट्रांसफ़र लर्निंग

एक मशीन लर्निंग टास्क से दूसरे टास्क में जानकारी ट्रांसफ़र करना. उदाहरण के लिए, एक साथ कई काम करने की सुविधा में, एक मॉडल कई टास्क पूरे कर सकता है, जैसे, ऐसा डीप मॉडल जिसके लिए अलग-अलग आउटपुट नोड हों करने में मदद मिलती है. ट्रांसफ़र लर्निंग में, किसी आसान टास्क के समाधान से ज़्यादा मुश्किल टास्क के समाधान तक ज्ञान को ट्रांसफ़र करना शामिल हो सकता है. इसके अलावा, किसी ऐसे टास्क से ज्ञान को ट्रांसफ़र करना भी शामिल हो सकता है जिसमें ज़्यादा डेटा हो और किसी ऐसे टास्क में ट्रांसफ़र करना जिसमें कम डेटा हो.

ज़्यादातर मशीन लर्निंग सिस्टम, सिर्फ़ एक टास्क को हल करते हैं. ट्रांसफ़र लर्निंग, आर्टिफ़िशियल इंटेलिजेंस की ओर एक छोटा कदम है. इसमें एक प्रोग्राम, कई टास्क हल कर सकता है.

ट्रांसफ़र्मर

#language

Google में डेवलप किया गया एक न्यूरल नेटवर्क आर्किटेक्चर में बदलाव करने के लिए, खुद का ध्यान रखने के तरीकों का इस्तेमाल किया जाता है आउटपुट के किसी क्रम में इनपुट एम्बेड करने का क्रम बातचीत के भरोसे रहकर एम्बेड करना या बार-बार होने वाले न्यूरल नेटवर्क. ट्रांसफ़ॉर्मर को, सेल्फ़-अटेंशन लेयर के स्टैक के तौर पर देखा जा सकता है.

किसी ट्रांसफ़ॉर्मर में इनमें से कोई भी शामिल हो सकता है:

• एन्कोडर
• डिकोडर
• एन्कोडर और डिकोडर, दोनों

एन्कोडर, एम्बेडिंग के क्रम को उसी लंबाई के नए क्रम में बदल देता है. एन्कोडर में N एक जैसी लेयर होती हैं. इनमें से हर लेयर में दो सब-लेयर होती हैं. ये दो सब-लेयर, इनपुट एम्बेडिंग क्रम की हर पोज़िशन पर लागू होती हैं. इससे, क्रम के हर एलिमेंट को एक नए एम्बेडिंग में बदल दिया जाता है. पहला एन्कोडर सब-लेयर, दुनिया भर में इनपुट का क्रम. दूसरी एन्कोडर सब-लेयर, एग्रीगेट किए गए डेटा को बदल देती है आउटपुट एम्बेड करने में जानकारी शामिल करता है.

डीकोडर, इनपुट एम्बेड करने के क्रम को क्रम में बदल देता है आउटपुट एम्बेडिंग, अलग-अलग लंबाई वाली हो सकती है. डिकोडर में भी तीन सब-लेयर वाली N एक जैसी लेयर शामिल होती हैं. इनमें से दो लेयर, एन्कोडर की सब-लेयर से मिलती-जुलती होती हैं. तीसरा डिकोडर सब-लेयर और इन कामों के लिए सेल्फ़-अटेंशन तरीका लागू करता है उससे जानकारी इकट्ठा करना.

ब्लॉग पोस्ट ट्रांसफ़ॉर्मर: अ नॉवल न्यूरल नेटवर्क आर्किटेक्चर फ़ॉर लैंग्वेज समझना Transformers के बारे में सही जानकारी देता है.

ट्रांसलेशनल इनवैरिएंस

#image

इमेज क्लासिफ़िकेशन के सवाल में, एल्गोरिदम की यह क्षमता कि इमेज के अंदर की चीज़ों की जगह बदलने पर भी इमेज का वर्गीकरण किया जा सकता है. उदाहरण के लिए, एल्गोरिदम अब भी किसी कुत्ते की पहचान कर सकता है, भले ही वह फ़्रेम के बीच में या फिर बाएं सिरे पर.

साइज़ इनवैरियंस और रोटेशनल इनवैरिएंस.

ट्राइग्राम

#seq

#language

ऐसा N-ग्राम जिसमें N=3 हो.

खतरे को सही आंकना (TN)

#fundamentals

एक उदाहरण, जिसमें मॉडल ने नेगेटिव क्लास का सही अनुमान लगाया है. उदाहरण के लिए, मॉडल से यह पता चलता है कि कोई ईमेल स्पैम नहीं है और वह ईमेल मैसेज वाकई स्पैम नहीं है.

ट्रू पॉज़िटिव (TP)

#fundamentals

एक उदाहरण, जिसमें मॉडल ने पॉज़िटिव क्लास का सही अनुमान लगाया है. उदाहरण के लिए, मॉडल यह अनुमान लगाता है कि कोई ईमेल मैसेज स्पैम है और वह ईमेल मैसेज वाकई में स्पैम है.

ट्रू पॉज़िटिव रेट (टीपीआर)

#fundamentals

recall का समानार्थी शब्द. यानी:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

आरओसी कर्व में, असल पॉज़िटिव रेट, y-ऐक्सिस होता है.

U

अनजाने में हुई जानकारी (किसी संवेदनशील एट्रिब्यूट के बारे में)

#fairness

ऐसी स्थिति जिसमें संवेदनशील एट्रिब्यूट मौजूद हैं, लेकिन उन्हें ट्रेनिंग डेटा में शामिल नहीं किया गया है. संवेदनशील एट्रिब्यूट अक्सर किसी व्यक्ति के डेटा के अन्य एट्रिब्यूट से जुड़े होते हैं. इसलिए, संवेदनशील एट्रिब्यूट के बारे में जानकारी के बिना ट्रेन किया गया मॉडल, उस एट्रिब्यूट के लिए अलग-अलग असर डाल सकता है या निष्पक्षता से जुड़ी अन्य शर्तों का उल्लंघन कर सकता है.

अंडरफ़िटिंग

#fundamentals

ऐसा मॉडल बनाना जिसमें अनुमान लगाने की क्षमता कमज़ोर हो, क्योंकि ने ट्रेनिंग के डेटा की जटिलता को पूरी तरह से कैप्चर नहीं किया है. कई समस्याएं अंडरफ़िटिंग की वजह से, इनमें से एक समस्या हो सकती है:

• गलत सुविधाओं के सेट के लिए ट्रेनिंग देना.
• बहुत कम या बहुत कम epoch के लिए ट्रेनिंग लर्निंग रेट.
• रेगुलराइज़ेशन रेट बहुत ज़्यादा होने पर ट्रेनिंग.
• डीप न्यूरल नेटवर्क में बहुत कम हाइडन लेयर देना.

अंडरसैंपलिंग

क्लास के असंतुलन वाले डेटासेट में, ज़्यादातर क्लास से उदाहरण हटाकर, ट्रेनिंग सेट को ज़्यादा संतुलित बनाया जा सकता है.

उदाहरण के लिए, ऐसे डेटासेट पर विचार करें जिसमें माइनॉरिटी क्लास के मुकाबले, मेजॉरिटी क्लास का अनुपात 20:1 है. इस क्लास से आगे निकलने के लिए इसके बावजूद, आपके पास ऐसा ट्रेनिंग सेट बनाने का विकल्प है जिसमें सभी अल्पसंख्यक शामिल होंगे क्लास के उदाहरण शामिल किए जा सकते हैं, लेकिन क्लास के ज़्यादातर उदाहरणों का दसवां ही दिया जाता है. इससे एक ट्रेनिंग-सेट के लिए क्लास का अनुपात 2:1 बनाएं. अंडरसैंपलिंग की वजह से, यह काफ़ी मज़ेदार है संतुलित ट्रेनिंग सेट बेहतर मॉडल बना सकता है. इसके अलावा, हो सकता है कि बेहतर तरीके से संतुलित किए गए इस ट्रेनिंग सेट में, असरदार मॉडल को ट्रेन करने के लिए ज़रूरत के मुताबिक उदाहरण न हों.

ओवरसैंपलिंग के साथ तुलना करें.

एकतरफ़ा

#language

एक सिस्टम जो सिर्फ़ टेक्स्ट के टारगेट सेक्शन से पहले उस टेक्स्ट का आकलन करता है. इसके उलट, द्वि-दिशात्मक सिस्टम, टेक्स्ट के टारगेट सेक्शन से पहले और बाद के टेक्स्ट, दोनों का आकलन करता है. ज़्यादा जानकारी के लिए, दोनों तरफ़ देखें.

एकतरफ़ा लैंग्वेज मॉडल

#language

ऐसा भाषा का मॉडल जो इसकी संभावना को सिर्फ़ टोकन, टारगेट टोकन के बाद के बजाय बाद में दिखते हैं. दोतरफ़ा लैंग्वेज मॉडल के साथ तुलना करें.

बिना लेबल वाला उदाहरण

#fundamentals

ऐसा उदाहरण जिसमें सुविधाएं शामिल हैं, लेकिन कोई लेबल नहीं है. उदाहरण के लिए, नीचे दी गई टेबल में किसी घर के बिना लेबल वाले तीन उदाहरण दिखाए गए हैं मूल्यांकन मॉडल, हर एक में तीन सुविधाएं हैं, लेकिन कोई हाउस वैल्यू नहीं है:

कमरों की संख्या	बाथरूम की संख्या	घर की उम्र
3	2	15
2	1	72
4	2	34

सुपरवाइज़्ड मशीन लर्निंग में, मॉडल लेबल किए गए उदाहरणों पर ट्रेनिंग लेते हैं और लेबल नहीं किए गए उदाहरणों के आधार पर अनुमान लगाते हैं.

सेमी-सुपरवाइज़्ड और अनसुपरवाइज़्ड लर्निंग में, ट्रेनिंग के दौरान बिना लेबल वाले उदाहरणों का इस्तेमाल किया जाता है.

बिना लेबल वाले उदाहरण की तुलना लेबल वाले उदाहरण से करें.

अनसुपरवाइज़्ड मशीन लर्निंग

#clustering

#fundamentals

किसी डेटासेट में पैटर्न ढूंढने के लिए, मॉडल को ट्रेनिंग देना. आम तौर पर, लेबल नहीं किया गया डेटासेट.

बिना निगरानी वाली मशीन लर्निंग का सबसे सामान्य इस्तेमाल, डेटा को मिलते-जुलते उदाहरणों के ग्रुप में क्लस्टर करने के लिए किया जाता है. उदाहरण के लिए, बिना निगरानी वाली मशीन सीखने वाला एल्गोरिदम अलग-अलग प्रॉपर्टी के हिसाब से गानों का ग्रुप बना सकता है सबसे अच्छा है. नतीजे पाने वाले क्लस्टर किसी दूसरी मशीन का इनपुट बन सकते हैं सीखने के एल्गोरिदम (उदाहरण के लिए, संगीत का सुझाव देने वाली सेवा). उपयोगी लेबल कम या मौजूद न होने पर, क्लस्टरिंग से मदद मिल सकती है. उदाहरण के लिए, गलत इस्तेमाल और धोखाधड़ी जैसे मामलों में क्लस्टर की मदद से, इसकी मदद से लोग डेटा को बेहतर ढंग से समझ पाते हैं.

सुपरवाइज़्ड मशीन लर्निंग के साथ तुलना करें.

ज़्यादा जानकारी के लिए, आइकॉन पर क्लिक करें.

बिना निगरानी वाली मशीन लर्निंग का एक और उदाहरण, प्राइमरी कॉम्पोनेंट का विश्लेषण (पीसीए) है. उदाहरण के लिए, लाखों शॉपिंग कार्ट के कॉन्टेंट वाले डेटासेट पर पीसीए लागू करने से पता चल सकता है कि जिन शॉपिंग कार्ट में नींबू होते हैं उनमें अक्सर ऐंटासिड भी होते हैं.

---

अपलिफ़्ट मॉडलिंग

मॉडलिंग की एक तकनीक, जिसका इस्तेमाल आम तौर पर मार्केटिंग में किया जाता है. यह किसी "व्यक्ति" पर "ट्रीटमेंट" के "कारण से होने वाले असर" (इसे "बढ़ोतरी वाला असर" भी कहा जाता है) का मॉडल बनाती है. यहां दो उदाहरण दिए गए हैं:

• डॉक्टर, किसी मरीज (व्यक्ति) की उम्र और इलाज के इतिहास के आधार पर, किसी इलाज के तरीके (इलाज) से होने वाली मौतों में कमी (कारण से जुड़ा असर) का अनुमान लगाने के लिए, अपलिफ़्ट मॉडलिंग का इस्तेमाल कर सकते हैं.
• मार्केटर, किसी व्यक्ति (व्यक्तिगत) पर विज्ञापन (ट्रीटमेंट) की वजह से, खरीदारी की संभावना (क्यूज़ल इफ़ेक्ट) में बढ़ोतरी का अनुमान लगाने के लिए, अपलिफ़्ट मॉडलिंग का इस्तेमाल कर सकते हैं.

अपलिफ़्ट मॉडलिंग, कैटगरी या रिग्रेशन से अलग होती है. इसकी वजह यह है कि अपलिफ़्ट मॉडलिंग में कुछ लेबल हमेशा मौजूद नहीं होते. उदाहरण के लिए, बाइनरी ट्रीटमेंट में आधे लेबल. उदाहरण के लिए, किसी मरीज़ को इलाज मिल सकता है या नहीं; इसलिए, हम इन दोनों स्थितियों में से सिर्फ़ एक में यह देख सकते हैं कि मरीज़ ठीक होगा या नहीं (दोनों में कभी नहीं). अपलिफ़्ट मॉडल का मुख्य फ़ायदा यह है कि यह बिना निगरानी वाली स्थिति (काउंटरफ़ैक्चुअल) के लिए अनुमान जनरेट कर सकता है और इसका इस्तेमाल, असर का हिसाब लगाने के लिए कर सकता है.

ज़्यादा वज़न हासिल करना

डाउनसैंपल किया गया क्लास के बराबर वेट लागू करना डाउनसैंपल किया गया है.

उपयोगकर्ता मैट्रिक

#recsystems

सुझाव देने वाले सिस्टम में, एम्बेडिंग वेक्टर जनरेट किया गया मैट्रिक्स फ़ैक्टराइज़ेशन जो उपयोगकर्ता की प्राथमिकताओं के बारे में गुप्त संकेत देता है. यूज़र मैट्रिक्स की हर पंक्ति में, संबंधित डेटा की जानकारी होती है किसी एक उपयोगकर्ता के लिए, अलग-अलग लेटेंट सिग्नल की इंटेंसिटी. उदाहरण के लिए, फ़िल्म का सुझाव देने वाले किसी सिस्टम का इस्तेमाल करें. इस सिस्टम में, यूज़र मैट्रिक्स में मौजूद लेटल सिग्नल, किसी खास शैली में हर उपयोगकर्ता की दिलचस्पी दिखा सकते हैं. इसके अलावा, ये ऐसे सिग्नल भी हो सकते हैं जिनका विश्लेषण करना मुश्किल हो, क्योंकि इनमें कई फ़ैक्टर के साथ जटिल इंटरैक्शन शामिल होते हैं.

यूज़र मैट्रिक में, हर लатент फ़ीचर के लिए एक कॉलम और हर उपयोगकर्ता के लिए एक लाइन होती है. इसका मतलब है कि उपयोगकर्ता मैट्रिक्स में उतनी ही लाइनें हैं जितनी टारगेट की हैं ऐसा मैट्रिक्स जिसे फ़ैक्टराइज़ किया जा रहा है. उदाहरण के लिए, अगर 1,000,000 उपयोगकर्ताओं के लिए मूवी के सुझाव देने वाला सिस्टम दिया गया है, तो उपयोगकर्ता मैट्रिक में 1,000,000 लाइनें होंगी.

V

वैलिडेशन

#fundamentals

किसी मॉडल की क्वालिटी का शुरुआती आकलन. पुष्टि करने की प्रोसेस में, पुष्टि करने के लिए उपलब्ध डेटा सेट के आधार पर, मॉडल के अनुमान की क्वालिटी की जांच की जाती है.

पुष्टि करने वाला सेट, ट्रेनिंग सेट से अलग होता है. इसलिए, पुष्टि करने से ओवरफ़िटिंग से बचा जा सकता है.

पुष्टि करने वाले सेट के आधार पर मॉडल का आकलन करने को, टेस्टिंग का पहला राउंड माना जा सकता है. साथ ही, टेस्ट सेट के आधार पर मॉडल का आकलन करने को, टेस्टिंग का दूसरा राउंड माना जा सकता है.

वैलिडेशन लॉस

#fundamentals

यह एक मेट्रिक है, जो किसी खास इटरेशन के दौरान, पुष्टि करने वाले सेट पर मॉडल के लॉस को दिखाती है.

जनरलाइज़ेशन कर्व भी देखें.

पुष्टि करने वाला सेट

#fundamentals

शुरुआती परफ़ॉर्मेंस देने वाले dataset का सबसेट एक प्रशिक्षित मॉडल के आधार पर मूल्यांकन. आम तौर पर, पुष्टि करने के सेट के मुताबिक, ट्रेन किया गया मॉडल टेस्ट सेट के हिसाब से मॉडल का आकलन करने से पहले.

आम तौर पर, डेटासेट में मौजूद उदाहरणों को इन तीन अलग-अलग सबसेट में बांटा जाता है:

• ट्रेनिंग सेट
• पुष्टि करने वाला सेट
• टेस्ट सेट

आम तौर पर, डेटासेट में दिया गया हर उदाहरण, आगे के सबसेट. उदाहरण के लिए, कोई एक उदाहरण दोनों ट्रेनिंग सेट और पुष्टि करने वाले सेट, दोनों का इस्तेमाल किया जा सकता है.

वैल्यू इंप्यूटेशन

किसी छूटी हुई वैल्यू को स्वीकार किए जा सकने वाले विकल्प से बदलने की प्रोसेस. कोई वैल्यू मौजूद न होने पर, पूरे उदाहरण को खारिज किया जा सकता है या को बचाने के लिए, वैल्यू इंप्युटेशन का इस्तेमाल किया जा सकता है.

उदाहरण के लिए, ऐसे डेटासेट पर विचार करें जिसमें temperature सुविधा हो, जो जिन्हें हर घंटे रिकॉर्ड किया जाना चाहिए. हालांकि, तापमान की रीडिंग किसी खास घंटे के लिए उपलब्ध नहीं थी. यहां डेटासेट का एक सेक्शन दिया गया है:

टाइमस्टैंप	तापमान
1680561000	10
1680564600	12
1680568200	मौजूद नहीं
1680571800	20
1680575400	21
1680579000	21

सिस्टम, छूटे हुए उदाहरण को मिटा सकता है या छूटे हुए तापमान को 12, 16, 18 या 20 के तौर पर लागू कर सकता है. यह लागू करने का तरीका, एल्गोरिदम पर निर्भर करता है.

गायब होने वाले ग्रेडिएंट से जुड़ी समस्या

#seq

छिपी हुई लेयर के शुरुआती ग्रेडिएंट का असर कुछ डीप न्यूरल नेटवर्क को काफ़ी हद तक फ़्लैट (कम). ग्रेडिएंट में तेज़ी से गिरावट आने की वजह से डीप न्यूरल नेटवर्क में नोड के वेट में छोटे से बदलाव होता है. इसकी वजह से बहुत कम या बिलकुल भी नहीं. वैनिशिंग ग्रेडिएंट की समस्या वाले मॉडल को ट्रेन करना मुश्किल या असंभव हो जाता है. लॉन्ग शॉर्ट टर्म मेमोरी सेल इस समस्या को हल करती हैं.

विस्फोटक ग्रेडिएंट समस्या से तुलना करें.

वैरिएबल की अहमियत

#df

स्कोर का एक सेट, जो मॉडल के लिए हर फ़ीचर की अहमियत दिखाता है.

उदाहरण के लिए, किसी डिसिज़न ट्री पर विचार करें घर की कीमतों का अनुमान लगाता है. मान लें कि यह फ़ैसला लेने वाला ट्री, तीन सुविधाओं का इस्तेमाल करता है: साइज़, उम्र, और स्टाइल. अगर तीन सुविधाओं के लिए वैरिएबल की अहमियत का सेट, {size=5.8, age=2.5, style=4.7} के तौर पर कैलकुलेट किया जाता है, तो डिसीज़न ट्री के लिए साइज़, उम्र या स्टाइल से ज़्यादा अहम है.

वैरिएबल के महत्व को दिखाने वाली अलग-अलग मेट्रिक मौजूद हैं. मॉडल के अलग-अलग पहलुओं के बारे में जानकारी देने वाले एमएल विशेषज्ञ.

वैरिएशनल ऑटोएन्कोडर (VAE)

#language

ऑटोएन्कोडर का एक टाइप, जो इनपुट और आउटपुट के बीच के अंतर का फ़ायदा उठाकर, इनपुट के बदले हुए वर्शन जनरेट करता है. वैरिएशनल ऑटोएन्कोडर, जनरेटिव एआई के लिए काम के होते हैं.

वीएई, वैरिएशनल अनुमान पर आधारित होते हैं: यह अनुमान लगाने की तकनीक प्रॉबबिलिटी मॉडल के पैरामीटर दिए गए हैं.

वेक्टर

बहुत ओवरलोडेड टर्म जिसका मतलब अलग-अलग गणितीय और वैज्ञानिक क्षेत्रों के बारे में बात करते हैं. मशीन लर्निंग में, वेक्टर की दो प्रॉपर्टी होती हैं:

• डेटा टाइप: मशीन लर्निंग में वेक्टर में आम तौर पर फ़्लोटिंग-पॉइंट नंबर होते हैं.
• एलिमेंट की संख्या: यह वेक्टर की लंबाई या उसका डाइमेंशन होता है.

उदाहरण के लिए, ऐसा फ़ीचर वेक्टर इस्तेमाल करें जिसमें आठ चरण हों फ़्लोटिंग-पॉइंट नंबर. इस फ़ीचर वेक्टर की लंबाई या डाइमेंशन आठ है. ध्यान दें कि मशीन लर्निंग वेक्टर में अक्सर बहुत ज़्यादा डाइमेंशन होते हैं.

कई तरह की जानकारी को वेक्टर के तौर पर दिखाया जा सकता है. उदाहरण के लिए:

• पृथ्वी की सतह पर किसी भी पोज़िशन को 2-डाइमेंशन में दिखाया जा सकता है वेक्टर, जिसमें एक डाइमेंशन अक्षांश और दूसरा देशांतर होता है.
• 500 स्टॉक में से हर एक की मौजूदा कीमतों को इस तरह दिखाया जा सकता है: 500-डाइमेंशन वाला वेक्टर.
• क्लास की सीमित संख्या पर प्रॉबबिलिटी डिस्ट्रिब्यूशन को दिखाया जा सकता है वेक्टर के रूप में होता है. उदाहरण के लिए, मल्टीक्लास क्लासिफ़िकेशन सिस्टम, तीन में से किसी एक आउटपुट कलर (लाल, हरा या पीला) का अनुमान लगाता है. यह सिस्टम, वैक्टर (0.3, 0.2, 0.5) को P[red]=0.3, P[green]=0.2, P[yellow]=0.5 के तौर पर आउटपुट कर सकता है.

वेक्टर को जोड़ा जा सकता है; इसलिए, अलग-अलग तरह के मीडिया जिसे सिंगल वेक्टर के तौर पर दिखाया जाता है. कुछ मॉडल सीधे कई वन-हॉट एन्कोडिंग को एक साथ जोड़ना.

TPUs जैसे खास प्रोसेसर, वैक्टर पर गणितीय ऑपरेशन करने के लिए ऑप्टिमाइज़ किए जाते हैं.

वेक्टर, रैंक 1 का टेंसर होता है.

W

वासरस्टाइन लॉस

इसमें आम तौर पर, नुकसान पहुंचाने वाले फ़ंक्शन का इस्तेमाल किया जाता है जनरेटिव एआई की मदद से काम करने वाले नेटवर्क, के बीच की पृथ्वी मूवर की दूरी के आधार पर जनरेट किए गए डेटा और असली डेटा का डिस्ट्रिब्यूशन किया जाता है.

वज़न का डेटा

#fundamentals

वह वैल्यू जिसे मॉडल, किसी दूसरी वैल्यू से गुणा करता है. ट्रेनिंग, मॉडल के आदर्श वेट तय करने की प्रोसेस है. अनुमान, अनुमान लगाने के लिए, उन वेट का इस्तेमाल करने की प्रोसेस है जिन्हें ट्रेनिंग के दौरान सीखा गया है.

लीनियर मॉडल में वेट का उदाहरण देखने के लिए, आइकॉन पर क्लिक करें.

एक ऐसा लीनियर मॉडल मान लें जिसमें दो सुविधाएं हों. मान लें कि ट्रेनिंग से ये वेट (और बायस) तय होते हैं:

• बायस (बायस) b की वैल्यू 2.2 है
• एक सुविधा के साथ जुड़ा ₁ वज़न, 1.5 है.
• दूसरी सुविधा से जुड़ा वेट, w₂ 0.4 है.

अब नीचे दी गई सुविधा वाले एक उदाहरण की कल्पना करें मान:

• एक फ़ीचर, x₁ की वैल्यू 6 है.
• दूसरी सुविधा, x₂ की वैल्यू 10 है.

यह लीनियर मॉडल, 'y' का अनुमान लगाने के लिए, इस फ़ॉर्मूला का इस्तेमाल करता है:

$$y' = b + w_1x_1 + w_2x_2$$

इसलिए, अनुमान है:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

अगर कोई वज़न 0 है, तो इससे जुड़ी सुविधा मॉडल. उदाहरण के लिए, अगर w₁ 0 है, तो x₁ की वैल्यू का काम का नहीं है.

---

वेटेड ऑल्टरनेटिंग लीस्ट स्क्वेयर (WALS)

#recsystems

सुझाव देने वाले सिस्टम में, मैट्रिक फ़ैक्टोराइज़ेशन के दौरान मकसद के फ़ंक्शन को कम करने के लिए एल्गोरिदम. इससे, मौजूद न होने वाले उदाहरणों को कम अहमियत दी जा सकती है. WALS, ट्रैफ़िक को कम करने के लिए मूल आव्यूह और इसके आधार पर फिर से निर्माण के बीच गड़बड़ी का वर्ग पंक्ति के गुणक और कॉलम के फ़ैक्टराइज़ेशन को ठीक करने के बीच स्विच करना. इनमें से हर ऑप्टिमाइज़ेशन को सबसे कम स्क्वेयर (वर्ग) की मदद से हल किया जा सकता है कन्वर्ज़न ऑप्टिमाइज़ करने की सुविधा. जानकारी के लिए, यह देखें सुझाव देने वाले सिस्टम कोर्स.

वेटेड योग

#fundamentals

सभी ज़रूरी इनपुट वैल्यू का योग, उनसे जुड़ी वैल्यू से गुणा किया जाता है वज़न. उदाहरण के लिए, मान लें कि काम के इनपुट में ये शामिल हैं:

इनपुट वैल्यू	इनपुट वज़न
2	-1.3
-1	0.6
3	0.4

इसलिए, अहमियत के हिसाब से कुल वैल्यू यह होगी:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

अहम आंकड़े वाला योग, ऐक्टिवेशन फ़ंक्शन का इनपुट आर्ग्युमेंट होता है.

वाइड मॉडल

एक लीनियर मॉडल, जिसमें आम तौर पर कई स्पैर्स इनपुट फ़ीचर होते हैं. हम इसे "चौड़ी" कहते हैं से ऐसा मॉडल एक खास तरह का न्यूरल नेटवर्क है बड़ी संख्या में इनपुट हैं जो सीधे आउटपुट नोड से कनेक्ट होते हैं. वाइड मॉडल डीप मॉडल की तुलना में, अक्सर इन्हें डीबग और जांच करना आसान होता है. हालांकि, वाइड मॉडल, छिपी हुई लेयर की मदद से, नॉन-लाइनियरिटी को एक्सप्रैस नहीं कर सकते, लेकिन वे अलग-अलग तरीकों से नॉन-लाइनियरिटी को मॉडल करने के लिए, फ़ीचर क्रॉसिंग और बकेटाइज़ेशन जैसे ट्रांसफ़ॉर्मेशन का इस्तेमाल कर सकते हैं.

डीप मॉडल से कंट्रास्ट अलग करें.

चौड़ाई

न्यूरल नेटवर्क की किसी खास लेयर में न्यूरॉन की संख्या.

लोगों की सूझ-बूझ

#df

एक ऐसा आइडिया जिसमें किसी बड़े ग्रुप की राय या अनुमानों का औसत निकाला जाता है लोगों ("भीड़") से अक्सर बहुत ही अच्छे नतीजे मिलते हैं. उदाहरण के लिए, एक गेम में लोग यह अनुमान लगाते हैं कि एक बड़े जार में कितनी जेली बीन्स पैक की गई हैं. हालांकि, ज़्यादातर लोगों के लिए सभी अनुमानों का औसत गलत होता है. अनुभव के आधार पर इस तरह दिखाया जाता है कि जार में जेली बीन.

Ensembles, लोगों की सूझ-बूझ का एक सॉफ़्टवेयर एनालॉग है. भले ही, अलग-अलग मॉडल काफ़ी गलत अनुमान लगाते हों, लेकिन कई मॉडल के अनुमान का औसत निकालने से, अक्सर काफ़ी अच्छे अनुमान मिलते हैं. उदाहरण के लिए, हो सकता है कि कोई एक फ़ैसला लेने वाला ट्री खराब अनुमान लगाए, लेकिन फ़ैसला लेने वाला फ़ॉरेस्ट अक्सर बहुत अच्छे अनुमान लगाता है.

शब्दों को एम्बेड करना

#language

किसी शब्द के सेट के हर शब्द को प्रज़ेंट करने एम्बेडिंग वेक्टर; इसका मतलब है कि हर शब्द को 0.0 और 1.0 के बीच के फ़्लोटिंग-पॉइंट वैल्यू का वेक्टर. एक जैसे शब्द अलग-अलग मतलब वाले शब्दों की तुलना में, मतलब एक जैसे होते हैं. उदाहरण के लिए गाजर, अजवाइन, और खीरे इसमें एक ही तरह का निरूपण होता है, जो हवाई जहाज़, धूप का चश्मा, और टूथपेस्ट की ज़रूरत होती है.

X

XLA (एक्सीरेटेड लीनियर अलजेब्रा)

जीपीयू, सीपीयू, और एमएल ऐक्सेलरेटर के लिए, ओपन-सोर्स मशीन लर्निंग कंपाइलर.

XLA कंपाइलर, PyTorch, TensorFlow, और JAX जैसे लोकप्रिय एमएल फ़्रेमवर्क से मॉडल लेता है. साथ ही, उन्हें अलग-अलग हार्डवेयर प्लैटफ़ॉर्म पर बेहतर परफ़ॉर्मेंस के लिए ऑप्टिमाइज़ करता है. इन प्लैटफ़ॉर्म में जीपीयू, सीपीयू, और एमएल ऐक्सेलरेटर शामिल हैं.

Z

ज़ीरो-शॉट लर्निंग

मशीन लर्निंग ट्रेनिंग का एक टाइप, जिसमें मॉडल किसी ऐसे टास्क के लिए अनुमान का अनुमान लगाता है जिसके लिए उसे पहले ट्रेन नहीं किया गया था. दूसरे शब्दों में, मॉडल को किसी टास्क के लिए खास ट्रेनिंग नहीं दी गई है उदाहरण ताकि उस टास्क के लिए अनुमान लगाया जा सके.

ज़ीरो-शॉट प्रॉम्प्ट

#language

#generativeAI

ऐसा प्रॉम्प्ट जिसमें यह उदाहरण नहीं दिया गया हो कि आपको लार्ज लैंग्वेज मॉडल से किस तरह का जवाब चाहिए. उदाहरण के लिए:

एक प्रॉम्प्ट के हिस्से	नोट
किसी चुने गए देश की आधिकारिक मुद्रा क्या है?	वह सवाल जिसका जवाब आपको एलएलएम से देना है.
भारत:	असल क्वेरी.

बड़ा लैंग्वेज मॉडल इनमें से किसी का भी जवाब दे सकता है:

• रुपया
• INR
• ₹
• भारतीय रुपया
• रुपया
• भारतीय रुपया

सभी जवाब सही हैं, लेकिन हो सकता है कि आपको किसी खास फ़ॉर्मैट का इस्तेमाल करना पड़े.

ज़ीरो-शॉट प्रॉम्प्टिंग की तुलना इन शब्दों से करें:

• वन-शॉट प्रॉम्प्ट
• उदाहरण के साथ डाले गए प्रॉम्प्ट

Z-स्कोर नॉर्मलाइज़ेशन

#fundamentals

स्केलिंग तकनीक, जो रॉ कॉन्टेंट की जगह ले लेती है feature की वैल्यू, जो फ़्लोटिंग-पॉइंट वैल्यू दिखाती है मीन से मानक विचलन की संख्या. उदाहरण के लिए, ऐसी विशेषता पर विचार करें जिसका माध्य 800 है और जिसका मानक विचलन 100 है. इस टेबल में बताया गया है कि Z-स्कोर नॉर्मलाइज़ेशन कैसे तय किया जाता है रॉ वैल्यू को इसके Z-स्कोर पर मैप करेगा:

असल वैल्यू	Z-स्कोर
800	0
950	1.5 से ज़्यादा
575	से 2.25

इसके बाद, मशीन लर्निंग मॉडल Z-स्कोर के आधार पर ट्रेनिंग देता है के बजाय रॉ वैल्यू का इस्तेमाल करना चाहिए.