मशीन लर्निंग शब्दावली: सीक्वेंस मॉडल

इस पेज में सीक्वेंस मॉडल की ग्लॉसरी शब्द शामिल हैं. शब्दावली के सभी शब्दों के लिए, यहां क्लिक करें.

B

Bigram

#seq

#language

N-gram, जिसमें N=2 है.

E

विस्फोट ग्रेडिएंट की समस्या

#seq

डीप न्यूरल नेटवर्क (खास तौर पर, बार-बार होने वाले न्यूरल नेटवर्क) में ग्रेडिएंट का स्तर बहुत ज़्यादा (ज़्यादा) हो जाता है. तेज़ ग्रेडिएंट की वजह से, डीप न्यूरल नेटवर्क में हर नोड के वेट में अक्सर बहुत ज़्यादा अपडेट होते हैं.

जिस मॉडल में विस्फोट होने की वजह से बदलाव होता है उसे ट्रेन करना मुश्किल या नामुमकिन हो जाता है. ग्रेडिएंट क्लिपिंग से यह समस्या कम हो सकती है.

विलुप्त ग्रेडिएंट समस्या से तुलना करें.

म॰

गेट भूल जाओ

#seq

लॉन्ग शॉर्ट-टर्म मेमोरी सेल का वह हिस्सा जो सेल में जानकारी के फ़्लो को कंट्रोल करता है. सेल की स्थिति से किस जानकारी को खारिज करना है, यह तय करके गेट को हटाएं. इससे कॉन्टेक्स्ट बनाए रखने में मदद मिलती है.

G

ग्रेडिएंट क्लिपिंग

#seq

किसी मॉडल को ट्रेन करने के लिए, ग्रेडिएंट डिसेंट की ज़्यादा से ज़्यादा वैल्यू को आर्टिफ़िशियल

L

लॉन्ग शॉर्ट-टर्म मेमोरी (एलएसटीएम)

#seq

बार-बार होने वाले न्यूरल नेटवर्क में मौजूद एक तरह की सेल. इसका इस्तेमाल, लिखावट की पहचान करने, मशीन से अनुवाद करने, और इमेज कैप्शनिंग जैसे ऐप्लिकेशन में डेटा के क्रम को प्रोसेस करने के लिए किया जाता है. एलएसटीएम उस ग्रेडिएंट की समस्या को हल करते हैं जो लंबे डेटा क्रम की वजह से आरएनएन को ट्रेनिंग देने के दौरान होती है. इसके लिए, आरएनएन की पुरानी सेल से मिले नए इनपुट और कॉन्टेक्स्ट के आधार पर इंटरनल मेमोरी की स्थिति में इतिहास को बनाए रखा जाता है.

एलएसटीएम

#seq

लॉन्ग शॉर्ट-टर्म मेमोरी के लिए छोटा नाम.

नहीं

एन-ग्राम

#seq

#language

N शब्दों का व्यवस्थित क्रम. उदाहरण के लिए, वहीं पागलों की तरह, दो ग्राम का है. ऐसा इसलिए, क्योंकि ऑर्डर काम का होता है, इसलिए मकसद 2-ग्राम का, वहीं से अलग है.

नहीं	इस तरह के एन-ग्राम के लिए नाम	उदाहरण
2	बिगरैम या 2-ग्राम	जाने, जाने, लंच करने, और डिनर करने के लिए
3	ट्रिग्राम या 3-ग्राम	बहुत ज़्यादा खा लिया, तीन अंधा चूहे, बेल टोल
4	4-ग्राम	पार्क में टहलना, हवा में धूल, दाल खाया है

कई सामान्य भाषा की समझ वाले मॉडल, N-ग्राम का इस्तेमाल करके अनुमान लगाते हैं कि उपयोगकर्ता कौनसा शब्द टाइप करेगा या कौनसा शब्द बोलेगा. उदाहरण के लिए, मान लें कि किसी उपयोगकर्ता ने तीन ब्लाइंड्स टाइप किया है. ट्रायग्राम पर आधारित एनएलयू मॉडल से यह अनुमान लगाया जा सकता है कि उपयोगकर्ता अगली बार माइस टाइप करेगा.

शब्दों के बैग के साथ एन-ग्राम का कंट्रास्ट करें, जो शब्दों के बिना क्रम वाले सेट होते हैं.

R

बार-बार न्यूरल नेटवर्क

#seq

ऐसा न्यूरल नेटवर्क जो जान-बूझकर कई बार चलाया जाता है, जिसमें हर एक के हिस्से को अगली बार फ़ीड किया जाता है. खास तौर पर, पिछली बार चलाए गए डेटा में छिपी हुई लेयर, इनपुट का कुछ हिस्सा अगली बार उसी छिपी लेयर को उपलब्ध कराती है. बार-बार होने वाले न्यूरल नेटवर्क, खास तौर पर क्रमों का आकलन करने में मददगार होते हैं. इससे, छिपी हुई लेयर, क्रम के पहले वाले हिस्सों में न्यूरल नेटवर्क के पिछले हिस्से से सीख पाती हैं.

उदाहरण के लिए, नीचे दी गई इमेज में बार-बार दिखने वाला न्यूरल नेटवर्क दिखाया गया है, जो चार बार चलता है. ध्यान दें कि छिपी हुई लेयर में पहली बार चलाने पर जो वैल्यू सीखी गई हैं वे दूसरी बार चलाने पर उसी छिपी लेयर के इनपुट का हिस्सा बन जाती हैं. इसी तरह, छिपी हुई लेयर में दूसरी बार सेव की गई वैल्यू, तीसरी बार में उसी छिपी लेयर के इनपुट का हिस्सा बन जाती हैं. इस तरह, बार-बार आने वाला न्यूरल नेटवर्क, धीरे-धीरे अलग-अलग शब्दों के मतलब के बजाय, पूरे क्रम के मतलब को ट्रेन करता है और उसका मतलब बताता है.

आरएनएन

#seq

बार-बार दिखने वाले न्यूरल नेटवर्क को छोटा नाम.

S

सीक्वेंस मॉडल

#seq

ऐसा मॉडल जिसके इनपुट सिक्वेंशियल डिपेंडेंसी होती है. उदाहरण के लिए, पहले देखे गए वीडियो के क्रम से अगले वीडियो का अनुमान लगाना.

T

टाइमस्टेप

#seq

बार-बार आने वाले न्यूरल नेटवर्क में एक "अनरोलेड" सेल. उदाहरण के लिए, नीचे दिए गए डायग्राम में तीन टाइम-स्टेप दिखाए गए हैं (इसे t-1, t, और t+1 सबस्क्रिप्ट के साथ लेबल किया गया है):

ट्रिग्राम

#seq

#language

ऐसा N-gram है जिसमें N=3 है.

V

गायब होने वाले ग्रेडिएंट की समस्या

#seq

कुछ डीप न्यूरल नेटवर्क की शुरुआती छिपी हुई लेयर के ग्रेडिएंट का अलग-अलग तरह से फ़्लैट (कम) होने का रुझान. धीरे-धीरे लेवल कम होने से, डीप न्यूरल नेटवर्क के नोड पर मौजूद वेट में तेज़ी से छोटे-छोटे बदलाव होते हैं. इस वजह से, या तो बहुत कम या कोई सीख नहीं पाती. खत्म होते ग्रेडिएंट की समस्या से पीड़ित मॉडल को ट्रेनिंग देना मुश्किल या असंभव हो जाता है. लॉन्ग शॉर्ट-टर्म मेमोरी सेल इस समस्या को हल कर सकती हैं.

विस्फोटक ग्रेडिएंट की समस्या से तुलना करें.