मशीन लर्निंग शब्दावली: सीक्वेंस मॉडल

इस पेज पर, सीक्वेंस मॉडल की ग्लॉसरी के शब्द मौजूद हैं. ग्लॉसरी में मौजूद सभी शब्दों के लिए, यहां क्लिक करें.

B

bigram

#seq

#language

N-ग्राम, जिसमें N=2 है.

E

एक्सप्लॉडिंग ग्रेडिएंट की समस्या

#seq

डीप न्यूरल नेटवर्क (खास तौर पर, रीकurrent न्यूरल नेटवर्क) में ग्रेडिएंट का अचानक बहुत ज़्यादा (ऊंचा) हो जाना. तेज़ ग्रेडिएंट की वजह से, डीप न्यूरल नेटवर्क में हर नोड के वेट में अक्सर काफ़ी ज़्यादा अपडेट होते हैं.

एक्सप्लॉडिंग ग्रेडिएंट की समस्या वाले मॉडल को ट्रेन करना मुश्किल या असंभव हो जाता है. ग्रेडिएंट क्लिपिंग की मदद से, इस समस्या को कम किया जा सकता है.

वैनिशिंग ग्रेडिएंट की समस्या से तुलना करें.

F

गेट को भूल जाओ

#seq

लघु अवधि की मेमोरी सेल का वह हिस्सा जो सेल में जानकारी के फ़्लो को कंट्रोल करता है. फ़ॉरगेट गेट, सेल स्टेटस से किस जानकारी को हटाना है, यह तय करके संदर्भ बनाए रखते हैं.

G

ग्रेडिएंट क्लिपिंग

#seq

आम तौर पर इस्तेमाल होने वाला एक तरीका, जिससे एक्सप्लॉडिंग ग्रेडिएंट की समस्या को कम किया जा सकता है. इसके लिए, मॉडल को ट्रेन करने के लिए, ग्रेडिएंट डिसेंट का इस्तेमाल करते समय, ग्रेडिएंट की ज़्यादा से ज़्यादा वैल्यू को कृत्रिम रूप से सीमित (क्लिपिंग) किया जाता है.

L

लॉन्ग शॉर्ट-टर्म मेमोरी (एलएसटीएम)

#seq

रीकurrent न्यूरल नेटवर्क में एक तरह की सेल, जिसका इस्तेमाल ऐप्लिकेशन में डेटा के क्रम को प्रोसेस करने के लिए किया जाता है. जैसे, लिखावट पहचानने, मशीन से अनुवाद करने, और इमेज के कैप्शन देने जैसे ऐप्लिकेशन. एलएसटीएम, वैनिशिंग ग्रेडिएंट की समस्या को हल करते हैं. यह समस्या, लंबे डेटा क्रम की वजह से आरएनएन को ट्रेनिंग देते समय होती है. एलएसटीएम, आरएनएन की पिछली सेल के नए इनपुट और कॉन्टेक्स्ट के आधार पर, इंटरनल मेमोरी स्टेटस में इतिहास को बनाए रखते हैं.

LSTM

#seq

लॉन्ग शॉर्ट-टर्म मेमोरी का छोटा नाम.

नहीं

एन-ग्राम

#seq

#language

N शब्दों का क्रम. उदाहरण के लिए, truly madly एक दो-ग्राम है. क्रम का ज़रूरी होना, madly truly को truly madly से अलग बनाता है.

नहीं	इस तरह के एन-ग्राम का नाम	उदाहरण
2	बिग्राम या दो वर्णों वाला ग्रुप	जाना, जाना, लंच करना, डिनर करना
3	ट्रिग्रम या तीन वर्णों का ग्रुप	ate too much, three blind mice, the bell tolls
4	4-gram	पार्क में टहलना, हवा में धूल उड़ना, लड़के ने दाल खाना

सामान्य भाषा को समझने वाले कई मॉडल, उपयोगकर्ता के टाइप किए गए या बोले गए अगले शब्द का अनुमान लगाने के लिए, एन-ग्राम पर भरोसा करते हैं. उदाहरण के लिए, मान लें कि किसी उपयोगकर्ता ने three blind टाइप किया. ट्राइग्राम पर आधारित एनएलयू मॉडल, इस बात का अनुमान लगा सकता है कि उपयोगकर्ता अगले शब्द के तौर पर चूहे टाइप करेगा.

एन-ग्राम की तुलना बैग ऑफ़ वर्ड से करें. ये शब्दों के क्रम से लगाए गए सेट होते हैं.

R

रीकर्सिव न्यूरल नेटवर्क

#seq

ऐसा न्यूरल नेटवर्क जिसे जान-बूझकर कई बार चलाया जाता है. इसमें हर रन के कुछ हिस्से, अगले रन में फ़ीड होते हैं. खास तौर पर, पिछले रन की छिपी हुई लेयर, अगले रन में उसी छिपी हुई लेयर को इनपुट का कुछ हिस्सा देती हैं. रीकरेंट न्यूरल नेटवर्क, खास तौर पर क्रम का आकलन करने के लिए काम के होते हैं. इससे, क्रम के शुरुआती हिस्सों पर न्यूरल नेटवर्क के पिछले रन से, हेडेड लेयर सीख सकती हैं.

उदाहरण के लिए, नीचे दिए गए चित्र में एक ऐसा रीकरेंट न्यूरल नेटवर्क दिखाया गया है जो चार बार चलता है. ध्यान दें कि पहले रन में, छिपी हुई लेयर में सीखी गई वैल्यू, दूसरे रन में उन ही छिपी हुई लेयर के इनपुट का हिस्सा बन जाती हैं. इसी तरह, दूसरी बार चलाने पर, छिपी हुई लेयर में सीखी गई वैल्यू, तीसरे बार चलाने पर उसी छिपी हुई लेयर के इनपुट का हिस्सा बन जाती हैं. इस तरह, बार-बार इस्तेमाल होने वाला न्यूरल नेटवर्क, धीरे-धीरे ट्रेनिंग लेता है और सिर्फ़ अलग-अलग शब्दों के बजाय पूरे क्रम का मतलब बताता है.

RNN

#seq

रीकurrent न्यूरल नेटवर्क का छोटा नाम.

S

सीक्वेंसी मॉडल

#seq

ऐसा मॉडल जिसका इनपुट क्रम से जुड़ा हो. उदाहरण के लिए, पहले देखे गए वीडियो के क्रम के आधार पर, अगला वीडियो देखने का अनुमान लगाना.

T

टाइमस्टेप

#seq

रीकurrent न्यूरल नेटवर्क में एक "अनरोल्ड" सेल. उदाहरण के लिए, नीचे दिए गए फ़्लो चार्ट में तीन टाइमस्टेप दिखाए गए हैं. इन्हें सबस्क्रिप्ट t-1, t, और t+1 से लेबल किया गया है:

ट्रिग्रम

#seq

#language

एन-ग्राम, जिसमें N=3 है.

V

वैनिशिंग ग्रेडिएंट की समस्या

#seq

कुछ डीप न्यूरल नेटवर्क की शुरुआती हाइडन लेयर के ग्रेडिएंट, आश्चर्यजनक रूप से सपाट (कम) हो जाते हैं. ग्रेडिएंट के कम होने पर, डीप न्यूरल नेटवर्क में नोड के वेट में ज़्यादा बदलाव नहीं होते. इस वजह से, मशीन लर्निंग की प्रोसेस धीमी हो जाती है या पूरी नहीं हो पाती. वैनिशिंग ग्रेडिएंट की समस्या वाले मॉडल को ट्रेन करना मुश्किल या असंभव हो जाता है. लंबी शॉर्ट-टर्म मेमोरी सेल इस समस्या को हल करती हैं.

एक्सप्लोडिंग ग्रेडिएंट की समस्या से तुलना करें.