एम्बेड करने के कई तरीके हैं, जिनमें Google में बनाया जाने वाला आधुनिक एल्गोरिदम शामिल है.
मानक आयाम कम करने की तकनीकें
आज भी ऐसी कई गणित की तकनीकें इस्तेमाल की जा रही हैं जिनकी मदद से, ज़्यादा डाइमेंशन वाली जगह के अहम स्ट्रक्चर को कैप्चर किया जा सकता है. सिद्धांत में, इन तकनीकों में से किसी का भी इस्तेमाल करके, मशीन लर्निंग सिस्टम को एम्बेड किया जा सकता है.
उदाहरण के लिए, प्रिंसिपल कॉम्पोनेंट ऐनलिसिस (पीसीए) का इस्तेमाल, वर्ड एम्बेडिंग बनाने के लिए किया गया है. शब्दों के वेक्टर का बैग जैसे इंस्टेंस के सेट को देखते हुए, पीसीए ज़्यादा जुड़े हुए डाइमेंशन ढूंढने की कोशिश करता है जिन्हें एक ही डाइमेंशन में छोटा किया जा सकता है.
Word2vec
Word2vec एक एल्गोरिदम है, जिसे Google ने वर्ड एम्बेडिंग की ट्रेनिंग के लिए बनाया है. Word2vec एम्बेड करने के लिए वेक्टर को ज्यामितीय रूप से बंद करने के लिए डिस्ट्रिब्यूशन हाइपोथीसिस पर निर्भर करता है.
डिस्ट्रिब्यूशन हाइपोथीसिस के मुताबिक, आस-पास के शब्दों वाले शब्दों का मतलब एक जैसा होता है. "dog" &"cat" अक्सर शब्द और कोट के साथ-साथ जानवरों के कोट के पास आते हैं, और इस तथ्य से उनकी सिमेंटिक समानता का पता चलता है. भाषाविज्ञानी जॉन फ़र्ट के बारे में 1957 में पता चलता है, &बच्ची, आपको ऐसी कंपनी के बारे में पता चलेगा जो इसे बनाए रखती है.
Word2Vec संदर्भ के हिसाब से जानकारी का इस्तेमाल करता है. इसके लिए, एक न्यूरल नेट को ट्रेनिंग दी जाती है, ताकि शब्दों के ग्रुप को मिलाकर, उनके ग्रुप में शामिल शब्दों को असल में एक-दूसरे से अलग किया जा सके. इनपुट लेयर में टारगेट किए गए किसी शब्द का बहुत कम इस्तेमाल किया जाता है. साथ ही, इसमें एक या ज़्यादा संदर्भ शब्दों को शामिल किया जाता है. यह इनपुट, एक छोटी और छिपी हुई लेयर से कनेक्ट होता है.
एल्गोरिदम के एक वर्शन में, सिस्टम टारगेट किए गए शब्द के लिए किसी भी क्रम में शोर के शब्द को हटाकर एक नेगेटिव उदाहरण बनाता है. सकारात्मक उदाहरण और कोट को देखते हुए, विमान उड़ान भरता और कोट करता रहता है, तो हो सकता है कि सिस्टम नेगेटिव कॉन्टेक्स्ट और कोटिंग के साथ जॉगिंग फ़्लाज़ और कोट बना ले.
एल्गोरिदम का दूसरा वर्शन, टारगेट किए गए सही शब्द को किसी भी क्रम में चुने गए शब्दों से जोड़कर नेगेटिव उदाहरण बनाता है. इसलिए, हो सकता है कि इसके पॉज़िटिव उदाहरण (मज़बूत, हवाई जहाज़), और नेगेटिव उदाहरण (कंपाइल किया गया, हवाई जहाज़), और (उदाहरण के लिए, हवाई जहाज़) और यह जानना भी शामिल हो सकता है कि असल में किन जोड़ी को एक साथ दिखाया गया है.
हालांकि, क्लासिफ़ायर, सिस्टम के किसी भी वर्शन का असली लक्ष्य नहीं है. मॉडल प्रशिक्षित होने के बाद, आपके पास एम्बेड करने की सुविधा है. आप शब्दों को छोटे वेक्टर में दिखाने के लिए, इनपुट लेयर को छिपी हुई लेयर से जोड़ सकते हैं. एम्बेड करने की इस प्रक्रिया का इस्तेमाल, क्लासीफ़ायर के तौर पर किया जा सकता है.
word2vec के बारे में ज़्यादा जानकारी के लिए, tensorflow.org पर ट्यूटोरियल देखें
बड़े मॉडल के हिस्से के रूप में एम्बेडिंग को प्रशिक्षित करना
आप अपने टारगेट टास्क के लिए, न्यूरल नेटवर्क के हिस्से के तौर पर एम्बेडिंग भी सीख सकते हैं. इस अप्रोच से आपको अपने खास सिस्टम के लिए एक एम्बेड किया गया पसंद आता है, लेकिन एम्बेड करने की ट्रेनिंग अलग से नहीं हो सकती.
आम तौर पर, कम डेटा होने पर (या ऐसा घना डेटा जिसे आप जोड़ना चाहते हैं) आप ऐसी एम्बेड यूनिट बना सकते हैं जो सिर्फ़ साइज़ की छिपी हुई इकाई की खास तरह की हो. इस एम्बेडिंग लेयर को किसी भी अन्य सुविधा और छिपी हुई लेयर के साथ जोड़ा जा सकता है. किसी भी डीएनएन की तरह ही, आखिरी लेयर को ऑप्टिमाइज़ किया जाएगा. उदाहरण के लिए, मान लें कि हम मिलकर काम करने वाले फ़िल्टर लागू कर रहे हैं, जिसका मकसद दूसरे उपयोगकर्ताओं की पसंद के हिसाब से उपयोगकर्ता की पसंद का अनुमान लगाना है. हम इसे निगरानी में रखे गए लर्निंग प्रॉब्लम के तौर पर मॉडल कर सकते हैं. इसके लिए, हम कुछ ऐसी फ़िल्मों को अपने-आप अलग कर देते हैं या कुछ समय के लिए रोक देते हैं जिन्हें उपयोगकर्ता ने अच्छे लेबल के तौर पर देखा है. इसके बाद, हम सॉफ़्टमैक्स गतिविधि को ऑप्टिमाइज़ करते हैं.
पांचवां डायग्राम. मिलकर काम करने के लिए फ़िल्टर करने वाले डेटा से फ़िल्म जोड़ने का तरीका सीखने के लिए, डीएनएन आर्किटेक्चर का एक सैंपल.
दूसरे उदाहरण के तौर पर, अगर आप घर के किराये का अनुमान लगाने के लिए, DNN के शब्दों में एम्बेड किए गए शब्दों के लिए एम्बेड करने वाली लेयर बनाना चाहते हैं, तो आप L2 खो सकते हैं. इसके लिए, आपको ट्रेनिंग डेटा में, लेबल के तौर पर घरों की जानी-पहचानी सेल वाली कीमत का इस्तेमाल करना होगा.
d-डाइमेंशन वाला एम्बेडिंग सीखते समय, हर आइटम को d डाइमेंशन वाले स्पेस में एक पॉइंट के तौर पर मैप किया जाता है, ताकि इस स्पेस में मिलते-जुलते आइटम पास हों. इमेज 6, एम्बेड करने की लेयर और ज्यामितीय व्यू में सीखे गए महत्व के बीच संबंध बताने में मदद करती है. किनारा 1-डाइमेंशन वाली एम्बेड करने वाली लेयर में इनपुट नोड और नोड के बीच का महत्व रखता है जो हर d अक्ष के निर्देशांक मान के मुताबिक होता है.
छठा डायग्राम. एम्बेड किए जा रहे लेयर के वज़न का ज्यामितीय व्यू.