এই বিভাগটি এম্বেডিং পাওয়ার বিভিন্ন উপায় কভার করে, সেইসাথে স্ট্যাটিক এমবেডিংগুলিকে কীভাবে প্রাসঙ্গিক এম্বেডিংয়ে রূপান্তর করা যায়।
মাত্রিকতা হ্রাস কৌশল
অনেক গাণিতিক কৌশল রয়েছে যা একটি নিম্ন-মাত্রিক স্থানের উচ্চ-মাত্রিক স্থানের গুরুত্বপূর্ণ কাঠামোগুলিকে ক্যাপচার করে। তাত্ত্বিকভাবে, এই কৌশলগুলির যেকোনো একটি মেশিন লার্নিং সিস্টেমের জন্য একটি এমবেডিং তৈরি করতে ব্যবহার করা যেতে পারে।
উদাহরণস্বরূপ, প্রধান উপাদান বিশ্লেষণ (PCA) শব্দ এমবেডিং তৈরি করতে ব্যবহার করা হয়েছে। শব্দ ভেক্টরের ব্যাগের মতো উদাহরণগুলির একটি সেট দেওয়া, PCA অত্যন্ত পারস্পরিক সম্পর্কযুক্ত মাত্রাগুলি খুঁজে বের করার চেষ্টা করে যা একটি একক মাত্রায় ভেঙে যেতে পারে।
একটি নিউরাল নেটওয়ার্কের অংশ হিসাবে একটি এমবেডিং প্রশিক্ষণ
আপনার টার্গেট টাস্কের জন্য একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণের সময় আপনি একটি এমবেডিং তৈরি করতে পারেন। এই পদ্ধতিটি আপনাকে আপনার নির্দিষ্ট সিস্টেমের জন্য ভালভাবে কাস্টমাইজ করা একটি এমবেডিং পায়, তবে আলাদাভাবে এমবেডিং প্রশিক্ষণের চেয়ে বেশি সময় নিতে পারে।
সাধারণভাবে, আপনি আপনার নিউরাল নেটওয়ার্কে d আকারের একটি লুকানো স্তর তৈরি করতে পারেন যা এম্বেডিং স্তর হিসাবে মনোনীত হয়, যেখানে d লুকানো স্তরের নোডের সংখ্যা এবং এমবেডিং স্থানের মাত্রার সংখ্যা উভয়ই উপস্থাপন করে। এই এমবেডিং স্তরটি অন্য কোনো বৈশিষ্ট্য এবং লুকানো স্তরগুলির সাথে মিলিত হতে পারে। যেকোনো গভীর নিউরাল নেটওয়ার্কের মতো, নেটওয়ার্কের আউটপুট স্তরের নোডগুলিতে ক্ষতি কমাতে প্রশিক্ষণের সময় প্যারামিটারগুলি অপ্টিমাইজ করা হবে।
আমাদের খাবারের সুপারিশের উদাহরণে ফিরে আসা, আমাদের লক্ষ্য হল ব্যবহারকারীরা তাদের বর্তমান প্রিয় খাবারের উপর ভিত্তি করে নতুন খাবারের পূর্বাভাস দেওয়া। প্রথমত, আমরা আমাদের ব্যবহারকারীদের সেরা পাঁচটি প্রিয় খাবারের অতিরিক্ত ডেটা কম্পাইল করতে পারি। তারপর, আমরা এই কাজটিকে একটি তত্ত্বাবধানে শেখার সমস্যা হিসাবে মডেল করতে পারি। আমরা এই সেরা পাঁচটি খাবারের মধ্যে চারটি ফিচার ডেটা হিসাবে সেট করেছি এবং তারপরে পঞ্চম খাবারটিকে এলোমেলোভাবে ইতিবাচক লেবেল হিসাবে আলাদা করে রেখেছি যা আমাদের মডেল ভবিষ্যদ্বাণী করার লক্ষ্য রাখে, একটি সফটম্যাক্স ক্ষতি ব্যবহার করে মডেলের ভবিষ্যদ্বাণীগুলিকে অপ্টিমাইজ করে৷
প্রশিক্ষণের সময়, নিউরাল নেটওয়ার্ক মডেল প্রথম লুকানো স্তরে নোডগুলির জন্য সর্বোত্তম ওজন শিখবে, যা এম্বেডিং স্তর হিসাবে কাজ করে। উদাহরণস্বরূপ, যদি মডেলটিতে প্রথম লুকানো স্তরে তিনটি নোড থাকে তবে এটি নির্ধারণ করতে পারে যে খাদ্য আইটেমের তিনটি সর্বাধিক প্রাসঙ্গিক মাত্রা হল স্যান্ডউইচনেস, ডেজার্টনেস এবং তরলতা। চিত্র 12 একটি ত্রিমাত্রিক ভেক্টরে রূপান্তরিত "হট ডগ" এর জন্য এক-হট এনকোডেড ইনপুট মান দেখায়।
![চিত্র 12. হট ডগের এক-হট এনকোডিংয়ের জন্য নিউরাল নেট। প্রথম স্তর একটি 5টি নোড সহ ইনপুট স্তর, প্রতিটি খাবারের একটি আইকন সহ টীকা প্রতিনিধিত্ব করে (বোর্শট, হট ডগ, সালাদ, ..., এবং শাওয়ারমা)। এই নোড আছে মান [0, 1, 0, ..., 0], যথাক্রমে, এক-হট প্রতিনিধিত্ব করে 'হট ডগ' এর এনকোডিং। ইনপুট স্তরটি একটি 3-নোড এম্বেডিংয়ের সাথে সংযুক্ত স্তর, যার নোডের মান যথাক্রমে 2.98, -0.75 এবং 0 রয়েছে। দ এমবেডিং স্তরটি একটি 5-নোডের লুকানো স্তরের সাথে সংযুক্ত থাকে, যা তখন হয় একটি 5-নোড আউটপুট স্তরের সাথে সংযুক্ত।](https://developers.google.cn/static/machine-learning/crash-course/embeddings/images/one_hot_hot_dog_embedding.png?hl=bn)
hot dog এক-হট এনকোডিং। একটি এম্বেডিং স্তর এক-হট এনকোডিংকে ত্রি-মাত্রিক এমবেডিং ভেক্টরে অনুবাদ করে [2.98, -0.75, 0] ।প্রশিক্ষণের সময়, এমবেডিং স্তরের ওজনগুলি অপ্টিমাইজ করা হবে যাতে অনুরূপ উদাহরণগুলির জন্য এমবেডিং ভেক্টর একে অপরের কাছাকাছি থাকে। পূর্বে উল্লিখিত হিসাবে, একটি প্রকৃত মডেল তার এমবেডিংয়ের জন্য যে মাত্রাগুলি বেছে নেয় তা এই উদাহরণের মতো স্বজ্ঞাত বা বোধগম্য হওয়ার সম্ভাবনা কম।
প্রাসঙ্গিক এম্বেডিং
word2vec স্ট্যাটিক এমবেডিং ভেক্টরগুলির একটি সীমাবদ্ধতা হল যে শব্দগুলি বিভিন্ন প্রসঙ্গে বিভিন্ন জিনিসকে বোঝাতে পারে। "হ্যাঁ" এর অর্থ নিজেই একটি জিনিস, কিন্তু "হ্যাঁ, ঠিক" বাক্যাংশে এর বিপরীত। "পোস্ট" এর অর্থ হতে পারে "মেল," "মেইলে রাখা," "কানের দুল সমর্থন," "ঘোড়া দৌড়ের শেষে চিহ্নিতকারী," "উত্তর উৎপাদন," "স্তম্ভ," "একটি নোটিশ দেওয়া," " অন্যান্য সম্ভাবনার মধ্যে একজন প্রহরী বা সৈনিক, বা "পরে" স্থাপন করা।
যাইহোক, স্ট্যাটিক এম্বেডিংয়ের সাথে, প্রতিটি শব্দ ভেক্টর স্পেসের একটি একক বিন্দু দ্বারা উপস্থাপিত হয়, যদিও এর বিভিন্ন অর্থ থাকতে পারে। শেষ অনুশীলনে , আপনি কমলা শব্দের জন্য স্ট্যাটিক এম্বেডিংয়ের সীমাবদ্ধতা আবিষ্কার করেছেন, যা একটি রঙ বা এক ধরনের ফল বোঝাতে পারে। শুধুমাত্র একটি স্ট্যাটিক এম্বেডিংয়ের মাধ্যমে, word2vec ডেটাসেটে প্রশিক্ষিত হলে কমলা সবসময় রসের চেয়ে অন্যান্য রঙের কাছাকাছি থাকবে।
এই সীমাবদ্ধতা মোকাবেলার জন্য প্রাসঙ্গিক এম্বেডিং তৈরি করা হয়েছিল। প্রাসঙ্গিক এম্বেডিংগুলি একটি শব্দকে একাধিক এমবেডিং দ্বারা প্রতিনিধিত্ব করার অনুমতি দেয় যা আশেপাশের শব্দগুলির পাশাপাশি শব্দটি সম্পর্কে তথ্য অন্তর্ভুক্ত করে। ডেটাসেটে শব্দটি ধারণকারী প্রতিটি অনন্য বাক্যের জন্য অরেঞ্জের একটি আলাদা এম্বেডিং থাকবে।
প্রাসঙ্গিক এম্বেডিং তৈরি করার কিছু পদ্ধতি, যেমন ELMo , একটি উদাহরণের স্ট্যাটিক এমবেডিং গ্রহণ করে, যেমন একটি বাক্যে একটি শব্দের জন্য word2vec ভেক্টর, এবং এটিকে একটি ফাংশন দ্বারা রূপান্তরিত করে যা এটির চারপাশের শব্দগুলি সম্পর্কে তথ্য অন্তর্ভুক্ত করে। এটি একটি প্রাসঙ্গিক এম্বেডিং তৈরি করে।
প্রাসঙ্গিক এম্বেডিং সম্পর্কে বিস্তারিত জানার জন্য এখানে ক্লিক করুন
- বিশেষত ELMO মডেলগুলির জন্য, স্ট্যাটিক এম্বেডিং অন্যান্য স্তরগুলি থেকে নেওয়া এমবেডিংগুলির সাথে একত্রিত হয়, যা বাক্যের সামনে-টু-ব্যাক এবং ব্যাক-টু-ফ্রন্ট রিডিং এনকোড করে।
- BERT মডেলগুলি সিকোয়েন্সের অংশটিকে মাস্ক করে যা মডেলটি ইনপুট হিসাবে নেয়।
- ট্রান্সফরমার মডেলগুলি প্রতিটি পৃথক শব্দের সাথে ক্রমানুসারে অন্যান্য শব্দের প্রাসঙ্গিকতা ওজন করার জন্য একটি স্ব-মনোযোগ স্তর ব্যবহার করে। তারা একটি পজিশনাল এমবেডিং ম্যাট্রিক্স থেকে প্রাসঙ্গিক কলাম যুক্ত করে ( পজিশনাল এনকোডিং দেখুন) প্রতিটি পূর্বে শেখা টোকেন এম্বেডিং এ, এলিমেন্ট বাই এলিমেন্ট, ইনপুট এমবেডিং তৈরি করতে যা অনুমানের জন্য বাকি মডেলের মধ্যে দেওয়া হয়। এই ইনপুট এমবেডিং , প্রতিটি স্বতন্ত্র পাঠ্য ক্রম থেকে অনন্য, একটি প্রাসঙ্গিক এম্বেডিং।
যদিও উপরে বর্ণিত মডেলগুলি ভাষার মডেল, প্রাসঙ্গিক এম্বেডিংগুলি চিত্রের মতো অন্যান্য জেনারেটিভ কাজগুলিতে কার্যকর। একটি ঘোড়ার ফটোতে পিক্সেল আরজিবি মানগুলির এমবেডিং মডেলটিকে আরও তথ্য প্রদান করে যখন প্রতিটি পিক্সেলের প্রতিনিধিত্বকারী একটি অবস্থানগত ম্যাট্রিক্স এবং প্রতিবেশী পিক্সেলের কিছু এনকোডিংয়ের সাথে মিলিত হয়, প্রাসঙ্গিক এম্বেডিং তৈরি করে, শুধুমাত্র আরজিবি মানের মূল স্ট্যাটিক এম্বেডিংয়ের চেয়ে। .