এই পৃষ্ঠায় সিকোয়েন্স মডেলের শব্দকোষ রয়েছে। সকল শব্দকোষের জন্য এখানে ক্লিক করুন ।
খ
বিগগ্রাম
একটি N-গ্রাম যার মধ্যে N=2।
ই
বিস্ফোরিত গ্রেডিয়েন্ট সমস্যা
গভীর নিউরাল নেটওয়ার্কে (বিশেষ করে পুনরাবৃত্ত নিউরাল নেটওয়ার্ক ) গ্রেডিয়েন্টের প্রবণতা আশ্চর্যজনকভাবে খাড়া (উচ্চ) হয়ে যায়। খাড়া গ্রেডিয়েন্টগুলি প্রায়ই গভীর নিউরাল নেটওয়ার্কে প্রতিটি নোডের ওজনে খুব বড় আপডেট ঘটায়।
বিস্ফোরণ গ্রেডিয়েন্ট সমস্যায় ভুগছেন এমন মডেলদের প্রশিক্ষণ দেওয়া কঠিন বা অসম্ভব হয়ে পড়ে। গ্রেডিয়েন্ট ক্লিপিং এই সমস্যাটি প্রশমিত করতে পারে।
অদৃশ্য গ্রেডিয়েন্ট সমস্যার সাথে তুলনা করুন।
চ
গেট ভুলে যান
একটি দীর্ঘ স্বল্পমেয়াদী মেমরি কোষের অংশ যা কোষের মাধ্যমে তথ্যের প্রবাহ নিয়ন্ত্রণ করে। কক্ষের অবস্থা থেকে কোন তথ্য বাতিল করতে হবে তা নির্ধারণ করে গেটগুলি ভুলে যাওয়া প্রসঙ্গ বজায় রাখে।
জি
গ্রেডিয়েন্ট ক্লিপিং
একটি মডেলকে প্রশিক্ষণের জন্য গ্রেডিয়েন্ট ডিসেন্ট ব্যবহার করার সময় গ্রেডিয়েন্টের সর্বোচ্চ মান কৃত্রিমভাবে সীমিত (ক্লিপিং) করে বিস্ফোরিত গ্রেডিয়েন্ট সমস্যা প্রশমিত করার জন্য একটি সাধারণভাবে ব্যবহৃত প্রক্রিয়া।
এল
লং শর্ট-টার্ম মেমরি (LSTM)
একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্কের এক ধরনের কোষ যা অ্যাপ্লিকেশনগুলিতে ডেটার ক্রম প্রক্রিয়া করতে ব্যবহৃত হয় যেমন হস্তাক্ষর স্বীকৃতি, মেশিন অনুবাদ এবং চিত্র ক্যাপশনিং। LSTMs অদৃশ্য হয়ে যাওয়া গ্রেডিয়েন্ট সমস্যাটির সমাধান করে যা RNN-এর পূর্ববর্তী কোষ থেকে নতুন ইনপুট এবং প্রসঙ্গের উপর ভিত্তি করে একটি অভ্যন্তরীণ মেমরি অবস্থায় ইতিহাস বজায় রেখে দীর্ঘ ডেটা সিকোয়েন্সের কারণে RNN-কে প্রশিক্ষণ দেওয়ার সময় ঘটে।
এলএসটিএম
দীর্ঘ স্বল্পমেয়াদী মেমরির সংক্ষিপ্ত রূপ।
এন
এন-গ্রাম
N শব্দের একটি আদেশকৃত ক্রম। উদাহরণস্বরূপ, সত্যিকারের পাগল হল একটি 2-গ্রাম। কারণ অর্ডার প্রাসঙ্গিক, madly সত্যি সত্যি পাগলের চেয়ে আলাদা 2-গ্রাম।
| এন | এই ধরনের N-গ্রামের জন্য নাম(গুলি) | উদাহরণ |
|---|---|---|
| 2 | বিগগ্রাম বা 2-গ্রাম | যেতে, যেতে, দুপুরের খাবার খেতে, রাতের খাবার খেতে |
| 3 | ট্রিগ্রাম বা 3-গ্রাম | খুব বেশি খেয়েছে, তিনটি অন্ধ ইঁদুর, ঘণ্টা বাজছে |
| 4 | 4-গ্রাম | পার্কে হাঁটা, বাতাসে ধুলো, ছেলেটা মসুর ডাল খেয়েছে |
অনেক প্রাকৃতিক ভাষা বোঝার মডেল এন-গ্রামের উপর নির্ভর করে পরবর্তী শব্দ যা ব্যবহারকারী টাইপ করবে বা বলবে তা ভবিষ্যদ্বাণী করতে। উদাহরণস্বরূপ, ধরুন একজন ব্যবহারকারী তিনটি অন্ধ টাইপ করেছেন। ট্রিগ্রামের উপর ভিত্তি করে একটি NLU মডেল সম্ভবত ভবিষ্যদ্বাণী করবে যে ব্যবহারকারী পরবর্তীতে ইঁদুর টাইপ করবে।
শব্দের ব্যাগের সাথে এন-গ্রামের বৈসাদৃশ্য করুন, যা শব্দের বিন্যাসহীন সেট।
আর
পুনরাবৃত্ত নিউরাল নেটওয়ার্ক
একটি নিউরাল নেটওয়ার্ক যা ইচ্ছাকৃতভাবে একাধিকবার চালানো হয়, যেখানে প্রতিটি রানের কিছু অংশ পরবর্তী রানে ফিড করে। বিশেষ করে, আগের রান থেকে লুকানো স্তরগুলি পরবর্তী রানে একই লুকানো স্তরে ইনপুটের অংশ প্রদান করে। পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি ক্রম মূল্যায়নের জন্য বিশেষভাবে উপযোগী, যাতে লুকানো স্তরগুলি অনুক্রমের পূর্ববর্তী অংশগুলিতে নিউরাল নেটওয়ার্কের পূর্ববর্তী রান থেকে শিখতে পারে।
উদাহরণস্বরূপ, নিম্নলিখিত চিত্রটি একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক দেখায় যা চারবার চলে। লক্ষ্য করুন যে প্রথম রান থেকে লুকানো স্তরগুলিতে শেখা মানগুলি দ্বিতীয় রানে একই লুকানো স্তরগুলিতে ইনপুটের অংশ হয়ে ওঠে। একইভাবে, দ্বিতীয় রানে লুকানো স্তরে শেখা মানগুলি তৃতীয় রানে একই লুকানো স্তরে ইনপুটের অংশ হয়ে যায়। এইভাবে, পুনরাবৃত্ত নিউরাল নেটওয়ার্ক ধীরে ধীরে প্রশিক্ষণ দেয় এবং শুধুমাত্র পৃথক শব্দের অর্থের পরিবর্তে সমগ্র ক্রমটির অর্থ অনুমান করে।
আরএনএন
পুনরাবৃত্ত নিউরাল নেটওয়ার্কের সংক্ষিপ্ত রূপ।
এস
ক্রম মডেল
একটি মডেল যার ইনপুটগুলির একটি অনুক্রমিক নির্ভরতা রয়েছে৷ উদাহরণস্বরূপ, পূর্বে দেখা ভিডিওগুলির একটি ক্রম থেকে দেখা পরবর্তী ভিডিওর পূর্বাভাস দেওয়া।
টি
সময় ধাপ
একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্কের মধ্যে একটি "আনরোলড" সেল। উদাহরণস্বরূপ, নিম্নলিখিত চিত্রটি তিনটি টাইমস্টেপ দেখায় (টি-1, টি, এবং টি+1 সাবস্ক্রিপ্টগুলির সাথে লেবেলযুক্ত):
trigram
একটি N-গ্রাম যার মধ্যে N=3।
ভি
অদৃশ্য গ্রেডিয়েন্ট সমস্যা
কিছু গভীর নিউরাল নেটওয়ার্কের প্রারম্ভিক লুকানো স্তরগুলির গ্রেডিয়েন্টের জন্য আশ্চর্যজনকভাবে সমতল (নিম্ন) হওয়ার প্রবণতা। ক্রমবর্ধমান নিম্ন গ্রেডিয়েন্টের ফলে গভীর নিউরাল নেটওয়ার্কে নোডের ওজনে ক্রমবর্ধমান ছোট পরিবর্তন হয়, যার ফলে খুব কম বা কোন শিক্ষা হয় না। অদৃশ্য গ্রেডিয়েন্ট সমস্যায় ভুগছেন এমন মডেলদের প্রশিক্ষণ দেওয়া কঠিন বা অসম্ভব হয়ে পড়ে। দীর্ঘ স্বল্পমেয়াদী মেমরি কোষ এই সমস্যা সমাধান.
বিস্ফোরিত গ্রেডিয়েন্ট সমস্যার সাথে তুলনা করুন।