این صفحه شامل اصطلاحات واژه نامه مدل های توالی است. برای همه اصطلاحات واژه نامه، اینجا را کلیک کنید .
ب
بیگرام
یک N گرم که در آن N=2 است.
E
مشکل گرادیان انفجاری
تمایل برای شیب در شبکه های عصبی عمیق (به ویژه شبکه های عصبی بازگشتی ) به طور شگفت انگیزی شیب دار (بالا). گرادیان های تند اغلب باعث بروز رسانی های بسیار بزرگی در وزن هر گره در یک شبکه عصبی عمیق می شود.
آموزش مدل هایی که از مشکل گرادیان انفجاری رنج می برند دشوار یا غیرممکن می شود. برش گرادیان می تواند این مشکل را کاهش دهد.
با مشکل گرادیان ناپدید شدن مقایسه کنید.
اف
دروازه را فراموش کن
بخشی از یک سلول حافظه کوتاه مدت که جریان اطلاعات را در سلول تنظیم می کند. دروازه‌ها را فراموش کنید با تصمیم‌گیری اینکه کدام اطلاعات را از حالت سلولی حذف کنید، زمینه را حفظ می‌کند.
جی
برش گرادیان
یک مکانیسم رایج برای کاهش مشکل گرادیان انفجاری با محدود کردن مصنوعی (بریده شدن) حداکثر مقدار گرادیان هنگام استفاده از شیب نزولی برای آموزش یک مدل.
L
حافظه بلند مدت کوتاه مدت (LSTM)
نوعی سلول در یک شبکه عصبی تکراری که برای پردازش توالی داده‌ها در برنامه‌هایی مانند تشخیص دست‌نویس، ترجمه ماشینی و نوشتن شرح تصویر استفاده می‌شود. LSTM ها مشکل گرادیان ناپدید شدن را که هنگام آموزش RNN ها به دلیل توالی داده های طولانی با حفظ تاریخچه در یک حالت حافظه داخلی بر اساس ورودی و زمینه جدید سلول های قبلی در RNN رخ می دهد، برطرف می کنند.
LSTM
مخفف Long Short-Term Memory .
ن
N-گرم
دنباله ای منظم از N کلمه. به عنوان مثال، واقعا دیوانه وار یک 2 گرم است. از آنجا که نظم مرتبط است، madly true یک 2 گرم متفاوت از واقعا دیوانه است.
| ن | نام(های) این نوع N-gram | مثال ها |
|---|---|---|
| 2 | بیگرم یا 2 گرمی | رفتن، رفتن، ناهار خوردن، شام خوردن |
| 3 | سه گرم یا 3 گرم | زیاد خورد، سه موش کور، زنگ به صدا درآمد |
| 4 | 4 گرم | قدم زدن در پارک، گرد و غبار در باد، پسر عدس خورد |
بسیاری از مدل‌های درک زبان طبیعی برای پیش‌بینی کلمه بعدی که کاربر تایپ می‌کند یا می‌گوید، بر N-gram تکیه می‌کنند. برای مثال، فرض کنید کاربری سه blind را تایپ کرده است. یک مدل NLU بر اساس سه‌گرام‌ها احتمالاً پیش‌بینی می‌کند که کاربر بعدی موش‌ها را تایپ خواهد کرد.
N-gram ها را با کیسه کلمات ، که مجموعه های نامرتب از کلمات هستند، مقایسه کنید.
آر
شبکه عصبی مکرر
یک شبکه عصبی که به طور عمدی چندین بار اجرا می شود، جایی که بخش هایی از هر اجرا به اجرای بعدی وارد می شود. به طور خاص، لایه های پنهان از اجرای قبلی، بخشی از ورودی را به همان لایه پنهان در اجرای بعدی ارائه می دهند. شبکه های عصبی مکرر به ویژه برای ارزیابی دنباله ها مفید هستند، به طوری که لایه های پنهان می توانند از اجرای قبلی شبکه عصبی در قسمت های قبلی دنباله یاد بگیرند.
به عنوان مثال، شکل زیر یک شبکه عصبی بازگشتی را نشان می دهد که چهار بار اجرا می شود. توجه داشته باشید که مقادیری که در لایه‌های مخفی از اجرای اول آموخته‌اند، بخشی از ورودی همان لایه‌های پنهان در اجرای دوم می‌شوند. به طور مشابه، مقادیر آموخته شده در لایه پنهان در اجرای دوم، بخشی از ورودی همان لایه پنهان در اجرای سوم می شود. به این ترتیب، شبکه عصبی تکرارشونده به‌تدریج معنای کل دنباله را به‌جای معنای تک‌کلمات آموزش داده و پیش‌بینی می‌کند.
RNN
مخفف شبکه های عصبی مکرر .
اس
مدل توالی
مدلی که ورودی های آن وابستگی متوالی دارند. برای مثال، پیش‌بینی ویدیوی بعدی تماشا شده از روی دنباله‌ای از ویدیوهای قبلاً تماشا شده.
تی
مرحله زمانی
یک سلول "بازشده" در یک شبکه عصبی مکرر . برای مثال، شکل زیر سه مرحله زمانی را نشان می‌دهد (با زیرنویس‌های t-1، t و t+1 برچسب‌گذاری شده‌اند):
سه گرام
یک N گرم که در آن N=3 است.
V
مشکل گرادیان ناپدید شدن
تمایل به شیب لایه های پنهان اولیه برخی از شبکه های عصبی عمیق به طور شگفت انگیزی مسطح (کم). گرادیان‌های پایین‌تر منجر به تغییرات فزاینده‌ای کوچکتر در وزن گره‌ها در یک شبکه عصبی عمیق می‌شود که منجر به یادگیری کم یا بدون یادگیری می‌شود. آموزش مدل هایی که از مشکل گرادیان ناپدید شدن رنج می برند دشوار یا غیرممکن می شود. سلول های حافظه کوتاه مدت بلند مدت این مشکل را برطرف می کنند.
مقایسه با مشکل گرادیان انفجاری .