مسرد مصطلحات التعلم الآلي: نماذج التسلسل

تحتوي هذه الصفحة على مصطلحات مسرد مصطلحات نماذج التسلسل. للاطّلاع على جميع مصطلحات مسرد المصطلحات، انقر هنا.

B

بيغرام

#seq

#language

N-gram حيث N=2.

E

مشكلة التدرج السريع

#seq

غالبًا ما يصبح انحدارًا (مرتفعًا) بشكل مفاجئ للشبكات العصبية في الشبكات العصبية العميقة (وخاصة الشبكات العصبية المتكررة). غالبًا ما تتسبب التدرجات الحادة في تحديثات كبيرة جدًا في الوزن لكل عقدة في شبكة عصبية عميقة.

النماذج التي تعاني من مشكلة التدرج المتفاقمة تجعل تدريبها صعبًا أو مستحيلاً. يمكن أن يخفف الاقتصاص المتدرج من هذه المشكلة.

مقارنةً بـ مشكلة التلاشي للتدرج.

F

نسيان البوابة

#seq

جزء من خلية ذاكرة طويلة الأجل ينظم تدفق المعلومات عبر الخلية. في حال نسيان البوابات، تحافظ على السياق من خلال تحديد المعلومات التي سيتم تجاهلها من حالة الخلية.

G

اقتصاص التدرّج

#seq

هي آلية شائعة الاستخدام للحدّ من مشكلة التدرج المتفاقمة من خلال الحدّ من (الاقتصاص) للقيمة القصوى للتدرج بشكل مصطنع عند استخدام انحدار التدرج من أجل تدريب نموذج.

L

الذاكرة القصيرة المدى (LSTM)

#seq

يشير ذلك المصطلح إلى نوع من الخلايا في شبكة عصبية متكررة يُستخدَم لمعالجة تسلسلات البيانات في تطبيقات مثل التعرّف على الكتابة بخط اليد والترجمة الآلية والترجمة والشرح للصور. تعالج LSTM مشكلة اختفاء التدرج التي تحدث عند تدريب RNN بسبب تسلسلات البيانات الطويلة من خلال الحفاظ على السجل في حالة ذاكرة داخلية بناءً على المدخلات والسياق الجديدين من الخلايا السابقة في RNN.

مؤشر LSTM

#seq

اختصار الذاكرة الطويلة المدى.

N

N-غرام

#seq

#language

تسلسل مُرتب من كلمات N. على سبيل المثال، يرمز حرف truly madly إلى 2 غرام. نظرًا لأن الطلب ذي صلة، يكون وزن ما الاشتراك بنحو 2 غرام بدلاً من 2 غرام من نوع جنون حقًا.

N	أسماء هذا النوع من الغرامات(N-gram)	أمثلة
2	بيغ رام أو 2 غرام	الذهاب إلى المكان، ثم تناول الغداء، العشاء
3	تريغرام أو 3 غرام	أكلت الكثير من الطعام، و3 فئران مكفوفين، وأجراس أجراس
4	4 غرام	يمشي في الحديقة، والغبار الذي يشعّ بالرياح، وأكل الصبي العدس

تعتمد العديد من نماذج فهم اللغة الطبيعية على N-grams للتنبؤ بالكلمة التالية التي سيكتبها المستخدم أو يقولها. على سبيل المثال، لنفترض أنّ أحد المستخدمين كتب ثلاثة فئات مكشوفة. من المرجح أن يتوقع نموذج NLU المستند إلى الأشكال الثلاثية أن المستخدم سيكتب الفئران بعد ذلك.

قارن N غرام مع كيس من الكلمات، وهي مجموعات غير مرتّبة من الكلمات.

R

شبكة عصبية متكررة

#seq

يشير ذلك المصطلح إلى شبكة عصبية يتم تشغيلها عدة مرات عن قصد، يتم فيها تشغيل أجزاء من كل منها خلال المرة التالية. على وجه التحديد، توفر الطبقات المخفية من التشغيل السابق جزءًا من الإدخال إلى نفس الطبقة المخفية في التشغيل التالي. تعتبر الشبكات العصبية المتكررة مفيدة بشكل خاص لتقييم المتتاليات، بحيث يمكن للطبقات المخفية أن تتعلم من عمليات التشغيل السابقة للشبكة العصبية في الأجزاء السابقة من التسلسل.

على سبيل المثال، يوضح الشكل التالي شبكة عصبية متكررة تعمل أربع مرات. لاحظ أن القيم التي تم تعلمها في الطبقات المخفية من التشغيل الأول تصبح جزءًا من الإدخال إلى نفس الطبقات المخفية في التشغيل الثاني. وبالمثل، تصبح القيم التي يتم تعلمها في الطبقة المخفية عند التشغيل الثاني جزءًا من مدخل نفس الطبقة المخفية في التشغيل الثالث. بهذه الطريقة، تتدرب الشبكة العصبية المتكررة وتتنبأ تدريجيًا بمعنى التسلسل بالكامل بدلاً من مجرد معنى الكلمات الفردية.

رقم RNN

#seq

اختصار الشبكات العصبونية المتكررة.

S

نموذج تسلسلي

#seq

يشير ذلك المصطلح إلى النموذج الذي تعتمد مدخلاته على اعتماد تسلسلي. على سبيل المثال، توقع الفيديو التالي الذي شاهدته من سلسلة مقاطع فيديو تمت مشاهدتها سابقًا.

T

خطوة زمنية

#seq

خلية "غير مدرجة" في شبكة عصبية متكررة. على سبيل المثال، يوضح الشكل التالي ثلاث خطوات زمنية (مصنفة بالخطوط السفلية t-1 وt وt+1):

صورة ثلاثية الأبعاد

#seq

#language

N-gram حيث N=3.

V

مشكلة التلاشي للتدرج

#seq

يشير ذلك المصطلح إلى ميل تدرجات الطبقات المخفية في بعض الشبكات العصبية العميقة لتصبح مسطَّحة (منخفضة) بشكل مفاجئ. وتؤدي التدرجات المنخفضة بشكل متزايد إلى حدوث تغييرات أصغر بشكل متزايد في الأوزان على النقاط في الشبكة العصبية العميقة، ما يؤدي إلى القليل من التعلم أو انعدامه. يصبح تدريب النماذج التي تعاني من مشكلة التدرج المتلاشي صعبًا أو مستحيلاً. تعالج خلايا الذاكرة الطويلة المدى هذه المشكلة.

المقارنة مع مشكلة التدرج المتفجّرة.