مسرد مصطلحات التعلم الآلي: نماذج التسلسل

تحتوي هذه الصفحة على مصطلحات مسرد نماذج التسلسل. للاطّلاع على جميع مصطلحات المسرد، انقر على هذا الرابط.

B

الثنائيات

#seq

#language

نَمط تحليلي حيث يكون N=2

E

مشكلة التدرّج المتزايد

#seq

ميل التدرّجات في الشبكات العصبية العميقة (خاصةً الشبكات العصبية المتكرّرة) إلى أن تصبح شديدة الانحدار (مرتفعة) بشكل مفاجئ غالبًا ما تؤدي التدرجات الحادة إلى تعديلات كبيرة جدًا على الأوزان لكل عقدة في الشبكة العصبية العميقة.

يصبح من الصعب أو من المستحيل تدريب النماذج التي تواجه مشكلة الانحدار المتزايد. يمكن أن يساعد قطع التدرّج في الحدّ من هذه المشكلة.

قارِن ذلك بمشكلة تلاشي التدرّج.

F

بوابة تم حذفها

#seq

الجزء من خلية الذاكرة قصيرة المدى الطويلة الذي ينظم تدفق المعلومات من خلال الخلية. تحافظ بوابات النسيان على السياق من خلال تحديد المعلومات التي يجب تجاهلها من حالة الخلية.

G

اقتصاص التدرّج

#seq

آلية شائعة الاستخدام للتخفيف من أثر مشكلة الانحدار المتزايد من خلال تحديد (قطع) الحد الأقصى لقيمة التدرجات بشكل مصطنع عند استخدام التدرج التنازلي لتدريب نموذج.

L

الذاكرة طويلة المدى قصيرة الأجل (LSTM)

#seq

نوع من الخلايا في الشبكة العصبية المتكررة المستخدَمة لمعالجة تسلسلات البيانات في تطبيقات مثل التعرّف على الكتابة اليدوية، الترجمة الآلية وإضافة ترجمة للصور. تعالج نماذج LSTMمشكلة تلاشي التدرّج التي تحدث عند تدريب شبكات RNN بسبب تسلسلات البيانات الطويلة من خلال الاحتفاظ بالسجلّ في حالة ذاكرة داخلية استنادًا إلى الإدخال والسياق الجديدَين من الخلايا السابقة في شبكة RNN.

LSTM

#seq

اختصار الذاكرة قصيرة المدى الطويلة.

لا

السلسلة المكوّنة من n عنصر

#seq

#language

تسلسل مرتب من N كلمة على سبيل المثال، truly madly عبارة عن 2 غرام. ولأنّ الترتيب مهم، فإنّ madly truly يختلف عن truly madly.

لا	أسماء هذا النوع من النصوص القصيرة	أمثلة
2	الثنائيات	to go, go to, eat lunch, eat dinner
3	ثلاثي الوحدات أو ثلاثي المقاطع	أكل الكثير، ثلاث فئران عمياء، دقّات الجرس
4	4 غرام	walk in the park, dust in the wind, the boy ate lentils

تعتمد العديد من نماذج فهم اللغة الطبيعية على مجموعات الكلمات لتوقع الكلمة التالية التي سيكتبها أو ينطقها المستخدم. على سبيل المثال، لنفترض أنّ أحد المستخدمين كتب ثلاثة عميان. من المرجّح أن يتوقّع نموذج الذكاء الاصطناعي للغة (NLU) المستنِد إلى المجموعات الثلاثية من الكلمات أن يكتب المستخدِم mice بعد ذلك.

قارِن بين النصوص القصيرة ذات الوحدات المتعددة ومجموعة الكلمات، وهي مجموعات غير مرتبة من الكلمات.

R

شبكة عصبية متكررة

#seq

شبكة عصبية يتم تشغيلها عمدًا عدة مرات، حيث يتمّ نقل أجزاء من كلّ عملية تشغيل إلى عملية التشغيل التالية. على وجه التحديد، توفّر الالتفافات المخفية من الخطوة السابقة جزءًا من الإدخال إلى الالتفاف المخفي نفسه في الخطوة التالية. تكون الشبكات العصبية المتكرّرة مفيدة بشكل خاص لتقييم التسلسلات، بحيث يمكن للطبقات المخفية التعلم من عمليات التشغيل السابقة للشبكة العصبية على الأجزاء السابقة من التسلسل.

على سبيل المثال، يعرض الشكل التالي شبكة عصبية متكررة يتم تشغيلها أربع مرات. يُرجى ملاحظة أنّ القيم التي تم تعلّمها في الطبقات المخفية من التشغيلة الأولى تصبح جزءًا من الإدخال إلى الطبقات المخفية نفسها في التشغيلة الثانية. وبالمثل، تصبح القيم التي تم تعلّمها في الطبقة المخفية في المحاولة الثانية جزءًا من الإدخال إلى الطبقة المخفية نفسها في المحاولة الثالثة. بهذه الطريقة، يتم تدريب الشبكة العصبية المتكررة تدريجيًا ومحاولة توقّع معنى التسلسل بأكمله بدلاً من معنى الكلمات الفردية فقط.

RNN

#seq

اختصار للشبكات العصبية المتكررة.

S

نموذج تسلسلي

#seq

نموذج تتضمّن مدخلاته اعتمادًا تسلسليًا على سبيل المثال، توقّع الفيديو التالي الذي سيتمّ مشاهدته من تسلسل الفيديوهات التي تمّت مشاهدتها في السابق

T

خطوة الوقت

#seq

خلية واحدة "غير ملفوفة" ضمن شبكة عصبية متكررة. على سبيل المثال، يعرض الشكل التالي ثلاث مراحل زمنية (مُصنَّفة باستخدام البادئات t-1 وt وt+1):

ثلاثي الأحرف

#seq

#language

نمط تحليلي من وحدات أساسية حيث يكون N=3

V

مشكلة تلاشي التدرّج

#seq

ميل منحنيات التدرّج في الطبقات المخفية المبكرة لبعض الشبكات العصبية العميقة إلى أن تصبح مسطّحة بشكل مفاجئ (منخفضة) تؤدي التدرجات الأقلّ انخفاضًا بشكلٍ متزايد إلى تغييرات أصغر في الأوزان على العقد في شبكة عصبية عميقة، ما يؤدي إلى تعلُّم قليل أو بدون تعلُّم. يصبح من الصعب أو المستحيل تدريب النماذج التي تواجه مشكلة تلاشي التدرّج. تعالج خلايا الذاكرة قصيرة المدى الطويلة هذه المشكلة.

قارِن ذلك بمشكلة التدرّج المتزايد.