مسرد مصطلحات التعلم الآلي: تقييم اللغة

تحتوي هذه الصفحة على مصطلحات مسرد مصطلحات تقييم اللغة. للاطّلاع على جميع مصطلحات مسرد المصطلحات، انقر هنا.

جيم

تنبيه

#language

يشير ذلك المصطلح إلى آلية مستخدَمة في شبكة عصبية للإشارة إلى أهمية كلمة معيّنة أو جزء معيّن من كلمة. الانتباه يضغط كمية المعلومات التي يحتاجها النموذج للتنبؤ بالرمز المميز/الكلمة التالية. قد تتألف آلية الانتباه النموذجية من مجموع مرجّح على مجموعة من الإدخالات، حيث يتم حساب الوزن لكل إدخال من خلال جزء آخر من الشبكة العصبونية.

يجب أيضًا الإشارة إلى الانتباه الذاتي والانتباه الذاتي إلى أشخاص متعددين، وهما اللبنتان الأساسيتان في المحولات.

برنامج الترميز التلقائي

#language

#image

نظام يتعلم استخراج أهم المعلومات من المدخلات. تجمع برامج الترميز التلقائية بين برنامج ترميز وبرنامج فك الترميز. تعتمد برامج الترميز التلقائي على العملية التالية المكونة من خطوتَين:

1. يعيّن برنامج الترميز المدخلات (عادةً) بتنسيق منخفض الأبعاد (متوسط) مع فقدان البيانات.
2. ينشئ برنامج فك الترميز نسخة مفقودة من المدخل الأصلي عن طريق ربط التنسيق المنخفض الأبعاد بتنسيق الإدخال الأصلي ذات الأبعاد الأعلى.

يتم تدريب برامج الترميز التلقائية بشكل تام من خلال محاولة برنامج فك الترميز لإعادة إنشاء المدخل الأصلي من التنسيق المتوسط لبرنامج الترميز بأقرب شكل ممكن. بما أنّ التنسيق المتوسط أصغر (أقل أبعادًا) من التنسيق الأصلي، يصبح برنامج الترميز التلقائي مضطرًا إلى التعرّف على المعلومات الضرورية الواردة في المدخل، ولن يكون المُخرج مطابقًا تمامًا للمُدخل.

مثال:

• إذا كانت بيانات الإدخال رسمًا، فإن النسخة غير الدقيقة ستكون مشابهة للرسم الأصلي، ولكن تم تعديلها إلى حد ما. ربما تزيل النسخة غير الدقيقة التشويش من الرسم الأصلي أو تملأ بعض وحدات البكسل المفقودة.
• إذا كانت بيانات الإدخال نصية، فسينشئ برنامج الترميز التلقائي نصًا جديدًا يحاكي النص الأصلي (ولكنه ليس مطابقًا له).

راجِع أيضًا برامج الترميز التلقائية المختلفة.

نموذج الانحدار التلقائي

#language

#image

#generativeAI

model يستنتج توقعًا بناءً على تنبؤاته السابقة. على سبيل المثال، تتوقّع نماذج اللغة الانحدارية التلقائي الرمز المميّز التالي استنادًا إلى الرموز المميّزة التي كان توقّعها سابقًا. وتعتمد جميع نماذج المحول على النماذج اللغوية الكبيرة المستندة إلى الانحدار التلقائي.

وفي المقابل، لا تتبع نماذج الصور المستندة إلى GAN انحدارًا تلقائيًا لأنها تنشئ صورة في تمريرة أمامية واحدة وليس تكرارًا على خطوات. مع ذلك، تتراجعبعض نماذج إنشاء الصور تلقائيًا لأنّها تنشئ صورًا بخطوات.

B

مجموعة كلمات

#language

تمثيل للكلمات في عبارة أو فقرة، بغض النظر عن الترتيب. على سبيل المثال، تمثل حقيبة الكلمات العبارات الثلاث التالية بشكل متماثل:

• الكلب يقفز
• يقفز الكلب
• كلب يقفز

يتم ربط كل كلمة بفهرس في متّجه متفرق، حيث يحتوي الخط المتجه على فهرس لكل كلمة في المفردات. على سبيل المثال، يتم ربط العبارة كلب قفز في متجه الميزة بقيم غير صفرية في الفهارس الثلاثة المقابلة للكلمات the والكلب والقفز. يمكن أن تكون القيمة غير الصفرية أيًا مما يلي:

• الرقم 1 للإشارة إلى وجود كلمة.
• عدد مرات ظهور كلمة في الحقيبة. على سبيل المثال، إذا كانت العبارة هي كلب كستنائي هو كلب ذو فرو كستنائي، سيتم تمثيل كل من كستنائي وكلب بالرمز 2، بينما يتم تمثيل الكلمات الأخرى بالرقم 1.
• قيمة أخرى، مثل لوغاريتم عدد مرات ظهور كلمة في الحقيبة.

نموذج ترميز ثنائي الاتجاه من المحوّلات

#language

بنية نموذج لتمثيل النص. قد يكون نموذج BERT المُدرَّب جزءًا من نموذج أكبر لتصنيف النص أو مهام تعلُّم الآلة الأخرى.

تتميّز نماذج BERT بالخصائص التالية:

• تستخدم بنية Transformer، وبالتالي تعتمد على الانتباه الذاتي.
• استخدام جزء برنامج الترميز في المحوّل. ووظيفة برنامج الترميز هي تقديم تمثيلات نصية جيدة بدلاً من أداء مهمة محدّدة، مثل التصنيف.
• ثنائي الاتجاه
• يتم استخدام أسلوب الإخفاء في التدريب غير الخاضع للإشراف.

تشمل صيغ BERT ما يلي:

• ALBERT، وهو اختصار للاختصار A Light BERT
• LaBSE:

يمكنك الاطّلاع على مقالة برامج BERT المفتوحة المصدر: تدريب مسبق متطوّرة لمعالجة اللغات الطبيعية للحصول على نظرة عامة حول نماذج BERT.

ثنائي الاتجاه

#language

يشير ذلك المصطلح إلى مصطلح يُستخدم لوصف نظام يقيّم النص الذي يسبق ويتبع القسم المستهدَف من النص. في المقابل، لا يقيّم النظام أحادي الاتجاه سوى النص الذي يسبق القسم المستهدَف من النص.

على سبيل المثال، ضع في اعتبارك نموذج لغة محجوب يجب أن يحدد احتمالات الكلمة أو الكلمات التي تمثل التسطير في السؤال التالي:

ما هو _____ معك؟

سيتعين أن يبني النموذج اللغوي أحادي الاتجاه احتمالاته فقط على السياق المقدم من خلال الكلمات "ماذا" و"هو" و "ال". في المقابل، يمكن أن يحصل النموذج اللغوي ثنائي الاتجاه أيضًا على سياق من "مع" و "أنت"، مما قد يساعد النموذج على إنشاء تنبؤات أفضل.

نموذج لغوي ثنائي الاتجاه

#language

نموذج لغوي يحدّد احتمالية توفّر رمز مميّز معيّن في موقع جغرافي معيّن في مقتطف من نص استنادًا إلى النص السابق والتالي

بيغرام

#seq

#language

N-gram حيث N=2.

BLEU (دراسة تقييم ثنائي اللغة)

#language

نتيجة تتراوح من 0.0 إلى 1.0، بما يشير إلى جودة الترجمة بين لغتين بشرية (على سبيل المثال، بين الإنجليزية والروسية). تشير درجة BLEU 1.0 إلى ترجمة مثالية، بينما تشير درجة BLEU 0.0 إلى ترجمة سيئة للغاية.

C

نموذج لغوي سببي

#language

مرادف نموذج لغوي أحادي الاتجاه.

اطّلِع على نموذج لغوي ثنائي الاتجاه للتباين بين مناهج الاتجاهات المختلفة في النمذجة اللغوية.

الحث على سلسلة التفكير

#language

#generativeAI

يشير ذلك المصطلح إلى أسلوب هندسة الطلبات الذي يشجّع النموذج اللغوي الكبير (LLM) على شرح أسبابه بالتفصيل. على سبيل المثال، ضع في اعتبارك المطالبة التالية، مع إيلاء اهتمام خاص للجملة الثانية:

كم عدد القوة الغرامية التي يختبرها السائق في سيارة تنتقل من 0 إلى 60 ميلاً في الساعة في 7 ثوانٍ؟ في الإجابة، أظهر جميع العمليات الحسابية ذات الصلة.

ومن المرجّح أن يأتي ردّ النموذج اللغوي الكبير على النحو التالي:

• اعرض سلسلة من المعادلات الفيزيائية مع إدخال القيم 0 و60 و7 في الأماكن المناسبة.
• اشرح سبب اختيار هذه المعادلات وما تعنيه المتغيرات المختلفة.

تعتمد سلسلة الأفكار على إجبار النموذج اللغوي الكبير على إجراء جميع العمليات الحسابية، ما قد يؤدي إلى إجابة أكثر دقةً. بالإضافة إلى ذلك، يتيح توجيه سلسلة الأفكار للمستخدم فحص خطوات النموذج اللغوي الكبير لتحديد ما إذا كانت الإجابة منطقية أم لا.

محادثة

#language

#generativeAI

محتوى الحوار المتبادل مع نظام تعلُّم الآلة، ويكون عادةً نموذجًا لغويًا كبيرًا يصبح التفاعل السابق في محادثة (ما كتبته وردود النموذج اللغوي الكبير) سياقًا للأجزاء اللاحقة من المحادثة.

برنامج الدردشة المبرمَجة هو تطبيق من نموذج لغوي كبير.

الثغرة

#language

مرادف الحلقية.

ربما يكون مصطلح التعابير أكثر دقة من الناحية الفنية من الهلوسة. ومع ذلك، أصبحت الهلوسة شائعة في البداية.

تحليل الناخبين

#language

قسمة الجملة إلى بُنى نحوية أصغر ("المكوّنات"). ويمكن لجزء لاحق من نظام تعلُّم الآلة، مثل نموذج فهم اللغة الطبيعية، تحليل العناصر بسهولة أكبر من الجملة الأصلية. على سبيل المثال، ضع في اعتبارك الجملة التالية:

تبنى صديقي قطتين.

يمكن للمحلل اللغوي تقسيم هذه الجملة إلى المكونين التاليين:

• صديقي هي عبارة اسمية.
• التبني قطتان هي عبارة فعل.

ويمكن تقسيم هذه المكونات إلى أجزاء أصغر. فعلى سبيل المثال، يمكن أن تؤدي عبارة الفعل

تبنى قطتين

إلى:

• التبني هو فعل.
• قطتان هي عبارة اسمية أخرى.

تضمين اللغة السياقية

#language

#generativeAI

يشير ذلك المصطلح إلى التضمين الذي يقترب من فهم الكلمات والعبارات بطرق يمكن للمتحدّثين الأصليين تنفيذها في هذا المجال. ويمكن أن تفهم عمليات تضمين اللغة التي توفّر سياقًا البنية المركّبة والدلالات والسياق.

على سبيل المثال، ننصحك بتضمين كلمة بقرة باللغة الإنجليزية. يمكن أن تمثّل عمليات التضمين القديمة، مثل word2vec، الكلمات الإنجليزية، على نحو مماثل للمسافة في مساحة التضمين من البقرة إلى الثور مع المسافة من Ewe (أنثى خروف) إلى كام (ذكور خروف) أو من أنثى إلى ذكر. يمكن أن تتطوّر عمليات التضمين اللغوية السياقية خطوة أبعد من خلال إدراك أنّ المتحدثين باللغة الإنجليزية يستخدمون أحيانًا كلمة بقرة بشكل غير رسمي للإشارة إلى "بقرة" أو "ثور".

نافذة السياق

#language

#generativeAI

عدد الرموز المميّزة التي يمكن للنموذج معالجتها في طلب معيّن. كلما كانت نافذة السياق أكبر، زادت المعلومات التي يمكن أن يستخدمها النموذج لتقديم ردود متماسكة ومتسقة للمطالبة.

وردي فاتح

#language

جملة أو عبارة ذات معنى غامض. تمثل أزهار الأزهار مشكلة كبيرة في فهم اللغة الطبيعية. على سبيل المثال، يعد العنوان Red Tape Holds Up Skyscraper حطامًا لأن نموذج NLU يمكن أن يفسر العنوان الرئيسي حرفيًا أو مجازيًا.

انقر على الرمز للاطّلاع على ملاحظات إضافية.

للتوضيح فقط، يشير العنوان الرئيسي الغامض:

• يمكن أن يشير الشريط الأحمر إلى أي مما يلي:
  • لاصق
  • بيروقراطية مفرطة
• يمكن أن تشير عبارة تجميد البيانات إلى أي مما يلي:
  • الدعم الهيكلي
  • حالات التأخير

---

D

برنامج فك الترميز

#language

وبشكل عام، أي نظام تعلُّم الآلة يتحوّل من تمثيل داخلي أو معالَج أو كثافة إلى تمثيل خارجي أكثر أو أقل كثافة.

غالبًا ما تكون برامج فك الترميز جزءًا من طراز أكبر، حيث يتم إقرانها غالبًا ببرنامج ترميز.

في المهام ذات التسلسل إلى التسلسل، يبدأ برنامج فك الترميز بالحالة الداخلية التي أنشأها برنامج الترميز لتوقّع النتيجة التالية.

راجِع المحوِّل للاطّلاع على تعريف برنامج فك الترميز ضمن بنية المحوِّل.

إزالة الضوضاء

#language

أحد الأساليب الشائعة المرتبطة بالتعلم الذاتي والذي:

1. تتمّ إضافة الضوضاء بشكل مصطنع إلى مجموعة البيانات.
2. تحاول model إزالة التشويش.

تتيح إزالة التشويش التعلُّم من الأمثلة غير المصنَّفة. تعمل مجموعة البيانات الأصلية كهدف أو label والبيانات الصاخبة كإدخال.

تستخدم بعض النماذج اللغوية المقنَّعة إزالة الضوضاء على النحو التالي:

1. تتم إضافة الضوضاء بشكل مصطنع إلى جملة غير مصنّفة عن طريق إخفاء بعض الرموز المميّزة.
2. ويحاول النموذج التنبؤ بالرموز المميزة الأصلية.

طلب مباشر

#language

#generativeAI

مرادف لعبارة طلب عدم توفّر لقطة شاشة.

E

تعديل المسافة

#language

يشير ذلك المصطلح إلى قياس لمدى تشابه سلسلتَين نصيتَين مع بعضهما. في تعلُّم الآلة، تعديل المسافة يكون مفيدًا لأنّها سهلة الحساب، وهي طريقة فعّالة لمقارنة سلسلتَين معروفتَين بأنّهما متشابهتان أو للعثور على سلاسل مشابهة لسلسلة معيَّنة.

هناك العديد من التعريفات لمسافة التعديل، يستخدم كل منها عمليات سلسلة مختلفة. على سبيل المثال، تعتبر مسافة Levenshtein أقل عدد من عمليات الحذف والإدراج والاستبدال.

على سبيل المثال، مسافة Levenshtein بين الكلمتين "قلب" و "سهام" هي 3 لأن التعديلات الثلاثة التالية هي أقل التغييرات لتحويل كلمة إلى أخرى:

1. قلب ← deart (استبدل "h" بـ "d")
2. deart ← dart (حذف "e")
3. لعبة dart ← لعبة dart (إدراج "s")

طبقة التضمين

#language

#fundamentals

هي طبقة مخفية خاصة تدرَّب على ميزة فئوية عالية الأبعاد تتعلّم تدريجيًا متجه تضمين بُعد أقل. وتعمل طبقة التضمين على تمكين الشبكة العصبية من التدرّب بكفاءة أكبر من التدريب على ميزة التصنيف ذات الأبعاد العالية فقط.

على سبيل المثال، يدعم Earth حاليًا حوالي 73,000 نوع من الأشجار. لنفترض أنّ أنواع الأشجار هي ميزة في النموذج، لذا فإن طبقة إدخال نموذجك تتضمن متجهًا واحدًا ساخنًا يبلغ طوله 73,000 عنصر. على سبيل المثال، قد يتم تمثيل baobab على النحو التالي:

الصفيف الذي يضم 73000 عنصر طويل جدًا. إذا لم تقم بإضافة طبقة تضمين إلى النموذج، فسيستغرق التدريب وقتًا طويلاً بسبب ضرب 72999 صفراً. ربما تختار طبقة التضمين لتكون من 12 بُعدًا. وبالتالي، ستتعلم طبقة التضمين تدريجيًا متّجه تضمين جديدًا لكل نوع من أنواع الأشجار.

في بعض الحالات، يكون التجزئة بديلاً معقولاً لطبقة التضمين.

مساحة التضمين

#language

المساحة المتجهة ذات الأبعاد الثلاثية التي تظهر من مساحة متجهة ذات أبعاد أعلى. من الناحية المثالية، تحتوي مساحة التضمين على بنية ينتج عنها نتائج رياضية ذات مغزى؛ على سبيل المثال، في مساحة تضمين مثالية، يمكن أن تؤدي إضافة وطرح التضمينات إلى حل مهام تشبيه الكلمات.

يُعد المنتج النقطي لتضمينين تضمين مقياسًا للتشابه بينهما.

متّجه تضمين

#language

بشكل عام، مصفوفة من أرقام النقاط العائمة المأخوذة من أي طبقة مخفية تصف المدخلات إلى تلك الطبقة المخفية. غالبًا ما يكون متجه التضمين هو صفيف أرقام النقاط العائمة المدرَّبة على طبقة تضمين. على سبيل المثال، لنفترض أن طبقة التضمين يجب أن تتعلم متجهًا للتضمين لكل نوع من أنواع الأشجار التي يبلغ عددها 73000 على الأرض. ربما الصفيفة التالية هي متجه التضمين لشجرة الباوباب:

متجه التضمين ليس مجموعة من الأرقام العشوائية. وتحدد طبقة التضمين هذه القيم من خلال التطبيق، على غرار الطريقة التي تتعلم بها الشبكة العصبونية الأوزان الأخرى أثناء التدريب. كل عنصر من عناصر الصفيف هو تقييم إلى جانب بعض خصائص أنواع الأشجار. ما العنصر الذي يمثل خاصية أنواع الأشجار؟ يصعب جدًا على البشر تحديده.

الجزء الرائع رياضيًا من متجه التضمين هو أن العناصر المتشابهة تحتوي على مجموعات متشابهة من أرقام النقاط العائمة. على سبيل المثال، تحتوي أنواع الأشجار المتشابهة على مجموعة متشابهة من أرقام النقاط العائمة أكثر من أنواع الأشجار غير المتشابهة. الخشب الأحمر والسيكويا من أنواع الأشجار ذات الصلة، لذا سيكون لديها مجموعة أكثر تماثلاً من الأرقام التي تشير إلى العائمة من أشجار الخشب الأحمر ونخيل جوز الهند. ستتغير الأرقام في متجه التضمين في كل مرة تعيد فيها ضبط النموذج، حتى إذا أعدت تدريب النموذج بمدخلات متطابقة.

برنامج تشفير

#language

وبشكل عام، أي نظام تعلُّم الآلة يتحوّل من تمثيل أولي أو متناثر أو خارجي إلى تمثيل داخلي أكثر معالجة أو كثافة أو أعلى.

تكون برامج الترميز غالبًا مكوّنًا من نموذج أكبر، حيث يتم إقرانها بشكل متكرر ببرنامج فك الترميز. وتعمل بعض المحوّلات على إقران برامج الترميز ببرامج فك الترميز، إلا أنّ المحولات الأخرى تستخدم برنامج الترميز فقط أو برنامج فك الترميز فقط.

تستخدم بعض الأنظمة مخرجات برنامج الترميز كمدخل إلى شبكة تصنيف أو انحدار.

في مهام التسلسل إلى التسلسل، يأخذ برنامج الترميز تسلسل إدخال ويعرض حالة داخلية (متجه). بعد ذلك، يستخدم برنامج فك الترميز تلك الحالة الداخلية لتوقُّع التسلسل التالي.

يُرجى الرجوع إلى المحول للاطّلاع على تعريف برنامج الترميز في بنية المحوّل.

F

طلب بلقطات قليلة

#language

#generativeAI

طلب يتضمّن أكثر من مثال واحد (أو "بعض الأمثلة") يوضّح طريقة استجابة النموذج اللغوي الكبير للنموذج اللغوي الكبير على سبيل المثال، يحتوي الطلب الطويل التالي على مثالين يوضحان نموذجًا لغويًا كبيرًا لكيفية الإجابة عن استعلام.

أجزاء من طلب واحد	Notes
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد الإجابة عنه من خلال النموذج اللغوي الكبير
فرنسا: اليورو	مثال واحد.
المملكة المتحدة: جنيه إسترليني	مثال آخر.
الهند:	الاستعلام الفعلي.

بشكل عام، يؤدي الطلب باستخدام لقطات أقل ومع ذلك، فإن المطالبة بلقطات قليلة تتطلب مطالبة أطول.

إنّ طلب بضع لقطات هو أحد أشكال التعلّم الذي يتضمن بضع لقطات يتم تطبيقه على التعلّم المستند إلى الطلبات.

كمنجة

#language

يشير ذلك المصطلح إلى مكتبة تكوين تعتمد على لغة Python أولاً وتضبط قيم الدوال والفئات بدون أي رموز برمجية أو بنية أساسية تم اختراقها. في حالة Pax وقواعد ترميز تعلُّم الآلة الأخرى، تمثّل هذه الدوال والفئات النماذج والتدريب المعلَمات الفائقة.

تفترض دالة Fiddle أنّ قواعد رموز تعلُّم الآلة تنقسم عادةً إلى:

• رمز المكتبة، الذي يحدد الطبقات وأدوات التحسين.
• يشير ذلك المصطلح إلى الرمز البرمجي "الغراء" لمجموعة البيانات الذي يستدعي المكتبات والأسلاك من بعضها بعضًا.

يلتقط Fiddle بنية استدعاء الكود اللاصق في شكل لم يتم تقييمه وقابلاً للتغيير.

توليف دقيق

#language

#image

#generativeAI

يشير ذلك المصطلح إلى بطاقة تدريبية ثانية خاصة بمهمة يتم إجراؤها على نموذج مدرّب مسبقًا لتحسين معلَماته المتعلّقة بحالة استخدام معيّنة. على سبيل المثال، في ما يلي خطوات التدريب الكامل لبعض النماذج اللغوية الكبيرة:

1. تدريب مسبق: يمكنك تدريب نموذج لغوي كبير على مجموعة بيانات عامة واسعة، مثل جميع صفحات ويكيبيديا باللغة الإنجليزية.
2. تحسين الأداء: يمكنك تدريب النموذج المدرَّب مسبقًا لتنفيذ مهمة محدّدة، مثل الردّ على الطلبات الطبية. يتضمن الضبط الدقيق عادةً مئات أو آلاف الأمثلة التي تركز على مهمة محددة.

مثال آخر، يكون تسلسل التدريب الكامل لنموذج الصور الكبيرة على النحو التالي:

1. تدريب مسبق: يمكنك تدريب نموذج صورة كبير على مجموعة بيانات صور عامة واسعة، مثل جميع الصور في Wikimediacommons.
2. الضبط الدقيق: يمكنك تدريب النموذج المدرَّب مسبقًا لأداء مهمة محددة، مثل إنشاء صور حوت أوركا.

يمكن أن يستلزم الضبط الدقيق مجموعة من الإستراتيجيات التالية:

• تعديل جميع المَعلمات الحالية للنموذج المدرَّب مسبقًا. وهذا ما يسمى أحيانًا بالضبط الدقيق.
• تعديل بعض المَعلمات الحالية فقط في النموذج المدرَّب مسبقًا (عادةً الطبقات الأقرب إلى طبقة الإخراج)، مع الإبقاء على المَعلمات الحالية الأخرى بدون تغيير (عادةً ما تكون الطبقات الأقرب إلى طبقة الإدخال). اطّلِع على ضبط فعّال للمعلَمات.
• إضافة المزيد من الطبقات، عادةً فوق الطبقات الحالية الأقرب إلى طبقة الإخراج.

الضبط الدقيق هو شكل من أشكال نقل المحتوى. بناءً على ذلك، قد يستخدم الضبط الدقيق دالة خسارة مختلفة أو نوع نموذج مختلف عن تلك المستخدمة لتدريب النموذج المدرَّب مسبقًا. على سبيل المثال، يمكنك ضبط نموذج صورة كبير مدرب مسبقًا لإنتاج نموذج انحدار يعرض عدد الطيور في صورة إدخال.

قارِن بين الضبط الدقيق والمصطلحات التالية:

• الاستخلاص
• التعلُّم المستند إلى الطلبات

كتان

#language

هي مكتبة مفتوحة المصدر وعالية الأداء للتعلُّم المعمّق تم تطويرها استنادًا إلى JAX. يوفر لك الكتان دوال لتدريب الشبكات العصبونية، إلى جانب طرق لتقييم أدائها.

شكل الكتان

#language

هي Transformer مكتبة مفتوحة المصدر تستند إلى Flax، ومصمَّمة في المقام الأول لمعالجة اللغات الطبيعية والأبحاث متعددة الوسائط.

G

الذكاء الاصطناعي التوليدي

#language

#image

#generativeAI

هو حقل تحويلي صاعد بدون تعريف رسمي. يتفق معظم الخبراء على أنّ نماذج الذكاء الاصطناعي التوليدي يمكنها إنشاء ("إنشاء") محتوى ينطبق عليه كل ما يلي:

• معقد
• متماسك
• الصورة الأصلية

على سبيل المثال، يمكن لنموذج الذكاء الاصطناعي التوليدي إنشاء مقالات أو صور معقدة.

يمكن أيضًا لبعض التكنولوجيات السابقة، بما في ذلك LSTMs وRNN، إنشاء محتوى أصلي ومتّسق. ينظر بعض الخبراء إلى هذه التكنولوجيات السابقة على أنّها الذكاء الاصطناعي التوليدي، بينما يشعر البعض الآخر أنّ الذكاء الاصطناعي التوليدي الحقيقي يتطلب نتائج أكثر تعقيدًا من تلك التي يمكن أن تنتجها التكنولوجيات السابقة.

تتعارض مع تعلُّم الآلة القائم على التوقّعات.

تحويل البيانات التوليدي المُدرَّب مسبقًا (GPT)

#language

مجموعة من النماذج اللغوية الكبيرة المستندة إلى Transformer التي تم تطويرها بواسطة OpenAI

يمكن أن تنطبق صيغ GPT على عدة طرق، بما في ذلك:

• إنشاء الصور (مثل ImageGPT)
• إنشاء نص إلى صورة (على سبيل المثال، DALL-E).

H

الهلوسة

#language

هو إنتاج مخرجات تبدو منطقية ولكنها غير صحيحة في الواقع من خلال نموذج الذكاء الاصطناعي التوليدي الذي يزعم تأكيده بشأن العالم الحقيقي. على سبيل المثال، نموذج الذكاء الاصطناعي التوليدي الذي يدّعي أنّ باراك أوباما توفي عام 1865 هو هلوسة.

I

التعلُّم ضمن السياق

#language

#generativeAI

مرادف لعبارة طلب لقطات قليلة.

L

نموذج لغوي مخصَّص لتطبيقات المحادثة (LaMDA)

#language

هو نموذج لغوي كبير يستند إلى أداة تحويل تم تطويره من قِبل Google وتم تدريبه على مجموعة بيانات حوارية كبيرة يمكنها إنشاء ردود حوارية واقعية.

LaMDA: تقدم لنا تكنولوجيا المحادثة الرائعة نظرة عامة.

نموذج لغوي

#language

model يقدّر احتمالية حدوث model أو تسلسل من الرموز المميّزة في تسلسل أطول من الرموز المميّزة.

انقر على الرمز للاطّلاع على ملاحظات إضافية.

على الرغم من تعارض هذه النماذج مع التوقّعات البديهية، فإنّ العديد من النماذج التي تقيّم النص ليست نماذج لغوية. على سبيل المثال، ليست نماذج تصنيف النصوص ونماذج تحليل الآراء نماذج لغوية.

---

نموذج لغوي كبير

#language

مصطلح غير رسمي بدون تعريف دقيق يعني عادةً نموذج لغة يتضمن عددًا كبيرًا من المعلَمات. تحتوي بعض النماذج اللغوية الكبيرة على أكثر من 100 مليار مَعلمة.

انقر على الرمز للاطّلاع على ملاحظات إضافية.

قد تتساءل متى أصبح النموذج اللغوي كبيرًا بما يكفي ليُسمّى نموذجًا لغويًا كبيرًا. حاليًا، لا يوجد سطر محدد متفق عليه لعدد المعلمات.

تستند معظم النماذج اللغوية الكبيرة الحالية (مثل GPT) إلى بنية Transformer.

---

المساحة الكامنة

#language

مرادف مساحة التضمين.

النموذج اللغوي الكبير

#language

اختصار للنموذج اللغوي الكبير

LoRA

#language

#generativeAI

اختصار يشير إلى قابلية التكيّف ذات الترتيب المنخفض.

القدرة على التكيف للترتيب المنخفض (LoRA)

#language

#generativeAI

خوارزمية لتنفيذ ضبط فعّال للمعلَمات بهدف ضبط الصوت بدقة لمجموعة فرعية فقط من معلَمات نموذج لغوي كبير. توفر LoRA المزايا التالية:

• التوليف الدقيق بشكل أسرع من الأساليب التي تتطلب ضبط جميع معلَمات النموذج.
• يقلل من التكلفة الحسابية للاستنتاج في النموذج الدقيق.

يحافظ النموذج الذي تم ضبطه باستخدام LoRA على جودة التوقعات أو يحسنها.

تتيح LoRA عدة إصدارات متخصصة من النموذج.

ن

نموذج لغة مقنعة

#language

نموذج لغوي يتنبأ باحتمالية ملء الفراغات في تسلسل للرموز المميّزة للمرشح. على سبيل المثال، يمكن لنموذج اللغة المقنَّع أن يحسب الاحتمالات للكلمات(الكلمات) المرشحة لاستبدال التسطير في الجملة التالية:

عاد ____ ذو القبّعة.

تستخدم الأعمال الأدبية السلسلة "MASK" بدلاً من التسطير. مثال:

عاد "MASK" ذو القبّعة.

معظم النماذج الحديثة اللغوية المقنَّعة تكون ثنائية الاتجاه.

التعلم الآلي

#language

يشير ذلك المصطلح إلى مجموعة فرعية من تعلُّم الآلة تعمل على اكتشاف خوارزمية تعلُّم أو تحسينها. يمكن أن يهدف نظام التعلم الوصفي أيضًا إلى تدريب نموذج لتعلم مهمة جديدة بسرعة من كمية صغيرة من البيانات أو من الخبرة المكتسبة في المهام السابقة. تحاول خوارزميات التعلم الآلي تحقيق ما يلي بوجه عام:

• قم بتحسين أو تعلم الميزات المعدة يدويًا (مثل المهيئ أو المحسن).
• وفِّر بيانات أكثر فعالية وكفاءة في احتساب البيانات.
• تحسين التعميم.

ترتبط التعلّم الآلي بالتعلم بلقطات قصيرة.

الطريقة

#language

يشير ذلك المصطلح إلى فئة بيانات عالية المستوى. على سبيل المثال، تعد الأرقام والنص والصور والفيديو والصوت خمس طرق مختلفة.

نموذج التوازي

#language

طريقة لتوسيع نطاق التدريب أو الاستنتاج من خلال وضع أجزاء مختلفة من model واحد على model مختلفة. تُمكّن ميزة التوازي في النموذج النماذج الكبيرة جدًا بحيث لا يمكن احتواؤها على جهاز واحد.

لتنفيذ نموذج التوازي، يُجري النظام عادةً ما يلي:

1. تقسيم (تقسيم) النموذج إلى أجزاء أصغر.
2. يوزع تدريب تلك الأجزاء الأصغر عبر معالجات متعددة. يقوم كل معالج بتدريب الجزء الخاص به من النموذج.
3. يدمج النتائج لإنشاء نموذج واحد.

يؤدي التوازي في النموذج إلى إبطاء التدريب.

راجِع أيضًا تماثل البيانات.

انتباه ذاتي متعدد الرؤوس

#language

يشير ذلك المصطلح إلى إصدار مطوّر من الانتباه الذاتي يطبِّق آلية الانتباه الذاتي عدة مرات لكل موضع في تسلسل الإدخال.

وفّرت المحولات ميزة الانتباه الذاتي لعدة رؤوس.

نموذج متعدد الوسائط

#language

يشير ذلك المصطلح إلى النموذج الذي تتضمّن مدخلاته و/أو مخرجاته أكثر من طريقة واحدة. على سبيل المثال، انظر إلى نموذج يأخذ كلاً من صورة وشرح نصي (طريقتان) كميزات، وينتج عنه درجة تشير إلى مدى ملاءمة الشرح النصي للصورة. إذًا، مدخلات هذا النموذج متعددة الوسائط والمخرجات أحادية الاتجاه.

N

فهم اللغات الطبيعية

#language

تحديد نوايا المستخدم بناءً على ما كتبه أو قاله على سبيل المثال، يستخدم محرك بحث فهم اللغة الطبيعية لتحديد ما يبحث عنه المستخدم بناءً على ما كتبه أو قاله.

N-غرام

#seq

#language

تسلسل مُرتب من كلمات N. على سبيل المثال، يرمز حرف truly madly إلى 2 غرام. نظرًا لأن الطلب ذي صلة، يكون وزن ما الاشتراك بنحو 2 غرام بدلاً من 2 غرام من نوع جنون حقًا.

N	أسماء هذا النوع من الغرامات(N-gram)	أمثلة
2	بيغ رام أو 2 غرام	الذهاب إلى المكان، ثم تناول الغداء، العشاء
3	تريغرام أو 3 غرام	أكلت الكثير من الطعام، و3 فئران مكفوفين، وأجراس أجراس
4	4 غرام	يمشي في الحديقة، والغبار الذي يشعّ بالرياح، وأكل الصبي العدس

تعتمد العديد من نماذج فهم اللغة الطبيعية على N-grams للتنبؤ بالكلمة التالية التي سيكتبها المستخدم أو يقولها. على سبيل المثال، لنفترض أنّ أحد المستخدمين كتب ثلاثة فئات مكشوفة. من المرجح أن يتوقع نموذج NLU المستند إلى الأشكال الثلاثية أن المستخدم سيكتب الفئران بعد ذلك.

قارن N غرام مع كيس من الكلمات، وهي مجموعات غير مرتّبة من الكلمات.

فهم اللغات الطبيعية

#language

اختصار لفهم اللغة الطبيعية

O

طلب بنقرة واحدة

#language

#generativeAI

طلب يحتوي على مثال واحد يوضّح كيفية استجابة النموذج اللغوي الكبير على سبيل المثال، يحتوي الطلب التالي على مثال واحد يوضح نموذجًا لغويًا كبيرًا كيف يجب أن يجيب على أحد طلبات البحث.

أجزاء من طلب واحد	Notes
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد الإجابة عنه من خلال النموذج اللغوي الكبير
فرنسا: اليورو	مثال واحد.
الهند:	الاستعلام الفعلي.

قارِن بين طلب لقطة واحدة والمصطلحات التالية:

• طلب عدم تلقّي أي إشعارات
• طلب بضع لقطات

P

ضبط فعّالة من حيث المَعلمات

#language

#generativeAI

هي مجموعة من الأساليب لتحسين نموذج لغوي مدرَّب مسبقًا وكفاءة أعلى من ضبط النموذج اللغوي بالكامل. يؤدّي الضبط الفعّال إلى ضبط معلَمات أقلّ بكثير من الضبط الكامل، ولكن ينتج بشكل عام نموذج لغوي كبير يحقّق أداءً جيدًا (أو شبه تقريبًا) مثل النموذج اللغوي الكبير الذي يتم إنشاؤه من خلال التوليف الدقيق.

تحديد أوجه الاختلاف والتشابه بين الضبط الفعّال للمعلَمات مع:

• ضبط التعليمات
• ضبط الطلبات

ويُعرف الضبط الفعّال للمعلَمات أيضًا باسم الضبط الفعّال للمعلَمات.

مسار تزحلق

#language

يشير ذلك المصطلح إلى شكل من أشكال التوازي للنموذج الذي يتم فيه تقسيم معالجة النموذج إلى مراحل متتالية، ويتم تنفيذ كل مرحلة على جهاز مختلف. أثناء معالجة المرحلة لدفعة واحدة، يمكن أن تعمل المرحلة السابقة على الدفعة التالية.

راجِع أيضًا التدريب على مراحل.

إدارة موفّر المحتوى (PLM)

#language

#generativeAI

اختصار لنموذج لغوي تم تدريبه مسبقًا.

الترميز الموضعي

#language

يشير ذلك المصطلح إلى أسلوب لإضافة معلومات عن موضع الرمز المميّز في تسلسل لتضمين الرمز المميّز. تستخدم نماذج المحولات الترميز الموضعي لفهم العلاقة بين الأجزاء المختلفة من التسلسل بشكل أفضل.

هناك استخدام شائع للترميز الموضعي يستخدم وظيفة جيبية. (على وجه التحديد، يتم تحديد تردد واتساع الدالة الجيبية من خلال موضع الرمز المميز في التسلسل). تُمكّن هذه التقنية نموذج المحول من تعلم كيفية الانتباه إلى أجزاء مختلفة من التسلسل بناءً على موضعها.

نموذج مدرَّب مسبقًا

#language

#image

#generativeAI

النماذج أو مكوّنات النماذج (مثل متّجه التضمين) الذي سبق أن تم تدريبه في بعض الأحيان، يتم تغذية متّجهات تضمين مدربة مسبقًا في شبكة عصبية. في أحيان أخرى، سيقوم النموذج الخاص بك بتدريب متجهات التضمين نفسها بدلاً من الاعتماد على التضمينات المدرّبة مسبقًا.

يشير مصطلح نموذج لغوي مدرّب مسبقًا إلى نموذج لغوي كبير خضع لتدريب مسبق.

التدريب المُسبَق

#language

#image

#generativeAI

يشير ذلك المصطلح إلى التدريب الأولي على مجموعة بيانات كبيرة ضِمن نموذج معيّن. بعض النماذج المدرّبة مسبقًا هي نماذج عملاقة أخرق يجب تحسينها عادةً من خلال تدريب إضافي. على سبيل المثال، قد يدرّب خبراء تعلُّم الآلة مسبقًا نموذجًا لغويًا كبيرًا على مجموعة بيانات نصية كبيرة، مثل جميع الصفحات الإنجليزية في ويكيبيديا. وبعد التدريب المسبق، يمكن تحسين النموذج الناتج بشكل أكبر من خلال أي من الأساليب التالية:

• الاستخلاص
• ضبط دقيق
• ضبط التعليمات
• ضبط فعّال مع المَعلمات
• ضبط الطلب

طلب

#language

#generativeAI

أي نص تم إدخاله كإدخال في نموذج لغوي كبير لضبط النموذج لكي يتصرف بطريقة معيّنة. يمكن أن تكون المطالبات قصيرة مثل عبارة أو طويلة بشكل عشوائي (على سبيل المثال، النص الكامل للرواية). تنقسم المطالبات إلى فئات متعددة، بما في ذلك تلك المعروضة في الجدول التالي:

فئة الطلب	مثال	Notes
السؤال	ما هي سرعة الحمامة التي تطير؟
مدرسة تعليم	اكتب قصيدة مضحكة عن المواقع المنشأة بهدف عرض الإعلانات.	رسالة تطلب من النموذج اللغوي الكبير تنفيذ إجراء.
مثال	ترجمة ترميز Markdown إلى لغة HTML: على سبيل المثال: Markdown: * عنصر قائمة HTML: <ul> <li>عنصر القائمة</li> </ul>	الجملة الأولى في هذا المثال المطالبة هي تعليمات. بقية المطالبة هي المثال.
الدور	اشرح سبب استخدام خوارزمية انحدار التدرج في تدريب تعلّم الآلة للحصول على درجة الدكتوراه في الفيزياء.	والجزء الأول من الجملة هو تعليمات، والعبارة "إلى درجة الدكتوراه في الفيزياء" هي جزء الدور.
إدخال جزئي لإكمال النموذج	يقيم رئيس وزراء المملكة المتحدة في	يمكن أن ينتهي طلب الإدخال الجزئي إما بشكل مفاجئ (كما هو الحال في هذا المثال) أو ينتهي بشرطة سفلية.

يمكن أن يستجيب نموذج الذكاء الاصطناعي التوليدي لأي طلب من خلال تضمين نص أو رمز أو صور أو عناصر تضمين أو فيديوهات، وأي شيء آخر تقريبًا.

التعلُّم القائم على الطلبات

#language

#generativeAI

يشير ذلك المصطلح إلى إمكانية لنماذج معيّنة تتيح لهم تعديل سلوكهم استجابةً للإدخال النصي العشوائي (الطلبات). في نموذج التعلُّم المستند إلى الطلبات النموذجية، يتجاوب النموذج اللغوي الكبير مع الطلب من خلال إنشاء نص. على سبيل المثال، لنفترض أنّ أحد المستخدمين أدخل الطلب التالي:

لخّص قانون "نيوتن" الثالث للحركة.

لا يتم تدريب النموذج القادر على التعلم القائم على المطالبة بشكل خاص للإجابة على المطالبة السابقة. بدلاً من ذلك، "يعرف" النموذج الكثير من الحقائق حول الفيزياء، والكثير عن قواعد اللغة العامة، والكثير حول ما يشكل إجابات مفيدة بشكل عام. هذه المعرفة كافية لتقديم إجابة مفيدة (نأمل فيها). تمكن الملاحظات الإضافية البشرية (مثل "كانت هذه الإجابة معقدة للغاية" أو "ما هي رد الفعل؟") لبعض أنظمة التعلم المستندة إلى الطلبات إلى تحسين فائدة إجاباتهم تدريجيًا.

تصميم الطلبات

#language

#generativeAI

مرادف هندسة الطلبات.

هندسة الطلبات

#language

#generativeAI

يشير هذا المصطلح إلى أسلوب إنشاء الطلبات التي تستدعي الردود المطلوبة من خلال نموذج لغوي كبير. يقوم البشر بإجراء هندسة فورية. تعد كتابة مطالبات جيدة التنظيم جزءًا أساسيًا من ضمان ردود مفيدة من نموذج لغوي كبير. تعتمد هندسة المطالبة على العديد من العوامل، بما في ذلك:

• مجموعة البيانات المستخدَمة للتدريب المسبق وربما تحسين النموذج اللغوي الكبير
• تمثّل هذه السمة temp ومعلَمات أخرى لفك الترميز التي يستخدمها النموذج لإنشاء استجابات.

راجِع مقدمة عن تصميم الطلب للحصول على مزيد من التفاصيل حول كتابة طلبات مفيدة.

تصميم الطلب هو مرادف لهندسة الطلبات.

توليف الطلبات

#language

#generativeAI

يشير ذلك المصطلح إلى آلية ضبط فعّال للمعلَمات تتعرّف على "بادئة" يضيفها النظام إلى الطلب الفعلي.

من أشكال توليف الطلبات، التي يُطلق عليها أحيانًا ضبط البادئة، إضافة البادئة إلى كل طبقة. وفي المقابل، يؤدي ضبط المطالبة فقط إلى إضافة بادئة إلى طبقة الإدخال.

انقر على الرمز لمعرفة المزيد حول البادئات.

بالنسبة إلى توليف الطلبات، تكون "البادئة" (المعروفة أيضًا باسم "الإشعار البسيط") مجموعة من المتجهات التي تم تعلُّمها والخاصة بالمهمة والمضافة إلى عمليات تضمين الرمز المميّز النصي من الطلب الفعلي. يتعرف النظام على المطالبة البسيطة من خلال تجميد جميع معلمات النموذج الأخرى والضبط الدقيق لمهمة محددة.

---

R

المطالبة بالدور

#language

#generativeAI

هي جزء اختياري من طلب يحدّد الجمهور المستهدف من ردّ الذكاء الاصطناعي التوليدي. بدون طلب دور، يقدّم النموذج اللغوي الكبير إجابة قد تكون أو لا تكون مفيدة للشخص الذي يطرح الأسئلة. من خلال طلب دور معيّن، يمكن لنموذج لغوي كبير أن يجيب بطريقة أكثر ملاءمة وفائدة لجمهور مستهدف محدّد. على سبيل المثال، يظهر الجزء مطالبة الدور في الطلبات التالية بخط غامق:

• لخص هذه المقالة للحصول على درجة الدكتوراه في الاقتصاد.
• صِف كيفية عمل المد والجزر لطفل في سن العاشرة.
• شرح الأزمة المالية 2008. تحدث من باب التحدث مع طفل صغير أو كلب غولدن ريتريفر.

S

الانتباه الذاتي (يسمى أيضًا طبقة الانتباه الذاتي)

#language

يشير ذلك المصطلح إلى طبقة شبكة عصبية تحوِّل سلسلة من عمليات التضمين (على سبيل المثال، عمليات تضمين الرمز المميّز) في سلسلة أخرى من عمليات التضمين. يتم إنشاء كل عملية تضمين في تسلسل الإخراج عن طريق دمج المعلومات من عناصر تسلسل الإدخال من خلال آلية الانتباه.

يشير جزء الذات من الانتباه الذاتي إلى التسلسل الذي يحض على نفسه بدلاً من بعض السياق الآخر. يُعدّ الانتباه الذاتي إحدى اللبنات الأساسية لأداة المحولات ويستخدم مصطلحات بحث المعجم، مثل "استعلام" و"مفتاح" و "قيمة".

تبدأ طبقة الانتباه الذاتي بسلسلة من تمثيلات الإدخال، واحدة لكل كلمة. يمكن أن يكون تمثيل الإدخال لكلمة ما تضمينًا بسيطًا. لكل كلمة في تسلسل الإدخال، تُقيّم الشبكة مدى صلة الكلمة بكل عنصر في التسلسل الكامل للكلمات. تحدد درجات مدى الصلة كيف يدمج التمثيل النهائي للكلمة تمثيلات الكلمات الأخرى.

على سبيل المثال، ضع في الاعتبار الجملة التالية:

لم يعبر الحيوان الشارع لأنّه كان مرهقًا جدًا.

من خلال الرسم التوضيحي التالي (من مقالة Transformer: A New new Network الهندسة لفهم اللغة)، يتم عرض نمط انتباه طبقة الانتباه الذاتي للضمير هو، حيث يشير الظلام في كل سطر إلى مدى مساهمة كل كلمة في تمثيل اللغة:

تسلّط طبقة الانتباه الذاتي الضوء على الكلمات ذات الصلة بطبيعتها. في هذه الحالة، تعلمت طبقة الانتباه تمييز الكلمات التي قد تشير إليها، ما يؤدي إلى منح القيمة الأكبر للحيوان.

بالنسبة إلى تسلسل n من الرموز المميّزة، يحوِّل الانتباه الذاتي تسلسلاً من عمليات التضمين n مرات منفصلة، مرة في كل موضع في التسلسل.

راجِع أيضًا الانتباه والانتباه الذاتي لعدة أشخاص.

تحليل المشاعر

#language

استخدام الخوارزميات الإحصائية أو التعلم الآلي لتحديد الموقف العام للمجموعة - الإيجابي أو السلبي - تجاه خدمة أو منتج أو مؤسسة أو موضوع. على سبيل المثال، باستخدام فهم اللغة الطبيعية، يمكن لخوارزمية إجراء تحليل الآراء حول الملاحظات النصية من دورة تدريبية جامعية لتحديد الدرجة التي أبدى فيها الطلاب إعجابهم أو عدم إعجابهم بالدورة التدريبية بشكل عام.

مهمة من التسلسل إلى تسلسل

#language

مهمة تحوِّل تسلسل إدخال للرموز المميّزة إلى تسلسل ناتج للرموز المميّزة. على سبيل المثال، هناك نوعان شائعان من المهام من التسلسل إلى التسلسل هما:

• المترجمون:
  • نموذج لتسلسل الإدخال: "أحبك".
  • نموذج تسلسل الإخراج: "Je t'aime"
• الإجابة عن السؤال:
  • نموذج تسلسل الإدخال: "هل أحتاج إلى سيارة في دبي؟"
  • نموذج تسلسل الإخراج: "لا. يُرجى إبقاء سيارتك في المنزل".

تخطي الغرام

#language

n-gram والذي قد يحذف (أو "يتخطى") الكلمات من السياق الأصلي، مما يعني أن الكلمات N قد لا تكون مجاورة في الأصل. بشكل أكثر دقة، k-skip-n-gram" عبارة عن n-غرام ربما يتم تخطي ما يصل إلى ألف كلمة.

على سبيل المثال، يحتوي "الثعلب البني السريع" على الغرامَين التاليَين المحتملَين:

• "سريع"
• "بني سريع"
• "ثعلب بني"

"1-skip-2-غرام" هو زوج من الكلمات التي تحتوي على كلمة واحدة على الأكثر. لذلك، يحتوي "الثعلب البني السريع" على 2 غرام من التخطي التالي:

• "البني"
• "ثعلب سريع"

بالإضافة إلى ذلك، كل 2 غرام أيضًا 1 - 2 غرام، حيث قد يتم تخطي أقل من كلمة واحدة.

تعد رموز التخطي مفيدة لفهم المزيد عن السياق المحيط بالكلمة. وفي هذا المثال، ارتبطت كلمة "ثعلب" مباشرةً بكلمة "سريع" في مجموعة 1-skip-2-غرام، ولكن ليس في مجموعة 2 غرام.

تساعد رموز التخطي في تدريب نماذج تضمين الكلمات.

توليف بسيط

#language

#generativeAI

يشير ذلك المصطلح إلى أسلوب لضبط نموذج لغوي كبير لمهمة معيّنة بدون الحاجة إلى ضبط الموارد الدقيقة. بدلاً من إعادة تدريب كل القيم التقديرية في النموذج، يؤدي الضبط البسيط للإشعار إلى تعديل الطلب تلقائيًا لتحقيق الهدف نفسه.

عند تقديم طلب نصي، يؤدي الضبط الأولي للطلب عادةً إلى إلحاق المزيد من عمليات تضمين الرموز المميّزة في الطلب واستخدام الانتشار العكسي لتحسين الإدخال.

تحتوي المطالبة "الصعبة" على رموز مميزة فعلية بدلاً من تضمينات الرموز المميزة.

خاصية متفرقة

#language

#fundamentals

ميزة تكون قيمها في الغالب صفرية أو فارغة. على سبيل المثال، تكون الميزة التي تحتوي على قيمة 1 واحدة ومليون 0 متفرقة. في المقابل، تحتوي الميزة الكثيفة على قيم ليست صفرًا أو فارغة في الأساس.

في التعلم الآلي، هناك عدد مذهل من الميزات عبارة عن ميزات متفرقة. عادةً ما تكون السمات الفئوية متفرقة. على سبيل المثال، من بين 300 نوع محتمل من الأشجار في الغابة، هناك مثال واحد قد يحدد شجرة قيقب فقط. أو من بين الملايين من مقاطع الفيديو المحتملة في مكتبة الفيديو، قد يحدد مثال واحد "Casablanca" فقط.

في النموذج، أنت تمثّل عادةً ميزات متفرقة باستخدام ترميز واحد فعال. إذا كان الترميز الأحادي كبيرًا، يمكنك وضع طبقة تضمين أعلى الترميز الأحادي لتحسين الكفاءة.

تمثيل متفرق

#language

#fundamentals

تخزين مواضع العناصر غير الصفرية فقط في ميزة متفرقة.

على سبيل المثال، لنفترض أنّ ميزة فئوية تُعرف باسم species تحدد 36 نوعًا من الأشجار في غابة معيّنة. افترض أيضًا أن كل مثال يحدد نوعًا واحدًا فقط.

يمكنك استخدام متجه ساخن لتمثيل أنواع الأشجار في كل مثال. سيحتوي الخط المتجه أحادي اللون على حرف 1 واحد (لتمثيل أنواع الأشجار المحدّدة في هذا المثال) و35 ثانية 0 (لتمثيل 35 نوعًا من الأشجار وليس في هذا المثال). لذلك، قد يبدو التمثيل الحار لـ maple كما يلي:

بدلاً من ذلك، سيحدد التمثيل المتفرق ببساطة موضع أنواع معينة. إذا كان maple في الموضع 24، سيكون تمثيل maple المتفرق ببساطة:

24

لاحظ أن التمثيل المتفرق أكثر إحكامًا بكثير من التمثيل الساخن.

ملاحظة: يجب عدم تمرير تمثيل متفرق كإدخال ميزة مباشر للنموذج. بدلاً من ذلك، عليك تحويل التمثيل المتفرق إلى تمثيل واحد فعال قبل التدريب عليه.

انقر فوق الأيقونة للحصول على مثال أكثر تعقيدًا قليلاً.

لنفترض أن كل مثال في نموذجك يجب أن يمثل الكلمات - ولكن ليس ترتيب هذه الكلمات - في جملة إنجليزية. تتكون اللغة الإنجليزية من حوالي 170000 كلمة، لذا فإن اللغة الإنجليزية هي ميزة فئوية تضم حوالي 170000 عنصر. تستخدم معظم الجمل الإنجليزية جزءًا صغيرًا للغاية من تلك الكلمات البالغ عددها 170,000 كلمة، لذا من المؤكد أن مجموعة الكلمات في مثال واحد ستكون على الأرجح بيانات متفرقة.

ضع في الاعتبار الجملة التالية:

My dog is a great dog

يمكنك استخدام صيغة لمتجه واحد حار لتمثيل الكلمات في هذه الجملة. في هذا المتغير، يمكن أن تحتوي الخلايا المتعددة في المتجه على قيمة غير صفرية. علاوة على ذلك، في هذا المتغير، يمكن أن تحتوي الخلية على عدد صحيح مختلف عن واحد. على الرغم من أن الكلمات "my" و"is" و"a" و "رائع" تظهر مرة واحدة فقط في الجملة، تظهر كلمة "كلب" مرتين. يؤدي استخدام هذا المتغير من المتجهات الساخنة لتمثيل الكلمات في هذه الجملة إلى إنشاء الخط المتجه التالي المكون من 170000 عنصر:

سيكون تمثيل متفرق للجملة نفسها ببساطة:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

انقر فوق الرمز إذا كنت مرتبكًا.

يُربك مصطلح "التمثيل المتباعد" الكثير من الأشخاص لأن التمثيل المتفرق هو في حد ذاته ليس متجهًا متفرقًا. بدلاً من ذلك، يكون التمثيل المتفرق هو في الواقع تمثيلًا كثيفًا لمتجه متفرق. إنّ المرادفات تمثيل الفهرس أكثر وضوحًا من "تمثيل متفرق".

---

تدريب مدرّج

#language

يشير ذلك المصطلح إلى أسلوب لتدريب نموذج ضمن سلسلة من المراحل المنفصلة. يمكن أن يكون الهدف إما تسريع عملية التدريب أو تحقيق جودة نموذج أفضل.

في ما يلي صورة توضيحية لنهج التجميع التدريجي:

• تحتوي المرحلة 1 على 3 طبقات مخفية، وتحتوي المرحلة 2 على 6 طبقات مخفية، وتحتوي المرحلة 3 على 12 طبقة مخفية.
• تبدأ المرحلة 2 التدريب باستخدام الأوزان التي تعلمتها في الطبقات الثلاث المخفية من المرحلة 1. تبدأ المرحلة 3 التدريب باستخدام الأوزان التي تعلمتها في الطبقات الست المخفية من المرحلة 2.

راجِع أيضًا المسارات.

رمز مميّز للكلمة الفرعية

#language

في النماذج اللغوية، يكون رمزًا مميزًا عبارة عن سلسلة فرعية من الكلمة، والتي قد تكون الكلمة بأكملها.

على سبيل المثال، يمكن تقسيم كلمة مثل "itemize" إلى القسمين "item" (كلمة جذر) و "ize" (لاحقة)، ويتم تمثيل كلّ منهما بالرمز المميّز الخاص به. يسمح تقسيم الكلمات غير الشائعة إلى مثل هذه الأجزاء، المسماة بالكلمات الفرعية، للنماذج اللغوية بالعمل على الأجزاء المكوّنة الأكثر شيوعًا للكلمة، مثل البادئات واللاحقات.

وعلى النقيض، قد لا يتم تقسيم الكلمات الشائعة مثل "الذهاب" وقد يتم تمثيلها برمز مميز واحد.

T

T5

#language

هو نموذج تحويل يستند إلى تحويل النص إلى نص، طرحه تكنولوجيات الذكاء الاصطناعي من Google في عام 2020. إنّ النموذج T5 هو نموذج برنامج ترميز لفك الترميز يستند إلى بنية Transformer التي تم تدريبه على مجموعة بيانات كبيرة للغاية. كما أنها فعالة في مجموعة متنوعة من مهام معالجة اللغات الطبيعية، مثل إنشاء النص وترجمة اللغات والإجابة على الأسئلة بطريقة محادثة.

يشتق T5 اسمه من أحرف T الخمسة في "محول نقل النص إلى نص".

T5X

#language

هو إطار عمل مفتوح المصدر لتعلُّم الآلة تم تصميمه لإنشاء وتدريب نماذج معالجة اللغات الطبيعية واسعة النطاق (NLP). يتم تنفيذ T5 على قاعدة رموز T5X (التي تستند إلى JAX وFlax).

درجة الحرارة

#language

#image

#generativeAI

معلَمة فائقة تتحكّم في درجة العشوائية لناتج النموذج. تؤدي درجات الحرارة الأعلى إلى ناتج عشوائي أكثر، بينما تؤدي درجات الحرارة المنخفضة إلى ناتج عشوائي أقل.

يعتمد اختيار أفضل درجة حرارة على التطبيق المحدد والخصائص المفضلة لناتج النموذج. على سبيل المثال، من المحتمل أن ترفع درجة الحرارة عند إنشاء تطبيق ينشئ مخرجات إبداعية. والعكس صحيح، من المحتمل أن تقلل درجة الحرارة عند إنشاء نموذج يصنف الصور أو النصوص من أجل تحسين دقة النموذج واتساقه.

غالبًا ما تُستخدَم درجة الحرارة مع softmax.

امتداد النص

#language

مدى فهرس الصفيف المرتبط بقسم فرعي محدد من سلسلة نصية. على سبيل المثال، تشغل الكلمة good في سلسلة بايثون s="Be good now" مساحة النص من 3 إلى 6.

رمز مميّز

#language

في النموذج اللغوي، يشير ذلك إلى الوحدة الذرية التي يتدرب النموذج عليها ويقدم توقّعات بشأنها. يكون الرمز المميز عادةً واحدًا مما يلي:

• كلمة - على سبيل المثال، تتكون عبارة "كلاب مثل القطط" من ثلاث كلمات مميزة: "كلاب" و"أعجبني" و "قطط".
• حرف - على سبيل المثال، تتكون عبارة "سمكة دراجة" من تسعة أحرف. (لاحظ أن المساحة الفارغة تُحتسب كإحدى الرموز المميزة).
• كلمات فرعية - يمكن أن تكون فيها كلمة واحدة رمزًا واحدًا أو رموزًا مميزة متعددة. تتكون الكلمة الفرعية من كلمة جذر أو بادئة أو لاحقة. على سبيل المثال، قد يعرض النموذج اللغوي الذي يستخدم الكلمات الفرعية كرموز مميزة كلمة "كلاب" كرمزين مميزين (كلمة الجذر "كلب" ولاحقة الجمع "s"). قد يعرض نموذج اللغة نفسه الكلمة المفردة "أطول" ككلمتين فرعيتين (الكلمة الجذر "طويل" واللاحقة "er").

في النطاقات خارج النماذج اللغوية، يمكن أن تمثل الرموز المميزة أنواعًا أخرى من الوحدات الذرية. على سبيل المثال، في رؤية الكمبيوتر، قد يكون الرمز المميز مجموعة فرعية من صورة.

المحوّل

#language

يشير ذلك المصطلح إلى بنية لشبكة عصبية تم تطويرها في Google وتستند إلى آليات الانتباه الذاتي لتحويل تسلسل عمليات تضمين المدخلات إلى سلسلة من عمليات تضمين الإخراج بدون الاعتماد على الالتفافات أو الشبكات العصبية المتكررة. يمكن عرض المحول كحزمة من طبقات الانتباه الذاتي.

يمكن أن يتضمن المحول أيًا مما يلي:

• برنامج ترميز
• برنامج فك الترميز
• برنامج ترميز وجهاز فك الترميز

يحوّل برنامج الترميز سلسلة من عمليات التضمين إلى تسلسل جديد بنفس الطول. يشتمل برنامج الترميز على N طبقات متطابقة، تحتوي كل منها على طبقتين فرعيتين. يتم تطبيق هاتَين الطبقتَين الفرعيتَين في كل موضع من تسلسل تضمين الإدخال، ما يؤدي إلى تحويل كل عنصر من عناصر التسلسل إلى عملية تضمين جديدة. تُجمِّع الطبقة الفرعية الأولى لبرنامج الترميز المعلومات من تسلسل الإدخال. تعمل الطبقة الفرعية لبرنامج الترميز الثانية على تحويل المعلومات المجمعة إلى تضمين للمخرجات.

يحوّل برنامج فك الترميز سلسلة من عمليات تضمين المدخلات إلى سلسلة من تضمينات الإخراج، ومن المحتمل أن يكون طولها مختلفًا. يحتوي برنامج فك الترميز أيضًا على عدد N طبقات متطابقة ذات ثلاث طبقات فرعية، اثنان منها مشابهان للطبقات الفرعية لبرنامج الترميز. تأخذ الطبقة الفرعية الثالثة لفك الترميز نتائج برنامج الترميز وتطبّق آلية الانتباه الذاتي لجمع المعلومات منه.

ونقدّم في مشاركة المدونة Transformer: A New Neular Network Engineering for Language Format مقدمة جيدة عن المحولات.

صورة ثلاثية الأبعاد

#seq

#language

N-gram حيث N=3.

U

أحادي الاتجاه

#language

يشير ذلك المصطلح إلى نظام يقيّم فقط النص الذي يسبق قسمًا مستهدَفًا من النص. في المقابل، يقيّم النظام الثنائي الاتجاه كلاً من النص الذي يسبق ويتبع القسم المستهدَف من النص. يمكنك الاطّلاع على ثنائي الاتجاه للحصول على مزيد من التفاصيل.

نموذج لغوي أحادي الاتجاه

#language

نموذج لغوي يستند في احتمالاته إلى الرموز المميّزة التي تظهر قبل الرموز المميّزة المستهدفة، وليس بعدها قارِنها مع النموذج اللغوي ثنائي الاتجاه.

V

برنامج الترميز التلقائي المتغير (VAE)

#language

يشير ذلك المصطلح إلى نوع من برامج الترميز التلقائي يستفيد من التناقض بين المدخلات والمخرجات لإنشاء نُسخ معدَّلة من المدخلات. تُعدّ برامج الترميز التلقائية المتعدّدة مفيدة للذكاء الاصطناعي التوليدي.

تستند VAEs إلى الاستدلال المتغير: تقنية لتقدير معلمات نموذج الاحتمال.

واط

تضمين الكلمات

#language

تمثيل كل كلمة في مجموعة كلمات ضمن متجه تضمين، أي تمثيل كل كلمة كمتجه لقيم النقطة العائمة بين 0.0 و1.0. الكلمات ذات المعاني المتشابهة لها تمثيلات أكثر تشابهًا من الكلمات ذات المعاني المختلفة. على سبيل المثال، قد يكون لكل من الجزر والكرفس والخيار أشكال متشابهة نسبيًا، وبالتالي ستكون مختلفة جدًا عن أشكال الطائرة والنظارات الشمسية ومعجون الأسنان.

Z

إرسال طلب بلقطة شاشة

#language

#generativeAI

طلب لا يقدّم مثالاً حول طريقة استجابة النموذج اللغوي الكبير مثال:

أجزاء من طلب واحد	Notes
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد الإجابة عنه من خلال النموذج اللغوي الكبير
الهند:	الاستعلام الفعلي.

قد يتجاوب النموذج اللغوي الكبير مع أيٍّ مما يلي:

• روبية
• INR
• ₹
• الروبية الهندية
• الروبية
• الروبية الهندية

جميع الإجابات صحيحة، على الرغم من أنك قد تفضل تنسيقًا معينًا.

قارِن بين المطالبة باللقطة صفرية والمصطلحات التالية:

• طلب لمرة واحدة
• طلب بضع لقطات