مسرد مصطلحات التعلم الآلي: تقييم اللغة

تحتوي هذه الصفحة على مصطلحات مسرد تقييم اللغة. للاطّلاع على جميع مصطلحات المسرد، انقر على هذا الرابط.

A

تنبيه

#language

آلية تُستخدَم في الشبكة العصبية تشير إلى أهمية كلمة معيّنة أو جزء من كلمة. تعمل ميزة "التركيز" على ضغط مقدار المعلومات التي يحتاجها النموذج لتوقّع الرمز/الكلمة التالية. قد يتألّف آلية الانتباه النموذجية من مجموع مرجح لمجموعة من المدخلات، حيث يتم احتساب المرجح لكل مدخل من خلال جزء آخر من الشبكة العصبية.

يمكنك أيضًا الرجوع إلى التركيز الذاتي و التركيز الذاتي المتعدّد الرؤوس، وهما تشكلان الوحدات الأساسية لشبكات Transformer.

اطّلِع على النماذج اللغوية الكبيرة: ما هو المقصود بالعبارة "نموذج لغوي كبير"؟ في الدورة التدريبية المكثّفة لتعلُّم الآلة لمعرفة المزيد من المعلومات عن الانتباه الذاتي.

برنامج ترميز تلقائي

#language

#image

نظام يتعلّم استخراج أهم المعلومات من المدخلات أدوات الترميز التلقائي هي عبارة عن مزيج من أداة ترميز و أداة فك ترميز. تعتمد برامج الترميز التلقائي على العملية المكونة من خطوتَين التاليتَين:

1. يُعرِض برنامج الترميز الإدخال بتنسيق (متوسط) ذي أبعاد أقلّ (عادةً) مع فقدان للبيانات.
2. ينشئ برنامج الترميز العكسي نسخة ذات فقدان للبيانات من الإدخال الأصلي من خلال ربط التنسيق ذي الأبعاد الأقل بتنسيق الإدخال الأصلي ذي الأبعاد الأعلى.

يتم تدريب برامج الترميز التلقائية من البداية إلى النهاية من خلال محاولة وحدة فك التشفير إعادة إنشاء الإدخال الأصلي من التنسيق الوسيط لوحدة الترميز بأكبر قدر ممكن من الدقة. وبما أنّ التنسيق الوسيط أصغر (أبعاده أقل) من التنسيق الأصلي، يتم إجبار الترميز التلقائي على معرفة المعلومات الأساسية في الإدخال، ولن يكون الإخراج متطابقًا تمامًا مع الإدخال.

على سبيل المثال:

• إذا كانت بيانات الإدخال عبارة عن رسم، ستكون النسخة غير الدقيقة مشابهة للرسم الأصلي، ولكن تم تعديلها إلى حد ما. من المحتمل أنّ النسخة غير الدقيقة تزيل التشويش من الرسم الأصلي أو تملأ بعض وحدات البكسل المفقودة.
• إذا كانت بيانات الإدخال نصًا، سينشئ الترميز الآلي نصًا جديدًا يشبه النص الأصلي (ولكن ليس مطابقًا له).

راجِع أيضًا الترميز الذاتي المتغيّر.

التقييم التلقائي

#language

#generativeAI

استخدام البرامج لتقييم جودة نتائج النموذج

عندما تكون نتائج النموذج واضحة نسبيًا، يمكن لنص برمجي أو برنامج مقارنة نتائج النموذج باستجابة مثالية. يُطلَق على هذا النوع من التقييم التلقائي أحيانًا اسم التقييم الآلي. غالبًا ما تكون المقاييس، مثل ROUGE أو BLEU، مفيدة للتقييم الآلي.

عندما تكون نتيجة النموذج معقّدة أو لا تتضمّن إجابة صحيحة واحدة، يُجري برنامج تعلُّم آلي منفصل يُعرف باسم المقيّم التلقائي أحيانًا التقييم التلقائي.

يختلف ذلك عن التقييم البشري.

تقييم التقييم التلقائي

#language

#generativeAI

آلية مختلطة لتقييم جودة ناتج نموذج الذكاء الاصطناعي التوليدي، والتي تجمع بين التقييم البشري والتقييم الآلي أداة التقييم الآلي هي نموذج تعلُّم آلة تم تدريبه على بيانات تم إنشاؤها من خلال التقييم البشري. من الناحية المثالية، يتعلم نظام "التصنيف الآلي" محاكاة أسلوب المقيّم البشري.

تتوفّر أدوات كتابة محتوى آلية مُعدّة مسبقًا، ولكن يتم تعديل أفضل أدوات الكتابة الآلية خصيصًا للمهمة التي تقيّمها.

ملاحظة: إنّ عملية إنشاء المحتوى التلقائي هي عملية آلية بالكامل، ويقدّم المستخدمون "فقط" البيانات التي تساعد في تدريب أداة إنشاء المحتوى التلقائي.

النموذج التدرّجي التلقائي

#language

#image

#generativeAI

نموذج يستنتج توقّعًا استنادًا إلى توقّعاته السابقة على سبيل المثال، تتوقّع نماذج اللغة التسلسلية التلقائية العنصر التالي استنادًا إلى العناصر التي تم توقّعها سابقًا. جميع النماذج اللغوية الكبيرة المستندة إلى نموذج Transformer هي نماذج ذاتية الرجوع.

في المقابل، لا تكون نماذج الصور المستندة إلى GAN عادةً متراجِعة تلقائيًا، لأنّها تُنشئ صورة في خطوة واحدة إلى الأمام وليس بشكلٍ متكرّر في الخطوات. ومع ذلك، تكون بعض نماذج إنشاء الصور متراجِعة تلقائيًا لأنّها تُنشئ صورة على مراحل.

متوسّط الدقة عند k

#language

مقياس لتلخيص أداء نموذج على طلب واحد يؤدي إلى توليد نتائج مصنّفة، مثل قائمة مرقّمة باقتراحات الكتب متوسّط الدقة عند k هو متوسّط قيم الدقة عند k لكل نتيجة ملائمة. وبالتالي، تكون صيغة متوسط الدقة عند k هي:

\[{\text{average precision at k}} = \frac{1}{n} \sum_{i=1}^n {\text{precision at k for each relevant item} } \]

حيث:

• \(n\) هو عدد العناصر ذات الصلة في القائمة.

يُرجى الاطّلاع على الاسترجاع عند k.

ملاحظة: يُقيّم متوسّط الدقة عند k الإخراج لطلب واحد. استخدِم متوسط متوسط الدقة عند k لتقييم جودة نتائج النموذج على مستوى العديد من الطلبات المختلفة.

ملاحظة: يُختصر بعض الأشخاص متوسط الدقة عند k إلى متوسط الدقة.

انقر على الرمز للاطّلاع على مثال.

لنفترض أنّه تم تقديم الطلب التالي إلى نموذج لغوي كبير:

List the 6 funniest movies of all time in order.

ويعرض النموذج اللغوي الكبير القائمة التالية:

1. The General
2. Mean Girls
3. Platoon
4. وصيفات العروس
5. Citizen Kane
6. This is Spinal Tap

أربعة من الأفلام في القائمة المعروضة مضحكة جدًا (أي أنّها ملائم) ولكن فيلمان منهما دراميان (غير ملائم). يوضّح الجدول التالي بالتفصيل النتائج:

الموضع	فيلم	هل هذا المحتوى ذي صلة؟	الدقة عند k
1	The General	نعم	1
2	Mean Girls	نعم	1
3	Platoon	لا	غير ذات صلة
4	وصيفات العروس	نعم	0.75
5	Citizen Kane	لا	غير ذات صلة
6	This is Spinal Tap	نعم	0.67

عدد النتائج ذات الصلة هو 4. وبالتالي، يمكنك احتساب متوسط الدقة عند 6 على النحو التالي:

$${\text{average precision at 6}} = \frac{1}{4} {\text{(1.0 + 1.0 + 0.75 + 0.67)} } $$ $${\text{average precision at 6}} = {\text{~0.85} } $$

---

B

مجموعة الكلمات

#language

تمثيل للكلمات في عبارة أو فقرة، بغض النظر عن الترتيب على سبيل المثال، تمثّل مجموعة الكلمات العبارات الثلاث التالية بشكلٍ متطابق:

• الكلب يقفز
• كلب يقفز
• كلب يقفز

يتم ربط كل كلمة بفهرس في متجه متناثر، حيث يحتوي المتجه على فهرس لكل كلمة في القاموس. على سبيل المثال، تتم ترجمة العبارة the dog jumps إلى متجه ميزات يحتوي على قيم مختلفة عن الصفر في الفواصل الثلاثة التي تقابل الكلمات the وdog وjumps. يمكن أن تكون القيمة غير الصفرية أيًّا ممّا يلي:

• 1 للإشارة إلى وجود كلمة
• احتساب عدد مرّات ظهور كلمة معيّنة في الحقيبة على سبيل المثال، إذا كانت العبارة هي الكلب البني هو كلب ذو فراء بني، سيتم تمثيل كل من بني وكلب بالعدد 2، بينما سيتم تمثيل الكلمات الأخرى بالعدد 1.
• أي قيمة أخرى، مثل اللوغاريتم لعدد المرات التي تظهر فيها كلمة في الحقيبة

BERT (تمثيلات الترميز الثنائية الاتجاه من المحولات)

#language

بنية نموذج لتمثيل النصوص يمكن أن يعمل نموذج BERT مدرَّب كجزء من نموذج أكبر لتصنيف النصوص أو مهام تعلُّم الآلة الأخرى.

تتسم BERT بالسمات التالية:

• يستخدم بنية Transformer، وبالتالي يعتمد على التركيز الذاتي.
• يستخدم جزء التشفير من أداة Transformer. وظيفة الترميز هي توليد تمثيلات نصية جيدة، بدلاً من تنفيذ مهمة معيّنة مثل التصنيف.
• أن تكون ثنائية الاتجاه
• يستخدم التمويه ل التدريب غير الخاضع للإشراف.

تشمل الصيغ المختلفة لنموذج BERT ما يلي:

• ALBERT، وهو اختصار A Light BERT.
• LaBSE:

اطّلِع على الإصدار المفتوح المصدر من BERT: أحدث تقنيات التدريب المُسبَق لمعالجة اللغة الطبيعية للحصول على نظرة عامة على BERT.

ثنائي الاتجاه

#language

مصطلح يُستخدَم لوصف نظام يُقيّم النص الذي يسبق ويتّبع قسمًا مستهدفًا من النص. في المقابل، يقيّم نظام الاتجاه الواحد فقط النص الذي يسبق قسمًا مستهدفًا من النص.

على سبيل المثال، نأخذ نموذج لغة مموّه الذي يجب أن يحدّد احتمالات الكلمة أو الكلمات التي تمّت الإشارة إليها بالخطّ تحتي في السؤال التالي:

ما هو _____ معك؟

يجب أن يستند نموذج اللغة أحادي الاتجاه إلى الاحتمالات فقط على السياق الذي تقدّمه الكلمات "What" و"is" و "the". في المقابل، يمكن أن يحصل نموذج اللغة الثنائي الاتجاه أيضًا على سياق من "مع" و "أنت"، ما قد يساعد النموذج في إنشاء توقّعات أفضل.

نموذج لغوي ثنائي الاتجاه

#language

نموذج لغوي يحدّد احتمالية ظهور علامة معيّنة في موضع معيّن في مقتطف من النص استنادًا إلى النص السابق والتالي

الثنائيات

#seq

#language

نَمط تحليلي حيث يكون N=2

BLEU (Bilingual Evaluation Understudy)

#language

مقياس يتراوح بين 0.0 و1.0 لتقييم الترجمات الآلية، على سبيل المثال، من الإسبانية إلى اليابانية

لاحتساب النتيجة، يقارن مقياس BLEU عادةً ترجمة نموذج تعلُّم الآلة (النص الذي تم إنشاؤه) بترجمة خبير بشري (النص المرجعي). تُحدِّد درجة تطابق النصوص القصيرة في النص الذي تم إنشاؤه والنص المرجعي نتيجة BLEU.

المقالة الأصلية حول هذا المقياس هي BLEU: a Method for Automatic Evaluation of Machine Translation.

يمكنك أيضًا الاطّلاع على BLEURT.

BLEURT (Bilingual Evaluation Understudy from Transformers)

#language

مقياس لتقييم الترجمات الآلية من لغة إلى أخرى، خاصةً من الإنجليزية وإليها

بالنسبة إلى الترجمات من الإنجليزية وإليها، يتوافق مقياس BLEURT بشكلٍ أقرب مع تقييمات المستخدمين مقارنةً بمقياس BLEU. على عكس BLEU، يُركّز مقياس BLEURT على التشابهات الدلالية (المعنى) ويمكنه استيعاب إعادة الصياغة.

يعتمد BLEURT على نموذج لغوي كبير تم تدريبه مسبقًا (BERT على وجه التحديد) ثم يتم تحسينه استنادًا إلى نصوص من مترجمين بشريين.

المقالة الأصلية حول هذا المقياس هي BLEURT: Learning Robust Metrics for Text Generation.

C

نموذج لغوي سببي

#language

مرادف لـ النموذج اللغوي أحادي الاتجاه.

اطّلِع على نموذج اللغة الثنائي الاتجاه لمقارنة النهجَين الاتجاهيَين المختلفَين في وضع نماذج اللغة.

توجيه سلسلة الأفكار

#language

#generativeAI

تقنية هندسة الطلبات التي تشجع النموذج اللغوي الكبير (LLM) على شرح الاستدلال الذي يستند إليه، خطوة بخطوة على سبيل المثال، فكِّر في الطلب التالي، مع التركيز بشكل خاص على الجملة الثانية:

كم عدد قوى g التي سيواجهها السائق في سيارة تنطلق من 0 إلى 60 ميل في الساعة في 7 ثوانٍ؟ في الإجابة، يجب عرض جميع العمليات الحسابية ذات الصلة.

من المرجّح أن يكون ردّ النموذج اللغوي الكبير على النحو التالي:

• أظهِر تسلسلاً من صِيَغ الفيزياء، مع إدخال القيم 0 و60 و7 في الأماكن المناسبة.
• اشرح سبب اختيار هذه الصِيَغ وما تعنيه المتغيّرات المختلفة.

تجبر طلبات سلسلة التفكير نموذج اللغة المحوسبة الكبير على إجراء جميع العمليات الحسابية، ما قد يؤدي إلى تقديم إجابة أكثر صحة. بالإضافة إلى ذلك، تتيح طلبات سلسلة التفكير للمستخدم فحص خطوات الذكاء الاصطناعي اللغوي (LLM) لتحديد ما إذا كانت الإجابة منطقية أم لا.

محادثة

#language

#generativeAI

محتوى حوار متبادل مع نظام تعلُّم آلي، عادةً ما يكون نموذجًا لغويًا كبيرًا يصبح التفاعل السابق في محادثة (ما كتبته وطريقة استجابة النموذج اللغوي الكبير) هو السياق للأجزاء اللاحقة من المحادثة.

روبوت الدردشة هو تطبيق لنموذج لغوي كبير.

التزييف

#language

مرادف لـ الهلوسة.

من المحتمل أنّ التزييف هو مصطلح أكثر دقة من الناحية الفنية من الهلوسة. ومع ذلك، أصبحت الأوهام شائعة أولاً.

تحليل الدوائر الانتخابية

#language

تقسيم الجملة إلى بنى نحوية أصغر ("عناصر") يمكن أن يعالج جزء لاحق من نظام تعلُّم الآلة، مثل نموذج فهم اللغة الطبيعية، العناصر بسهولة أكبر من الجملة الأصلية. على سبيل المثال، نأخذ الجملة التالية:

تبنّى صديقي قطتين.

يمكن لأداة تحليل البنية تقسيم هذه الجملة إلى المكوّنين التاليين:

• صديقي عبارة اسمية.
• تبنّى قطتَين عبارة فعل.

ويمكن تقسيم هذه المكوّنات إلى مكوّنات أصغر. على سبيل المثال، عبارة الفعل

تبني قطتين

يمكن تقسيمها إلى ما يلي:

• تمّت الموافقة هو فعل.
• هِرَّانِ هي عبارة اسمية أخرى.

تضمين اللغة في سياقها

#language

#generativeAI

إدراج يقترب من "فهم" الكلمات والعبارات بطرق يمكن للناطقين الأصليين استخدامها يمكن أن تفهم نماذج "إدراج اللغة" المقترنة بالسياق البنية النحوية والدلالية والسياق المعقد.

على سبيل المثال، نأخذ في الاعتبار إدراجات الكلمة الإنجليزية cow. يمكن أن تمثّل عمليات التضمين القديمة مثل word2vec الكلمات الإنجليزية بحيث تكون المسافة في مساحة التضمين من بقرة إلى ثور مشابهة للمسافة من نعجة (أنثى الأغنام) إلى كبش (ذكر الأغنام) أو من أنثى إلى ذكر. يمكن أن تأخذ عمليات تضمين اللغة في السياق خطوة إضافية من خلال التعرّف على أنّ المتحدثين باللغة الإنجليزية يستخدمون أحيانًا كلمة cow بشكل عفوي للإشارة إلى البقرة أو الثور.

قدرة الاستيعاب

#language

#generativeAI

عدد الرموز التي يمكن للنموذج معالجتها في طلب معيّن وكلما زادت قدرة الاستيعاب، زادت المعلومات التي يمكن للنموذج استخدامها لتقديم ردود متسقة ومترابطة على الطلب.

رمز عطل

#language

جملة أو عبارة ذات معنى غامض تشكّل عبارات "الانهيار" مشكلة كبيرة في فهم اللغة الطبيعية. على سبيل المثال، العنوان Red Tape Holds Up Skyscraper هو عبارة غير مناسبة لأنّ نموذج الذكاء الاصطناعي اللغوي يمكن أن يفسّر العنوان بشكلٍ دقيق أو مجازي.

انقر على الرمز للحصول على ملاحظات إضافية.

للتوضيح فقط، إليك المعنى المقصود من العنوان الغامض:

• يمكن أن تشير المعاملات البيروقراطية إلى أيٍّ مما يلي:
  • مادة لاصقة
  • البيروقراطية المفرطة
• يمكن أن تشير حالة الأداء الجيد إلى أيٍّ مما يلي:
  • الدعم الهيكلي
  • التأخيرات

---

D

أداة فك الترميز

#language

بشكل عام، أي نظام تعلُّم آلي يحوّل من تمثيل داخلي تمت معالجته أو كثيف أو إلى تمثيل أكثر كثافة أو تمثيل خارجي

غالبًا ما تكون برامج الترميز جزءًا من نموذج أكبر، حيث يتم غالبًا إقرانها ببرنامج ترميز.

في مهام تسلسل إلى تسلسل، يبدأ المُشفِّر بالحالة الداخلية التي ينشئها المُشفِّر لتوقُّع التسلسل التالي.

راجِع Transformer للاطّلاع على تعريف وحدة فك الترميز ضمن بنية Transformer.

اطّلِع على النماذج اللغوية الكبيرة في الدورة التدريبية المكثّفة عن تعلُّم الآلة للحصول على مزيد من المعلومات.

إزالة الضوضاء

#language

منهج شائع للتعلُّم الذاتي المُوجَّه:

1. التشويش: تتم إضافته بشكل مصطنع إلى مجموعة البيانات.
2. يحاول النموذج إزالة الضوضاء.

تتيح إزالة الضوضاء التعلّم من الأمثلة غير المصنّفة. تُستخدَم مجموعة البيانات الأصلية كمستهدَف أو تصنيف، وتكون البيانات المشوشة هي المدخلات.

تستخدِم بعض النماذج اللغوية المقنَّعة ميزة تقليل الضوضاء على النحو التالي:

1. تتم إضافة تشويش بشكل مصطنع إلى جملة غير مصنّفة من خلال حجب بعض الرموز.
2. يحاول النموذج توقّع الرموز الأصلية.

طلب مباشر

#language

#generativeAI

مرادف لـ الطلب بلا مثال.

E

مسافة التعديل

#language

مقياس لدرجة تشابه سلسلتَي نص معًا في تعلُّم الآلة، يكون "مسافة التعديل" مفيدًا للأسباب التالية:

• من السهل احتساب مسافة التعديل.
• يمكن أن تقارن دالة Edit distance بين سلسلةَين معروف أنّهما متشابهتان.
• يمكن أن يحدِّد "مسافة التعديل" درجة تشابه سلاسل مختلفة مع سلسلة معيّنة.

هناك عدة تعريفات لمسافة التعديل، وكلّ منها يستخدم عمليات مختلفة على السلسلة. اطّلِع على مسافة Levenshtein للحصول على مثال.

طبقة التضمين

#language

#fundamentals

طبقة مخفية خاصة يتم تدريبها على سمة فئوية عالية الأبعاد بهدف تعلم مصفوفة إدراج ذات أبعاد أقل تدريجيًا تسمح طبقة التضمين للشبكة العصبية بالتدريب بفعالية أكبر بكثير مقارنةً بالتدريب على الميزة الفئوية العالية الأبعاد فقط.

على سبيل المثال، تتضمّن خدمة Earth حاليًا حوالي 73,000 نوع من الأشجار. لنفترض أنّ أنواع الأشجار هي سمة في النموذج، لذا تتضمّن طبقة الإدخال في النموذج متجهًا أحادي القيمة يبلغ طوله 73,000 عنصر. على سبيل المثال، قد يتم تمثيل baobab على النحو التالي:

إنّ مصفوفة تتضمّن 73,000 عنصر طويلة جدًا. في حال عدم إضافة طبقة تضمين إلى النموذج، ستستغرق عملية التدريب وقتًا طويلاً جدًا بسبب مضاعفة 72,999 صفرًا. ربما اخترت أن تتألّف طبقة التضمين من 12 سمة. نتيجةً لذلك، ستتعرّف طبقة التضمين تدريجيًا على متجه تضمين جديد لكل نوع من أنواع الأشجار.

في بعض الحالات، يشكّل التجزئة بديلاً معقولاً لطبقة التضمين.

اطّلِع على عمليات التضمين في الدورة المكثّفة عن تعلُّم الآلة للحصول على مزيد من المعلومات.

مساحة التضمين

#language

فضاء المتجهات ذي الأبعاد d الذي يتمّ ربط ميزات من فضاء متجهات ذو أبعاد أعلى به من الناحية المثالية، تحتوي مساحة التضمين على بنية تؤدي إلى نتائج رياضية ذات مغزى. على سبيل المثال، في مساحة التضمين المثالية، يمكن أن يؤدي جمع عمليات التضمين وطرحها إلى حلّ مهام التشابه اللفظي.

إنّ ناتج الضرب النقطي لإدراجَين هو مقياس لتشابههما.

متّجه التضمين

#language

بشكل عام، هي مصفوفة من الأعداد الكسورية التي يتم أخذها من أي طبقة مخفية تصف المدخلات إلى تلك الطبقة المخفية. غالبًا ما يكون متجه التضمين هو صفيف الأرقام الكسور العشرية التي تم تدريبها في طبقة التضمين. على سبيل المثال، لنفترض أنّه يجب أن تتعرّف طبقة التضمين على ملف شخصي لكل نوع من الأنواع الـ 73,000 من الأشجار على الأرض. ربما تكون الصفيفة التالية هي متجه التضمين لشجرة الباوباب:

إنّ متجه التضمين ليس مجموعة من الأرقام العشوائية. تحدِّد طبقة التضمين هذه القيم من خلال التدريب، على غرار الطريقة التي تتعلّم بها الشبكة العصبية الأوزان الأخرى أثناء التدريب. كل عنصر من عنصرَي السلسلة هو تقييم لبعض خصائص نوع شجرة معيّن. أيّ عنصر يمثّل سمة نوع الشجرة؟ من الصعب جدًا تحديد ذلك للمستخدمين.

إنّ الجزء المميّز رياضيًا من متجه التضمين هو أنّ العناصر المشابهة تحتوي على مجموعات متشابهة من الأعداد الكسورية. على سبيل المثال، تحتوي أنواع الأشجار المتشابهة على مجموعة أكثر تشابهًا من الأعداد الكسورية مقارنةً بأنواع الأشجار المختلفة. تُعدّ أشجار السرو الأحمر وأشجار السكويا من أنواع الأشجار ذات الصلة، لذلك سيكون لها مجموعة أكثر تشابهًا من الأرقام ذات النقطة العائمة مقارنةً بمجموعة أشجار السرو الأحمر وأشجار جوز الهند. ستتغيّر الأرقام في مصفوفة التضمين في كل مرة تُعيد فيها تدريب النموذج، حتى إذا أعدت تدريبه باستخدام إدخال مطابق.

برنامج تشفير

#language

بشكل عام، أي نظام تعلُّم آلي يحوّل من تمثيل كثيف أو خارجي أو تمثيل أولي إلى تمثيل أكثر كثافة أو تمثيل داخلي

غالبًا ما تكون برامج الترميز جزءًا من نموذج أكبر، حيث يتم غالبًا إقرانها ببرنامج فك ترميز. تُقرِن بعض أدوات التحويل برامج الترميز ببرامج فك التشفير، على الرغم من أنّ أدوات التحويل الأخرى تستخدم برنامج الترميز أو برنامج فك التشفير فقط.

تستخدِم بعض الأنظمة مخرج الترميز كمدخل لشبكة تصنيف أو انحدار.

في مهام تسلسل إلى تسلسل، يأخذ الترميز تسلسل إدخال ويعرض حالة داخلية (متجه). بعد ذلك، يستخدم المشفِّر هذه الحالة الداخلية للتنبؤ بالتسلسل التالي.

راجِع Transformer للاطّلاع على تعريف برنامج الترميز في بنية Transformer.

يمكنك الاطّلاع على النماذج اللغوية الكبيرة: ما هو المقصود بالعبارة "نماذج لغوية كبيرة"؟ في الدورة التدريبية المكثّفة عن تعلُّم الآلة للحصول على مزيد من المعلومات.

evals

#language

#generativeAI

يُستخدَم بشكل أساسي كاختصار لتقييمات نموذج اللغة الضخمة. وعلى نطاق أوسع، التقييمات هي اختصار لأي شكل من أشكال التقييم.

التقييم

#language

#generativeAI

يشير ذلك المصطلح إلى عملية قياس جودة نموذج أو مقارنة نماذج مختلفة مع بعضها.

لتقييم نموذج تعلُّم آلي مُوجَّه ، يتم عادةً تقييمه مقارنةً بمجموعة التحقّق ومجموعة الاختبار. تقييم نموذج تعلم الآلة يتضمن عادةً تقييمات أوسع نطاقًا للجودة والسلامة.

F

الطلب بأمثلة قليلة

#language

#generativeAI

طلب يحتوي على أكثر من مثال واحد (أي "بضعة" أمثلة) يوضّح كيفية الردّ من خلال نموذج اللغة الكبير على سبيل المثال، يحتوي الطلب الطويل التالي على مثالين يوضّحان لنموذج لغوي كبير كيفية الإجابة عن طلب بحث.

أجزاء طلب واحد	ملاحظات
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد أن يجيب عنه "مساعد الخبراء القانونيين"
فرنسا: يورو	مثال واحد
المملكة المتحدة: الجنيه الإسترليني	مثال آخر
الهند:	طلب البحث الفعلي

يحقّق الطلب بأمثلة قليلة نتائج مرغوب فيها بشكل عام أكثر من الطلب بلا مثال و الطلب بمثال واحد. ومع ذلك، يتطلّب الطلب بأمثلة قليلة طلبًا أطول.

الطلب بأمثلة قليلة هو شكل من أشكال التعلّم ببضع فُرَص المطبَّق على التعلّم المستنِد إلى طلبات.

اطّلِع على هندسة الطلبات في دورة التعلّم المكثّفة عن تعلُّم الآلة للحصول على مزيد من المعلومات.

كمنجة

#language

مكتبة إعدادات مخصّصة لاستخدام لغة Python أولاً، وهي تضبط قيم الدوال والفئات بدون استخدام رمز برمجي أو بنية تحتية غزيرة. في ما يتعلّق بـ Pax وقواعد بيانات تعلُّم الآلة الأخرى، تمثّل هذه الدوال والklassen النماذج والمَعلمات الفائقة للتدريب.

يفترض Fiddle أنّ قواعد بيانات تعلُّم الآلة تنقسم عادةً إلى:

• رمز المكتبة الذي يحدّد الطبقات وأدوات التحسين
• رمز "الربط" لمجموعة البيانات، الذي يستدعي المكتبات ويربط كل شيء معًا

يسجِّل Fiddle بنية استدعاء رمز التجميع في شكل غير مُقيَّم ومتغيّر.

التحسين

#language

#image

#generativeAI

جولة تدريب ثانية خاصة بالمهمة يتم إجراؤها على نموذج تم تدريبه مسبقًا لتحسين مَعلماته في حالة استخدام معيّنة. على سبيل المثال، تتمثل تسلسل التدريب الكامل لبعض النماذج اللغوية الكبيرة على النحو التالي:

1. التدريب المُسبَق: يتم تدريب نموذج لغوي كبير على مجموعة بيانات عامة واسعة النطاق، مثل جميع صفحات Wikipedia باللغة الإنجليزية.
2. التحسين: يمكنك تدريب النموذج المدَّرب مسبقًا لتنفيذ مهمة معيّنة، مثل الردّ على طلبات البحث الطبية. تشمل عملية التحسين عادةً مئات أو آلاف الأمثلة التي تركّز على مهمة معيّنة.

في ما يلي مثال آخر على تسلسل التدريب الكامل لنموذج صور كبير:

1. التدريب المُسبَق: يمكنك تدريب نموذج صور كبير على مجموعة بيانات عامة واسعة من الصور، مثل جميع الصور في Wikimedia commons.
2. الضبط الدقيق: يمكنك تدريب النموذج المدَّرب مسبقًا لتنفيذ مهمة معيّنة، مثل إنشاء صور لحيوانات الأوركا.

يمكن أن تتضمّن عملية التحسين الدقيق أيّ مجموعة من الاستراتيجيات التالية:

• تعديل جميع مَعلمات النموذج المدَّرب مسبقًا يُعرف ذلك أحيانًا باسم التحسين الكامل.
• تعديل بعض المَعلمات الحالية للنموذج المدّرب مسبقًا فقط (عادةً الطبقات الأقرب إلى طبقة الإخراج)، مع إبقاء المَعلمات الحالية الأخرى بدون تغيير (عادةً الطبقات الأقرب إلى طبقة الإدخال) راجِع الضبط الفعال للمَعلمات.
• إضافة المزيد من الطبقات، عادةً فوق الطبقات الحالية الأقرب إلى طبقة الإخراج

التحسين الدقيق هو شكل من أشكال التعلُّم بالاستناد إلى نماذج سابقة. وبناءً على ذلك، قد تستخدِم عملية التحسين الدقيق دالة خسارة مختلفة أو نوعًا مختلفًا من النماذج مقارنةً بتلك المستخدَمة لتدريب النموذج المدّرب مسبقًا. على سبيل المثال، يمكنك تحسين نموذج صور كبير مدرَّب مسبقًا لإنشاء نموذج انحدار يُظهر عدد الطيور في صورة الإدخال.

قارِن بين التحسين الدقيق والمصطلحات التالية:

• التقطير
• التعلّم المستنِد إلى الطلبات

يمكنك الاطّلاع على التحسين في دورة "مكثّفة عن تعلُّم الآلة" للحصول على مزيد من المعلومات.

الكتان

#language

مكتبة مفتوحة المصدر عالية الأداء لمعالجة التعلم العميق، وهي مبنية على JAX. يوفّر Flax دوالًا لتدريب الشبكات العصبية، بالإضافة إلى methods لتقييم أدائها.

Flaxformer

#language

مكتبة Transformer مفتوحة المصدر، تم إنشاؤها استنادًا إلى Flax، وهي مصمّمة أساسًا لمعالجة اللغة الطبيعية والبحث المتعدّد الوسائط.

G

Gemini

#language

#image

#generativeAI

منظومة متكاملة تتضمّن تكنولوجيات الذكاء الاصطناعي الأكثر تقدّمًا من Google تشمل عناصر هذا النظام البيئي ما يلي:

• نماذج Gemini المختلفة
• واجهة المحادثة التفاعلية لنموذج Gemini يكتب المستخدمون طلبات ويردّ Gemini عليها.
• واجهات برمجة تطبيقات Gemini المختلفة
• منتجات مختلفة للأنشطة التجارية تستند إلى نماذج Gemini، مثل Gemini في Google Cloud

طُرز Gemini

#language

#image

#generativeAI

أحدث نماذج متعددة الوسائط المستندة إلى تكنولوجيا تحويل البيانات من Google تم تحديد نماذج Gemini خصيصًا للدمج مع موظّفي الدعم.

يمكن للمستخدمين التفاعل مع نماذج Gemini بطرق متنوعة، بما في ذلك من خلال واجهة حوار تفاعلية ومن خلال حِزم تطوير البرامج (SDK).

النص الذي تم إنشاؤه

#language

#generativeAI

بشكل عام، النص الذي يُخرجه نموذج الذكاء الاصطناعي عند تقييم نماذج لغوية كبيرة، تقارن بعض المقاييس النص الذي تم إنشاؤه مقارنةً بأحد النصوص المرجعية. على سبيل المثال، لنفترض أنّك تحاول معرفة مدى فعالية نموذج تعلُّم الآلة في الترجمة من الفرنسية إلى الهولندية. في هذه الحالة:

• النص الذي تم إنشاؤه هو الترجمة الهولندية التي يعرضها نموذج الذكاء الاصطناعي.
• النص المرجعي هو الترجمة الهولندية التي ينشئها مترجم بشري (أو برنامج).

يُرجى العِلم أنّ بعض استراتيجيات التقييم لا تتضمّن نصًا مرجعيًا.

الذكاء الاصطناعي التوليدي

#language

#image

#generativeAI

مجال تحويلي ناشئ بدون تعريف رسمي ومع ذلك، يتفق معظم الخبراء على أنّ نماذج الذكاء الاصطناعي التوليدي يمكنها إنشاء ("توليد") محتوى يتضمن كل ما يلي:

• معقّد
• متّسقة
• الصورة الأصلية

على سبيل المثال، يمكن أن ينشئ نموذج الذكاء الاصطناعي التوليدي مقالات أو صورًا معقدة.

يمكن لبعض التقنيات السابقة، بما في ذلك النماذج اللغوية طويلة المدى (LSTM) والنماذج العصبية التسلسلية (RNN)، أيضًا إنشاء محتوى أصلي ومتسق. يرى بعض الخبراء أنّ هذه التقنيات السابقة هي نوع من الذكاء الاصطناعي التوليدي، بينما يرى آخرون أنّ الذكاء الاصطناعي التوليدي الحقيقي يتطلّب مخرجات أكثر تعقيدًا من تلك التي يمكن أن تنتجها هذه التقنيات السابقة.

يختلف ذلك عن تعلُّم الآلة التوقّعي.

ردّ جيد

#language

#generativeAI

إجابة معروفة بأنّها جيدة على سبيل المثال، في ما يتعلّق بال الطلب التالي:

2 + 2

نأمل أن يكون الردّ على النحو التالي:

4

ملاحظة: تحدّد بعض المؤسسات عبارات إضافية، مثل الردّ الفضّي و الردّ البلاتيني للردود التي تكون ذات جودة أقل أو أعلى، على التوالي، مقارنةً بالردّ الذهبي. على سبيل المثال، قد تستخدم المؤسسة ردّ بالدرجة البلاتينية للإشارة إلى ردّ ذهبي أنشأه خبير ثم تحقّق منه خبراء آخرون.

انقر هنا للاطّلاع على ملاحظات حول الردّ المثالي والنص المرجعي.

تقارن بعض مقاييس التقييم، مثل ROUGE، النص المرجعي بالنص الذي أنشأه النموذج. عندما تكون هناك إجابة صحيحة واحدة لطلب معيّن، يكون الردّ الذهبي عادةً بمثابة النص المرجعي.

لا تتضمّن بعض الطلبات إجابة واحدة صحيحة. على سبيل المثال، من المرجّح أن يكون للطلب تلخيص هذا المستند العديد من الإجابات الصحيحة. بالنسبة إلى هذه الطلبات، غالبًا ما يكون النص المرجعي غير عملي لأنّه يمكن للنموذج إنشاء مجموعة كبيرة جدًا من الملخصات المحتملة. ومع ذلك، قد يكون الردّ الذهبي مفيداً في هذه الحالة. على سبيل المثال، يمكن أن يساعد الردّ الذهبي الذي يحتوي على ملخّص جيد للمستند في تدريب المقيّم التلقائي على اكتشاف أنماط الملخّصات الجيدة للمستندات.

---

GPT (النموذج التوليدي المُدرَّب مسبقًا)

#language

مجموعة من النماذج اللغوية الكبيرة المستندة إلى نموذج التحويل والتي طوّرتها شركة OpenAI

يمكن تطبيق صيغ GPT على طرُق متعددة، بما في ذلك:

• إنشاء الصور (مثل ImageGPT)
• إنشاء الصور من النصوص (على سبيل المثال، DALL-E)

H

الهلوسة

#language

إنتاج ناتج يبدو معقولاً ولكنّه غير دقيق من الناحية الواقعية من خلال نموذج الذكاء الاصطناعي التوليدي الذي يُزعَم أنّه يقدّم ادعاءً عن العالم الواقعي على سبيل المثال، نموذج الذكاء الاصطناعي التوليدي الذي يدّعي أنّ باراك أوباما توفي في عام 1865 يتوهّم.

التقييم البشري

#language

#generativeAI

عملية يحكم فيها الأشخاص على جودة ناتج نموذج تعلُّم الآلة، على سبيل المثال، الاستعانة بأشخاص ثنائيي اللغة لتقييم جودة ناتج نموذج ترجمة تعلُّم الآلة يكون التقييم البشري مفيدًا بشكل خاص لتقييم النماذج التي تتضمن إجابات متعددة.

يختلف هذا التقييم عن التقييم التلقائي وتقييم المراجع الآلي.

I

التعلّم في السياق

#language

#generativeAI

مرادف لـ الطلب بأمثلة قليلة.

L

نموذج لغوي مخصَّص لتطبيقات المحادثة (LaMDA)

#language

نموذج لغوي كبير يستند إلى Transformer، تم تطويره من قِبل Google وتم تدريبه على مجموعة بيانات كبيرة من المحادثات يمكنها إنشاء ردود واقعية على المحادثات.

LaMDA: تكنولوجيا المحادثة المبتكرة تقدّم نظرة عامة.

النموذج اللغوي

#language

نموذج يقدّر احتمالية ظهور رمز أو تسلسل من الرموز في تسلسل أطول من الرموز

انقر على الرمز للحصول على ملاحظات إضافية.

على الرغم من أنّ ذلك يبدو غير منطقي، فإنّ العديد من النماذج التي تقيِّم النصوص ليست نماذج لغوية. على سبيل المثال، لا تُعدّ نماذج تصنيف النصوص ونماذج تحليل المشاعر نماذج لغوية.

---

نموذج لغوي كبير

#language

على الأقل، نموذج لغوي يتضمّن عددًا كبيرًا جدًا من المَعلمات بعبارة أخرى، أي نموذج لغوي يستند إلى Transformer، مثل Gemini أو GPT.

المساحة الكامنة

#language

مرادف لمساحة التضمين.

مسافة Levenshtein

#language

#metric

مقياس مسافة التعديل الذي يحسب أقل عدد من عمليات الحذف والإدراج والاستبدال المطلوبة لتغيير كلمة إلى أخرى على سبيل المثال، تبلغ المسافة بين كلمتَي heart وdarts ثلاثة لأنّ التعديلات الثلاثة التالية هي أقل التغييرات اللازمة لتحويل الكلمة الأولى إلى الكلمة الثانية:

1. قلب → قلب (استبدِل "h" بـ "d")
2. deart → dart (حذف "e")
3. سهم → سهام (أدخِل "س")

يُرجى العِلم أنّ التسلسل السابق ليس المسار الوحيد للتعديلات الثلاثة.

LLM

#language

#generativeAI

اختصار النموذج اللغوي الكبير.

تقييمات النماذج اللغوية الكبيرة (evals)

#language

#generativeAI

مجموعة من المقاييس والمقاييس المعيارية لتقييم أداء النماذج اللغوية الكبيرة بشكل عام، تؤدي تقييمات LLM إلى ما يلي:

• مساعدة الباحثين في تحديد الجوانب التي تحتاج إلى تحسين في النماذج اللغوية الكبيرة
• مفيدة في مقارنة نماذج اللغة الكبيرة المختلفة وتحديد أفضل نموذج لغة كبيرة مهمة معيّنة
• المساعدة في ضمان أمان النماذج اللغوية الكبيرة وأخلاقية استخدامها

LoRA

#language

#generativeAI

اختصار Low-Rank Adaptability.

Low-Rank Adaptability (LoRA)

#language

#generativeAI

تقنية فعّالة من حيث المَعلمات للتحسين الدقيق التي "تجميد" مَعلمات النموذج المدربة مسبقًا (كي لا يمكن تعديلها بعد ذلك) ثم تُدخِل مجموعة صغيرة من المَعلمات القابلة للتدريب في النموذج. هذه المجموعة من الأوزان القابلة للتدريب (المعروفة أيضًا باسم "مصفوفات التعديل") أصغر بكثير من النموذج الأساسي، وبالتالي تتم عملية تدريبها بشكل أسرع بكثير.

توفّر شبكة LoRA المزايا التالية:

• تحسين جودة توقّعات النموذج للنطاق الذي يتم فيه تطبيق التحسين الدقيق
• تحسين الأداء بشكل أسرع من الأساليب التي تتطلّب تحسين جميع ملفّات paramter الخاصة بالنموذج
• تقليل التكلفة الحسابية لعملية الاستنتاج من خلال تفعيل عرض نماذج متعددة ومتخصّصة بشكل متزامن تشترك في النموذج الأساسي نفسه

انقر على الرمز لمعرفة المزيد من المعلومات عن مصفوفات التعديل في LoRA.

تتألف مصفوفات التعديل المستخدَمة في LoRA من مصفوفات تقسيم الترتيب، التي يتم استخراجها من النموذج الأساسي للمساعدة في فلترة الضوضاء و تركيز التدريب على أهم ميزات النموذج.

---

M

نموذج لغوي مُموَّه

#language

نموذج لغوي يتنبّأ باحتمالية استخدام علامات مقترَحة لملء الفراغات في تسلسل معيّن. على سبيل المثال، يمكن لنموذج اللغة المقنَّعة حساب احتمالات الكلمات المرشحة لاستبدال الخطوط السفلية في الجملة التالية:

عاد ____ في القبّعة.

تستخدم المراجع عادةً السلسلة "MASK" بدلاً من العلامة السفلية. على سبيل المثال:

عادت كلمة "قناع" في القبّعة.

معظم نماذج اللغة المقنَّعة الحديثة هي ثنائية الاتجاه.

متوسّط متوسط الدقّة عند k (mAP@k)

#language

#generativeAI

المتوسط الإحصائي لجميع نتائج متوسّط الدقة عند k على مستوى مجموعة بيانات التحقّق. من بين استخدامات متوسّط متوسط الدقة عند k هو تقييم جودة الاقتراحات التي ينشئها نظام التوصية.

على الرغم من أنّ عبارة "متوسط المتوسط" تبدو زائدة، إلا أنّ اسم المقياس مناسب. بعد كل شيء، يجد هذا المقياس متوسّط قيم متوسط الدقة عند k المتعددة.

انقر على الرمز للاطّلاع على مثال.

لنفترض أنّك أنشأت نظام اقتراحات ينشئ قائمة مخصّصة بالروايات المقترَحة لكل مستخدم. استنادًا إلى الملاحظات الواردة من مجموعة محدّدة من المستخدِمين، يمكنك احتساب متوسط الدقة الخمسة التالي عند k درجة (درجة واحدة لكل مستخدِم):

• 0.73
• 0.77
• 0.67
• 0.82
• 0.76

وبالتالي، فإنّ متوسّط "متوسّط الدقة" عند K هو:

$$\text{mean } = \frac{\text{0.73 + 0.77 + 0.67 + 0.82 + 0.76}} {\text{5}} = \text{0.75}$$

---

التعلّم الوصفي

#language

مجموعة فرعية من تعلُّم الآلة ترصد خوارزمية تعلُّم أو تحسّنها. يمكن أن يهدف نظام التعلّم الفائق أيضًا إلى تدريب نموذج لتعلّم مهمة جديدة بسرعة من خلال كمية صغيرة من البيانات أو من خلال الخبرة المكتسَبة في المهام السابقة. تحاول خوارزميات التعلم الفائق بشكل عام تحقيق ما يلي:

• تحسين الميزات المصمّمة يدويًا أو التعرّف عليها (مثل أداة الإعداد أو أداة التحسين)
• تحسين كفاءة استخدام البيانات والمعالجة
• تحسين التعميم

يرتبط التعلّم الوصفي بالتعلّم ببضع فُرَص.

مزيج من الخبراء

#language

#generativeAI

مخطّط لزيادة كفاءة الشبكة العصبية من خلال استخدام مجموعة فرعية فقط من مَعلماتها (المعروفة باسم الخبير) لمعالجة رمز إدخال معيّن أو مثال تُوجّه شبكة التوجيه كل رمز مميّز أو مثال إدخال إلى الخبراء المناسبين.

لمعرفة التفاصيل، يُرجى الاطّلاع على أيّ من المقالتَين التاليتَين:

• الشبكات العصبية الكبيرة جدًا: طبقة "مزيج الخبراء" ذات البوابات القليلة
• مزيج من الخبراء مع "توجيه من اختيار الخبير"

MMIT

#language

#image

#generativeAI

اختصار لعبارة مُعدّة للتعليمات المتعدّدة الوسائط.

الوسيط

#language

فئة بيانات عالية المستوى. على سبيل المثال، الأرقام والنصوص والصور والفيديوهات والمواد المسموعة هي خمسة أنماط مختلفة.

المعالجة الموازِية للنماذج

#language

طريقة لتوسيع نطاق التدريب أو الاستنتاج من خلال وضع أجزاء مختلفة من أحد النماذج على أجهزة مختلفة يتيح نموذج "المعالجة المتعددة للمهام" استخدام النماذج الكبيرة جدًا التي لا يمكن وضعها على جهاز واحد.

لتنفيذ التوازي في النماذج، ينفّذ النظام عادةً ما يلي:

1. تجزئة (تقسيم) النموذج إلى أجزاء أصغر
2. توزيع عملية تدريب هذه الأجزاء الأصغر على معالجات متعددة يُدرِّب كل معالج جزءًا من النموذج.
3. دمج النتائج لإنشاء نموذج واحد

يؤدي توازُن النموذج إلى إبطاء عملية التدريب.

اطّلِع أيضًا على المعالجة المتوزية للبيانات.

MOE

#language

#image

#generativeAI

اختصار مجموعة من الخبراء.

الانتباه الذاتي المتعدّد الرؤوس

#language

إضافة إلى الانتباه الذاتي التي تطبّق آلية الانتباه الذاتي عدّة مرات لكل موضع في تسلسل الإدخال

أدخلت أدوات التحويل ميزة "الانتباه الذاتي المتعدّد الرؤوس".

مُعدّة للتعليمات المتعدّدة الوسائط

#language

نموذج مُعدّ للتعليمات يمكنه معالجة الإدخال بخلاف النصوص، مثل الصور والفيديوهات والصوت

نموذج متعدد الوسائط

#language

نموذج تتضمّن مدخلاته و/أو مخرجاته أكثر من نوع واحد من الوسائط على سبيل المثال، لنفترض أنّ هناك نموذجًا يستخدِم كلاً من الصورة والترجمة النصية (طريقتَان) كسمات، ويصنِّف النتيجة على أنّها تشير إلى مدى ملاءمة الترجمة النصية للصورة. وبالتالي، تكون مدخلات هذا النموذج متعددة الوسائط والمخرجات أحادية الوسائط.

لا

معالجة اللغات الطبيعية

#language

مجال تعليم أجهزة الكمبيوتر معالجة ما قاله المستخدم أو كتبه باستخدام القواعد اللغوية. تعتمد جميع تقنيات معالجة اللغات الطبيعية الحديثة تقريبًا على التعلم الآلي.

فهم اللغات الطبيعية

#language

مجموعة فرعية من معالجة اللغات الطبيعية تحدّد النوايا المتعلّقة بعبارة يتم قولها أو كتابتها يمكن أن تتجاوز ميزة فهم اللغة معالجة اللغات الطبيعية لتشمل جوانب language معقدة، مثل السياق والسخرية والمشاعر.

السلسلة المكوّنة من n عنصر

#seq

#language

تسلسل مرتب من N كلمة على سبيل المثال، truly madly عبارة عن 2 غرام. ولأنّ الترتيب مهم، فإنّ madly truly يختلف عن truly madly.

لا	أسماء هذا النوع من النصوص القصيرة	أمثلة
2	الثنائيات	to go, go to, eat lunch, eat dinner
3	ثلاثي الوحدات أو ثلاثي المقاطع	أكل الكثير، ثلاث فئران عمياء، دقّات الجرس
4	4 غرام	walk in the park, dust in the wind, the boy ate lentils

تعتمد العديد من نماذج فهم اللغة الطبيعية على مجموعات الكلمات لتوقع الكلمة التالية التي سيكتبها أو ينطقها المستخدم. على سبيل المثال، لنفترض أنّ أحد المستخدمين كتب ثلاثة عميان. من المرجّح أن يتوقّع نموذج الذكاء الاصطناعي للغة (NLU) المستنِد إلى المجموعات الثلاثية من الكلمات أن يكتب المستخدِم mice بعد ذلك.

قارِن بين النصوص القصيرة ذات الوحدات المتعددة ومجموعة الكلمات، وهي مجموعات غير مرتبة من الكلمات.

معالجة اللغات الطبيعية

#language

اختصار لعبارة معالجة اللغات الطبيعية.

فهم اللغات الطبيعية

#language

اختصار لعبارة فهم اللغة الطبيعية.

لا إجابة صحيحة واحدة (NORA)

#language

#generativeAI

طلب يتضمّن عدة ردود مناسبة على سبيل المثال، لا تتضمّن الرسالة التالية إجابة صحيحة واحدة:

أريد سماع نكتة عن الفيلة.

قد يكون من الصعب تقييم طلبات لا تتضمّن إجابة صحيحة واحدة.

NORA

#language

#generativeAI

اختصار لا توجد إجابة صحيحة واحدة.

O

الطلب بمثال واحد

#language

#generativeAI

طلب يتضمّن مثالاً واحدًا يوضّح كيفية ردّ النموذج اللغوي الكبير على سبيل المثال، يحتوي الطلب التالي على مثال واحد يوضّح للنموذج اللغوي الكبير كيفية الردّ على طلب بحث.

أجزاء طلب واحد	ملاحظات
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد أن يجيب عنه "مساعد الخبراء القانونيين"
فرنسا: يورو	مثال واحد
الهند:	طلب البحث الفعلي

قارِن بين طلبات الإجراء الواحد والمصطلحات التالية:

• الطلب بلا مثال
• الطلب بأمثلة قليلة

P

ضبط مُفعّل للمَعلمات

#language

#generativeAI

مجموعة من الأساليب لتحسين نموذج لغوي تم تدريبه مسبقًا (PLM) بفعالية أكبر من التحسين الكامل عادةً ما تعمل عملية التحسين المُفعّلة للمَعلمات على تحسين عدد أقل بكثير من المَعلمات مقارنةً بعملية التحسين الكامل، ومع ذلك، تؤدي هذه العملية بشكل عام إلى إنشاء نموذج لغوي كبير يحقّق أداءً مماثلاً (أو شبه مماثل) لأداء نموذج لغوي كبير تم إنشاؤه من خلال عملية التحسين الكامل.

قارِن بين الضبط الفعال للمَعلمات وبين:

• ضبط التعليمات
• ضبط الطلبات

يُعرف الضبط الفعال للمَعلمات أيضًا باسم التحسين الفعال للمَعلمات.

معالجة البيانات في مجموعات

#language

شكل من أشكال التوازي في النماذج يتم فيه تقسيم معالجة النموذج إلى مراحل متتالية ويتم تنفيذ كل مرحلة على جهاز مختلف. بينما تعالج مرحلة واحدة دفعة واحدة، يمكن للمرحلة السابقة العمل على الدفعة التالية.

اطّلِع أيضًا على التدريب على مراحل.

PLM

#language

#generativeAI

اختصار نموذج لغوي مدرَّب مسبقًا.

الترميز الموضعي

#language

أسلوب لإضافة معلومات عن موضع الرمز المميّز في تسلسل إلى إدراج الرمز المميّز تستخدِم نماذج Transformer الترميز الترتيبي لفهم العلاقة بين الأجزاء المختلفة من السلسلة بشكلٍ أفضل.

يستخدم أحد طرق تنفيذ الترميز الموضعي دالة جيبية. (على وجه التحديد، يتم تحديد معدّل تكرار الدالة الجيبية وamplitudها حسب موضع الرمز المميّز في التسلسل). تتيح هذه التقنية لنموذج Transformer تعلُّم التركيز على أجزاء مختلفة من التسلسل استنادًا إلى مواضعها.

نموذج مدرَّب بعد ذلك

#language

#image

#generativeAI

مصطلح غير محدّد بدقة يشير عادةً إلى نموذج تم تدريبه مسبقًا وخضع لبعض المعالجة اللاحقة، مثل إجراء واحد أو أكثر مما يلي:

• التقطير
• التحسين
• ضبط التعليمات

الدقة عند k (precision@k)

#language

مقياس لتقييم قائمة مرتّبة (مُرتّبة) من العناصر تحدِّد الدقة عند k النسبة المئوية لأول k عنصر في هذه القائمة التي تكون "ملائمة". والمقصود:

\[\text{precision at k} = \frac{\text{relevant items in first k items of the list}} {\text{k}}\]

يجب أن تكون قيمة k أقل من أو مساوية لطول القائمة المعروضة. يُرجى العلم أنّ طول القائمة المعروضة ليس جزءًا من عملية الحساب.

غالبًا ما يكون مدى الصلة بالموضوع أمرًا شخصيًا، وحتى الخبراء لا يتفقون في أغلب الأحيان على العناصر التي تكون ملائمة.

المقارنة بـ:

• متوسط الدقة عند k
• متوسط متوسط الدقة عند k

انقر على الرمز للاطّلاع على مثال.

لنفترض أنّه تم تقديم الطلب التالي إلى نموذج لغوي كبير:

List the 6 funniest movies of all time in order.

ويعرض النموذج اللغوي الكبير القائمة الموضّحة في العمودَين الأولَين من الجدول التالي:

الموضع	فيلم	هل هذا المحتوى ذي صلة؟
1	The General	نعم
2	Mean Girls	نعم
3	Platoon	لا
4	وصيفات العروس	نعم
5	Citizen Kane	لا
6	This is Spinal Tap	نعم

فيلمان من أوّل ثلاثة أفلام هما ملائمان، لذا تكون الدقة عند 3 هي:

$$\text{precision at 3} = \frac{\text{2}} {\text{3}} = 0.67$$

أربعة من أوّل خمسة أفلام مضحكة جدًا، لذا تكون الدقة عند 5 هي:

$$\text{precision at 5} = \frac{\text{4}} {\text{5}} = 0.8$$

---

نموذج مدرَّب مسبقًا

#language

#image

#generativeAI

عادةً ما يكون نموذجًا سبق تدريبه. يمكن أن يشير المصطلح أيضًا إلى متجه التضمين الذي تم تدريبه سابقًا.

يشير مصطلح النموذج اللغوي المُدرَّب مسبقًا عادةً إلى نموذج لغوي كبير سبق أن تم تدريبه.

التدريب المُسبَق

#language

#image

#generativeAI

التدريب الأولي لنموذج على مجموعة بيانات كبيرة إنّ بعض النماذج المدربة مسبقًا هي نماذج عملاقة وبطيئة، ويجب عادةً تحسينها من خلال تدريب إضافي. على سبيل المثال، قد يُجري خبراء تعلُّم الآلة تدريبًا مسبقًا على نموذج لغة كبير باستخدام مجموعة بيانات نصية ضخمة، مثل جميع الصفحات باللغة الإنجليزية في "ويكيبيديا". بعد التدريب المُسبَق، يمكن تحسين النموذج الناتج بشكلٍ أكبر باستخدام أيّ من التقنيات التالية:

• التقطير
• التحسين
• ضبط التعليمات
• الضبط الفعال للمَعلمات
• ضبط الطلبات

طلب

#language

#generativeAI

أي نص يتم إدخاله كإدخال إلى نموذج لغوي كبير لإعداد النموذج للعمل بطريقة معيّنة. يمكن أن تكون الطلبات قصيرة مثل عبارة أو طويلة بشكل عشوائي (على سبيل المثال، نص رواية كامل). تندرج الطلبات ضمن فئات متعدّدة، بما في ذلك تلك الواردة في الجدول التالي:

فئة الطلب	مثال	ملاحظات
السؤال	ما هي سرعة طيران الحمام؟
مدرسة تعليم	كتابة قصيدة مضحكة عن المراجحة	طلب يطلب من النموذج اللغوي الكبير تنفيذ إجراء معيّن
مثال	ترجمة رمز Markdown إلى HTML على سبيل المثال: Markdown: * عنصر قائمة HTML: <ul> <li>عنصر قائمة</li> </ul>	الجملة الأولى في هذا المثال هي عبارة عن إرشاد. والباقي من الطلب هو المثال.
الدور	شرح سبب استخدام خوارزمية انحدار التدرج في تدريب تعلُّم الآلة للحصول على درجة الدكتوراه في الفيزياء	الجزء الأول من الجملة هو عبارة عن توجيه، وتشكل العبارة "إلى درجة الدكتوراه في الفيزياء" جزء الوظيفة.
إدخال جزئي لإكمال النموذج	يقيم رئيس وزراء المملكة المتحدة في	يمكن أن ينتهي طلب الإدخال الجزئي بشكل مفاجئ (كما هو الحال في هذا المثال) أو ينتهي بشرطة سفلية.

يمكن لنموذج الذكاء الاصطناعي التوليدي الاستجابة لطلب باستخدام نص أو رمز برمجي أو صور أو إدراج أو فيديوهات أو أي شيء آخر تقريبًا.

التعلّم المستنِد إلى الطلبات

#language

#generativeAI

ميزة تتوفّر في بعض النماذج تتيح لها تعديل سلوكها استجابةً لإدخال نص عشوائي (الطلبات). في النموذج النموذجي للتعلم المستنِد إلى طلب، يردّ النموذج اللغوي الكبير على طلب من خلال إنشاء نص. على سبيل المثال، لنفترض أنّ أحد المستخدمين يُدخل الطلب التالي:

تلخيص قانون نيوتن الثالث للحركة

لا يتم تدريب النموذج القادر على التعلّم المستنِد إلى الطلبات على الإجابة عن الطلب السابق على وجه التحديد. بدلاً من ذلك، "يعرف" النموذج الكثير من الحقائق حول الفيزياء، والكثير عن قواعد اللغة العامة، والكثير عن ما يشكّل بشكل عام إجابات مفيدة. هذه المعرفة كافية لتقديم إجابة مفيدة (على أمل ذلك). من خلال الملاحظات الإضافية التي يقدّمها المستخدمون ("كانت هذه الإجابة معقّدة جدًا" أو "ما هو ردّ الفعل؟")، يمكن لبعض أنظمة التعلّم المستندة إلى طلبات البحث تحسين فائدة إجاباتها تدريجيًا.

تصميم الطلب

#language

#generativeAI

مرادف لـ هندسة الطلبات.

هندسة الطلبات

#language

#generativeAI

فن إنشاء طلبات تؤدي إلى الحصول على الردود المطلوبة من نموذج لغوي كبير يُجري الأشخاص هندسة للطلبات. إنّ كتابة طلبات مساعدة منظَّمة جيدًا هو جزء أساسي من ضمانتلقّي ردود مفيدة من نموذج لغوي كبير. تعتمد هندسة الطلبات على عوامل متعدّدة، منها:

• مجموعة البيانات المستخدَمة للتدريب المُسبَق والتحسين المحتمل للنموذج اللغوي الكبير
• temperature ومَعلمات فك التشفير الأخرى التي يستخدمها النموذج لإنشاء الردود

يمكنك الاطّلاع على مقدّمة عن تصميم الطلبات لمزيد من التفاصيل حول كتابة طلبات مفيدة.

تصميم الطلبات هو مصطلح مرادف لهندسة الطلبات.

ضبط الطلبات

#language

#generativeAI

آلية ضبط فعّال للمَعلمات تتعرّف على "بادئة" يضيفها النظام إلى الطلب الفعلي.

أحد أشكال ضبط الطلبات، والذي يُسمى أحيانًا ضبط البادئة، هو إضافتها في كل طبقة. في المقابل، لا يؤدي معظم عمليات ضبط الطلبات إلا إلى إضافة بادئة إلى طبقة الإدخال.

انقر على الرمز لمعرفة المزيد من المعلومات عن البادئات.

لضبط الطلب، يكون "البادئة" (المعروفة أيضًا باسم "الطلب الخفيف") هي مجموعة من المتجهات المستندة إلى المهام التي تم تعلّمها والتي يتمّ وضعها قبل إدخالات العنصر النصي من الطلب الفعلي. يتعلّم النظام الطلب اللطيف من خلال تجميد جميع مَعلمات النموذج الأخرى وإجراء تحسين على مهمة معيّنة.

---

R

تذكُّر عند k (recall@k)

#language

مقياس لتقييم الأنظمة التي تعرِض قائمة مرتّبة (مُرتَّبة) بالعناصر. يحدِّد "التذكُّر عند k" نسبة العناصر ذات الصلة في أوّل k عنصر في تلك القائمة من إجمالي عدد العناصر ذات الصلة التي يتم عرضها.

\[\text{recall at k} = \frac{\text{relevant items in first k items of the list}} {\text{total number of relevant items in the list}}\]

يُرجى الاطّلاع على الدقة عند k.

انقر على الرمز للاطّلاع على مثال.

لنفترض أنّ نموذجًا لغويًا كبيرًا تم تقديم الطلب التالي إليه:

List the 10 funniest movies of all time in order.

ويعرض النموذج اللغوي الكبير القائمة المعروضة في أول عمودين:

الموضع	فيلم	هل هذا المحتوى ذي صلة؟
1	The General	نعم
2	Mean Girls	نعم
3	Platoon	لا
4	وصيفات العروس	نعم
5	This is Spinal Tap	نعم
6	طائرة	نعم
7	Groundhog Day	نعم
8	Monty Python and the Holy Grail	نعم
9	Oppenheimer‫	لا
10	Clueless	نعم

ثمانية من الأفلام في القائمة السابقة مضحكة جدًا، لذا فهي "عناصر ذات صلة في القائمة". وبالتالي، سيكون العدد 8 هو المقام في جميع عمليات احتساب دقة التذكر عند k. ماذا عن البسط؟ حسنًا، 3 من العناصر الأربعة الأولى ذات صلة، لذا فإنّ نسبة التذكر عند 4 هي:

$$\text{recall at 4} = \frac{\text{3}} {\text{8}} = 0.375$$

7 من أوّل 8 أفلام مضحكة جدًا، لذا فإنّ نسبة التذكّر عند 8 هي:

$$\text{recall at 8} = \frac{\text{7}} {\text{8}} = 0.875$$

---

نص مرجعي

#language

#generativeAI

ردّ الخبير على طلب على سبيل المثال، في ما يلي الطلب التالي:

ترجمة السؤال "ما اسمك؟" من الإنجليزية إلى الفرنسية

قد يكون ردّ الخبير على النحو التالي:

Comment vous appelez-vous?

تقيس مقاييس مختلفة (مثل ROUGE) درجة تطابق النص المرجعي مع النص الذي أنشأه نموذج تعلُّم الآلة.

ملاحظة: عادةً ما يكون الخبير شخصًا، ولكن يمكن أن يكون نموذج تعلُّم آلة.

طلب الدور

#language

#generativeAI

جزء اختياري من الطلب الذي يحدّد شريحة جمهور مستهدَفة لاستجابة نموذج الذكاء الاصطناعي التوليدي. بدون طلب تحديد الدور، يقدّم نموذج لغوي كبير إجابة قد تكون مفيدة أو غير مفيدة للشخص الذي يطرح الأسئلة. من خلال طلب دور، يمكن أن يجيب نموذج لغوي كبير بطريقة أكثر ملاءمةً وفائدةً لجمهور مستهدف معيّن. على سبيل المثال، يظهر جزء طلب الدور من الطلبات التالية بخط عريض:

• تلخيص هذه المقالة لرسالة الدكتوراه في الاقتصاد
• وصف آلية عمل المد والجزر لطفل في العاشرة من عمره
• شرح الأزمة المالية لعام 2008 تحدّث كما تتحدّث مع طفل صغير، أو كلب من سلالة لابرادور.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

#language

مجموعة من المقاييس التي تقيِّم نماذج التلخيص التلقائي والترجمة الآلية. تحدِّد مقاييس ROUGE درجة تداخل النص المرجعي مع النص الذي تم إنشاؤه من نموذج الذكاء الاصطناعي (ML). تتداخل مقاييس عائلة ROUGE بطريقة مختلفة. تشير نتائج ROUGE الأعلى إلى تشابه أكبر بين النص المرجعي والنص الذي تم إنشاؤه مقارنةً بنتائج ROUGE الأقل.

ينشئ كل فرد من عائلة ROUGE عادةً المقاييس التالية:

• الدقة
• التذكُّر
• F₁

ملاحظة: تستخدِم تقنية ROUGE مقياسَي الدقة والاسترجاع بشكلٍ مختلف نوعًا ما عن المقياسَين التقليديَين الدقة والاسترجاع.

لمعرفة التفاصيل والأمثلة، يُرجى الاطّلاع على:

• ROUGE-L
• ROUGE-N
• ROUGE-S

ملاحظة: يتم تحسين BLEU وBLEURT من أجل الدقة، في حين يتم تحسين ROUGE من أجل الاسترجاع. نتيجةً لذلك، يُعدّ BLEU وBLEURT مقياسَين أفضل لتقييم الترجمة الآلية (لأنّ التركيز يقع على الدقة)، في حين أنّ ROUGE هو مقياس أفضل للتلخيص (لأنّ التركيز يقع على الاسترجاع).

ROUGE-L

#language

أحد أفراد عائلة ROUGE يركز على طول أطول تسلسل فرعي شائع في النص المرجعي والنص الذي تم إنشاؤه. تحسب الصيغ التالية دقة ومستوى التذكر لـ ROUGE-L:

$$\text{ROUGE-L recall} = \frac{\text{longest common sequence}} {\text{number of words in the reference text} }$$

$$\text{ROUGE-L precision} = \frac{\text{longest common sequence}} {\text{number of words in the generated text} }$$

يمكنك بعد ذلك استخدام F₁ لتجميع دقة ROUGE-L ومستوى استرجاع ROUGE-L في مقياس واحد:

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{ROUGE-L recall} * \text{ROUGE-L precision}} {\text{ROUGE-L recall} + \text{ROUGE-L precision} }$$

انقر على الرمز للحصول على مثال على احتساب ROUGE-L.

راجِع النص المرجعي والنص الذي تم إنشاؤه أدناه.

الفئة	من المنتج؟	نص
نص المرجع	مترجم بشري	أريد فهم مجموعة كبيرة من المواضيع.
النص الذي تم إنشاؤه	نموذج تعلُّم الآلة	أريد تعلُّم الكثير من الأشياء.

ولذلك:

• أطول تسلسل فرعي شائع هو 5 (أريد من الأشياء)
• عدد الكلمات في النص المرجعي هو 9.
• عدد الكلمات في النص الذي تم إنشاؤه هو 7.

نتيجةً لذلك:

$$\text{ROUGE-L recall} = \frac{\text{5}} {\text{9} } = 0.56$$

$$\text{ROUGE-L precision} = \frac{\text{5}} {\text{7} } = 0.71$$

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{0.56} * \text{0.71}} {\text{0.56} + \text{0.71} } = 0.63$$

---

يتجاهل مقياس ROUGE-L أيّ أسطر جديدة في النص المرجعي والنص الذي تم إنشاؤه، لذلك يمكن أن يشمل أطول تسلسل فرعي مشترك عدّة جمل. عندما يتضمّن النص المرجعي والنص الذي تم إنشاؤه عدة جمل، يكون ROUGE-Lsum، وهو أحد أشكال مقياس ROUGE-L، مقياسًا أفضل بشكل عام. يحدِّد مقياس ROUGE-Lsum أطول تسلسل فرعي مشترك لكل جملة في فقرة، ثم يحتسِب متوسّط هذه التسلسلات الفرعية المشتركة الأطول.

انقر على الرمز للحصول على مثال لحساب ROUGE-Lsum.

راجِع النص المرجعي والنص الذي تم إنشاؤه أدناه.

الفئة	من المنتج؟	نص
نص المرجع	مترجم بشري	سطح المريخ جاف. تقع كل المياه تقريبًا في أماكن عميقة تحت الأرض.
النص الذي تم إنشاؤه	نموذج تعلُّم الآلة	سطح المريخ جاف. ومع ذلك، فإنّ الغالبية العظمى من المياه تكون تحت الأرض.

ولذلك:

	الجملة الأولى	الجملة الثانية
أطول تسلسل مشترك	2 (مرحبًا)	3 (المياه تحت الأرض)
طول الجملة في نص المرجع	6	7
طول الجملة في النص الذي تم إنشاؤه	5	8

نتيجةً لذلك:

$$\text{recall of first sentence} = \frac{\text{2}} {\text{6}} = 0.33 $$

$$\text{recall of second sentence} = \frac{\text{3}} {\text{7}} = 0.43 $$

$$\text{ROUGE-Lsum recall} = \frac{\text{0.33} + \text{0.43}} {\text{2}} = 0.38 $$

$$\text{precision of first sentence} = \frac{\text{2}} {\text{5}} = 0.4 $$

$$\text{precision of second sentence} = \frac{\text{3}} {\text{8}} = 0.38 $$

$$\text{ROUGE-Lsum precision} = \frac{\text{0.4} + \text{0.38}} {\text{2}} = 0.39 $$

$$\text{ROUGE-Lsum F}{_1} = \frac{\text{2} * \text{0.38} * \text{0.39}} {\text{0.38} + \text{0.39}} = 0.38 $$

---

ROUGE-N

#language

مجموعة من المقاييس ضمن عائلة ROUGE التي تقارن بين النصوص المشتركة التي تتألف من عدد معيّن من الكلمات في النص المرجعي والنص الذي تم إنشاؤه. على سبيل المثال:

• يقيس مقياس ROUGE-1 عدد الرموز المشترَكة في النص المرجعي والنص الذي تم إنشاؤه.
• يقيس مقياس ROUGE-2 عدد الثنائيات (الكلمات المكونة من كلمتَين) المشترَكة في النص المرجعي والنص الذي تم إنشاؤه.
• يقيس مقياس ROUGE-3 عدد الثلاثيات (3-grams) المشترَكة في النص المرجعي والنص الذي تم إنشاؤه.

يمكنك استخدام الصيغ التالية لاحتساب تذكر ROUGE-N و دقة ROUGE-N لأيّ عضو من عائلة ROUGE-N:

$$\text{ROUGE-N recall} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the reference text} }$$

$$\text{ROUGE-N precision} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the generated text} }$$

يمكنك بعد ذلك استخدام F₁ لتجميع دقة ROUGE-N ومستوى استرجاع ROUGE-N في مقياس واحد:

$$\text{ROUGE-N F}{_1} = \frac{\text{2} * \text{ROUGE-N recall} * \text{ROUGE-N precision}} {\text{ROUGE-N recall} + \text{ROUGE-N precision} }$$

انقر على الرمز للاطّلاع على مثال.

لنفترض أنّك قرّرت استخدام ROUGE-2 لقياس مدى فعالية ترجمة نموذج تعلُّم الآلة مقارنةً بترجمة مترجم بشري.

الفئة	من المنتج؟	نص	الثنائيات
نص المرجع	مترجم بشري	أريد فهم مجموعة كبيرة من المواضيع.	أريد، أريد أن، أن أفهم، أفهم مجموعة، مجموعة كبيرة، متنوعة، من، من الأشياء
النص الذي تم إنشاؤه	نموذج تعلُّم الآلة	أريد تعلُّم الكثير من الأشياء.	أريد، أريد، أن أتعلم، أن أتعلم الكثير، الكثير من، من الأشياء

ولذلك:

• عدد الثنائيات المطابقة هو 3 (أريد وأريد و من الأشياء).
• عدد الثنائيات في النص المرجعي هو 8.
• عدد الثنائيات في النص الذي تم إنشاؤه هو 6.

نتيجةً لذلك:

$$\text{ROUGE-2 recall} = \frac{\text{3}} {\text{8} } = 0.375$$

$$\text{ROUGE-2 precision} = \frac{\text{3}} {\text{6} } = 0.5$$

$$\text{ROUGE-2 F}{_1} = \frac{\text{2} * \text{0.375} * \text{0.5}} {\text{0.375} + \text{0.5} } = 0.43$$

---

ROUGE-S

#language

يُعدّ هذا المقياس من ROUGE-N أكثر تساهلاً، إذ يتيح مطابقة الجمل القصيرة. وهذا يعني أنّ ROUGE-N لا يحسب سوى النصوص التي تتكوّن من وحدات أساسية بحجم N التي تتطابق تمامًا، ولكنّ ROUGE-S يحسب أيضًا النصوص التي تتكوّن من وحدات أساسية بحجم N مفصولة بكلمة واحدة أو أكثر. على سبيل المثال، يمكنك القيام بما يلي:

• النص المرجعي: سحب بيضاء
• النص الذي تم إنشاؤه: سحب بيضاء كثيفة

عند احتساب مقياس ROUGE-N، لا يتطابق الثنائي السحب البيضاء مع السحب البيضاء المتصاعدة. ومع ذلك، عند احتساب مقياس ROUGE-S، يتطابق السحب البيضاء مع السحب البيضاء المتصاعدة.

S

الانتباه الذاتي (يُعرف أيضًا باسم طبقة الانتباه الذاتي)

#language

طبقة شبكة عصبية تحوّل تسلسلاً من الملفات المضمّنة (مثل ملفات الرمز المميّز المضمّنة) إلى تسلسل آخر من الملفات المضمّنة يتم تأسيس كلّ إدراج في تسلسل الإخراج من خلال دمج المعلومات من عناصر تسلسل الإدخال من خلال آلية التركيز.

يشير الجزء الذاتي من الانتباه الذاتي إلى التسلسل الذي يهتم بنفسه بدلاً من أي سياق آخر. إنّ الانتباه الذاتي هو أحد أساسيات الوحدات الأساسية لمعمارية Transformer، ويستخدم مصطلحات البحث في القاموس، مثل "طلب بحث" و"مفتاح" و "قيمة".

تبدأ طبقة الانتباه الذاتي بتسلسل من تمثيلات الإدخال، تمثل كل واحدة كلمة. يمكن أن يكون تمثيل الإدخال لكلمة ما هو إدراج بسيط. لكل كلمة في تسلسل الإدخال، تُحسِّن الشبكة صلة الكلمة بكل عنصر في التسلسل الكامل للكلمات. تحدِّد نتائج مدى الصلة مقدار دمج التمثيل النهائي للكلمة في تمثيلات الكلمات الأخرى.

على سبيل المثال، فكِّر في الجملة التالية:

لم يعبر الحيوان الشارع لأنّه كان متعبًا جدًا.

يعرض الرسم التوضيحي التالي (من مقالة Transformer: A Novel Neural Network Architecture for Language Understanding) نمط الانتباه لطبقة الانتباه الذاتي للضمير it، مع اختلاف كثافة كل سطر للإشارة إلى مقدار مساهمة كل كلمة في التمثيل:

تُبرز طبقة الانتباه الذاتي الكلمات ذات الصلة بـ "it". في هذا الحالة، تعلّمت طبقة الانتباه تمييز الكلمات التي قد تتمثّل فيها، مع منح الأهمية الأكبر للكلمة حيوان.

بالنسبة إلى تسلسل من n رمز، تحوّل الانتباه الذاتي تسلسلًا من عمليات التضمين n مرّات منفصلة، مرّة واحدة في كل موضع في التسلسل.

راجِع أيضًا التركيز و التركيز الذاتي المتعدّد الرؤوس.

تحليل المشاعر

#language

استخدام الخوارزميات الإحصائية أو خوارزميات تعلُّم الآلة لتحديد الموقف العام للمجموعة، سواء كان إيجابيًا أو سلبيًا، تجاه خدمة أو منتج أو منظمة أو موضوع على سبيل المثال، باستخدام فهم اللغة الطبيعية، يمكن أن تُجري الخوارزمية تحليلًا للمشاعر استنادًا إلى الملاحظات النصية من دورة دراسية جامعية لتحديد مدى شعور الطلاب عمومًا بالاستحسان أو عدم الاستحسان تجاه الدورة الدراسية.

مهمة من تسلسل إلى تسلسل

#language

مهمة تعمل على تحويل تسلسل إدخال من الرموز المميّزة إلى تسلسل ناتج من الرموز المميّزة. على سبيل المثال، هناك نوعان شائعان من المهام المتعلّقة بتحويل تسلسل إلى تسلسل:

• المترجمون:
  • مثال على تسلسل الإدخال: "أحبك".
  • مثال على تسلسل النتائج: "Je t'aime".
• الإجابة عن الأسئلة:
  • مثال على تسلسل الإدخال: "هل أحتاج إلى سيارتي في مدينة القاهرة؟"
  • مثال على تسلسل الإخراج: "لا، يُرجى إبقاء سيارتك في المنزل".

skip-gram

#language

نمط n-gram الذي قد يحذف (أو "يتخطّى") كلمات من السياق الأصلي، ما يعني أنّ الكلمات N قد لا تكون متجاورة في الأصل بعبارة أدق، "ن-غرام بفاصل k" هو ن-غرام قد تم تخطّي ما يصل إلى k كلمة فيه.

على سبيل المثال، تحتوي العبارة "the quick brown fox" على الثنائيات التالية المحتمَلة:

• "السريع"
• "quick brown"
• "ثعلب بني"

"الثنائية ذات الفاصل الواحد" هي عبارة عن زوج من الكلمات تفصل بينهما كلمة واحدة كحد أقصى. لذلك، يحتوي المحتوى "the quick brown fox" على المقاطع التالية التي تتكوّن من كلمتَين مع تخطّي كلمة واحدة:

• "the brown"
• "ثعلب سريع"

بالإضافة إلى ذلك، تكون كل الثنائيات أيضًا ثنائيات تخطي كلمة واحدة، لأنّه قد يتم تخطي أقل من كلمة واحدة.

تكون ميزة "المقاطع التي يتم تخطّيها" مفيدة لفهم المزيد من السياق المحيط بالكلمة. في المثال، كان "الثعلب" مرتبطًا مباشرةً بـ "سريع" في مجموعة المقاطع-الثنائية-بفاصل-واحد، ولكن ليس في مجموعة المقاطع-الثنائية.

تساعد ميزة "المقاطع التي تليها" في تدريب نماذج إدراج الكلمات.

ضبط الطلبات اللطيفة

#language

#generativeAI

أسلوب لضبط نموذج لغوي كبير لمهمة معيّنة، بدون استخدام موارد مكثفة في عملية التحسين الدقيق بدلاً من إعادة تدريب كل المَعلمات في النموذج، تعمل ميزة "ضبط الطلبات اللطيفة" على تعديل الطلب تلقائيًا لتحقيق الهدف نفسه.

استنادًا إلى طلب نصي، يؤدي تعديل الطلبات الناعمة عادةً إلى إلحاق عمليات إدراج رموز إضافية بالطلب واستخدام الانتشار العكسي لتحسين الإدخال.

يحتوي الطلب "الصعِب" على رموز مميّزة فعلية بدلاً من عمليات إدراج الرموز المميّزة.

خاصية متناثرة

#language

#fundamentals

سمة تكون قيمها غالبًا صفرًا أو فارغة على سبيل المثال، تكون الميزة التي تحتوي على قيمة 1 واحدة ومليون قيمة 0 متباعدة. في المقابل، تحتوي الميزة الكثيفة على قيم تكون في الغالب غير صفرية أو فارغة.

في مجال تعلُّم الآلة، هناك عدد كبير من الميزات المتفرقة. وتكون الميزات الفئوية عادةً ميزات متناثرة. على سبيل المثال، من بين 300 نوع من الأشجار المحتملة في الغابة، قد يحدِّد مثال واحد شجرة قيقب فقط. أو من بين ملايين الفيديوهات المحتمَلة في مكتبة فيديوهات، قد يحدِّد مثال واحد فقط "الدار البيضاء".

في النموذج، يتم عادةً تمثيل الميزات المتفرقة باستخدام التشفير الثنائي. إذا كان التشفير الواحد النشط كبيرًا، يمكنك وضع طبقة إدراج فوق التشفير الواحد النشط لتحقيق كفاءة أكبر.

تمثيل متناثر

#language

#fundamentals

تخزين المواضع للعناصر غير الصفرية فقط في سمة متفرّقة

على سبيل المثال، لنفترض أنّ سمة تصنيفية باسم species تحدّد 36 نوعًا من الأشجار في غابة معيّنة. لنفترض أيضًا أنّ كل مثال يحدّد نوعًا واحدًا فقط.

يمكنك استخدام متجه أحادي القيمة لتمثيل أنواع الأشجار في كل مثال. سيحتوي المتجه أحادي القيمة على 1 واحد (لتمثيل أنواع الأشجار المحدّدة في هذا المثال) و35 0 (لتمثيل أنواع الأشجار الـ 35 غير المُدرَجة في هذا المثال). وبالتالي، قد يبدو التمثيل الثنائي المميّز لـ maple على النحو التالي:

بدلاً من ذلك، سيحدِّد التمثيل المتفرق ببساطة موضع الأنواع المحدّدة. إذا كان maple في الموضع 24، سيكون التمثيل المتناثر maple على النحو التالي:

24

يُرجى ملاحظة أنّ التمثيل المتفرق أكثر كثافة من التمثيل المميّز بقيمة واحدة.

ملاحظة: يجب عدم تمرير تمثيل متفرق كإدخال سمة مباشر إلى نموذج. بدلاً من ذلك، عليك تحويل التمثيل المتفرق إلى تمثيل بقيمة واحدة قبل التدريب عليه.

انقر على الرمز للحصول على مثال أكثر تعقيدًا قليلاً.

لنفترض أنّ كل مثال في النموذج يجب أن يمثّل الكلمات في جملة باللغة الإنجليزية، ولكن ليس ترتيب هذه الكلمات. تتألف اللغة الإنجليزية من حوالي 170,000 كلمة، لذا فإنّ اللغة الإنجليزية هي سمة فئوية تتضمّن حوالي 170,000 عنصر. تستخدم معظم الجمل الإنجليزية جزءًا صغيرًا جدًا من هذه الكلمات الـ 170,000، لذا من المؤكد تقريبًا أن تكون مجموعة الكلمات في مثال واحد من البيانات المتفرقة.

فكِّر في الجملة التالية:

My dog is a great dog

يمكنك استخدام نوع من المتجهات ذات القيمة الواحدة لتمثيل الكلمات في هذه الجملة. في هذا الصيغة، يمكن أن تحتوي خلايا متعدّدة في المتجه على قيمة غير صفرية. بالإضافة إلى ذلك، في هذا الصيغة، يمكن أن تحتوي الخلية على عدد صحيح غير واحد. على الرغم من أنّ الكلمات "كلبي" و"هو" و"رائع" و "جدًا" تظهر فقط مرّة واحدة في الجملة، تظهر كلمة "كلب" مرّتين. باستخدام هذا الصيغة من المتجهات أحادية الحالة لتمثيل الكلمات في هذه الجملة، ينتج عن ذلك التالي: المتجه التالي الذي يتألف من 170,000 عنصر:

سيكون التمثيل المتناثر للجملة نفسها على النحو التالي:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

انقر على الرمز إذا كنت غير متأكد.

يتسبّب مصطلح "التمثيل المتفرق" في إرباك الكثير من الأشخاص لأنّ التمثيل المتفرق هو نفسه ليس متجهًا متفرقًا. بدلاً من ذلك، فإنّ التمثيل المتفرق هو في الواقع تمثيل كثيف لمجموعة متفرق. إنّ المرادف تمثيل الفهرس أكثر وضوحًا قليلاً من "التمثيل المتناثر".

---

التدريب على مراحل

#language

منهج لتدريب نموذج في تسلسل من المراحل المنفصلة ويمكن أن يكون الهدف هو إما تسريع عملية التدريب أو تحقيق جودة أفضل للنموذج.

في ما يلي صورة توضيحية لنهج التجميع التدريجي:

• يحتوي "المرحلة 1" على 3 طبقات مخفية، و"المرحلة 2" على 6 طبقات مخفية، و"المرحلة 3" على 12 طبقة مخفية.
• يبدأ الطور 2 التدريب باستخدام الأوزان التي تم تعلّمها في الطبقات المخفية الثلاث للطور 1. تبدأ المرحلة 3 التدريب باستخدام الأوزان التي تم تعلّمها في ال6 طبقات المخفية للمرحلة 2.

اطّلِع أيضًا على المعالجة المخطّط لها.

رمز مميز للكلمة الفرعية

#language

في النماذج اللغوية، العنصر هو سلسلة فرعية من كلمة، وقد تكون الكلمة بأكملها.

على سبيل المثال، قد يتم تقسيم كلمة مثل "itemize" إلى القطع "item" (كلمة أصلية) و "ize" (لاحقة)، ويتم تمثيل كل منهما بعلامة خاصة به. إنّ تقسيم الكلمات غير الشائعة إلى أجزاء كهذه، والتي تُعرف باسم الكلمات الفرعية، يسمح لنماذج اللغة بالعمل على الأجزاء الأكثر شيوعًا من الكلمة، مثل البادئات واللاحقات.

في المقابل، قد لا يتم تقسيم الكلمات الشائعة مثل "going" وقد يتم تمثيلها برمز موحّد.

T

T5

#language

نموذج تعلُّم الاستيعاب للتحويل من نص إلى نص الذي طرحته تكنولوجيات الذكاء الاصطناعي من Google في عام 2020 ‫T5 هو نموذج ترميز-فك ترميز، استنادًا إلى بنية Transformer، تم تدريبه على مجموعة ข้อมูล كبيرة جدًا. وهي فعّالة في مجموعة متنوعة من مهام معالجة اللغات الطبيعية، مثل إنشاء النصوص وترجمة اللغات والإجابة عن الأسئلة بطريقة حوارية.

يُستمَد اسم T5 من الأحرف الخمسة في "Text-to-Text Transfer Transformer".

T5X

#language

إطار عمل مفتوح المصدر لتعلُّم الآلة مصمّم لإنشاء نماذج معالجة لغات طبيعية (NLP) على نطاق واسع وتدريبها يتم تنفيذ T5 على قاعدة بيانات T5X (التي يتم إنشاؤها استنادًا إلى JAX وFlax).

درجة الحرارة

#language

#image

#generativeAI

مَعلمة فائقة تتحكّم في درجة العشوائية لمخرجات النموذج تؤدي درجات الحرارة المرتفعة إلى زيادة العشوائية في النتائج، بينما تؤدي درجات الحرارة المنخفضة إلى تقليل العشوائية في النتائج.

يعتمد اختيار أفضل درجة حرارة على التطبيق المحدّد والخصائص المفضّلة لمخرجات النموذج. على سبيل المثال، قد تحتاج إلى رفع درجة الحرارة عند إنشاء تطبيق يُنشئ مواد إبداعية. في المقابل، من المحتمل أن تخفض درجة الحرارة عند إنشاء نموذج يصنف الصور أو النصوص لتحسين دقة النموذج واتساقه.

غالبًا ما يتم استخدام درجة الحرارة مع softmax.

نطاق النص

#language

نطاق فهرس الصفيف المرتبط بقسم فرعي معيّن من سلسلة نصية. على سبيل المثال، تشغل الكلمة good في سلسلة Python s="Be good now" نطاق النص من 3 إلى 6.

رمز مميّز

#language

في النموذج اللغوي، هي الوحدة الأساسية التي يتم تدريب النموذج عليها وإجراء التوقّعات استنادًا إليها. عادةً ما يكون الرمز المميّز أحد يليه:

• كلمة: على سبيل المثال، تتألف العبارة "الكلاب تحب القطط" من ثلاثة علامات كلمات: "الكلاب" و"تحب" و "القطط".
• حرف، على سبيل المثال، تتألف العبارة "دراجة سمكة" من تسعة رموز أحرف. (يُرجى العِلم أنّ المسافة الفارغة تُحتسَب كأحد الرموز).
• الكلمات الفرعية: يمكن أن تكون الكلمة الواحدة عبارة عن رمز موحّد أو رموز متعدّدة. تتكوّن الكلمة الفرعية من كلمة أصلية أو بادئة أو لاحقة. على سبيل المثال، قد يعرض نموذج اللغة الذي يستخدم الكلمات الفرعية كعناصر مميزة الكلمة "كلاب" كعنصرَين مميزَين (الكلمة الأساسية "كلب" واللاحقة "س" للجمع). قد ينظر نموذج اللغة نفسه إلى الكلمة الواحدة "أطول" على أنّها كلمتان فرعيتان (الكلمة الأساسية "طويل" واللاحقة "er").

في النطاقات خارج النماذج اللغوية، يمكن أن تمثّل الرموز أنواعًا أخرى من الوحدات الأساسية. على سبيل المثال، في مجال الرؤية الحاسوبية، قد يكون الرمز المميّز مجموعة فرعية من الصورة.

دقة أفضل k

#language

النسبة المئوية لعدد المرات التي يظهر فيها "تصنيف مستهدَف" ضمن أوّل ك موضع من القوائم التي تم إنشاؤها. يمكن أن تكون القوائم اقتراحات مخصّصة أو قائمة بالعناصر مرتبة حسب softmax.

تُعرف دقة أفضل k عناصر أيضًا باسم الدقة عند k.

ملاحظة: يمكن أن يكون التصنيف المستهدَف أي فئة (وليس بالضرورة فئة الحقيقة الأساسية)، لذا لا تكون دقة أفضل k عنصرًا دائمًا مساوية للدقة التقليدية.

انقر على الرمز للاطّلاع على مثال.

لنفترض أنّ هناك نظام تعلُّم آلة يستخدم دالة softmax لتحديد احتمالات ظهور الأشجار استنادًا إلى صورة لأوراق الأشجار. يعرض الجدول التالي قوائم النتائج التي تم إنشاؤها من خمس صور أشجار مُدخلة. يحتوي كل صف على تصنيف مستهدَف والأشجار الخمسة الأكثر احتمالًا. على سبيل المثال، عندما كان التصنيف المستهدَف هو الدردار، حدّد نموذج تعلُّم الآلة الصفصاف باعتباره الشجرة التي يُرجّح أن تظهر الأكثر، والبلوط باعتباره الشجرة التي يُرجّح أن تظهر الأكثر بعد ذلك، وما إلى ذلك.

تصنيف الاستهداف	1	2	3	4	5
maple	الدردار	بلوط	maple	خشب الزان	بوبلار
قرانيا	بلوط	dogwood	بوبلار	hickory	maple
بلوط	البلوط	خشب الزيزفون	الجراد	جار الماء	linden
linden	maple	paw-paw	بلوط	خشب الزيزفون	بوبلار
بلوط	الجراد	linden	البلوط	maple	paw-paw

يظهر التصنيف المستهدَف في الموضع الأول مرة واحدة فقط، لذا فإنّ دقة التصنيفات الواردة في أعلى القائمة هي:

$$\text{top-1 accuracy} = \frac{\text{1}} {\text{5}} = 0.2$$

يظهر التصنيف المستهدَف في أحد المراكز الثلاثة الأولى أربع مرات، وتكون دقة أهم 3 تصنيفات على النحو التالي:

$$\text{top-1 accuracy} = \frac{\text{4}} {\text{5}} = 0.8$$

---

لغة غير لائقة

#language

درجة مساءة المحتوى أو تهديده أو إساءته يمكن للعديد من نماذج تعلُّم الآلة تحديد المحتوى السام وقياسه. ترصد معظم هذه النماذج المحتوى الضار استنادًا إلى مَعلمات متعدّدة، مثل مستوى اللغة المسيئة ومستوى اللغة المهددة.

المحوّل

#language

بنية شبكة عصبية تم تطويرها في Google والتي تعتمد على آليات التركيز الذاتي لتحويل تسلسل من عمليات إدراج الإدخال إلى تسلسل من عمليات إدراج المخرج بدون الاعتماد على عمليات التفاف أو الشبكات العصبية المتكررة. يمكن النظر إلى نموذج Transformer على أنّه حزمة من طبقات الانتباه الذاتي.

يمكن أن يتضمّن المحوِّل أيًا مما يلي:

• برنامج ترميز
• برنامج فك ترميز
• كل من برنامج الترميز وبرنامج فك الترميز

يحوّل برنامج الترميز تسلسلًا من عمليات التضمين إلى تسلسل جديد بالطول نفسه. يتضمّن برنامج الترميز N طبقات متطابقة، تحتوي كلّ طبقة منها على مرحلتين فرعيتين. يتم تطبيق هاتين الطبقتين الفرعيتين في كل موضع من تسلسل إدراج الإدخال، ما يحوّل كل عنصر من التسلسل إلى إدراج جديد. تجمع الطبقة الفرعية الأولى من برنامج الترميز المعلومات من ملف ملف السلسلة. تحوّل الطبقة الفرعية الثانية من برنامج الترميز المعلومات المُجمَّعة إلى عنصر إدراج في الإخراج.

يحوّل المشفِّر تسلسلًا من عمليات إدراج الإدخال إلى تسلسل من عمليات إدراج الإخراج، وقد يكون طوله مختلفًا. يتضمّن أداة فك التشفير أيضًا N طبقات متطابقة تحتوي على ثلاث طبقات فرعية، تشبه طبقتاً منها الطبقات الفرعية لأداة التشفير. تأخذ الطبقة الفرعية الثالثة لفك التشفير ناتج التشفير وتطبّق آلية التركيز الذاتي لجمع المعلومات منه.

تقدّم مشاركة المدونة Transformer: A Novel Neural Network Architecture for Language Understanding مقدمة جيدة عن نموذج التحويل.

ثلاثي الأحرف

#seq

#language

نمط تحليلي من وحدات أساسية حيث يكون N=3

U

أحادي الاتجاه

#language

نظام يقيّم فقط النص الذي يسبق قسمًا مستهدفًا من النص. في المقابل، يُقيّم النظام الثنائي الاتجاه كلاً من النص الذي يسبق قسمًا مستهدفًا من النص ويليه. اطّلِع على الاتصال الثنائي الاتجاه لمزيد من التفاصيل.

نموذج لغوي أحادي الاتجاه

#language

نموذج لغوي يستند إلى الاحتمالات فقط على الرموز التي تظهر قبل الرموز المستهدفة وليس بعدها يختلف هذا النموذج عن النموذج اللغوي الثنائي الاتجاه.

V

الترميز التلقائي المتغيّر (VAE)

#language

نوع من المشفِّرات التلقائية التي تستفيد من الاختلاف بين المدخلات والمخرجات لإنشاء نُسخ معدَّلة من المدخلات. تكون أدوات الترميز الذاتي التفاضلية مفيدة للذكاء الاصطناعي التوليدي.

تستند نماذج VAE إلى الاستنتاج التنوّعي: وهو أسلوب لتقدير مَعلمات نموذج الاحتمالية.

واط

تضمين الكلمات

#language

تمثيل كل كلمة في مجموعة كلمات ضمن مصفوفة إدراج، أي تمثيل كل كلمة كأحد مصفوفات القيم الكسورية العشرية التي تتراوح بين 0.0 و1.0 إنّ الكلمات التي تحمل معاني مشابهة لها تمثيلات أكثر تشابهًا من الكلمات التي تحمل معاني مختلفة. على سبيل المثال، سيكون لكل من الجزر والهليون والخيار تمثيلات مشابهة نسبيًا، والتي ستكون مختلفة جدًا عن تمثيلات الطائرة والنظارات الشمسية ومعجون الأسنان.

Z

الطلب بلا مثال

#language

#generativeAI

طلب لا يقدّم مثالاً على الردّ الذي تريده من النموذج اللغوي الكبير على سبيل المثال:

أجزاء طلب واحد	ملاحظات
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد أن يجيب عنه "مساعد الخبراء القانونيين"
الهند:	طلب البحث الفعلي

قد يردّ النموذج اللغوي الكبير بأيّ مما يلي:

• روبية
• INR
• ر.ه.‏
• الروبية الهندية
• الروبية
• الروبية الهندية

جميع الإجابات صحيحة، ولكن قد تفضّل تنسيقًا معيّنًا.

قارِن بين طلبات البحث بدون أي معلومات سابقة والمصطلحات التالية:

• الطلب بمثال واحد
• الطلب بأمثلة قليلة