هل أنت مستخدم جديد في النماذج اللغوية أو النماذج اللغوية الكبيرة؟ يمكنك الاطّلاع على المراجع أدناه.
ما هو نموذج اللغة؟
النموذج اللغوي هو تعلُّم الآلة model التي تهدف إلى التنبؤ وإنشاء لغة معقولة. الإكمال التلقائي هو نموذج لغوي، على سبيل المثال.
تعمل هذه النماذج من خلال تقدير احتمالية ظهور رمز أو تسلسل من الرموز ضمن تسلسل أطول من الرموز. فكِّر في الجملة التالية:
When I hear rain on my roof, I _______ in my kitchen.
إذا افترضت أنّ الرمز المميّز هو كلمة، سيحدِّد نموذج اللغة احتمالات الكلمات أو تسلسلات الكلمات المختلفة التي يمكن أن تحلّ محل علامة ال underscore. على سبيل المثال، قد يحدِّد نموذج اللغة احتمالات التالية:
cook soup 9.4%
warm up a kettle 5.2%
cower 3.6%
nap 2.5%
relax 2.2%
...
"تسلسل من الرموز المميزة" ويمكن أن تكون جملة كاملة أو سلسلة من الجمل. وهذا يعني أنّه يمكن لنموذج اللغة احتساب احتمالية ظهور جمل أو مجموعات مختلفة من النصوص.
إن تقدير احتمالية ما سيحدث بعد ذلك في تسلسل مفيد للجميع أنواع الأشياء: إنشاء النصوص، وترجمة اللغات، والرد أو الأسئلة، على سبيل المثال لا الحصر.
ما هو النموذج اللغوي الكبير؟
إنّ نمذجة اللغة البشرية على نطاق واسع هي عملية معقّدة للغاية وتستهلك الكثير من الموارد والسعي. مسار الوصول إلى الإمكانات الحالية للنماذج اللغوية النماذج اللغوية الكبيرة على مدى عدة عقود.
كلما تمّ بناء النماذج على نحو أكبر وأكبر، يزداد تعقيدها وفعاليتها. كان بإمكان النماذج اللغوية المبكرة توقُّع احتمالية كلمة واحدة. عصري النماذج اللغوية الكبيرة التنبؤ باحتمالية وجود جمل أو فقرات أو حتى مستندات كاملة.
شهد حجم النماذج اللغوية وقدراتها تطوّرًا كبيرًا خلال الأعوام القليلة الماضية مع زيادة ذاكرة الكمبيوتر وحجم مجموعة البيانات وقدرة المعالجة، وتضافر تقنيات أكثر فعالية لوضع نماذج لتسلسلات النصوص الأطول.
ما الحجم الكبير؟
التعريف غير واضح، ولكنه "كبير" لوصف BERT (110 مليون) PaLM 2 (ما يصل إلى 340B مَعلمة).
المَعلمات هل الأوزان الذي تم تعلمه أثناء التطبيق، ويُستخدم للتنبؤ بالرمز المميز التالي في التسلسل. يمكن أن يشير "كبير" إلى عدد المَعلمات في النموذج، أو في بعض الأحيان عدد الكلمات في مجموعة البيانات.
أجهزة تحويل
كان من بين التطورات الرئيسية في مجال وضع النماذج اللغوية هو تقديم ملف شخصي في عام 2017 Transformers، وهي بنية مصمّمة حول فكرة التركيز. وقد ساعد ذلك في معالجة التسلسلات الأطول من خلال التركيز على جزءًا مهمًا من الإدخال، وهو حل مشاكل الذاكرة التي واجهتها في النماذج.
المحوِّلات هي أحدث بنية متطوّرة لمجموعة متنوعة من الأجهزة. تطبيقات النماذج اللغوية، مثل المترجمين.
إذا كان المُدخل هو "أنا كلب جيد"، تكون أداة الترجمة المستندة إلى أداة التحويل تحوِّل الإدخال إلى الناتج "Je suis un bon chien."، وهو الجملة نفسها مترجمة إلى الفرنسية.
تتألف المحولات بالكامل من برنامج الترميز برنامج فك الترميز. إنّ برنامج الترميز يحوّل النص المُدخل إلى تمثيل وسيط وجهاز فك الترميز تقوم بتحويل هذا التمثيل المتوسط إلى نص مفيد.
الاهتمام الذاتي
تعتمد المحوّلات بشكل كبير على مفهوم يسمى الانتباه الذاتي. الجزء الذاتي من يشير الاهتمام الذاتي إلى مصطلح "الأنااني" محور التركيز لكل رمز مميز في المجموعة. بشكلٍ فعال، تسأل ميزة "التركيز على الذات" نيابةً عن كل رمز إدخال: "ما هو مقدار أهمية كل رمز إدخال آخر بالنسبة إلى أنا؟" لتبسيط الأمور، لنفترض أنّ كل رمز تعبيري هو كلمة وأنّ السياق الكامل هو جملة واحدة. فكِّر في الجملة التالية:
لم يعبر الحيوان الشارع لأنّه كان مرهقًا جدًا.
هناك 11 كلمة في الجملة السابقة، لذا تهتم كل كلمة من الكلمات الإحدى عشرة بالكلمات العشر الأخرى، وتتساءل عن مدى أهمية كل كلمة من هذه الكلمات العشر بالنسبة إليها. على سبيل المثال، لاحِظ أنّ الجملة تتضمّن الضمير it. غالبًا ما تكون الضمائر غامضة. يشير الضمير هو دائمًا إلى اسم تم ذكره مؤخرًا، ولكن في المثال، إلى أي اسم تم ذكره مؤخرًا يشير الضمير هو: الحيوان أو الشارع؟
تحدّد آلية الانتباه الذاتي مدى صلة كل كلمة قريبة بالضمير it.
ما هي بعض حالات استخدام النماذج اللغوية الكبيرة؟
تتميّز النماذج اللغوية الكبيرة بفعالية كبيرة في المهمة التي أُنشئت من أجلها، وهي إنشاء النص الأكثر منطقية استجابةً للإدخال. حتى أنهم بدأوا في إظهار الأداء القوي في المهام الأخرى على سبيل المثال، التلخيص والسؤال والرد وتصنيف النص. وتسمى هذه القدرة الطارئة. ويمكن للنماذج اللغوية الكبيرة حتى حل بعض المسائل الرياضية وكتابة الرموز (على الرغم من أنه يُنصح بالتحقّق من العمل).
تُجيد النماذج اللغوية الكبيرة تقليد أنماط الكلام البشري. ومن بين ميزات هذه الأشكال، إنّها رائعة في دمج المعلومات بأشكال وألوان مختلفة.
مع ذلك، يمكن أن تكون النماذج اللغوية الكبيرة مكوّنات لنماذج لا تقتصر فقط على إنشاء النص. تم استخدام النماذج اللغوية الكبيرة الحديثة لإنشاء أدوات رصد المشاعر، وأدوات تصنيف المحتوى المسيء، وإنشاء ترجمة للصور.
اعتبارات حول النماذج اللغوية الكبيرة
إنّ النماذج الكبيرة هذه لها عيوبها.
إنّ أكبر النماذج اللغوية الكبيرة باهظة التكلفة. وقد يستغرق تدريبها شهورًا، ونتيجةً لذلك، تستهلك الكثير من الموارد.
كما يمكن إعادة استخدامها في مهام أخرى عادة، ما يمثل جانبًا إيجابيًا.
تؤدي عملية تدريب النماذج التي تحتوي على أكثر من تريليون مَعلمة إلى ظهور تحديات هندسية. وتتطلّب هذه العملية بنية أساسية خاصة وتقنيات برمجة لتنسيق تدفق البيانات إلى الشرائح والعكس.
هناك طرق للتخفيف من تكاليف هذه النماذج الكبيرة. هناك نهجان الاستنتاج بلا إنترنت أو الاستخلاص.
يمكن أن يمثل التحيز مشكلة في النماذج الكبيرة جدًا ويجب وضعه في الاعتبار أثناء التدريب ونشرها.
وبما أنّ هذه النماذج يتم تدريبها على اللغة البشرية، يمكن أن يؤدي ذلك إلى ظهور العديد من المشاكل الأخلاقية المحتمَلة، بما في ذلك إساءة استخدام اللغة والانحياز إلى العرق والجنس والدين وغير ذلك.
من المفترض أن يكون واضحًا أنّه مع استمرار توسّع هذه النماذج وتحسين أدائها، هناك حاجة مستمرة إلى الحرص على فهم عيوبها ومحاولة التخفيف منها. اطّلِع على مزيد من المعلومات حول منهج Google في استخدام الذكاء الاصطناعي المسؤول.
مزيد من المعلومات حول النماذج اللغوية الكبيرة
هل يهمّك الحصول على مقدمة أكثر تفصيلاً عن النماذج اللغوية الكبيرة؟ اطّلِع على وحدة النماذج اللغوية الكبيرة الجديدة في الدورة المكثّفة عن تعلُّم الآلة.