يركز هذا القسم على أسلوبين شائعين للحصول على تضمين:
- خفض الأبعاد
- استخراج عملية تضمين من نموذج شبكة عصبية أكبر
تقنيات خفض الأبعاد
هناك العديد من التقنيات الرياضية لتحديد القيم هيكل لمساحة ذات أبعاد عالية في مساحة منخفضة الأبعاد. من الناحية النظرية، يمكن استخدام أي من هذه الأساليب لإنشاء عملية تضمين لأحد الأجهزة نظام التعلم.
على سبيل المثال، تحليل المكوّنات الرئيسية (PCA) لإنشاء تضمينات الكلمات. وبالنظر إلى مجموعة من الحالات مثل متجهات كيس من الكلمات، يحاول PCA لمعرفة الأبعاد المترابطة بشكل كبير والتي يمكن تصغيرها إلى علامة البعد.
تدريب عملية تضمين كجزء من شبكة عصبية
يمكنك إنشاء تضمين أثناء تدريب الشبكة العصبونية مهمتك المستهدفة. يساعدك هذا الأسلوب في تضمين محتوى مخصص بشكل جيد إلا أنه قد يستغرق وقتًا أطول من التدريب على التضمين بشكل منفصل.
بشكل عام، يمكنك إنشاء طبقة خفية بحجم d في الخلية الشبكة التي تم تعيينها طبقة التضمين، حيث d يمثل عدد العقد في الطبقة المخفية وعدد الأبعاد في مساحة التضمين. يمكن دمج طبقة التضمين هذه مع وأي ميزات أخرى وطبقات مخفية. وكما هو الحال في أي شبكة عصبية عميقة، تحسين المعاملات أثناء التدريب لتقليل الخسارة في العقد في طبقة إخراج الشبكة.
بالعودة إلى مثال اقتراح الطعام، هدفنا هو التنبؤ بالوجبات الجديدة التي سيحبها المستخدم بناءً على المفضلة الحالية وَجَبَاتْ أولاً، يمكننا تجميع بيانات إضافية عن مجموعات بيانات أهم خمسة فيديوهات مفضّلة الأطعمة. وبعد ذلك، يمكننا نمذجة هذه المهمة على أنها مشكلة تعلم خاضعة للإشراف. قمنا بتعيين أربعة من أهم خمسة أطعمة سيتم إبراز بياناتها، ثم وضعنا عشوائيًا الطعام الخامس باعتباره التسمية الإيجابية التي يهدف نموذجنا إلى التنبؤ بها، وتحسين توقّعات النموذج باستخدام دالة softmax الخسارة.
فأثناء التدريب، سيتعلم نموذج الشبكة العصبية الأوزان المثلى العُقد في الطبقة المخفية الأولى، والتي تعمل كطبقة تضمين. فعلى سبيل المثال، إذا كان النموذج يحتوي على ثلاث عُقد في الطبقة المخفية الأولى، فقد يتبيّن أن الأبعاد الثلاثة الأكثر صلة للمواد الغذائية الشطائر والحلويات والسيولة. يعرض الشكل 12 الطريقة ذات الترميز الأحادي قيمة الإدخال لـ "الهوت دوغ" تم تحويلها إلى خط متجه ثلاثي الأبعاد.
![الشكل 12. الشبكة العصبية لترميز واحد فعال للهوت دوغ. الطبقة الأولى هي
طبقة إدخال تحتوي على 5 عُقد، يتم وضع رمز للطعام على كل منها
(بورش، هوت دوغ، سلطة، ...، شاورما). تحتوي هذه العقد على
القيم [0، 1، 0، ...، 0] على التوالي، التي تمثل نقطة واحدة فعال
لترميز "الهوت دوغ". يتم توصيل طبقة الإدخال بتضمين 3 عُقد.
التي تحتوي عقدها على القيم 2.98 و-0.75 و0 على التوالي. تشير رسالة الأشكال البيانية
تتصل طبقة التضمين بطبقة مخفية ذات 5 عُقد، والتي
متصلة بطبقة إخراج مكونة من 5 عُقد.](https://developers.google.cn/static/machine-learning/crash-course/embeddings/images/one_hot_hot_dog_embedding.png?authuser=5&hl=ar)
hot dog
يتم تقديمه كمدخل لشبكة عصبية عميقة. طبقة التضمين تترجم
الترميز الأحادي في خط متجه التضمين الثلاثي الأبعاد
[2.98, -0.75, 0]
أثناء التدريب، سيتم تحسين القيم التقديرية لطبقة التضمين بحيث يمكن أن تؤدي تضمين المتجهات للحصول على أمثلة مماثلة أقرب إلى كل آخر. تُستخدم الأبعاد الفردية لطبقة التضمين (أي كل عقدة في تمثله طبقة التضمين) نادرًا ما تكون مفهومة مثل "الحلوى" أو "السيولة". في بعض الأحيان "ما تعنيه" ولكن يمكن استنتاجه، ولكن هذا ليس دائمًا الحالة.
عادةً ما تكون التضمينات محددة للمهمة، وستختلف عن بعضها البعض متى تختلف المهمة. على سبيل المثال، قد يتم تضمين التضمين الذي أنشأه شخص نباتي مقابل للتصنيف غير النباتي بُعدين، هما: محتوى اللحوم بالإضافة إلى منتجات الألبان في الوقت نفسه، إنّ التضمينات الناتجة عن وجبة الفطور قد تكون أبعاد مصنِّف العشاء في المطبخ الأمريكي مختلفة قليلاً: محتوى السعرات الحرارية ومحتوى الحبوب ومحتوى اللحوم. "حبوب الحبوب" أو "شطيرة البيض واللحم المقدد" قريبة من بعضها في مساحة التضمين مصنِّف الفطور في مقابل العشاء، ولكنهما متباعدان في مساحة التضمين في المصنِّف النباتي مقابل غير النباتي.
التدريب على تضمين الكلمات
في القسم السابق، استكشفت مؤثر عرض العلاقات الدلالية في مساحة تضمين word2vec.
Word2vec هو واحد من العديد من الخوارزميات المستخدمة للتدريب على تضمينات الكلمات. وتعتمد على الفرضية التوزيعية لتحديد التشابه دلاليًا. الكلمات لإغلاق متجهات التضمين بشكل هندسي. يمثل نموذج التوزيع الفرضية تنص على أن الكلمات التي غالبًا ما تحتوي على نفس الكلمات المجاورة تميل إلى متشابهة دلاليًا. كلا "الكلب" و"قطة" بشكل متكرر بالقرب من وكلمة "طبيب بيطري" وهذه الحقيقة تعكس التشابه الدلالي. وكما قال العالم اللغوي جون فيرث في عام 1957، "ستعرف كلمة من الشركة يحتفظ بها".
يشرح الفيديو التالي طريقة أخرى لإنشاء كلمة تضمين في عملية تدريب الشبكة العصبية، باستخدام نموذج أبسط:
الفرق بين التضمينات الثابتة والسياقية
أحد قيود تضمينات الكلمات مثل ذلك الذي تمت مناقشته في الفيديو أعلاه هو أنها ثابتة. يتم تمثيل كل كلمة بنقطة واحدة في الخط المتجه مساحة، على الرغم من أنها قد تكون ذات معانٍ مختلفة، اعتمادًا على كيفية يتم استخدامها في جملة. في التمرين الأخير، اكتشفتَ صعوبة وضع أوجه التشابه الدلالية مع الكلمة البرتقالي، الذي قد يشير إلى لون أو نوع من الفاكهة.
تهدف ميزة تضمينات المحتوى إلى معالجة هذه القصور. تتيح تضمينات المحتوى إمكانية إنشاء للكلمة نفسها، ويضم كل منها معلومات حول السياق الذي تستخدم فيه الكلمة. في تضمين سياقي، تشير كلمة البرتقالي قد يكون له تمثيلان منفصلان: أحدهما يلتقط "اللون" استخدام كلمة، كما في جمل مثل "سترتي المفضلة لديها اللون البرتقالي أشرطة وأخرى تجمع "الفاكهة" لاستخدام الكلمة، كما في جمل مثل "تم قطف البرتقال من الشجرة قبل أن تنضج بالكامل".