يتعلم الجزء "المنشئ" من شبكة GAN إنشاء data زائفة من خلال دمج الملاحظات الواردة من الجزء "المميّز". ويتم تعلُّم جعل التمييز يصنف النتيجة على أنّها حقيقية.
يتطلب تدريب المولد عملية دمج أكثر صرامة بين المولد وال المميِّز مقارنةً بما يتطلبه تدريب المميِّز. يشمل الجزء من شبكة GAN الذي يدرّب المولد ما يلي:
- إدخال عشوائي
- شبكة المولد التي تحوّل الإدخال العشوائي إلى مثيل بيانات
- شبكة التمييز التي تصنّف البيانات التي تم إنشاؤها
- ناتج المُميِّز
- خسارة المُنشئ، وهي عقوبة على المُنشئ لعدم خداع المُميِّز
الشكل 1: الانتشار العكسي في تدريب المولد
إدخال عشوائي
تحتاج الشبكات العصبية إلى نوع من الإدخال. عادةً ما نُدخل بيانات نريد إجراء عملية عليها، مثل مثيل نريد تصنيفه أو إصدار توقّع بشأنه. ولكن ما الذي نستخدمه كمدخل لشبكة تُخرج عيّنات بيانات جديدة تمامًا؟
في أبسط أشكالها، تأخذ شبكة GAN ضوضاء عشوائية كمدخل لها. بعد ذلك، يحوّل المولد هذا الضجيج إلى نتيجة ذات مغزى. من خلال إدخال ضوضاء، يمكننا أن نجعل الشبكة التوليدية المتغايرة تنتج مجموعة كبيرة من البيانات، مع أخذ عيّنات من أماكن مختلفة في التوزيع المستهدف.
تشير التجارب إلى أنّ توزيع الضوضاء ليس مهمًا كثيرًا، لذلك يمكننا اختيار شيء يسهل أخذ عيّنة منه، مثل التوزيع الموحّد. من أجل السهولة، تكون المساحة التي يتم أخذ عيّنات من الضوضاء فيها عادةً أصغر من أبعاد مساحة الإخراج.
استخدام أداة التمييز لتدريب أداة الإنشاء
لتدريب شبكة عصبية، نغيّر أوزان الشبكة لتقليل الخطأ أو فقدان الإخراج. في المقابل، في شبكة GAN، لا يكون المُنشئ مرتبطًا مباشرةً بالخطأ الذي نحاول التأثير فيه. يُغذّي المُنشئ شبكة المُميِّز، ويُنتج المُميِّز النتيجة التي نحاول التأثير فيها. تفرض ميزة "خسارة المُنشئ" عقوبة على المُنشئ بسبب إنتاج عيّنة تصنّفها شبكة التمييز على أنّها مزيّفة.
يجب تضمين هذه القطعة الإضافية من الشبكة في الانتشار العكسي. تعمل تقنية "الانتشار العكسي" على تعديل كلّ وزن في الاتجاه الصحيح من خلال احتساب تأثير الوزن على النتيجة، أي كيفية تغيُّر النتيجة في حال تغيير الوزن. ولكن يعتمد تأثير وزن المولد على تأثير أوزان المميّز التي يتمّ إدخالها. وبالتالي، تبدأ تقنية الانتشار العكسي من الإخراج وتتدفق مرة أخرى من خلال المميّز إلى المُنشئ.
في الوقت نفسه، لا نريد أن يتغيّر المعرِّف أثناء تدريب المولد. إنّ محاولة إصابة هدف متحرك تجعل من الصعوبة بمكان على أداة إنشاء الروابط حلّ المشكلة.
لذلك، نُدرِّب أداة إنشاء المحتوى باتّباع الإجراء التالي:
- عيّنة من الضوضاء العشوائية
- إنشاء مخرجات من مولد الأصوات من ضوضاء عشوائية تم أخذ عيّنات منها
- الحصول على تصنيف "حقيقي" أو "مزيّف" لمخرجات أسلوب الإنشاء
- احتساب الخسارة من تصنيف العنصر التمييزي
- إعادة الانتشار إلى الوراء من خلال كلّ من المميّز والمولد للحصول على التدرّجات
- استخدِم التدرجات لتغيير أوزان المولد فقط.
هذه هي دورة واحدة من تدريب أداة إنشاء النماذج. في القسم التالي، سنرى كيفية موازنة تدريب كلّ من المُنشئ والمحرِّف.