بما أنّ شبكة GAN تتضمّن شبكتَين تم تدريبهما بشكل منفصل، يجب أن تعالج خوارزمية التدريب مشكلتَين:
- يجب أن تتعامل شبكات GAN مع نوعَين مختلفَين من التدريب (العنصر المُنشئ والعنصر المميِّز).
- من الصعب تحديد وقت تقارب شبكة GAN.
التدريب بالتناوب
تختلف عمليات تدريب المُنشئ عن عمليات تدريب المُميِّز. إذًا، كيف نُدرّب شبكة GAN ككل؟
يستمر تدريب شبكة GAN في فترات متبادلة:
- يتم تدريب العنصر الفاصل لفترة واحدة أو أكثر.
- يتم تدريب أداة إنشاء المحتوى لمرحلة تدريب واحدة أو أكثر.
- كرِّر الخطوتَين 1 و2 لمواصلة تدريب شبكتَي الإنشاء والتمييز.
نحافظ على ثبات المولد خلال مرحلة تدريب المميّز. وبينما يحاول النموذج المدرَّب على التمييز معرفة كيفية التمييز بين البيانات الحقيقية والبيانات المزيّفة، عليه تعلُّم كيفية التعرّف على عيوب أداة إنشاء الصور. هذه مشكلة مختلفة لإنشاء محتوى من خلال أداة تم تدريبها جيدًا مقارنةً بإنشاء محتوى من خلال أداة غير مدرَّبة تُنتج نتائج عشوائية.
وبالمثل، نحافظ على ثبات المميّز أثناء مرحلة تدريب العنصر المُنشئ. بخلاف ذلك، سيحاول المولد الوصول إلى هدف متحرك وقد لا يصل إليه أبدًا.
إنّ هذا التبادل هو ما يسمح لشبكات GAN بمعالجة المشاكل المتعلّقة بالإنشاء والتي يصعب حلّها بخلاف ذلك. نحصل على موطئ قدم في مشكلة الإنشاء الصعبة من خلال البدء بمشكلة تصنيف أبسط بكثير. في المقابل، إذا لم تتمكّن من تدريب أحد المصنّفات لتمييز الفرق بين البيانات الحقيقية والبيانات التي تم إنشاؤها حتى في الناتج الأوّلي لطريقة إنشاء المحتوى العشوائي، لن تتمكّن من بدء تدريب شبكة GAN.
التقارب
مع تحسين المُنشئ من خلال التدريب، يزداد أداء المُميِّز سوءًا لأنّه لا يمكنه بسهولة التمييز بين المحتوى الحقيقي والمحتوى المزيّف. إذا نجح المُنشئ بشكلٍ كامل، يكون التمييز دقيقًا بنسبة 50%. في الواقع، يرمي المُميِّز عملة معدنية لإجراء توقّعه.
يشكّل هذا التقدّم مشكلة في تقارب شبكة GAN ككل: يصبح ملاحظات المميّز أقلّ أهمية بمرور الوقت. إذا استمرت شبكة GAN في التدريب بعد أن يبدأ المميّز في تقديم ملاحظات عشوائية تمامًا، سيبدأ المُنشئ في التدريب على ملاحظات غير مفيدة، وقد تنخفض جودته.
بالنسبة إلى شبكة GAN، غالبًا ما يكون التقارب حالة عابرة بدلاً من حالة ثابتة.