تتضمّن الشبكات التوليدية التنافسية عددًا من أوضاع الفشل الشائعة. جميع هذه المشاكل الشائعة هي مجالات بحث نشط. على الرغم من أنّه لم يتم حلّ أيّ من هذه المشاكل بالكامل، سنذكر بعض الإجراءات التي اتّبعها المستخدمون.
التدرّجات التي تُختفي
تشير الأبحاث إلى أنّه إذا كان المميّز جيدًا جدًا، قد يتعذّر تدريب المولد بسبب مُتحسّنات المتلاشية. في الواقع، لا يقدّم المميّز الأمثل معلومات كافية لجهاز الإنشاء بغرض تحقيق تقدّم.
محاولات الإصلاح
- خسارة Wasserstein: تم تصميم خسارة Wasserstein لمنع اختفاء التدرجات حتى عند تدريب المميّز لتحقيق الأداء الأمثل.
- الخسارة المعدَّلة للحد الأدنى والحد الأقصى: اقترحت الدراسة الأصلية حول شبكة GANتعديلًا على خسارة الحد الأدنى والحد الأقصى للتعامل مع منحنيات الانحدار التي تميل إلى الصفر.
تصغير الوضع
عادةً ما تريد أن تنتج شبكة GAN مجموعة كبيرة من النتائج. على سبيل المثال، تريد استخدام وجه مختلف لكل إدخال عشوائي في أداة إنشاء الوجوه.
ومع ذلك، إذا أنتج أحد أدوات إنشاء المحتوى نتيجة معقولة بشكل خاص، قد يتمكّن فقط من إنشاء هذه النتيجة. في الواقع، يحاول المُنشئ دائمًا العثور على النتيجة التي تبدو الأكثر منطقية لجهاز التمييز.
إذا بدأ المُنشئ في إنتاج الإخراج نفسه (أو مجموعة صغيرة من المخرجات) مرارًا وتكرارًا، فإنّ أفضل استراتيجية للمُميِّز هي تعلُّم رفض هذا الإخراج دائمًا. ولكن إذا عُلِق الجيل التالي من المميّز في أدنى قيمة محلية ولم يعثر على أفضل استراتيجية، سيكون من السهل جدًا على الجيل التالي من المولد العثور على النتيجة الأكثر معقولية للمميّز الحالي.
تؤدي كلّ تكرار من المولد إلى تحسين الأداء بشكلٍ مفرط لمميّز معيّن، ولا يتمكّن المميّز أبدًا من تعلُّم كيفية الخروج من الفخ. ونتيجةً لذلك، تتغيّر أدوات الإنشاء بين مجموعة صغيرة من أنواع النتائج. يُطلق على هذا النوع من حالات عدم نجاح GAN اسم انهيار الوضع.
محاولات الإصلاح
تحاول النهج التالية إجبار أداة إنشاء النماذج على توسيع نطاقها من خلال منعها من التحسين لتمييز ثابت واحد:
- خسارة Wasserstein: تعمل خسارة Wasserstein على تخفيف انهيار الوضع من خلال السماح لك بتدريب المميّز إلى أقصى حدّ بدون القلق من اختفاء التدرجات. إذا لم يتوقف المعرِّف عن التحسين في قيمه القصوى المحلية، سيتعلّم رفض النتائج التي يستقر عليها المولد. لذلك، على المولد تجربة محتوى جديد.
- شبكات GAN غير المُلفَّفة: تستخدم شبكات GAN غير المُلفَّفة دالة خسارة المُنشئ التي لا تُدمج فقط تصنيفات المُميِّز الحالية، بل أيضًا نواتج إصدارات المُميِّز المستقبلية. وبالتالي، لا يمكن للمولد إجراء تحسين مفرط لتمييز واحد.
تعذُّر التقارب
غالبًا ما يتعذّر على شبكات GAN التقارب، كما هو موضّح في الوحدة المتعلّقة بموضوع التدريب.
محاولات الإصلاح
حاول الباحثون استخدام أشكال مختلفة من التسويف لتحسين تقاربات GAN، بما في ذلك:
- إضافة تشويش إلى مدخلات الشبكة الفارق: راجِع، على سبيل المثال، Toward Principled Methods for Training Generative Adversarial Networks.
- فرض عقوبات على أوزان المميِّز: اطّلِع على تثبيت عملية تدريب الشبكات التوليدية التنافسية من خلال التنظيم، على سبيل المثال.