دوال الخسارة

تحاول شبكات GAN تكرار توزيع احتمالية. ولهذا السبب، يجب أن تعكس دوال استخدام البيانات التي تعكس المسافة بين توزيع البيانات التي تم إنشاؤها من خلال GAN وتوزيع البيانات الفعلية.

كيف يمكنك تسجيل الفرق بين توزيعَي وظائف خانات GAN؟ هذا السؤال هو مجال من الأبحاث النشطة، وتم اقتراح العديد من الأساليب. وسنتناول وظيفتَي الخسارة الشائعة لـ GAN هنا، واللتين يتم تنفيذهما في TF-GAN:

• الحد الأقصى للفقدان: دالة الخسارة المستخدَمة في الورقة التي قدّمت GAN.
• فقدان واسرشتاين: دالة الخسارة التلقائية لمقدِّمي TF-GAN. وقد تم توضيح ذلك أولاً في مقالة العام 2017.

تنفذ TF-GAN العديد من دوال الخسارة الأخرى أيضًا.

وظيفة فقدان واحدة أو اثنتين؟

يمكن أن تؤدي شبكة GAN إلى وظيفة خاسرة: واحدة لتدريب المنشئ وهي واحدة لتدريب التمييز. كيف يمكن أن تعمل دالتا الخسارة معًا لتعكس المسافة عن طريق توزيع احتمالية الاحتمال؟

في مخطّطات الخسارة التي نستعرضها هنا، الخسائر الناتجة عن المنشئ والمميّز مستمَدة من مقياس واحد للمسافة بين التوزيعات الاحتمالية. وفي كلا المخطّطين، لا يمكن أن يؤثّر المُنشئ إلا على عبارة واحدة في مقياس المسافة: وهي العبارة التي تعكس توزيع البيانات الزائفة. لذلك، خلال التدريب على المنشئ، نستبعد العبارة الأخرى، التي تعكس توزيع البيانات الفعلية.

تبدو خسائر المنشئ والمميّز مختلفة في النهاية، على الرغم من أنها مشتقة من صيغة واحدة.

الحد الأدنى للفقدان

في البحث الذي يقدم GAN، يحاول المنشئ تصغير الدالة التالية بينما يحاول المُظلل تكبيرها:

$$E_x[log(D(x))] + E_z[log(1 - D(G(z)))]$$

في هذه الدالة:

• D(x) هو مقياس المُميِّز لاحتمالية أنّ مثيل البيانات الفعلية x حقيقي.
• E_x هي القيمة المتوقعة على مستوى جميع مثيلات البيانات الفعلية.
• G(z) هو مُنشئ الطاقة عند إصدار الضوضاء.
• D(G(z)) هو المُميّز وتقديره لاحتمال توفّر مثيل مزيف.
• E_z هي القيمة المتوقعة على مستوى جميع المُدخلات العشوائية للمُنشئ (ومن ثمّ، تكون القيمة المتوقعة على مستوى جميع الحالات المزيفة التي تم إنشاؤها G(z)).
• مشتق الصيغة من إنتروبيا العدالة بين التوزيعات الحقيقية والمنشأة.

لا يمكن للمنشئ&#39؛ التأثير مباشرةً في عبارة log(D(x)) في الدالة، لذا، بالنسبة إلى المنشئ، يقلل الخسارة من log(1 - D(G(z))) إلى.

في صفحة TF-GAN، يُرجى الاطّلاع على السمتَين minimax_discriminator_loss وminimax_generated_loss من أجل تنفيذ دالة الخسارة هذه.

الحد الأدنى من فقدان التفاصيل

يشير تقرير GAN الأصلي إلى أن وظيفة فقدان البيانات المُدرَجة سابقًا قد تؤدي إلى توقّف "شبكة GAN" في المراحل الأولى من تدريب "شبكة GAN" عندما يكون تمييز المتغيّر سهلاً للغاية. ولذلك تقترح الورقة تعديل فقدان المولد بحيث يحاول المنشئ زيادة log D(G(z)) إلى أقصى حد.

في TF-GAN، اطّلِع على modified_creator_lum لتنفيذ هذا التعديل.

واسيرشتاين لوس

تستخدم TF-GAN تلقائيًا فقدان واسرشتاين.

تعتمد وظيفة الخسارة هذه على تعديل نظام GAN (يُطلق عليه اسم "&"Wasrشتاين GAN" أو "WGAN") حيث لا يصنّف التمييز في الواقع هذه الحالات. في كل مثيل، يتم إخراج رقم. وليس من الضروري أن يكون هذا العدد أقل من 1 أو أكبر من ذلك، لذا لا يمكننا استخدام 0.5 كحدّ أدنى لتحديد ما إذا كان الحدث حقيقيًا أم زائفًا. يهدف تدريب التمييز إلى زيادة حجم النتائج في الأحداث الفعلية وليس في الحالات الزائفة.

لأنّه لا يمكن التمييز بين حقيقتَي المنتج ومزيّف، إنّ هذا التناقض له أهمية نظرية، ولكن لأغراض عملية، يمكن اعتباره إقرارًا بأنّ المُدخلات الخاصة بدوال الخسارة لا يجب أن تكون احتمالات.

تتميّز وظائف الخسارة نفسها ببساطة:

الخسارة النقدية: D(x) - D(G(z))

يحاول المُحدِّد هذه الدالة إلى أقصى حد. بمعنى آخر، تتم محاولة مضاعفة الفرق بين الناتج الناتج عن الأحداث الفعلية والناتج عن مثيلات مزيّفة.

خسارة المنشئ: D(G(z))

يحاول المنشئ زيادة هذه الدالة إلى أقصى حد. وبعبارة أخرى، يحاول هذا البرنامج تحقيق أقصى استفادة من التمييز ضد حالاته الزائفة.

في هذه الدوال:

• D(x) هي نتيجة النقاد لمثيل حقيقي.
• G(z) هو مُنشئ الطاقة عند إصدار الضوضاء.
• D(G(z)) هي نتيجة النقاد لمثيل مزيّف.
• لا يجب أن تكون مخرجات الناد د بين 1 و0.
• مشتقات الصيغة من المسافة بين محرّكات الأرض بين التوزيعات الحقيقية والمنشأة.

في القسم TF-GAN، اطّلِع على مقالة WAserشتاين_منشئ_مخلّف و Waserشتاين_discriminator_lum لعمليات التنفيذ.

المتطلّبات

ويتطلّب المبرر نظريًا لشبكة GANserشتاين GAN (أو شبكة WGAN) أن يتم اقتصاص الأوزان عبر شبكة GAN بحيث تظل ضمن نطاق محدود.

المزايا

تكون أنظمة GANsassشتاين GAN أقل عرضةً للوقوع في عجز عن شبكات GAN المستندة إلى الحدّ الأدنى، وتجنّب المشاكل المتعلّقة بالتلاشي التدريجي. تقدّم مسافة محرّك الأرض أيضًا ميزة كونه مقياسًا حقيقيًا، وهو قياس المسافة في مساحة موزّعة لاحتمالية. وهذا يعني أن إنتروبيا ليست مقياسًا بهذا المعنى.