מאחר ש-GAN מכיל שתי רשתות הנערכות בנפרד, אלגוריתם ההדרכה שלו חייב לטפל בשני סיבוכים:
- על ה-GAN להטוט בין שני סוגי אימונים (גנרטורים ואפליה).
- קשה לזהות את ההמרה של GAN.
הדרכות מתחלפות
למחולל ולמבדיל יש תהליכי הדרכה שונים. איך אנחנו מאמנים את ה-GAN באופן כללי?
הדרכת GAN נמשכת בתקופות מתחלפות:
- המפלגת מסתמכת על אימון של תקופה אחת או יותר.
- המחולל מאמן תקופה אחת או יותר.
- חוזרים על שלבים 1 ו-2 כדי להמשיך לאמן את הרשתות של המחולל והאפליה.
אנחנו שומרים על עקביות המחולל במהלך שלב האימון של האפליה. מאחר שאימון האפליה מנסה להבין כיצד להבחין בין נתונים אמיתיים למזופים, הוא צריך ללמוד כיצד לזהות את הליקויים של המחולל. זו בעיה אחרת של גנרטור שעבר הכשרה מתאימה, מאשר עבור מחולל לא מאומן שמייצר פלט אקראי.
באופן דומה, אנחנו נשארים עם האפליה במהלך שלב האימון של המחולל. אחרת, הגנרטור ינסה להשיג יעד נע ואף פעם לא ייפגש.
בהתמודדות עם הבעיה הזו, משתמשים של GAN יכולים לטפל בבעיות יצירתיות אחרות. יש לנו מושג ברור לגבי בעיה דורית מורכבת, ואנחנו מתחילים עם בעיית סיווג פשוטה הרבה יותר. לעומת זאת, אם לא ניתן ללמד את המחלק להבחין בין הנתונים האמיתיים לבין הנתונים שנוצרים גם לגבי הפלט הראשוני של המחולל, לא תוכלו להתחיל את האימון של GAN.
המרה
ככל שהמחולל משתפר עם אימוני כושר, ביצועי האפליה עלולים להצטמצם כי האפליה לא יכולה לזהות בקלות את ההבדל בין אמת לשקר. אם המחולל מצליח בצורה מושלמת, האפליה מובילה ברמת דיוק של 50%. למעשה, המפלגת הופכת מטבע לביצוע החיזוי שלה.
ההתקדמות הזו מהווה בעיה מבחינת ההמרה של ה-GAN כולו: המשוב על האפליה הופך פחות משמעותי לאורך זמן. אם ה-GAN ממשיך להתאמן מעבר לנקודה שבה האפליה מספקת משוב אקראי לחלוטין, המחולל מתחיל לאמן משוב על אשפה, והאיכות שלו עלולה להתכווץ.
כשמדובר ב-GAN, לרוב מדובר במדינה חטופה ולא במצב יציב.