רקע: מהו מודל כללי?

מה הפירוש של "generative" בשם "Gerative Adversnar Network" "Generative" מתאר קבוצה של מודלים סטטיסטיים, מנוגדים למודלים הבחנה.

באופן לא רשמי:

  • מודלים גנריים יכולים ליצור מופעים חדשים של נתונים.
  • מודלים אפלים מפרידים בין סוגים שונים של מופעים של נתונים.

מודל גנרי יכול ליצור תמונות חדשות של בעלי חיים שנראות כמו בעלי חיים אמיתיים, ומודל אפלי יכול לספר לכלב מחתול. GAN הוא רק סוג אחד של מודל גנרי.

בצורה רשמית יותר, בהינתן קבוצת מופעים של נתונים X ותווית תוויות Y:

  • מודלים גנריים לוכדים את ההסתברות המשותפת p(X, Y), או פשוט p(X) אם אין תוויות.
  • מודלים מפלים לוכדים את ההסתברות המותנית p(Y | X).

מודל כללי כולל את התפלגות הנתונים עצמם ואת הסבירות מהי דוגמה נתונה. לדוגמה, מודלים שחוזים את המילה הבאה ברצף הם בדרך כלל מודלים כלליים (בדרך כלל פשוטים יותר מ-GAN) מכיוון שהם יכולים להקצות הסתברות לרצף של מילים.

מודל אפליה מתעלם מהשאלה אם מופע מסוים צפוי, ומסביר מה הסבירות שתווית תחול על האירוע.

חשוב לשים לב: זוהי הגדרה כללית מאוד. יש הרבה סוגים של מודלים גנריים. GAN הוא רק סוג אחד של מודל גנרי.

הסתברות לבניית מודלים

אף אחד מהמודלים לא חייב להחזיר מספר שמייצג הסתברות. ניתן ליצור מודל של התפלגות הנתונים על ידי חיקוי ההפצה.

לדוגמה, סיווג של אפליה כמו עץ החלטות יכול לסמן מופע בלי להקצות הסתברות לתווית הזו. סיווג כזה עדיין יהיה מודל, כי ההתפלגות של כל התוויות החזויות תיצור מודל של ההתפלגות האמיתית של תוויות בנתונים.

באופן דומה, מודל יצירה כללי יכול ליצור מודל התפלגות על ידי יצירת נתונים משכנעים &&f&&; שנראה כאילו הם מבוססים על הפצה זו.

קשה ליצור מודלים גנריים

מודלים של דורות מתמודדים עם משימה קשה יותר מאשר מודלים אנלוגיים אנלוגיים. מודלים כלליים צריכים ליצור מודלים יותר.

מודל כללי של תמונות עשוי לתעד קשרים כמו "פריטים שנראים כמו סירות כנראה יופיעו ליד פריטים שנראים כמו מים" ו&מירכאות; סביר להניח שלא יופיעו עיניים. אלה הן פלחים מורכבים מאוד.

לעומת זאת, מודל של אפליה עשוי ללמוד את ההבדל בין "sailboat" או "not saboat" פשוט על ידי חיפשתי כמה דוגמאות מעשיות. הוא עשוי להתעלם מרבים מהקשרים שהמודל שנוצר צריך להיות נכון.

מודלים אפלים מנסים לשרטט גבולות במרחב הנתונים, בעוד שמודלים גנריים מנסים לשרטט איך הנתונים ממוקמים במרחב. לדוגמה, בתרשים הבא מוצגים מודלים אפליריים וגנריים של ספרות בכתב יד:

שני גרפים, אחד עם תווית 'מודל מפלה'
          והשני עם תווית 'מודל גנרטיבי'. שני התרשימים מציגים
          את אותן ארבע נקודות נתונים. כל נקודה מסומנת עם תמונה של הספרה בכתב יד שהיא מייצגת. בתרשים האפליה
          יש קו מקווקו המפריד בין שתי נקודות נתונים
          מהשתיים הנותרות. האזור שמעל הקו המקווקו מסומן בתווית 'y=0'
          והאזור שמתחת לקו מסומן בתווית #&99;y=1' בתרשים הכללי
          שני זוגות של קווים מקווקווים מצוירים סביב שני זוגות הנקודות. העיגול העליון מסומן בתווית 'y=0' והעיגול התחתון מסומן בתווית 'y=1

איור 1: מודלים אפליריים וגנריים של ספרות בכתב יד.

מודל האפליה מנסה להבחין בין הבדל של 0' בכתב יד ל-1's על ידי שרטוט קו במרחב הנתונים. אם הקו פועל בצורה נכונה, הוא יכול להבחין בין 0's מ-1' בלי צורך לבנות מודלים בדיוק במקום שבו המכונות ממוקמות במרחב הנתונים משני צידי השורה.

לעומת זאת, במודל הדור הבא מתבצע ניסיון לשכנע 1's ואת 0' על ידי יצירת ספרות שקרובות לכפולות האמיתיות שלהם במרחב הנתונים. היא צריכה ליצור מודל להתפלגות של כל מרחב הנתונים.

ארגון GAN מציע דרך יעילה לאמן מודלים עשירים כאלה, שנראים כמו הפצה אמיתית. כדי להבין איך הם עובדים, אנחנו צריכים להבין את המבנה הבסיסי של GAN.

בדיקת ההבנה שלך: מודלים גנריים לעומת מודלים מפלים

יש לך ציון IQ ל-1,000 אנשים. אתם יוצרים מודל לחלוקה של ציוני ה-IQ לפי ההליך הבא:
  1. הטלת קוביות תלת-צדדיות.
  2. מכפילים את הגליל ב-w קבוע.
  3. חוזרים 100 פעמים ועושים את הממוצע של כל התוצאות.
ניסיתם ערכים שונים ל-w עד שהתוצאה של ההליך תהיה שווה לממוצע של ציוני ה-IQ האמיתיים. האם המודל שלך הוא מודל כללי או מודל אפליה?
מודל כללי
נכון: עם כל גל, אתה יוצר ביעילות את ה-IQ של האדם הדמיוני שלך. בנוסף, המודל הכללי שלך מתעד את העובדה שציוני ה-IQ מופצים באופן רגיל (כלומר, בעקומה של פעמון).
מודל אפליה
שגוי: מודל אפלייסטי יכול ליצור אפליה בין הסוגים השונים של ציוני ה-IQ. לדוגמה, מודל שמבדיל בין נושאים יכול לנסות לסווג משכל אישי כמזויף או אמיתי.
אין מספיק מידע לדעת.
מודל זה אכן מתאים להגדרה של אחד משני סוגי המודלים שלנו.
מודל מחזיר הסתברות כשנותנים לו מופע נתונים. האם המודל הזה הוא מודל כללי או מודל אפליה?
מודל כללי
בעזרת מודל יצירה כללי אפשר להעריך את ההסתברות של המכונה, וכן את ההסתברות לתווית של כיתה.
מודל אפליה
מודל אפליה יכול להעריך את ההסתברות שמופע מסוים שייך לכיתה.
אין מספיק מידע לדעת.
גם מודלים גנריים וגם מודלים של אפליה יכולים להעריך ההסתברות (אבל הם לא חייבים לעשות זאת).