מה המשמעות של 'גנרטיבית' בשם 'רשת למידה חישובית גנרטיבית (GAN)'? המונח גנרטיבי מתאר סוג של מודלים סטטיסטיים בניגוד למודלים מבדלים.
באופן לא רשמי:
- מודלים גנרטיביים יכולים ליצור מופעי נתונים חדשים.
- מודלים דיסקרימינטיביים מבדילים בין סוגים שונים של מופעי נתונים.
מודל גנרטיבי יכול ליצור תמונות חדשות של בעלי חיים שנראות כמו בעלי חיים אמיתיים, בעוד שמודל מבדיל יכול להבדיל בין כלב לחתול. רשתות GAN הן רק סוג אחד של מודל גנרטיבי.
באופן רשמי יותר, בהינתן קבוצה של מופעי נתונים X וקבוצה של תוויות Y:
- מודלים גנרטיביים מתעדים את ההסתברות המשותפת p(X, Y), או רק את p(X) אם אין תוויות.
- מודלים דיסקרימינטיביים מתעדים את ההסתברות המותנית p(Y | X).
מודל גנרטיבי כולל את חלוקת הנתונים עצמה, ומציין את הסבירות של דוגמה נתונה. לדוגמה, מודלים שמנבאים את המילה הבאה ברצף הם בדרך כלל מודלים גנרטיביים (בדרך כלל פשוטים בהרבה מ-GAN) כי הם יכולים להקצות סבירות לרצף של מילים.
מודל דיסקרימינטיבי מתעלם מהשאלה אם מופע נתון צפוי, והוא רק מציין את הסבירות של תווית מסוימת לחול על המופע.
חשוב לזכור שזוהי הגדרה כללית מאוד. יש סוגים רבים של מודלים גנרטיביים. מודלים של GAN הם רק סוג אחד של מודל גנרטיבי.
בניית מודלים של הסתברויות
אף אחד מהמודלים לא חייב להחזיר מספר שמייצג סבירות. אפשר ליצור מודל של חלוקת הנתונים על ידי חיקוי של החלוקה הזו.
לדוגמה, מסווג מפלה כמו עץ החלטות יכול לתייג מופע בלי להקצות לו הסתברות. סיווג כזה עדיין יהיה מודל, כי ההתפלגות של כל התוויות שחזינו תהיה מודל של ההתפלגות האמיתית של התוויות בנתונים.
באופן דומה, מודל גנרטיבי יכול ליצור מודל של התפלגות על ידי יצירת נתונים "מזויפים" משכנעים שנראים כאילו הם נשלפו מההתפלגות הזו.
מודלים גנרטיביים הם קשים
מודלים גנרטיביים מטפלים במשימה קשה יותר ממודלים דיסקרימינטיביים מקבילים. מודלים גנרטיביים צריכים ליצור מודלים של יותר דברים.
מודל גנרטיבי לתמונות עשוי לתעד מתאם כמו "סביר להניח שדברים שנראים כמו סירות יופיעו ליד דברים שנראים כמו מים" ו "סביר להניח שלא יופיעו עיניים על מצח". אלה הפצות מורכבות מאוד.
לעומת זאת, מודל דיסקרימינטיבי יכול ללמוד את ההבדל בין 'סירת מפרש' לבין 'לא סירת מפרש' רק על ידי חיפוש של כמה דפוסים אופייניים. הוא עלול להתעלם מקשרים רבים שהמודל הגנרטיבי חייב לזהות בצורה נכונה.
מודלים מפלים מנסים להגדיר גבולות במרחב הנתונים, בעוד שמודלים גנרטיביים מנסים ליצור מודל של האופן שבו הנתונים ממוקמים במרחב. לדוגמה, בתרשים הבא מוצגים מודלים דיסקרימינטיביים וגנרטיביים של ספרות בכתב יד:
איור 1: מודלים מבדלים וגנרטיביים של ספרות בכתב יד.
המודל המבדיל מנסה להבדיל בין 0 ל-1 בכתב יד על ידי ציור קו במרחב הנתונים. אם הוא מוצא את הקו הנכון, הוא יכול להבדיל בין 0 ל-1 בלי שתצטרכו ליצור מודל של המיקום המדויק של המופעים במרחב הנתונים משני צידי הקו.
לעומת זאת, המודל הגנרטיבי מנסה ליצור ספרות 1 ו-0 משכנעות על ידי יצירת ספרות שנמצאות קרוב לספרות המקבילות להן במרחב הנתונים. הוא צריך ליצור מודל של ההפצה במרחב הנתונים.
מודלים של GANs הם דרך יעילה לאמן מודלים עשירים כאלה כך שייראו כמו התפלגות אמיתית. כדי להבין איך הם פועלים, נצטרך להבין את המבנה הבסיסי של GAN.
בדיקת הבנה: מודלים גנרטיביים לעומת מודלים דיסקרימינטיביים
- זורקים שלוש קוביות שישה צדדים.
- מכפילים את התזוזה בזווית ב-w קבוע.
- חוזרים על התהליך 100 פעמים ומחשבים את הממוצע של כל התוצאות.