מדידת הדמיון בין הטמעות

עכשיו יש לכם הטמעות לכל זוג דוגמאות. מדד הדמיון בפיקוח מקבל את הטמעות הנתונים האלה ומחזיר מספר שמודד את הדמיון ביניהן. חשוב לזכור שהטמעות הן וקטורים של מספרים. כדי למצוא את הדמיון בין שני וקטורים $A = [a_1,a_2,...,a_n]$ ו- $B = [b_1,b_2,...,b_n]$, בוחרים באחד משלושת מדדי הדמיון הבאים:

מדידה	משמעות	נוסחה	ככל שהדמיון גדל, המדד הזה...
מרחק אוקלידי	המרחק בין הקצוות של הווקטורים	$\sqrt{(a_1-b_1)^2+(a_2-b_2)^2+...+(a_N-b_N)^2}$	ירידה
קוסינוס	קוסינוס הזווית $\theta$ בין וקטורים	$\frac{a^T b}{|a| \cdot |b|}$	עלייה
מכפלת נקודה	קוסינוס כפול אורכי שני הווקטורים	$a_1b_1+a_2b_2+...+a_nb_n$ $=|a||b|cos(\theta)$	עולה. הוא גם גדל עם אורך הווקטורים.

בחירת מדד דמיון

בניגוד לקוסינוס, מכפלת הנקודות היא פרופורציונלית לאורך הווקטור. זה חשוב כי לדוגמאות שמופיעות לעיתים קרובות מאוד בקבוצת האימון (למשל, סרטונים פופולריים ב-YouTube) יש נטייה לקבל וקטורים של הטמעה באורך גדול. אם רוצים לתעד את הפופולריות, בוחרים במכפלת נקודה. עם זאת, יש סיכון שדוגמאות פופולריות יטעו את מדד הדמיון. כדי לאזן את הנטייה הזו, אפשר להעלות את האורך בחזקה $\alpha\ < 1$ כדי לחשב את המכפלה הסקלרית כ- $|a|^{\alpha}|b|^{\alpha}\cos(\theta)$.

כדי להבין טוב יותר איך אורך הווקטור משנה את מדד הדמיון, מנרמלים את אורכי הווקטור ל-1 ומבחינים בכך ששלושת המדדים הופכים להיות פרופורציוניים זה לזה.

הוכחה: פרופורציונליות של מדדי הדמיון

אחרי שמבצעים נורמליזציה של a ו-b כך ש- $||a||=1$ ו- $||b||=1$, שלושת המדדים האלה קשורים זה לזה באופן הבא:

• המרחק האוקלידי = $||a-b|| = \sqrt{||a||^2 + ||b||^2 - 2a^{T}b} = \sqrt{2-2\cos(\theta_{ab})}$.
• מכפלת נקודה = $|a||b| \cos(\theta_{ab}) = 1\cdot1\cdot \cos(\theta_{ab}) = cos(\theta_{ab})$.
• קוסינוס = $\cos(\theta_{ab})$.

לכן, כל שלושת מדדי הדמיון זהים כי הם יחסיים ל- $cos(\theta_{ab})$.

בדיקה של מדדי הדמיון

מדד הדמיון מחשב את הדמיון בין שתי דוגמאות, ביחס לזוגות אחרים של דוגמאות. בהמשך מופיעה השוואה בין שני הסוגים, ידני ומפוקח:

סוג	איך יוצרים	הכי טוב עבור	השלכות
ידני	שילוב ידני של נתוני תכונות.	מערכי נתונים קטנים עם תכונות שקל לשלב.	נותן תובנות לגבי תוצאות חישובי הדמיון. אם נתוני המאפיינים משתנים, צריך לעדכן את מדד הדמיון באופן ידני.
בפיקוח	מדידת המרחק בין הטמעות (embeddings) שנוצרו על ידי DNN בפיקוח.	מערכי נתונים גדולים עם תכונות שקשה לשלב.	לא מספקת תובנות לגבי התוצאות. עם זאת, רשת עצבית עמוקה יכולה להתאים את עצמה באופן אוטומטי לשינויים בנתוני המאפיינים.