מילון מונחים ללמידת מכונה

במילון המונחים הזה מוגדרים מונחים שקשורים לבינה מלאכותית.

יש לכם שאלות לגבי המילון הזה?

אפשר לעיין בשאלות הנפוצות.

A

אבלציה

טכניקה להערכת החשיבות של תכונה או רכיב על ידי הסרה זמנית של התכונה או הרכיב ממודל. לאחר מכן, מאמנים מחדש את המודל בלי התכונה או הרכיב האלה. אם הביצועים של המודל שאומן מחדש גרועים משמעותית, סביר להניח שהתכונה או הרכיב שהוסרו היו חשובים.

לדוגמה, נניח שאימנתם מודל סיווג על 10 מאפיינים והשגתם דיוק של 88% במערך הבדיקה. כדי לבדוק את החשיבות של התכונה הראשונה, אפשר לאמן מחדש את המודל באמצעות תשע התכונות האחרות בלבד. אם הביצועים של המודל שאומן מחדש גרועים משמעותית (לדוגמה, דיוק של פחות מ-55%), כנראה שהתכונה שהוסרה הייתה חשובה. לעומת זאת, אם המודל שאומן מחדש משיג ביצועים טובים באותה מידה, כנראה שהתכונה הזו לא הייתה חשובה במיוחד.

הסרת תכונות יכולה לעזור גם לקבוע את החשיבות של:

• רכיבים גדולים יותר, כמו מערכת משנה שלמה של מערכת ML גדולה יותר
• תהליכים או טכניקות, כמו שלב של עיבוד מקדים של נתונים

בשני המקרים, תוכלו לראות איך הביצועים של המערכת משתנים (או לא משתנים) אחרי שתסירו את הרכיב.

A/B Testing

דרך סטטיסטית להשוואה בין שתי טכניקות (או יותר) – A ו-B. בדרך כלל, A היא טכניקה קיימת ו-B היא טכניקה חדשה. בדיקת A/B לא רק קובעת איזו טכניקה מניבה ביצועים טובים יותר, אלא גם אם ההבדל מובהק מבחינה סטטיסטית.

בדרך כלל, בדיקות A/B משוות מדד יחיד בשתי טכניקות. לדוגמה, מהי ההשוואה בין הדיוק של מודל בשתי טכניקות? עם זאת, בדיקות A/B יכולות גם להשוות בין מספר סופי של מדדים.

צ'יפ של פעולה שכיחה

#GoogleCloud

קטגוריה של רכיבי חומרה מיוחדים שנועדו לבצע חישובים של מפתחות שנדרשים לאלגוריתמים של למידה עמוקה.

שבבי האצה (או בקיצור מאיצים) יכולים להגדיל באופן משמעותי את המהירות והיעילות של משימות אימון והסקת מסקנות בהשוואה למעבד למטרות כלליות. הם אידיאליים לאימון רשתות עצביות ולמשימות דומות שדורשות הרבה משאבי מחשוב.

דוגמאות לשבבי האצה:

• יחידות Tensor Processing Units ‏ (TPU) של Google עם חומרה ייעודית ללמידה עמוקה.
• מעבדים גרפיים של NVIDIA, שלמרות שהם תוכננו במקור לעיבוד גרפי, הם מיועדים לאפשר עיבוד מקבילי, שיכול להגדיל באופן משמעותי את מהירות העיבוד.

דיוק

#fundamentals

#Metric

מספר התחזיות הנכונות של הסיווג חלקי המספר הכולל של התחזיות. כלומר:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

לדוגמה, למודל שביצע 40 חיזויים נכונים ו-10 חיזויים לא נכונים יהיה דיוק של:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

סיווג בינארי מספק שמות ספציפיים לקטגוריות השונות של תחזיות נכונות ותחזיות שגויות. לכן, נוסחת הדיוק לסיווג בינארי היא:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

where:‎

• ‫TP הוא מספר החיוביים האמיתיים (תחזיות נכונות).
• ‫TN הוא מספר השליליים האמיתיים (חיזויים נכונים).
• ‫FP הוא מספר החיוביים הכוזבים (תחזיות שגויות).
• ‫FN הוא מספר השליליים הכוזבים (תחזיות שגויות).

השוו בין דיוק לבין דיוק והחזרה.

כדי לקבל פרטים על רמת הדיוק ועל מערכי נתונים לא מאוזנים, לוחצים על הסמל.

למרות שמדובר במדד חשוב במצבים מסוימים, במצבים אחרים הוא עלול להטעות מאוד. חשוב לציין שדיוק הוא בדרך כלל מדד לא טוב להערכת מודלים של סיווג שמבצעים עיבוד של מערכי נתונים לא מאוזנים מבחינת סיווג.

לדוגמה, נניח שבמאה מסוימת יורד שלג רק 25 ימים בעיר סובטרופית מסוימת. מכיוון שמספר הימים ללא שלג (הסיווג השלילי) גדול בהרבה ממספר הימים עם שלג (הסיווג החיובי), מערך הנתונים של השלג בעיר הזו הוא לא מאוזן. תארו לעצמכם מודל של סיווג בינארי שאמור לחזות אם יירד שלג בכל יום, אבל פשוט חוזה שלא יירד שלג בכל יום. המודל הזה מדויק מאוד, אבל הוא לא יכול לחזות את העתיד. בטבלה הבאה מסוכמות התוצאות של חיזויים למשך מאה שנה:

קטגוריה	מספר
TP	0
TN	36499
FP	0
FN	25

לכן, רמת הדיוק של המודל היא:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

למרות שרמת דיוק של 99.93% נראית מרשימה מאוד, למודל אין למעשה יכולת חיזוי.

בדרך כלל, המדדים דיוק ורגישות שימושיים יותר מהמדד נכונות להערכת מודלים שאומנו על מערכי נתונים עם חוסר איזון בין המחלקות.

---

מידע נוסף זמין במאמר סיווג: דיוק, היזכרות, פרסיזיה ומדדים קשורים בסדנה ללמידת מכונה.

פעולה

בלמידת חיזוק, המנגנון שבאמצעותו הסוכן עובר בין מצבים של הסביבה. הסוכן בוחר את הפעולה באמצעות מדיניות.

פונקציית הפעלה

#fundamentals

פונקציה שמאפשרת לרשתות נוירונים ללמוד קשרים לא ליניאריים (מורכבים) בין התכונות לבין התווית.

פונקציות הפעלה פופולריות כוללות:

• ReLU
• Sigmoid

הגרפים של פונקציות ההפעלה אף פעם לא קווים ישרים. לדוגמה, הגרף של פונקציית ההפעלה ReLU מורכב משני קווים ישרים:

גרף של פונקציית ההפעלה הסיגמואידית נראה כך:

כדי לראות דוגמה, לוחצים על הסמל.

ברשת נוירונים, פונקציות ההפעלה משנות את הסכום המשוקלל של כל ערכי הקלט לנוירון. כדי לחשב סכום משוקלל, הנוירון מחבר את המכפלות של הערכים והמשקלים הרלוונטיים. לדוגמה, נניח שהקלט הרלוונטי לנוירון מורכב מהנתונים הבאים:

ערך קלט	משקל קלט
2	‫1.3-
-1	0.6
3	0.4

הסכום המשוקלל הוא:

‫

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

נניח שמעצב הרשת העצבית הזו בוחר בפונקציית הסיגמואיד כפונקציית ההפעלה. במקרה כזה, הנוירון מחשב את הסיגמואיד של ‎-2.0, שהוא בערך 0.12. לכן, הנוירון מעביר את הערך 0.12 (ולא את הערך ‎-2.0) לשכבה הבאה ברשת הנוירונים. באיור הבא מוצג החלק הרלוונטי בתהליך:

---

מידע נוסף מופיע במאמר רשתות עצביות: פונקציות הפעלה בסדנה ללימוד מכונת למידה.

למידה פעילה

גישת אימון שבה האלגוריתם בוחר חלק מהנתונים שהוא לומד מהם. למידה פעילה שימושית במיוחד כשדוגמאות מתויגות נדירות או יקרות להשגה. במקום לחפש באופן אקראי מגוון רחב של דוגמאות מתויגות, אלגוריתם של למידה פעילה מחפש באופן סלקטיבי את טווח הדוגמאות הספציפי שהוא צריך כדי ללמוד.

AdaGrad

אלגוריתם מורכב של ירידת גרדיאנט שמשנה את קנה המידה של הגרדיאנטים של כל פרמטר, וכך למעשה נותן לכל פרמטר קצב למידה עצמאי. הסבר מלא זמין במאמר Adaptive Subgradient Methods for Online Learning and Stochastic Optimization.

התאמה

#generativeAI

מילה נרדפת לשיפור או לכוונון עדין.

נציג

#generativeAI

תוכנה שיכולה להסיק מסקנות לגבי קלט משתמש רב-אופני כדי לתכנן ולבצע פעולות בשם המשתמש.

בלמידת חיזוק, סוכן הוא הישות שמשתמשת במדיניות כדי למקסם את התשואה הצפויה שמתקבלת ממעבר בין מצבים של הסביבה.

אג'נטי

#generativeAI

צורת שם התואר של agent. המונח Agentic מתייחס לתכונות שיש לסוכנים (כמו אוטונומיה).

תהליך עבודה אג'נטי

#generativeAI

תהליך דינמי שבו סוכן מתכנן ומבצע פעולות באופן אוטונומי כדי להשיג מטרה. התהליך עשוי לכלול ניתוח, הפעלה של כלים חיצוניים ותיקון עצמי של התוכנית.

סידור באשכולות (clustering) היררכי מצטבר

#clustering

מידע נוסף מופיע במאמר בנושא אשכול היררכי.

AI slop

#generativeAI

פלט ממערכת AI גנרטיבי שמעדיפה כמות על פני איכות. לדוגמה, דף אינטרנט עם תוכן באיכות נמוכה שנוצר על ידי AI מלא בתוכן באיכות נמוכה שנוצר על ידי AI בעלות נמוכה.

זיהוי אנומליות

התהליך של זיהוי ערכים חריגים. לדוגמה, אם הממוצע של תכונה מסוימת הוא 100 עם סטיית תקן של 10, אז זיהוי האנומליות צריך לסמן ערך של 200 כחשוד.

AR

קיצור של מציאות רבודה.

השטח מתחת לעקומת הדיוק וההחזרה

#Metric

מידע נוסף על PR AUC (השטח מתחת לעקומת ה-PR)

השטח מתחת לעקומת ה-ROC

#Metric

מידע נוסף על AUC (השטח מתחת לעקומת ROC)

בינה מלאכותית כללית

מנגנון לא אנושי שמדגים מגוון רחב של יכולות לפתרון בעיות, יצירתיות ויכולת הסתגלות. לדוגמה, תוכנה שמדגימה בינה מלאכותית כללית יכולה לתרגם טקסט, להלחין סימפוניות ולהצטיין במשחקים שעדיין לא הומצאו.

לגבי בינה מלאכותית,

#fundamentals

תוכנה או מודל לא אנושיים שיכולים לפתור משימות מורכבות. לדוגמה, תוכנית או מודל שמתרגמים טקסט, או תוכנית או מודל שמזהים מחלות מתמונות רדיולוגיות – שניהם מציגים בינה מלאכותית.

באופן רשמי, למידת מכונה היא תחום משנה של בינה מלאכותית. עם זאת, בשנים האחרונות, חלק מהארגונים התחילו להשתמש במונחים בינה מלאכותית ולמידת מכונה לסירוגין.

תשומת הלב,

מנגנון שמשמש ברשת נוירונים ומציין את החשיבות של מילה מסוימת או חלק ממילה. תשומת הלב דוחסת את כמות המידע שמודל צריך כדי לחזות את הטוקן או המילה הבאים. מנגנון תשומת לב טיפוסי עשוי לכלול סכום משוקלל של קבוצת קלטים, כאשר המשקל של כל קלט מחושב על ידי חלק אחר ברשת הנוירונים.

אפשר גם לעיין במאמרים בנושא קשב עצמי וקשב עצמי מרובה ראשים, שהם אבני הבניין של טרנספורמרים.

מידע נוסף על מנגנון תשומת הלב העצמית מופיע במאמר LLMs: What's a large language model? (מודלים גדולים של שפה: מהו מודל שפה גדול?) בסדרת המאמרים Machine Learning Crash Course (מבוא ללמידת מכונה).

מאפיין

#responsible

מילה נרדפת לתכונה.

בנושא ההוגנות בלמידת מכונה, המונח 'מאפיינים' מתייחס בדרך כלל למאפיינים שקשורים לאנשים פרטיים.

דגימת מאפיינים

#df

טקטיקה לאימון יער החלטות שבה כל עץ החלטות מתבסס רק על קבוצת משנה אקראית של תכונות אפשריות כשהוא לומד את התנאי. באופן כללי, בכל צומת נדגמת קבוצת משנה שונה של תכונות. לעומת זאת, כשמאמנים עץ החלטה בלי דגימת מאפיינים, כל התכונות האפשריות נלקחות בחשבון לכל צומת.

AUC (השטח מתחת לעקומת ה-ROC)

#fundamentals

#Metric

מספר בין 0.0 ל-1.0 שמייצג את היכולת של מודל סיווג בינארי להפריד בין סיווגים חיוביים לבין סיווגים שליליים. ככל שערך ה-AUC קרוב יותר ל-1.0, כך יכולת המודל להפריד בין המחלקות טובה יותר.

לדוגמה, באיור הבא מוצג מודל סיווג שמפריד בצורה מושלמת בין מחלקות חיוביות (האליפסות הירוקות) לבין מחלקות שליליות (המלבנים הסגולים). למודל המושלם הלא-מציאותי הזה יש AUC של 1.0:

לעומת זאת, באיור הבא מוצגות התוצאות של מודל סיווג שיצר תוצאות אקראיות. המודל הזה כולל AUC של 0.5:

כן, למודל הקודם יש AUC של 0.5, ולא 0.0.

רוב המודלים נמצאים איפשהו בין שני הקצוות. לדוגמה, המודל הבא מפריד בין ערכים חיוביים לשליליים במידה מסוימת, ולכן ערך ה-AUC שלו הוא בין 0.5 ל-1.0:

המדד AUC מתעלם מכל ערך שתגדירו לסף הסיווג. במקום זאת, AUC מתייחס לכל ספי הסיווג האפשריים.

כדי לקבל מידע על הקשר בין AUC לבין עקומות ROC, לוחצים על הסמל.

הערך AUC מייצג את השטח מתחת לעקומת ROC. לדוגמה, עקומת ה-ROC של מודל שמפריד בצורה מושלמת בין ערכים חיוביים לערכים שליליים נראית כך:

ה-AUC הוא השטח של האזור האפור באיור שלמעלה. במקרה החריג הזה, השטח הוא פשוט אורך האזור האפור (1.0) כפול רוחב האזור האפור (1.0). לכן, המכפלה של 1.0 ו-1.0 היא 1.0 בדיוק, שהוא הציון הכי גבוה שאפשר לקבל ב-AUC.

לעומת זאת, עקומת ה-ROC של מודל סיווג שלא יכול להפריד בין מחלקות בכלל נראית כך. שטח האזור האפור הוא 0.5.

עקומת ROC אופיינית יותר נראית בערך כך:

חישוב השטח מתחת לעקומה הזו באופן ידני הוא תהליך מייגע, ולכן בדרך כלל תוכנה מחשבת את רוב ערכי ה-AUC.

---

אפשר ללחוץ על הסמל כדי לראות הגדרה רשמית יותר של AUC.

ה-AUC הוא ההסתברות שמודל סיווג יהיה בטוח יותר שדוגמה חיובית שנבחרה באופן אקראי היא חיובית, מאשר שדוגמה שלילית שנבחרה באופן אקראי היא חיובית.

---

מידע נוסף זמין במאמר בנושא סיווג: ROC ו-AUC בקורס המקוצר בנושא למידת מכונה.

מציאות רבודה

טכנולוגיה שמציגה תמונה ממוחשבת על גבי תצוגת העולם האמיתי של המשתמש, וכך מספקת תצוגה מורכבת.

autoencoder

מערכת שלומדת לחלץ את המידע הכי חשוב מהקלט. אוטו-מקודדים הם שילוב של מקודד ומפענח. השימוש ב-Autoencoders מתבסס על התהליך הבא בן שני השלבים:

1. המקודד ממפה את הקלט לפורמט (ביניים) נמוך ממדים (בדרך כלל) עם אובדן נתונים.
2. הפענוח יוצר גרסה עם אובדן נתונים של הקלט המקורי על ידי מיפוי של הפורמט עם פחות ממדים לפורמט הקלט המקורי עם יותר ממדים.

מבצעים אימון של מקודדים אוטומטיים מקצה לקצה, כך שהפענוח מנסה לשחזר את הקלט המקורי מפורמט הביניים של הקידוד בצורה הכי מדויקת שאפשר. מכיוון שהפורמט הביניים קטן יותר (ממדים נמוכים יותר) מהפורמט המקורי, האוטו-מקודד נאלץ ללמוד איזה מידע בקלט הוא חיוני, והפלט לא יהיה זהה לחלוטין לקלט.

לדוגמה:

• אם נתוני הקלט הם גרפיקה, העותק הלא מדויק יהיה דומה לגרפיקה המקורית, אבל עם שינויים מסוימים. יכול להיות שהעותק הלא מדויק מסיר רעשים מהגרפיקה המקורית או ממלא פיקסלים חסרים.
• אם נתוני הקלט הם טקסט, מקודד אוטומטי ייצור טקסט חדש שמחקה את הטקסט המקורי (אבל לא זהה לו).

אפשר לקרוא גם על מקודדים אוטומטיים וריאציוניים.

הערכה אוטומטית

#generativeAI

שימוש בתוכנה כדי לשפוט את איכות הפלט של מודל.

כשהפלט של המודל פשוט יחסית, סקריפט או תוכנית יכולים להשוות את הפלט של המודל לתשובה מושלמת. הסוג הזה של הערכה אוטומטית נקרא לפעמים הערכה פרוגרמטית. מדדים כמו ROUGE או BLEU שימושיים לעיתים קרובות להערכה פרוגרמטית.

כשפלט המודל מורכב או שאין לו תשובה נכונה אחת, לפעמים מתבצעת הערכה אוטומטית על ידי תוכנת ML נפרדת שנקראת בודק אוטומטי.

ההבדל בין זה לבין בדיקה אנושית.

הטיה לאוטומציה

#responsible

כשמקבל החלטות אנושי מעדיף המלצות שנוצרו על ידי מערכת אוטומטית לקבלת החלטות על פני מידע שנוצר ללא אוטומציה, גם כשהמערכת האוטומטית לקבלת החלטות עושה טעויות.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בסדנת מבוא ללמידת מכונה.

AutoML

כל תהליך אוטומטי ליצירת מודלים של למידת מכונה. ‫AutoML יכול לבצע באופן אוטומטי משימות כמו:

• מחפשים את המודל המתאים ביותר.
• כוונון היפר-פרמטרים.
• הכנת הנתונים (כולל ביצוע הנדסת תכונות).
• פורסים את המודל שנוצר.

‫AutoML שימושי למדעני נתונים כי הוא יכול לחסוך להם זמן ומאמץ בפיתוח צינורות של למידת מכונה ולשפר את דיוק התחזיות. הוא שימושי גם למי שאינם מומחים, כי הוא מאפשר להם לבצע משימות מורכבות של למידת מכונה.

מידע נוסף מופיע במאמר Automated Machine Learning (AutoML) בקורס המקוצר על למידת מכונה.

הערכה של כלי לדירוג אוטומטי

#generativeAI

מנגנון היברידי להערכת האיכות של הפלט של מודל AI גנרטיבי, שמשלב הערכה אנושית עם הערכה אוטומטית. מודל דירוג אוטומטי הוא מודל למידת מכונה שאומן על נתונים שנוצרו על ידי הערכה אנושית. באופן אידיאלי, מערכת דירוג אוטומטית לומדת לחקות בודק אנושי.

יש כלי הערכה אוטומטיים מוכנים מראש, אבל כדאי לכוונן את כלי ההערכה האוטומטיים כך שיתאימו במיוחד למשימה שאתם מעריכים.

הערה: תהליך ההערכה האוטומטי הוא אוטומטי לחלוטין. בני אדם "רק" מספקים נתונים שעוזרים לאמן את מערכת ההערכה האוטומטית.

מודל אוטו-רגרסיבי

#generativeAI

מודל שמסיק חיזוי על סמך חיזויים קודמים שלו. לדוגמה, מודלים אוטומטיים של שפה חוזים את הטוקן הבא על סמך הטוקנים שנחזו קודם. כל המודלים הגדולים של שפה שמבוססים על Transformer הם אוטורגרסיביים.

לעומת זאת, מודלים של תמונות שמבוססים על GAN בדרך כלל לא רגרסיביים אוטומטיים, כי הם יוצרים תמונה במעבר קדימה יחיד ולא באופן איטרטיבי בשלבים. עם זאת, יש מודלים מסוימים ליצירת תמונות שהם אוטומטיים רגרסיביים כי הם יוצרים תמונה בשלבים.

הפסד עזר

פונקציית הפסד – משמשת בשילוב עם פונקציית ההפסד הראשית של מודל רשת הנוירונים, ומסייעת להאיץ את האימון במהלך האיטרציות הראשונות, כשמשקלים מאותחלים באופן אקראי.

פונקציות הפסד עזר דוחפות גרדיאנטים יעילים אל השכבות הקודמות. הפעולה הזו מקלה על התכנסות במהלך האימון, כי היא עוזרת להתמודד עם בעיית הגרדיאנט הנעלם.

דיוק ממוצע ב-k

#Metric

מדד לסיכום הביצועים של מודל בהנחיה יחידה שמפיקה תוצאות מדורגות, כמו רשימה ממוספרת של המלצות לספרים. הדיוק הממוצע ב-k הוא, ובכן, הממוצע של ערכי הדיוק ב-k לכל תוצאה רלוונטית. לכן, הנוסחה לחישוב הדיוק הממוצע ב-k היא:

\[{\text{average precision at k}} = \frac{1}{n} \sum_{i=1}^n {\text{precision at k for each relevant item} } \]

where:‎

• ‫\(n\) הוא מספר הפריטים הרלוונטיים ברשימה.

השוואה להיזכרות ב-k.

הערה: המדד 'דיוק ממוצע ב-k' מעריך את הפלט של הנחיה אחת. משתמשים בדיוק ממוצע ב-k כדי להעריך את איכות הפלט של מודל בהנחיות שונות.

הערה: יש אנשים שמקצרים את המונח דיוק ממוצע ב-k לדיוק ממוצע.

לוחצים על הסמל כדי לראות דוגמה.

נניח שמודל שפה גדול מקבל את השאילתה הבאה:

List the 6 funniest movies of all time in order.

מודל השפה הגדול מחזיר את הרשימה הבאה:

1. The General
2. Mean Girls
3. Platoon
4. שושבינות
5. האזרח קיין
6. This is Spinal Tap

ארבעה מהסרטים ברשימה שהוחזרה הם מאוד מצחיקים (כלומר, הם רלוונטיים), אבל שניים מהסרטים הם דרמות (לא רלוונטיים). בטבלה הבאה מפורטות התוצאות:

מיקום	סרט	רלוונטי?	Precision at k
1	The General	כן	1.0
2	Mean Girls	כן	1.0
3	Platoon	לא	לא רלוונטי
4	שושבינות	כן	0.75
5	האזרח קיין	לא	לא רלוונטי
6	This is Spinal Tap	כן	0.67

מספר התוצאות הרלוונטיות הוא 4. לכן, אפשר לחשב את הדיוק הממוצע ב-6 באופן הבא:

$${\text{average precision at 6}} = \frac{1}{4} {\text{(1.0 + 1.0 + 0.75 + 0.67)} } $$ $${\text{average precision at 6}} = {\text{~0.85} } $$

---

תנאי שמתייחס לציר

#df

בעץ החלטות, תנאי שכולל רק תכונה אחת. לדוגמה, אם area הוא תכונה, אז התנאי הבא הוא תנאי שמתיישר עם הציר:

area > 200

השוואה עם תנאי אלכסוני.

B

backpropagation

#fundamentals

האלגוריתם שמיישם ירידת גרדיאנט ברשתות נוירונים.

אימון של רשת נוירונים כולל הרבה איטרציות של המחזור הבא בן שני השלבים:

1. במהלך המעבר קדימה, המערכת מעבדת אצווה של דוגמאות כדי להפיק חיזויים. המערכת משווה כל תחזית לכל ערך של תווית. ההפרש בין התחזית לבין ערך התווית הוא ההפסד של הדוגמה הזו. המערכת מסכמת את ההפסדים של כל הדוגמאות כדי לחשב את ההפסד הכולל של האצווה הנוכחית.
2. במהלך המעבר לאחור (backpropagation), המערכת מצמצמת את אובדן המידע על ידי התאמת המשקלים של כל הנוירונים בכל השכבות הנסתרות.

נוירונים מלאכותיות מכילות לעיתים קרובות הרבה נוירונים בהרבה שכבות מוסתרות. כל אחד מהנוירונים האלה תורם להפסד הכולל בדרכים שונות. האלגוריתם Backpropagation קובע אם להגדיל או להקטין את המשקלים שמוחלים על נוירונים מסוימים.

קצב הלמידה הוא מכפיל שקובע את מידת ההגדלה או ההקטנה של כל משקל בכל מעבר לאחור. שיעור למידה גבוה יגרום להגדלה או להקטנה של כל משקל יותר משיעור למידה נמוך.

במונחים של חשבון דיפרנציאלי ואינטגרלי, backpropagation מיישם את כלל השרשרת. כלומר, האלגוריתם backpropagation מחשב את הנגזרת החלקית של השגיאה ביחס לכל פרמטר.

לפני שנים, מומחים ל-ML נאלצו לכתוב קוד כדי להטמיע backpropagation. ממשקי API מודרניים של למידת מכונה, כמו Keras, מטמיעים עכשיו בשבילכם את האלגוריתם backpropagation. סוף סוף!

מידע נוסף מופיע במאמר רשתות עצביות בקורס המקוצר על למידת מכונה.

bagging

#df

מתודה לאימון של אנסמבל שבו כל מודל מרכיב מתאמן על קבוצת משנה אקראית של דוגמאות לאימון שנדגמו עם החזרה. לדוגמה, יער אקראי הוא אוסף של עצי החלטה שאומנו באמצעות שיטת ה-bagging.

המונח bagging הוא קיצור של bootstrap aggregating.

מידע נוסף זמין במאמר יערות אקראיים בקורס בנושא יערות החלטה.

bag of words

ייצוג של המילים בביטוי או בקטע, בלי קשר לסדר. לדוגמה, bag of words מייצג את שלושת הביטויים הבאים באופן זהה:

• הכלב קופץ
• קופץ מעל הכלב
• כלב קופץ

כל מילה ממופה לאינדקס בוקטור דליל, שבו לכל מילה באוצר המילים יש אינדקס. לדוגמה, הביטוי the dog jumps ממופה לווקטור מאפיינים עם ערכים שונים מאפס בשלושת האינדקסים שמתאימים למילים the,‏ dog ו-jumps. הערך שאינו אפס יכול להיות כל אחת מהאפשרויות הבאות:

• ‫1 כדי לציין את נוכחות המילה.
• ספירה של מספר הפעמים שמילה מופיעה בתיק. לדוגמה, אם הביטוי הוא the maroon dog is a dog with maroon fur, אז גם maroon וגם dog ייוצגו כ-2, בעוד שהמילים האחרות ייוצגו כ-1.
• ערך אחר, כמו הלוגריתם של מספר הפעמים שמילה מופיעה בתיק.

ערך בסיס

#Metric

מודל שמשמש כנקודת השוואה כדי לבדוק את הביצועים של מודל אחר (בדרך כלל מודל מורכב יותר). לדוגמה, מודל רגרסיה לוגיסטית יכול לשמש כבסיס טוב למודל עמוק.

בבעיה מסוימת, נתוני הבסיס עוזרים למפתחי מודלים לכמת את הביצועים המינימליים הצפויים שמודל חדש צריך להשיג כדי שהוא יהיה שימושי.

מודל בסיס

#generativeAI

מודל שאומן מראש ויכול לשמש כנקודת התחלה לכוונון עדין כדי לטפל במשימות או באפליקציות ספציפיות.

כדאי לעיין גם במודל שעבר אימון מראש ובמודל בסיס.

אצווה

#fundamentals

קבוצת הדוגמאות שמשמשת באיטרציה אחת של אימון. גודל האצווה קובע את מספר הדוגמאות באצווה.

בקטע epoch מוסבר איך קבוצת נתונים קשורה ל-epoch.

מידע נוסף זמין במאמר רגרסיה לינארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

היקש באצווה

#GoogleCloud

התהליך של הסקת תחזיות על כמה דוגמאות לא מסומנות שמחולקות לקבוצות משנה קטנות יותר ("אצוות").

הסקת מסקנות באצווה יכולה לנצל את תכונות ההקבלה של שבבי האצה. כלומר, כמה מאיצים יכולים להסיק תחזיות בו-זמנית על קבוצות שונות של דוגמאות לא מסומנות, וכך להגדיל באופן משמעותי את מספר ההסקות לשנייה.

מידע נוסף מופיע במאמר מערכות ML לייצור: הסקה סטטית לעומת הסקה דינמית בקורס המזורז ללמידת מכונה.

נורמליזציה של אצווה

נרמול של הקלט או הפלט של פונקציות ההפעלה בשכבה נסתרת. לנורמליזציה של קבוצות יש כמה יתרונות:

• הגנה מפני משקלים של ערכים חריגים כדי להפוך את הרשתות העצביות ליציבות יותר.
• הפעלת שיעורי למידה גבוהים יותר, שיכולים להאיץ את האימון.
• הפחתת התאמת יתר.

גודל אצווה

#fundamentals

מספר הדוגמאות באצווה. לדוגמה, אם גודל האצווה הוא 100, המודל מעבד 100 דוגמאות לכל איטרציה.

אלה כמה אסטרטגיות פופולריות לגודל קבוצת הפעולות:

• ‫Stochastic Gradient Descent (SGD), שבו גודל האצווה הוא 1.
• אצווה מלאה, שבה גודל האצווה הוא מספר הדוגמאות בקבוצת האימון כולה. לדוגמה, אם מערך האימון מכיל מיליון דוגמאות, גודל הקבוצה יהיה מיליון דוגמאות. שימוש באסטרטגיה של עדכון מלא של כל הקבוצה הוא בדרך כלל לא יעיל.
• מיני-batch שבו גודל ה-batch הוא בדרך כלל בין 10 ל-1,000. בדרך כלל, אסטרטגיית המיני-batch היא היעילה ביותר.

מידע נוסף זמין במאמרים הבאים:

• מערכות ML לייצור: הסקה סטטית לעומת הסקה דינמית בקורס המקוצר על למידת מכונה.
• מדריך לשיפור הביצועים של למידה עמוקה.

רשת נוירונים בייסיאנית

רשת נוירונים הסתברותית שמתחשבת בחוסר ודאות במשקלים ובפלט. מודל רגרסיה של רשת נוירונים רגילה בדרך כלל מנבא ערך סקלרי. לדוגמה, מודל רגיל מנבא מחיר בית של 853,000. לעומת זאת, רשת נוירונים בייסיאנית חוזה התפלגות של ערכים. לדוגמה, מודל בייסיאני חוזה מחיר בית של 853,000 עם סטיית תקן של 67,200.

רשת נוירונים בייסיאנית מסתמכת על משפט בייס כדי לחשב את אי הוודאות במשקלים ובתחזיות. רשת עצבית בייסיאנית יכולה להיות שימושית כשחשוב לכמת את אי הוודאות, למשל במודלים שקשורים לתרופות. רשתות נוירונים בייסיאניות יכולות גם לעזור למנוע התאמת יתר.

אופטימיזציה בייסיאנית

מודל רגרסיה הסתברותי הוא טכניקה לאופטימיזציה של פונקציות מטרה שדורשות הרבה משאבי מחשוב. במקום זאת, המודל מבצע אופטימיזציה של פונקציית סרוגייט שמבצעת כימות של אי-הוודאות באמצעות טכניקת למידה בייסיאנית. מכיוון שאופטימיזציה בייסיאנית היא תהליך יקר מאוד, בדרך כלל משתמשים בה כדי לבצע אופטימיזציה של משימות יקרות להערכה שיש להן מספר קטן של פרמטרים, כמו בחירה של היפר-פרמטרים.

משוואת בלמן

בלמידת חיזוק, הזהות הבאה מסופקת על ידי פונקציית ה-Q האופטימלית:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

אלגוריתמים של למידת חיזוק משתמשים בזהות הזו כדי ליצור למידת Q באמצעות כלל העדכון הבא:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

מעבר ללמידת חיזוק, למשוואת בלמן יש יישומים בתכנות דינמי. אפשר לעיין ב ערך בוויקיפדיה בנושא משוואת בלמן.

‫BERT (ייצוגים דו-כיווניים של מקודד מטרנספורמרים)

ארכיטקטורת מודל לייצוג של טקסט. מודל BERT מאומן יכול לשמש כחלק ממודל גדול יותר לסיווג טקסט או למשימות אחרות של למידת מכונה.

ל-BERT יש את המאפיינים הבאים:

• משתמש בארכיטקטורת Transformer, ולכן מסתמך על self-attention.
• משתמש בחלק המקודד של הטרנספורמר. תפקיד המקודד הוא ליצור ייצוגים טובים של טקסט, ולא לבצע משימה ספציפית כמו סיווג.
• הוא דו-כיווני.
• משתמש במיסוך לאימון לא מפוקח.

הווריאציות של BERT כוללות:

• ‫ALBERT,‏ שהוא ראשי תיבות של A Light BERT.
• ‫LaBSE.

במאמר Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing מופיע סקירה כללית של BERT.

הטיה (אתיקה/הוגנות)

#responsible

#fundamentals

1. הצגת סטריאוטיפים, דעות קדומות או העדפה של דברים, אנשים או קבוצות מסוימים על פני אחרים. ההטיות האלה יכולות להשפיע על איסוף הנתונים ועל הפרשנות שלהם, על עיצוב המערכת ועל האופן שבו המשתמשים מבצעים אינטראקציה עם המערכת. דוגמאות להטיות מסוג זה:

• הטיית אוטומציה
• הטיית אישור
• הטיה של עורך הניסוי
• הטיה בשיוך ברמת הקבוצה
• הטיה מרומזת
• הטיה לטובת קבוצת השייכות
• הטיית הומוגניות של קבוצת חוץ

2. שגיאה שיטתית שנובעת מהליך דגימה או דיווח. דוגמאות להטיות מסוג זה:

• הטיה בסיקור
• הטיית אי-תגובה
• הטיית השתתפות
• הטיית דיווח
• הטיית דגימה
• הטיית בחירה

לא להתבלבל עם מונח הטיה במודלים של למידת מכונה או עם הטיה בתחזית.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בסדנה בנושא למידת מכונה.

הטיה (מתמטיקה) או מונח הטיה

#fundamentals

נקודת חיתוך או היסט מנקודת המוצא. הטיה היא פרמטר במודלים של למידת מכונה, שמסומל באחד מהערכים הבאים:

• b
• w₀

לדוגמה, הטיה היא b בנוסחה הבאה:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

בקו דו-ממדי פשוט, הטיה פשוט מייצגת את נקודת החיתוך עם ציר ה-y. לדוגמה, ההטיה של הקו באיור הבא היא 2.

ההטיה קיימת כי לא כל המודלים מתחילים מהמקור (0,0). לדוגמה, נניח שעלות הכניסה לפארק שעשועים היא 2 אירו, ועל כל שעה שהלקוח נמצא בפארק הוא משלם עוד 0.5 אירו. לכן, למודל שממפה את העלות הכוללת יש הטיה של 2 כי העלות הכי נמוכה היא 2 אירו.

הטיה לא זהה להטיה באתיקה ובהוגנות או להטיה בתחזיות.

מידע נוסף זמין במאמר רגרסיה ליניארית בקורס המקוצר על למידת מכונה.

דו-כיווני

מונח שמשמש לתיאור מערכת שמעריכה את הטקסט שלפני ואחרי קטע טקסט יעד. לעומת זאת, מערכת חד-כיוונית מעריכה רק את הטקסט שקודם לקטע טקסט היעד.

לדוגמה, נניח שיש מודל שפה עם מיסוך שצריך לקבוע את ההסתברויות של המילה או המילים שמיוצגות על ידי הקו התחתון בשאלה הבאה:

מה קרה לך?

מודל שפה חד-כיווני יצטרך לבסס את ההסתברויות שלו רק על ההקשר שנוצר על ידי המילים 'What',‏ 'is' ו-'the'. לעומת זאת, מודל שפה דו-כיווני יכול גם לקבל הקשר מהמילים 'עם' ו'אתה', מה שיכול לעזור למודל ליצור תחזיות טובות יותר.

מודל שפה דו-כיווני

מודל שפה שקובע את ההסתברות שאסימון נתון יהיה נוכח במיקום נתון בקטע טקסט, על סמך הטקסט הקודם והטקסט הבא.

ביגרמה

N-gram שבו N=2.

סיווג בינארי

#fundamentals

סוג של משימת סיווג שבה המודל מנבא אחת משתי קטגוריות שאינן חופפות:

• הסיווג החיובי
• הסיווג השלילי

לדוגמה, כל אחד משני מודלים של למידת מכונה הבאים מבצע סיווג בינארי:

• מודל שקובע אם הודעות אימייל הן ספאם (הסיווג החיובי) או לא ספאם (הסיווג השלילי).
• מודל שמעריך תסמינים רפואיים כדי לקבוע אם לאדם מסוים יש מחלה מסוימת (הסיווג החיובי) או שאין לו את המחלה הזו (הסיווג השלילי).

ההפך מסיווג רב-מחלקתי.

אפשר לעיין גם במאמרים בנושא רגרסיה לוגיסטית וסף סיווג.

מידע נוסף זמין במאמר סיווג בקורס המקוצר על למידת מכונה.

תנאי בינארי

#df

בעץ החלטה, תנאי שיש לו רק שתי תוצאות אפשריות, בדרך כלל כן או לא. לדוגמה, התנאי הבא הוא תנאי בינארי:

temperature >= 100

ההגדרה הזו שונה מתנאי לא בינארי.

מידע נוסף זמין במאמר סוגי תנאים בקורס בנושא יערות החלטה.

binning

מילה נרדפת לסיווג למשפכים.

מודל קופסה שחורה

מודל שההסבר שלו לא הגיוני או שקשה לבני אדם להבין אותו. כלומר, למרות שאנשים יכולים לראות איך הנחיות משפיעות על התשובות, הם לא יכולים לקבוע בדיוק איך מודל קופסה שחורה קובע את התשובה. במילים אחרות, למודל של קופסה שחורה חסרה יכולת פירוש.

רוב המודלים העמוקים והמודלים הגדולים של שפה הם קופסאות שחורות.

BLEU (Bilingual Evaluation Understudy)

מדד בין 0.0 ל-1.0 להערכת תרגומים אוטומטיים, למשל, מספרדית ליפנית.

כדי לחשב ציון, בדרך כלל BLEU משווה בין התרגום של מודל ML ‏(טקסט שנוצר) לבין התרגום של מומחה אנושי ‏(טקסט ייחוס). מידת ההתאמה בין N-grams בטקסט שנוצר לבין טקסט ההשוואה קובעת את ציון ה-BLEU.

המאמר המקורי בנושא המדד הזה הוא BLEU: a Method for Automatic Evaluation of Machine Translation.

מידע נוסף זמין במאמר בנושא BLEURT.

‫BLEURT (Bilingual Evaluation Understudy from Transformers)

מדד להערכת תרגומים אוטומטיים משפה אחת לשפה אחרת, במיוחד מאנגלית ואליה.

בתרגומים לאנגלית ומאנגלית, התוצאות של BLEURT קרובות יותר לדירוגים של בני אדם מאשר התוצאות של BLEU. בניגוד ל-BLEU, ‏ BLEURT מדגיש דמיון סמנטי (משמעות) ויכול להתאים לניסוח מחדש.

‫BLEURT מסתמך על מודל שפה גדול שעבר אימון מראש (BERT, ליתר דיוק) שעובר כוונון עדין על טקסט שנוצר על ידי מתרגמים אנושיים.

המאמר המקורי בנושא המדד הזה הוא BLEURT: Learning Robust Metrics for Text Generation.

הגדלה

טכניקה של למידת מכונה שמשלבת באופן איטרטיבי קבוצה של מודלים פשוטים לסיווג (שנקראים 'מסווגים חלשים') שלא תמיד מדויקים, למודל סיווג עם רמת דיוק גבוהה ('מסווג חזק'). השילוב מתבצע על ידי הגדלת המשקל של הדוגמאות שהמודל מסווג בצורה שגויה.

מידע נוסף זמין במאמר בנושא Gradient Boosted Decision Trees? בקורס בנושא Decision Forests.

תיבה תוחמת (bounding box)

בתמונה, הקואורדינטות (x, y) של מלבן שמקיף אזור שמעניין אתכם, כמו הכלב בתמונה שלמטה.

שידור

הרחבת הצורה של אופרנד בפעולה מתמטית של מטריצה לממדים שתואמים לפעולה הזו. לדוגמה, באלגברה לינארית, שני האופרנדים בפעולת חיבור מטריצות צריכים להיות בעלי אותם ממדים. לכן, אי אפשר להוסיף מטריצה עם צורה של (m, n) לווקטור באורך n. השידור מאפשר את הפעולה הזו על ידי הרחבה וירטואלית של הווקטור באורך n למטריצה בצורה (m, n) על ידי שכפול אותם ערכים בכל עמודה.

לוחצים על הסמל כדי לראות דוגמה.

בהינתן ההגדרות הבאות של A ו-B, אלגברה לינארית אוסרת על A+B כי ל-A ול-B יש ממדים שונים:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

עם זאת, שידור מאפשר את הפעולה A+B על ידי הרחבה וירטואלית של B ל:

 [[2, 2, 2],
  [2, 2, 2]]

לכן, הפעולה A+B תקפה עכשיו:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

---

פרטים נוספים מופיעים בתיאור הבא של שידור ב-NumPy.

bucketing

#fundamentals

המרת תכונה אחת לכמה תכונות בינאריות שנקראות buckets או bins, בדרך כלל על סמך טווח ערכים. התכונה 'חיתוך' היא בדרך כלל תכונה רציפה.

לדוגמה, במקום לייצג את הטמפרטורה כמאפיין יחיד של נקודה צפה רציפה, אפשר לחלק את טווחי הטמפרטורות לקטגוריות נפרדות, כמו:

• ‫<= 10 degrees Celsius would be the "cold" bucket.
• ‫11 עד 24 מעלות צלזיוס יהיו בקטגוריה 'ממוזג'.
• ‫>= 25 degrees Celsius יהיה בדלי 'חם'.

המודל יתייחס לכל הערכים באותו סיווג באופן זהה. לדוגמה, הערכים 13 ו-22 נמצאים שניהם בדלי של אזורים ממוזגים, ולכן המודל מתייחס לשני הערכים באופן זהה.

כדי לראות הערות נוספות, לוחצים על הסמל.

אם מייצגים את הטמפרטורה כמאפיין רציף, המודל מתייחס לטמפרטורה כמאפיין יחיד. אם מייצגים את הטמפרטורה בשלושה מאגרי נתונים, המודל מתייחס לכל מאגר נתונים כאל תכונה נפרדת. כלומר, מודל יכול ללמוד קשרים נפרדים של כל דלי לתווית. לדוגמה, מודל של רגרסיה לינארית יכול ללמוד משקלים נפרדים לכל קבוצת משנה.

הגדלת מספר הדליים מסבכת את המודל כי היא מגדילה את מספר הקשרים שהמודל צריך ללמוד. לדוגמה, קטגוריות קרות, ממוזגות וחמות הן למעשה שלוש תכונות נפרדות לאימון המודל. אם תחליטו להוסיף עוד שני מאגרי נתונים – למשל, מאגר נתונים של נתונים קפואים ומאגר נתונים של נתונים חמים – המודל יצטרך להתאמן על חמישה מאפיינים נפרדים.

איך יודעים כמה קטגוריות ליצור, או מה צריך להיות טווח הערכים של כל קטגוריה? בדרך כלל צריך לבצע לא מעט ניסויים כדי לקבל תשובות.

---

למידע נוסף, אפשר לעיין במאמר נתונים מספריים: חלוקה לקטגוריות בסדנה ללימוד מכונת למידה.

C

שכבת כיול

התאמה אחרי החיזוי, בדרך כלל כדי לפצות על הטיה בחיזוי. התחזיות וההסתברויות המותאמות צריכות להתאים להתפלגות של קבוצת תוויות שנצפתה.

יצירת מועמדים

הקבוצה הראשונית של ההמלצות שנבחרה על ידי מערכת ההמלצות. לדוגמה, נניח שיש חנות ספרים שמציעה 100,000 כותרים. בשלב יצירת המועמדים, המערכת יוצרת רשימה קטנה בהרבה של ספרים מתאימים למשתמש מסוים, למשל 500. אבל גם 500 ספרים זה יותר מדי כדי להמליץ למשתמש. בשלבים הבאים והיקרים יותר של מערכת ההמלצות (כמו דירוג ודירוג מחדש), מספר ההמלצות מצטמצם לסט קטן יותר ושימושי יותר.

מידע נוסף זמין במאמר סקירה כללית על יצירת מועמדים בקורס בנושא מערכות המלצה.

דגימת מועמדים

אופטימיזציה בזמן האימון שמחשבת הסתברות לכל התוויות החיוביות, באמצעות softmax למשל, אבל רק עבור מדגם אקראי של תוויות שליליות. לדוגמה, אם יש לכם דוגמה עם התוויות beagle ו-dog, דגימת המועמדים מחשבת את ההסתברויות החזויות ואת מונחי ההפסד המתאימים עבור:

• beagle
• dog
• קבוצת משנה אקראית של שאר הסיווגים השליליים (לדוגמה, חתול,‏ סוכרייה על מקל, ‏ גדר).

הרעיון הוא שסיווגים שליליים יכולים ללמוד מחיזוק שלילי בתדירות נמוכה יותר, כל עוד סיווגים חיוביים תמיד מקבלים חיזוק חיובי מתאים. זה אכן מה שנצפה באופן אמפירי.

דגימת מועמדים יעילה יותר מבחינת חישובים מאשר אלגוריתמים לאימון שמחשבים תחזיות עבור כל המחלקות השליליות, במיוחד כשמספר המחלקות השליליות גדול מאוד.

נתונים קטגוריים

#fundamentals

מאפיינים עם קבוצה ספציפית של ערכים אפשריים. לדוגמה, נניח שיש מאפיין קטגוריאלי בשם traffic-light-state, שיכול לקבל רק אחד משלושת הערכים האפשריים הבאים:

• red
• yellow
• green

אם מייצגים את traffic-light-state כמאפיין קטגורי, מודל יכול ללמוד את ההשפעות השונות של red, green ו-yellow על התנהגות הנהג.

תכונות קטגוריות נקראות לפעמים תכונות בדידות.

ההפך מנתונים מספריים.

מידע נוסף זמין במאמר עבודה עם נתונים שמחולקים לקטגוריות בקורס המקוצר על למידת מכונה.

מודל שפה סיבתי

מילה נרדפת למונח מודל שפה חד-כיווני.

במאמר מודל שפה דו-כיווני אפשר לראות השוואה בין גישות שונות של מודלים של שפה.

מרכז המסה

#clustering

המרכז של אשכול שנקבע על ידי אלגוריתם k-means או k-median. לדוגמה, אם k הוא 3, האלגוריתם k-means או k-median מוצא 3 מרכזים.

מידע נוסף זמין במאמר אלגוריתמים של אשכולות בקורס בנושא אשכולות.

centroid-based clustering

#clustering

קטגוריה של אלגוריתמים של אשכולות שמארגנים נתונים באשכולות לא היררכיים. k-means הוא האלגוריתם הנפוץ ביותר של אשכולות מבוססי-מרכז.

בניגוד לאלגוריתמים של קיבוץ היררכי.

מידע נוסף זמין במאמר אלגוריתמים של אשכולות בקורס בנושא אשכולות.

הנחיות בטכניקת שרשרת מחשבה

#generativeAI

טכניקה של הנדסת הנחיות שמעודדת מודל שפה גדול (LLM) להסביר את ההיגיון שלו, שלב אחר שלב. לדוגמה, שימו לב להנחיה הבאה, במיוחד למשפט השני:

כמה כוחות G יחווה נהג ברכב שמאיץ מ-0 ל-60 מייל לשעה ב-7 שניות? בתשובה, צריך להציג את כל החישובים הרלוונטיים.

התשובה של ה-LLM תהיה כנראה:

• תציג רצף של נוסחאות בפיזיקה, ותציב את הערכים 0, 60 ו-7 במקומות המתאימים.
• תסביר למה היא בחרה בנוסחאות האלה ומה המשמעות של המשתנים השונים.

הנחיה מסוג 'שרשרת מחשבות' מאלצת את ה-LLM לבצע את כל החישובים, מה שעשוי להוביל לתשובה נכונה יותר. בנוסף, הנחיה של שרשרת מחשבות מאפשרת למשתמש לבדוק את השלבים של מודל ה-LLM כדי לקבוע אם התשובה הגיונית או לא.

ציון F של N-gram של תווים (ChrF)

#Metric

מדד להערכת מודלים של תרגום מכונה. ציון F של N-גרמות של תווים קובע את מידת החפיפה בין N-גרמות בטקסט ההשוואה לבין ה-N-גרמות בטקסט שנוצר על ידי מודל ML.

המדד Character N-gram F-score דומה למדדים במשפחות ROUGE ו-BLEU, אבל:

• המדד F-score של n-gram של תווים פועל על n-gram של תווים.
• המדדים ROUGE ו-BLEU פועלים על N-גרמים של מילים או על טוקנים.

צ'אט, צ'ט, צאט, צט

#generativeAI

התוכן של דיאלוג הלוך ושוב עם מערכת למידת מכונה, בדרך כלל מודל שפה גדול. האינטראקציה הקודמת בצ'אט (מה שהקלדתם ואיך מודל השפה הגדול הגיב) הופכת להקשר לחלקים הבאים של הצ'אט.

צ'אטבוט הוא יישום של מודל שפה גדול.

נקודת ביקורת

נתונים שמתעדים את המצב של הפרמטרים של מודל במהלך האימון או אחרי שהאימון מסתיים. לדוגמה, במהלך האימון, תוכלו:

1. הפסקת האימון, אולי בכוונה או אולי כתוצאה משגיאות מסוימות.
2. מצלמים את נקודת הביקורת.
3. בשלב מאוחר יותר, טוענים מחדש את נקודת הבדיקה, אולי בחומרה אחרת.
4. להתחיל מחדש את ההדרכה.

כיתה

#fundamentals

קטגוריה שתווית יכולה להשתייך אליה. לדוגמה:

• במודל סיווג בינארי שמזהה ספאם, שתי המחלקות יכולות להיות ספאם ולא ספאם.
• במודל סיווג רב-מחלקתי שמזהה גזעי כלבים, המחלקות יכולות להיות פודל, ביגל, פאג וכן הלאה.

מודל סיווג חוזה את הסיווג. לעומת זאת, מודל רגרסיה חוזה מספר ולא מחלקה.

מידע נוסף זמין במאמר סיווג בקורס המקוצר על למידת מכונה.

קבוצת נתונים מאוזנת לפי כיתה

מערך נתונים שמכיל תוויות קטגוריות שבהן מספר המקרים של כל קטגוריה שווה בערך. לדוגמה, נניח שיש מערך נתונים בוטני עם תווית בינארית שיכולה להיות צמח מקומי או צמח לא מקומי:

• מערך נתונים עם 515 צמחים מקומיים ו-485 צמחים לא מקומיים הוא מערך נתונים מאוזן.
• מערך נתונים עם 875 צמחים מקומיים ו-125 צמחים לא מקומיים הוא מערך נתונים לא מאוזן לפי סיווג.

אין קו חלוקה רשמי בין מערכי נתונים מאוזנים לפי מחלקות לבין מערכי נתונים לא מאוזנים לפי מחלקות. ההבחנה הזו חשובה רק כשמודל שאומן על מערך נתונים עם חוסר איזון קיצוני בין המחלקות לא מצליח להתכנס. פרטים נוספים זמינים במאמר Datasets: imbalanced datasets (קבוצות נתונים: קבוצות נתונים לא מאוזנות) בסדנה בנושא למידת מכונה.

מודל סיווג

#fundamentals

מודל שהחיזוי שלו הוא סיווג. לדוגמה, כל אלה הם מודלים של סיווג:

• מודל שמנבא את השפה של משפט קלט (צרפתית? ספרדית? איטלקית?).
• מודל שמנבא את מיני העצים (אדר? אלון? באובב?).
• מודל שמנבא את הסיווג החיובי או השלילי של מצב רפואי מסוים.

לעומת זאת, מודלים של רגרסיה חוזים מספרים ולא מחלקות.

שני סוגים נפוצים של מודלים לסיווג הם:

• סיווג בינארי
• סיווג רב-מחלקתי

סף סיווג (classification threshold)

#fundamentals

בסיווג בינארי, מספר בין 0 ל-1 שממיר את הפלט הגולמי של מודל רגרסיה לוגיסטית לתחזית של הסיווג החיובי או של הסיווג השלילי. חשוב לזכור שסף הסיווג הוא ערך שנבחר על ידי בן אדם, ולא ערך שנבחר על ידי אימון המודל.

מודל רגרסיה לוגיסטית מחזיר ערך גולמי בין 0 ל-1. לאחר מכן:

• אם הערך הגולמי הזה גדול יותר מסף הסיווג, אז המערכת חוזה את הסיווג החיובי.
• אם הערך הגולמי הזה נמוך מסף הסיווג, המערכת צופה את הסיווג השלילי.

לדוגמה, נניח שסף הסיווג הוא 0.8. אם הערך הגולמי הוא 0.9, המודל חוזה את המחלקה החיובית. אם הערך הגולמי הוא 0.7, המודל חוזה את המחלקה השלילית.

הבחירה של סף הסיווג משפיעה מאוד על מספר התוצאות החיוביות הכוזבות והתוצאות השליליות הכוזבות.

כדי לראות הערות נוספות, לוחצים על הסמל.

כשהמודלים או מערכי הנתונים מתפתחים, לפעמים מהנדסים משנים גם את ערך הסף לסיווג. כשסף הסיווג משתנה, חיזויים חיוביים של סיווגים יכולים להפוך פתאום לסיווגים שליליים, ולהפך.

לדוגמה, נניח שיש מודל בינארי לסיווג של חיזוי מחלות. נניח שבשנה הראשונה שבה המערכת פועלת:

• הערך הגולמי של מטופל מסוים הוא 0.95.
• סף הסיווג הוא 0.94.

לכן המערכת מאבחנת את הכיתה החיובית. (המטופל נאנח, "אוי לא! I'm sick!")

שנה לאחר מכן, יכול להיות שהערכים ייראו כך:

• הערך הגולמי של אותו מטופל נשאר 0.95.
• סף הסיווג משתנה ל-0.97.

לכן, המערכת מסווגת מחדש את המטופל הזה כסיווג השלילי. ("יום שמח! אני לא חולה"). אותו מטופל. אבחון שונה.

---

מידע נוסף זמין במאמר ערכי סף ומטריצת בלבול בקורס המקוצר על למידת מכונה.

מסווג

#fundamentals

מונח לא רשמי למודל סיווג.

קבוצת נתונים לא מאוזנת מבחינת כיתות

#fundamentals

מערך נתונים של סיווג שבו המספר הכולל של תוויות של כל סיווג שונה באופן משמעותי. לדוגמה, נניח שיש קבוצת נתונים של סיווג בינארי עם שתי תוויות שמחולקות באופן הבא:

• ‫1,000,000 תוויות שליליות
• ‫10 תוויות חיוביות

היחס בין התוויות השליליות לחיוביות הוא 100,000 ל-1, ולכן זהו מערך נתונים עם חוסר איזון בין המחלקות.

לעומת זאת, מערך הנתונים הבא הוא מאוזן לפי מחלקות כי היחס בין התוויות השליליות לתוויות החיוביות קרוב יחסית ל-1:

• ‫517 תוויות שליליות
• ‫483 תוויות חיוביות

יכול להיות גם חוסר איזון בין הכיתות במערכי נתונים עם כמה כיתות. לדוגמה, מערך הנתונים הבא של סיווג רב-מחלקתי הוא גם לא מאוזן מבחינת מחלקות, כי לתווית אחת יש הרבה יותר דוגמאות מאשר לשתי התוויות האחרות:

• ‫1,000,000 תוויות עם הסיווג 'ירוק'
• ‫200 תוויות עם המחלקה purple
• ‫350 תוויות עם המחלקה orange

אימון של מערכי נתונים לא מאוזנים של כיתות יכול להציב אתגרים מיוחדים. פרטים נוספים זמינים במאמר Imbalanced datasets (מערכי נתונים לא מאוזנים) בקורס Machine Learning Crash Course (קורס מקוצר על למידת מכונה).

אפשר לעיין גם בערכים אנטרופיה, מחלקת רוב ומחלקת מיעוט.

חיתוך

#fundamentals

טכניקה לטיפול בערכים חריגים באמצעות אחת מהפעולות הבאות או שתיהן:

• הפחתת ערכי מאפיינים שגדולים מסף מקסימלי מסוים עד לסף המקסימלי הזה.
• הגדלת ערכי התכונות שקטנים מסף מינימלי עד לסף המינימלי הזה.

לדוגמה, נניח שפחות מ-0.5% מהערכים של תכונה מסוימת נמצאים מחוץ לטווח 40-60. במקרה כזה, אפשר לבצע את הפעולות הבאות:

• כל הערכים מעל 60 (הסף המקסימלי) יקוצצו ל-60 בדיוק.
• כל הערכים שקטנים מ-40 (סף המינימום) יוגבלו ל-40 בדיוק.

ערכים חריגים עלולים לפגוע במודלים, ולפעמים לגרום למשקלים לגלוש במהלך האימון. חלק מהערכים החריגים יכולים גם לפגוע באופן משמעותי במדדים כמו דיוק. חיתוך הוא טכניקה נפוצה להגבלת הנזק.

חיתוך שיפועים מאלץ ערכי שיפוע בטווח מוגדר במהלך האימון.

מידע נוסף זמין במאמר נתונים מספריים: נורמליזציה בסדנה ללימוד מכונת למידה.

Cloud TPU

#TensorFlow

#GoogleCloud

מאיץ חומרה ייעודי שנועד להאיץ עומסי עבודה של למידת מכונה ב-Google Cloud.

סידור באשכולות

#clustering

קיבוץ דוגמאות קשורות, במיוחד במהלך למידה לא מפוקחת. אחרי שכל הדוגמאות מקובצות, אפשר להוסיף משמעות לכל אשכול.

קיימים אלגוריתמים רבים של אשכולות. לדוגמה, האלגוריתם k-means מקבץ דוגמאות על סמך הקרבה שלהן למרכז מסה, כמו בתרשים הבא:

לאחר מכן, חוקר אנושי יכול לבדוק את האשכולות ולתת להם שמות. לדוגמה, הוא יכול לתת לאשכול 1 את השם 'עצים ננסיים' ולאשכול 2 את השם 'עצים בגודל מלא'.

דוגמה נוספת: אלגוריתם לאשכולות שמבוסס על המרחק של דוגמה מנקודת מרכז, כמו בדוגמה הבאה:

מידע נוסף זמין בקורס בנושא אשכולות.

עיבוד משותף

התנהגות לא רצויה שבה נוירונים חוזים דפוסים בנתוני האימון על ידי הסתמכות כמעט בלעדית על הפלט של נוירונים ספציפיים אחרים, במקום להסתמך על ההתנהגות של הרשת כולה. אם הדפוסים שגורמים להתאמה משותפת לא מופיעים בנתוני האימות, ההתאמה המשותפת גורמת להתאמת יתר. רגולריזציה של נשירה מפחיתה את ההתאמה המשותפת, כי הנשירה מבטיחה שהנוירונים לא יוכלו להסתמך רק על נוירונים ספציפיים אחרים.

סינון שיתופי

חיזוי של תחומי העניין של משתמש מסוים על סמך תחומי העניין של משתמשים רבים אחרים. סינון שיתופי משמש לעיתים קרובות במערכות המלצה.

מידע נוסף זמין במאמר בנושא סינון שיתופי בקורס בנושא מערכות המלצה.

מודל קומפקטי

כל מודל קטן שמיועד להפעלה במכשירים קטנים עם משאבי מחשוב מוגבלים. לדוגמה, מודלים קומפקטיים יכולים לפעול בטלפונים ניידים, בטאבלטים או במערכות מוטמעות.

מחשוב

(שם עצם) משאבי המחשוב שמשמשים מודל או מערכת, כמו כוח עיבוד, זיכרון ואחסון.

למידע על צ'יפים להאצת ביצועים

סחף קונספט

שינוי בקשר בין התכונות לבין התווית. עם הזמן, סחף המושגים מוריד את איכות המודל.

במהלך האימון, המודל לומד את הקשר בין התכונות לבין התוויות שלהן במערך האימון. אם התוויות במערך האימון הן פרוקסי טוב לעולם האמיתי, אז המודל צריך לספק תחזיות טובות בעולם האמיתי. עם זאת, בגלל סחף מושגים, התחזיות של המודל נוטות להידרדר עם הזמן.

לדוגמה, נניח שיש מודל של סיווג בינארי שמנבא אם מודל רכב מסוים הוא "חסכוני בדלק" או לא. כלומר, התכונות יכולות להיות:

• משקל הרכב
• דחיסת מנוע
• סוג תיבת ההילוכים

כשהתווית היא אחת מהאפשרויות הבאות:

• חסכוני בדלק
• לא חסכוני בדלק

עם זאת, ההגדרה של "מכונית חסכונית בדלק" משתנה כל הזמן. דגם מכונית שסומן כחסכוני בדלק בשנת 1994, כמעט בוודאות יסומן כלא חסכוני בדלק בשנת 2024. מודל שסובל מסחף מושגים נוטה להפיק חיזויים פחות ופחות שימושיים לאורך זמן.

השוו והבדילו בין אי-סטציונריות.

כדי לראות הערות נוספות, לוחצים על הסמל.

כדי לפצות על סחף המושגים, צריך לאמן מחדש את המודלים מהר יותר מקצב סחף המושגים. לדוגמה, אם סחף מושגים מפחית את הדיוק של המודל בשיעור משמעותי כל חודשיים, כדאי לאמן מחדש את המודל בתדירות גבוהה יותר מאשר כל חודשיים.

---

תנאי

#df

בעץ החלטה, כל צומת שמבצע בדיקה. לדוגמה, עץ ההחלטות הבא מכיל שני תנאים:

תנאי נקרא גם פיצול או בדיקה.

תנאי ניגודיות עם עלה.

ראה גם:

• binary condition
• non-binary condition.
• axis-aligned-condition
• oblique-condition

מידע נוסף זמין במאמר סוגי תנאים בקורס בנושא יערות החלטה.

המצאת סיפורים

מילה נרדפת להזיה.

יכול להיות שהמונח 'המצאת סיפורים' מדויק יותר מבחינה טכנית מהמונח 'הזיה'. עם זאת, ההזיה הפכה לפופולרית קודם.

הגדרות אישיות

התהליך של הקצאת ערכי המאפיינים הראשוניים שמשמשים לאימון מודל, כולל:

• השכבות שמרכיבות את המודל
• המיקום של הנתונים
• היפר-פרמטרים כמו:
  • קצב הלמידה
  • איטרציות
  • optimizer
  • פונקציית אובדן

בפרויקטים של למידת מכונה, אפשר לבצע הגדרה באמצעות קובץ הגדרה מיוחד או באמצעות ספריות הגדרה כמו אלה:

• HParam
• Gin
• Fiddle

הטיית אישור

#responsible

הנטייה לחפש מידע, לפרש אותו, להעדיף אותו ולזכור אותו באופן שמחזק את האמונות או ההשערות הקיימות של האדם. יכול להיות שמפתחים של למידת מכונה יאספו או יסמנו נתונים בטעות בדרכים שישפיעו על תוצאה שתתמוך באמונות הקיימות שלהם. הטיית אישור היא סוג של הטיה מרומזת.

הטיה של עורכי ניסויים היא סוג של הטיית אישור שבה עורך ניסויים ממשיך לאמן מודלים עד שמאושרת השערה קיימת.

מטריצת בלבול

#fundamentals

טבלה בגודל NxN שמסכמת את מספר התחזיות הנכונות והלא נכונות שבוצעו על ידי מודל סיווג. לדוגמה, הנה מטריצת בלבול עבור מודל של סיווג בינארי:

	גידול (צפוי)	לא גידול (צפוי)
גידול (ערך סף)	‫18 (TP)	‫1 (FN)
לא גידול (ערך סף)	‫6 (FP)	452 (TN)

מטריצת הבלבול שלמעלה מציגה את הנתונים הבאים:

• מתוך 19 התחזיות שבהן האמת הבסיסית הייתה Tumor, המודל סיווג 18 מהן בצורה נכונה ו-1 בצורה שגויה.
• מתוך 458 חיזויים שבהם האמת הבסיסית הייתה Non-Tumor, המודל סיווג 452 בצורה נכונה ו-6 בצורה שגויה.

מטריצת הבלבול של בעיית סיווג רב-מחלקתי יכולה לעזור לכם לזהות דפוסים של טעויות. לדוגמה, נניח שיש לנו מטריצת בלבול למודל סיווג רב-סוגי עם 3 סוגים, שמסווג 3 סוגים שונים של אירוסים (Virginica, ‏ Versicolor ו-Setosa). כשערך האמת היה Virginica, מטריצת השגיאות הראתה שהמודל היה הרבה יותר סביר לטעות ולחזות Versicolor מאשר Setosa:

	Setosa (predicted)	Versicolor (צפוי)	‫Virginica (חזוי)
Setosa (ערך סף)	88	12	0
Versicolor (ערך סף)	6	141	7
Virginica (ערכי סף)	2	27	109

דוגמה נוספת: מטריצת בלבול יכולה לחשוף שמודל שאומן לזיהוי ספרות בכתב יד נוטה לחזות בטעות 9 במקום 4, או לחזות בטעות 1 במקום 7.

מטריצות הבלבול מכילות מספיק מידע כדי לחשב מגוון מדדי ביצועים, כולל דיוק ורגישות.

ניתוח של מחוז בחירה

חלוקת משפט למבנים דקדוקיים קטנים יותר ("רכיבים"). חלק מאוחר יותר במערכת למידת המכונה, כמו מודל של הבנת שפה טבעית, יכול לנתח את המרכיבים בקלות רבה יותר מאשר המשפט המקורי. לדוגמה, המשפט הבא:

החבר שלי אימץ שני חתולים.

מנתח של רכיבים תחביריים יכול לחלק את המשפט הזה לשני רכיבים תחביריים:

• ‫My friend הוא צירוף שם עצם.
• ‫adopted two cats הוא צירוף פועל.

אפשר לחלק את המרכיבים האלה למרכיבים קטנים יותר. לדוגמה, צירוף הפועל

אימצתי שני חתולים

אפשר לחלק אותם עוד יותר לקטגוריות הבאות:

• adopted הוא פועל.
• two cats הוא עוד צירוף שם עצם.

הטמעת שפה בהתאם להקשר

#generativeAI

הטמעה שמתקרבת ל'הבנה' של מילים וביטויים בדרכים שדוברי שפה שוטפת יכולים להבין. הטמעות של שפה בהקשר יכולות להבין תחביר, סמנטיקה והקשר מורכבים.

לדוגמה, נבחן הטמעות של המילה האנגלית cow. הטמעות ישנות יותר, כמו word2vec, יכולות לייצג מילים באנגלית כך שהמרחק במרחב ההטמעה בין cow ל-bull דומה למרחק בין ewe (כבשה) ל-ram (איל) או בין female ל-male. הטמעות לפי הקשר יכולות לזהות שדוברי אנגלית משתמשים לפעמים במילה cow כדי להתייחס גם לפרה וגם לשור.

חלון ההקשר

#generativeAI

מספר הטוקנים שמודל יכול לעבד בהנחיה נתונה. ככל שחלון ההקשר גדול יותר, המודל יכול להשתמש ביותר מידע כדי לספק תשובות עקביות וקוהרנטיות להנחיה.

תכונה רציפה

#fundamentals

תכונה של נקודה צפה עם טווח אינסופי של ערכים אפשריים, כמו טמפרטורה או משקל.

ההבדל בין התכונה הזו לבין תכונה נפרדת.

דגימת נוחות [ברבים: דגימות נוחוּת]

שימוש במערך נתונים שלא נאסף בצורה מדעית כדי להריץ ניסויים מהירים. בהמשך, חשוב לעבור למערך נתונים שנאסף באופן מדעי.

קונברגנציה

#fundamentals

מצב שמתקבל כשערכי ההפסד משתנים מעט מאוד או לא משתנים בכלל בכל איטרציה. לדוגמה, מעקומת ההפסד הבאה אפשר לראות שההתכנסות מתרחשת בערך אחרי 700 איטרציות:

מודל מתכנס כשאימון נוסף לא ישפר אותו.

בלמידה עמוקה, ערכי ההפסד נשארים לפעמים קבועים או כמעט קבועים במשך הרבה איטרציות לפני שהם יורדים בסופו של דבר. במהלך תקופה ארוכה של ערכי הפסד קבועים, יכול להיות שתקבלו באופן זמני תחושה מוטעית של התכנסות.

אפשר לעיין גם במאמר בנושא עצירה מוקדמת.

מידע נוסף זמין במאמר Model convergence and loss curves (התכנסות מודלים ועקומות הפסד) בסדנה בנושא למידת מכונה.

תכנות בממשק שיחה

#generativeAI

שיחה איטרטיבית ביניכם לבין מודל AI גנרטיבי, במטרה ליצור תוכנה. אתם מזינים הנחיה שמתארת תוכנה מסוימת. לאחר מכן, המודל משתמש בתיאור הזה כדי ליצור קוד. אחר כך מזינים הנחיה חדשה כדי לטפל בפגמים בהנחיה הקודמת או בקוד שנוצר, והמודל יוצר קוד מעודכן. אתם ממשיכים להחליף תשובות עד שהתוכנה שנוצרה מספיק טובה.

קידוד שיחות הוא למעשה המשמעות המקורית של קידוד אווירה.

ההפך מקידוד לפי מפרט.

פונקציה קמורה

פונקציה שבה האזור שמעל הגרף הוא קבוצה קמורה. הצורה של פונקציה קמורה טיפוסית היא כמו האות U. לדוגמה, כל הפונקציות הבאות הן פונקציות קמורות:

לעומת זאת, הפונקציה הבאה היא לא קמורה. שימו לב שהאזור שמעל הגרף הוא לא קבוצה קמורה:

לפונקציה קמורה לחלוטין יש בדיוק נקודת מינימום מקומית אחת, שהיא גם נקודת המינימום הגלובלית. הפונקציות הקלאסיות בצורת U הן פונקציות קמורות לחלוטין. עם זאת, חלק מהפונקציות הקמורות (לדוגמה, קווים ישרים) לא יוצרות צורה של U.

כדי לראות את החישובים, לוחצים על הסמל.

הרבה פונקציות אובדן נפוצות, כולל אלה שבהמשך, הן פונקציות קמורות:

• L₂ loss
• Log Loss
• רגולריזציה מסוג L₁
• רגולריזציה מסוג _L2

יש וריאציות רבות של gradient descent שמבטיחות למצוא נקודה קרובה למינימום של פונקציה קמורה לחלוטין. באופן דומה, להרבה וריאציות של stochastic gradient descent יש הסתברות גבוהה (אבל לא מובטחת) למצוא נקודה קרובה למינימום של פונקציה קמורה לחלוטין.

סכום של שתי פונקציות קמורות (לדוגמה, הפסד L₂ + רגולריזציה L₁) הוא פונקציה קמורה.

מודלים עמוקים הם אף פעם לא פונקציות קמורות. באופן מפתיע, אלגוריתמים שנועדו לאופטימיזציה קמורה נוטים למצוא פתרונות טובים למדי ברשתות עמוקות, גם אם לא מובטח שהפתרונות האלה הם מינימום גלובלי.

---

מידע נוסף זמין במאמר התכנסות ופונקציות קמורות בסדנה ללימוד מכונתית.

אופטימיזציה קמורה

התהליך של שימוש בטכניקות מתמטיות כמו ירידת גרדיאנט כדי למצוא את המינימום של פונקציה קמורה. חלק גדול מהמחקר בתחום למידת המכונה מתמקד בניסוח של בעיות שונות כבעיות אופטימיזציה קמורות, ובפתרון הבעיות האלה בצורה יעילה יותר.

פרטים נוספים זמינים בספר Convex Optimization של Boyd ו-Vandenberghe.

קבוצה קמורה

קבוצת משנה של מרחב אוקלידי, כך שקו שמצויר בין שתי נקודות כלשהן בקבוצת המשנה נשאר כולו בתוך קבוצת המשנה. לדוגמה, שתי הצורות הבאות הן קבוצות קמורות:

לעומת זאת, שתי הצורות הבאות הן לא קבוצות קמורות:

קונבולוציה

במתמטיקה, באופן לא רשמי, תערובת של שתי פונקציות. במכונת למידה, קונבולוציה מערבבת את מסנן הקונבולוציה ואת מטריצת הקלט כדי לאמן משקלים.

המונח 'קונבולוציה' בלמידת מכונה הוא לרוב קיצור לציון פעולת קונבולוציה או שכבת קונבולוציה.

בלי קונבולוציות, אלגוריתם של למידת מכונה יצטרך ללמוד משקל נפרד לכל תא בטנסור גדול. לדוגמה, אלגוריתם של למידת מכונה שאומן על תמונות בגודל 2K x 2K יצטרך למצוא 4 מיליון משקלים נפרדים. בזכות הקונבולוציות, אלגוריתם של למידת מכונה צריך למצוא משקלים רק לכל תא במסנן הקונבולוציה, וכך מצטמצם באופן משמעותי הזיכרון שנדרש לאימון המודל. כשמחילים את המסנן הקונבולוציוני, הוא פשוט משוכפל בתאים כך שכל תא מוכפל במסנן.

מידע נוסף זמין במאמר היכרות עם רשתות עצביות קונבולוציוניות בקורס בנושא סיווג תמונות.

מסנן קונבולוציה

אחד משני השחקנים בפעולת קונבולוציה. (השחקן השני הוא פרוסה של מטריצת קלט). מסנן קונבולוציה הוא מטריצה עם דרגה זהה לזו של מטריצת הקלט, אבל עם צורה קטנה יותר. לדוגמה, אם מטריצת הקלט היא בגודל 28x28, המסנן יכול להיות כל מטריצה דו-ממדית קטנה יותר מ-28x28.

במניפולציה של תמונות, כל התאים במסנן קונבולוציוני מוגדרים בדרך כלל לתבנית קבועה של אחדות ואפסים. בלמידת מכונה, מסנני קונבולוציה בדרך כלל מאותחלים עם מספרים אקראיים, ואז הרשת מתאמנת על הערכים האידיאליים.

מידע נוסף זמין במאמר בנושא קונבולוציה בקורס בנושא סיווג תמונות.

שכבת קונבולוציה

שכבה של רשת נוירונים עמוקה שבה מסנן קונבולוציה מעביר מטריצת קלט. לדוגמה, נבחן את מסנן הקונבולוציה הבא בגודל 3x3:

באנימציה הבאה מוצגת שכבת קונבולוציה שמורכבת מ-9 פעולות קונבולוציה שכוללות את מטריצת הקלט בגודל 5x5. שימו לב שכל פעולת קונבולוציה פועלת על פרוסת 3x3 שונה של מטריצת הקלט. מטריצת 3x3 שמתקבלת (משמאל) מורכבת מתוצאות של 9 פעולות קונבולוציה:

מידע נוסף זמין במאמר בנושא שכבות מקושרות באופן מלא בקורס בנושא סיווג תמונות.

רשת נוירונים קונבולוציונית

רשת נוירונים שבה לפחות שכבה אחת היא שכבת קונבולוציה. רשת עצבית קונבולוציונית טיפוסית מורכבת משילוב כלשהו של השכבות הבאות:

• שכבות קונבולוציה
• שכבות איגום
• שכבות צפופות

רשתות נוירונים קונבולוציוניות (CNN) השיגו הצלחה רבה בפתרון בעיות מסוימות, כמו זיהוי תמונות.

פעולת קונבולוציה

הפעולה המתמטית הבאה בשני שלבים:

1. הכפלה של כל רכיב במסנן קונבולוציה עם פרוסת מטריצת קלט. (לפרוסת מטריצת הקלט יש דרגה וגודל זהים לאלה של מסנן הקונבולוציה).
2. סכום כל הערכים במטריצת המוצרים שמתקבלת.

לדוגמה, מטריצת הקלט הבאה בגודל 5x5:

עכשיו נדמיין מסנן קונבולוציה בגודל 2x2:

כל פעולת קונבולוציה כוללת פרוסה אחת בגודל 2x2 של מטריצת הקלט. לדוגמה, נניח שאנחנו משתמשים בפרוסת 2x2 בפינה הימנית העליונה של מטריצת הקלט. לכן, פעולת הקונבולוציה על הפרוסה הזו נראית כך:

שכבת קונבולוציה מורכבת מסדרה של פעולות קונבולוציה, שכל אחת מהן פועלת על פרוסה אחרת של מטריצת הקלט.

עלות

#Metric

מילה נרדפת להפסד.

אימון משותף

גישה של למידה מונחית למחצה, שימושית במיוחד כשמתקיימים כל התנאים הבאים:

• היחס בין דוגמאות לא מסומנות לבין דוגמאות מסומנות במערך הנתונים גבוה.
• זו בעיית סיווג (בינארי או רב-מחלקה).
• מערך הנתונים מכיל שני סטים שונים של תכונות חיזוי, שהם בלתי תלויים ומשלימים זה את זה.

באימון משותף, האותות העצמאיים מוגברים והופכים לאות חזק יותר. לדוגמה, נניח שיש מודל סיווג שמסווג מכוניות משומשות בודדות כטובות או כגרועות. קבוצה אחת של תכונות חיזויות עשויה להתמקד במאפיינים מצטברים כמו השנה, היצרן והדגם של המכונית. קבוצה אחרת של תכונות חיזויות עשויה להתמקד בתיעוד הנהיגה של הבעלים הקודם ובהיסטוריית התחזוקה של המכונית.

המאמר המרכזי בנושא אימון משותף הוא Combining Labeled and Unlabeled Data with Co-Training מאת Blum ו-Mitchell.

הוגנות קונטרה-פקטואלית

#responsible

#Metric

מדד הוגנות שבודק אם מודל סיווג מפיק את אותה תוצאה עבור אדם מסוים כמו עבור אדם אחר זהה, למעט מאפיינים רגישים מסוימים. הערכה של מודל סיווג לצורך בדיקת הוגנות קונטרה-פקטואלית היא שיטה אחת לזיהוי מקורות פוטנציאליים של הטיה במודל.

מידע נוסף זמין במאמרים הבאים:

• הוגנות: הוגנות מנוגדת לעובדות בקורס המקוצר על למידת מכונה.
• When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness

הטיית כיסוי

#responsible

ראו הטיית בחירה.

crash blossom

משפט או ביטוי עם משמעות לא ברורה. תופעת ה-crash blossoms יוצרת בעיה משמעותית בהבנת שפה טבעית. לדוגמה, הכותרת Red Tape Holds Up Skyscraper היא crash blossom כי מודל NLU יכול לפרש את הכותרת באופן מילולי או באופן פיגורטיבי.

כדי לראות הערות נוספות, לוחצים על הסמל.

רק כדי להבהיר את הכותרת המסתורית:

• המונח Red Tape יכול להתייחס לאחת מהאפשרויות הבאות:
  • חומר דביק
  • בירוקרטיה מוגזמת
• הערך Holds Up יכול להתייחס לאחת מהאפשרויות הבאות:
  • תמיכה מבנית
  • עיכובים

---

מבקר/ת

מילה נרדפת ל-Deep Q-Network.

אנטרופיה צולבת

#Metric

הכללה של Log Loss לבעיות סיווג מרובות מחלקות. האנטרופיה הצולבת מכמתת את ההבדל בין שתי התפלגויות הסתברות. מידע נוסף זמין במאמר בנושא perplexity.

אימות צולב

מנגנון להערכת מידת ההכללה של מודל לנתונים חדשים. ההערכה מתבצעת על ידי בדיקת המודל מול קבוצות משנה של נתונים שלא חופפות זו לזו, שלא נכללו במערך האימון.

פונקציית התפלגות מצטברת (CDF)

#Metric

פונקציה שמגדירה את התדירות של דגימות שקטנות מערך יעד או שוות לו. לדוגמה, נניח שיש התפלגות נורמלית של ערכים רציפים. פונקציית CDF מראה שכ-50% מהדגימות צריכות להיות קטנות מהממוצע או שוות לו, וכ-84% מהדגימות צריכות להיות קטנות מהממוצע בסטיית תקן אחת או שוות לו.

D

ניתוח נתונים

הבנת הנתונים על ידי בחינת דוגמאות, מדידות והמחשה. ניתוח נתונים יכול להיות שימושי במיוחד כשמקבלים מערך נתונים בפעם הראשונה, לפני שיוצרים את המודל הראשון. הוא גם חשוב להבנת ניסויים ולניפוי באגים במערכת.

הגדלת מערך הנתונים

הגדלה מלאכותית של טווח הדוגמאות לאימון ומספרן על ידי שינוי דוגמאות קיימות כדי ליצור דוגמאות נוספות. לדוגמה, נניח שתמונות הן אחת מהתכונות שלכם, אבל מערך הנתונים לא מכיל מספיק דוגמאות של תמונות כדי שהמודל ילמד שיוכים שימושיים. מומלץ להוסיף למערך הנתונים מספיק תמונות מתויגות כדי לאפשר אימון תקין של המודל. אם זה לא אפשרי, אפשר להשתמש בהגדלת מערך הנתונים כדי לסובב, למתוח ולשקף כל תמונה כדי ליצור וריאציות רבות של התמונה המקורית. יכול להיות שזה יניב מספיק נתונים מתויגים כדי לאפשר אימון מצוין.

DataFrame

#fundamentals

סוג נתונים פופולרי של pandas לייצוג מערכי נתונים בזיכרון.

‫DataFrame דומה לטבלה או לגיליון אלקטרוני. לכל עמודה ב-DataFrame יש שם (כותרת), ולכל שורה יש מספר ייחודי.

כל עמודה ב-DataFrame בנויה כמו מערך דו-ממדי, אבל אפשר להקצות לכל עמודה סוג נתונים משלה.

אפשר לעיין גם בדף העיון הרשמי של pandas.DataFrame.

מקביליות נתונים

שיטה להרחבת אימון או הסקת מסקנות, שבה משכפלים מודל שלם למספר מכשירים ואז מעבירים לכל מכשיר קבוצת משנה של נתוני הקלט. מקביליות נתונים יכולה לאפשר אימון והסקת מסקנות בגדלים גדולים מאוד של אצווה. עם זאת, מקביליות נתונים מחייבת שהמודל יהיה קטן מספיק כדי להתאים לכל המכשירים.

בדרך כלל, מקביליות נתונים מזרזת את האימון וההסקה.

אפשר לעיין גם במאמר בנושא מקביליות של מודלים.

‫Dataset API‏ (tf.data)

#TensorFlow

‫API ברמה גבוהה של TensorFlow לקריאת נתונים ולהמרה שלהם לפורמט שנדרש לאלגוריתם של למידת מכונה. אובייקט tf.data.Dataset מייצג רצף של רכיבים, שכל אחד מהם מכיל טנסור אחד או יותר. אובייקט tf.data.Iterator מספק גישה לרכיבים של Dataset.

קבוצת נתונים

#fundamentals

אוסף של נתונים גולמיים, בדרך כלל (אבל לא רק) באחד מהפורמטים הבאים:

• גיליון אלקטרוני
• קובץ בפורמט CSV (ערכים מופרדים בפסיקים)

גבול ההחלטה

הקו שמפריד בין המחלקות שנלמדו על ידי מודל בבעיות סיווג בינאריות או בבעיות סיווג מרובות מחלקות. לדוגמה, בתמונה הבאה שמייצגת בעיית סיווג בינארית, גבול ההחלטה הוא הגבול בין המחלקה הכתומה למחלקה הכחולה:

יער החלטות

#df

מודל שנוצר מכמה עצי החלטה. כדי לחזות, יער החלטות מסכם את התחזיות של עצי ההחלטות שלו. סוגים פופולריים של יערות החלטה כוללים יערות אקראיים ועצים עם שיפור גרדיאנט.

מידע נוסף זמין בקטע יערות החלטה בקורס בנושא יערות החלטה.

סף ההחלטה

מילה נרדפת לסף סיווג.

עץ החלטה

#df

מודל של למידה מונחית שמורכב מקבוצה של תנאים וענפים שמאורגנים בהיררכיה. לדוגמה, זהו עץ החלטות:

מפענח

באופן כללי, כל מערכת ML שמבצעת המרה מייצוג מעובד, צפוף או פנימי לייצוג גולמי, דליל או חיצוני יותר.

מפענחים הם לרוב רכיב של מודל גדול יותר, שבו הם משולבים לעיתים קרובות עם מקודד.

במשימות של רצף לרצף, מפענח מתחיל עם המצב הפנימי שנוצר על ידי המקודד כדי לחזות את הרצף הבא.

במאמר Transformer מוגדר מפענח בארכיטקטורת Transformer.

מידע נוסף זמין במאמר מודלים גדולים של שפה בקורס Machine Learning Crash Course.

מודל עמוק

#fundamentals

רשת עצבית שמכילה יותר משכבה נסתרת.

מודל עמוק נקרא גם רשת עצבית עמוקה.

ההפך ממודל רחב.

של רשת עצבית עמוקה

מילה נרדפת למודל עמוק.

Deep Q-Network (DQN)

ב-Q-learning, נעשה שימוש ברשת עצבית עמוקה כדי לחזות פונקציות Q.

Critic הוא מילה נרדפת ל-Deep Q-Network.

שוויון דמוגרפי

#responsible

#Metric

מדד הוגנות שמתקיים אם תוצאות הסיווג של מודל לא תלויות במאפיין רגיש נתון.

לדוגמה, אם גם אנשי ליליפוט וגם אנשי ברובדינגנאג מגישים בקשה להתקבל לאוניברסיטת גלאבדובדריב, מתקבלת שוויון דמוגרפי אם אחוז אנשי ליליפוט שמתקבלים זהה לאחוז אנשי ברובדינגנאג שמתקבלים, ללא קשר לשאלה אם קבוצה אחת מוסמכת יותר מהשנייה בממוצע.

ההגדרה הזו שונה מהשוואת סיכויי ההצלחה והשוואת ההזדמנויות, שמאפשרות לתוצאות הסיווג הכוללות להיות תלויות במאפיינים רגישים, אבל לא מאפשרות לתוצאות הסיווג של תוויות אמת בסיסית מסוימות להיות תלויות במאפיינים רגישים. במאמר "Attacking discrimination with smarter machine learning" (התמודדות עם אפליה באמצעות למידת מכונה חכמה יותר) מוצג תרשים שממחיש את היתרונות והחסרונות של אופטימיזציה להשגת שוויון דמוגרפי.

מידע נוסף זמין במאמר בנושא הוגנות: שוויון דמוגרפי בקורס המקוצר על למידת מכונה.

הסרת רעשים

גישה נפוצה ללמידה מונחית עצמית שבה:

1. רעש הוא נתון שנוסף באופן מלאכותי למערך הנתונים.
2. המודל מנסה להסיר את הרעש.

הסרת רעשים מאפשרת למידה מדוגמאות לא מסומנות. מערך הנתונים המקורי משמש כיעד או כתווית, והנתונים עם הרעש משמשים כקלט.

חלק ממודלים של התממת שפה (MLM) משתמשים בהסרת רעשים באופן הבא:

1. רעש מתווסף באופן מלאכותי למשפט ללא תווית על ידי מיסוך של חלק מהטוקנים.
2. המודל מנסה לחזות את הטוקנים המקוריים.

תכונה צפופה

#fundamentals

תכונה שרוב הערכים שלה או כולם הם לא אפס, בדרך כלל טנזור של ערכים מסוג נקודה צפה. לדוגמה, טנסור עם 10 רכיבים הוא צפוף כי 9 מהערכים שלו שונים מאפס:

8

3

7

5

2

4

0

4

9

6

ההבדל בין התכונה הזו לבין sparse feature.

שכבה צפופה

מילה נרדפת לשכבה מקושרת באופן מלא.

depth

#fundamentals

הסכום של הרכיבים הבאים ברשת נוירונים:

• מספר השכבות הנסתרות
• מספר שכבות הפלט, שבדרך כלל הוא 1
• מספר שכבות ההטמעה

לדוגמה, רשת עצבית עם חמש שכבות נסתרות ושכבת פלט אחת היא בעומק 6.

שימו לב ששכבת הקלט לא משפיעה על העומק.

רשת נוירונים קונבולוציונית (CNN) שניתן להפריד אותה לפי עומק (sepCNN)

ארכיטקטורה של רשת עצבית מורכבת שמבוססת על Inception, אבל מודולי Inception מוחלפים בה ב-convolutions נפרדים לפי עומק. נקרא גם Xception.

קונבולוציה ניתנת להפרדה לפי עומק (שנקראת גם קונבולוציה ניתנת להפרדה) מפרקת קונבולוציה תלת-ממדית רגילה לשתי פעולות קונבולוציה נפרדות שהן יעילות יותר מבחינת חישוב: קודם, קונבולוציה לפי עומק, עם עומק של 1 (n ✕ n ✕ 1), ואז, קונבולוציה לפי נקודה, עם אורך ורוחב של 1 (1 ✕ 1 ✕ n).

מידע נוסף זמין במאמר Xception: Deep Learning with Depthwise Separable Convolutions.

תווית נגזרת

מילה נרדפת ל-תווית proxy.

מכשיר

#TensorFlow

#GoogleCloud

מונח עמוס עם שתי הגדרות אפשריות:

1. קטגוריה של חומרה שיכולה להריץ סשן של TensorFlow, כולל מעבדי CPU, מעבדי GPU ומעבדי TPU.
2. כשמבצעים אימון של מודל ML על שבבי האצה (GPU או TPU), החלק במערכת שמבצע בפועל מניפולציה של טנסורים ושל הטבעות. המכשיר פועל על שבבי האצה. לעומת זאת, המארח פועל בדרך כלל במעבד.

פרטיות דיפרנציאלית

במידת מכונה, גישה לאנונימיזציה שנועדה להגן על נתונים רגישים (לדוגמה, מידע אישי של אדם מסוים) שכלולים במערך האימון של מודל מפני חשיפה. הגישה הזו מבטיחה שהמודל לא ילמד או יזכור הרבה על אדם ספציפי. ההגנה הזו מושגת באמצעות דגימה והוספה של רעש במהלך אימון המודל, כדי להסתיר נקודות נתונים פרטניות ולצמצם את הסיכון לחשיפה של נתוני אימון רגישים.

פרטיות דיפרנציאלית משמשת גם מחוץ ללמידת מכונה. לדוגמה, מדעני נתונים משתמשים לפעמים בפרטיות דיפרנציאלית כדי להגן על הפרטיות של כל אחד מהמשתמשים כשהם מחשבים נתונים סטטיסטיים על השימוש במוצר עבור מאפיינים דמוגרפיים שונים.

הפחתת ממדים

הקטנת מספר המאפיינים שמשמשים לייצוג תכונה מסוימת בווקטור תכונות, בדרך כלל על ידי המרה לווקטור הטמעה.

מימדים

מונח בעל עומס יתר עם אחת מההגדרות הבאות:

• מספר הרמות של הקואורדינטות בTensor. לדוגמה:

  • לסקלר יש אפס מימדים. לדוגמה, ["Hello"].
  • לווקטור יש מימד אחד, לדוגמה: [3, 5, 7, 11].
  • למטריצה יש שני מאפיינים, לדוגמה, [[2, 4, 18], [5, 7, 14]]. אפשר לציין באופן ייחודי תא מסוים בווקטור חד-ממדי באמצעות קואורדינטה אחת, אבל צריך שתי קואורדינטות כדי לציין באופן ייחודי תא מסוים במטריצה דו-ממדית.

• מספר הרשומות בוקטור המאפיינים.

• מספר האלמנטים בשכבת הטמעה.

הנחיות ישירות

#generativeAI

מילה נרדפת ליצירת הנחיות מאפס.

תכונה נפרדת

#fundamentals

תכונה עם קבוצה סופית של ערכים אפשריים. לדוגמה, מאפיין שהערכים שלו יכולים להיות רק animal (בעל חיים), vegetable (ירק) או mineral (מינרל) הוא מאפיין בדיד (או קטגורי).

ההגדרה הזו שונה מתכונה מתמשכת.

מודל דיסקרימינטיבי

מודל שמנבא תוויות מתוך קבוצה של תכונות אחת או יותר. באופן רשמי יותר, מודלים מפלים מגדירים את ההסתברות המותנית של פלט בהינתן התכונות והמשקלים; כלומר:

p(output | features, weights)

לדוגמה, מודל שמנבא אם אימייל הוא ספאם על סמך תכונות ומשקלים הוא מודל מבדל.

רוב המודלים של למידה מונחית, כולל מודלים של סיווג ורגרסיה, הם מודלים דיסקרימינטיביים.

ההגדרה הזו שונה ממודל גנרטיבי.

דיסקרימינטור

מערכת שקובעת אם הדוגמאות הן אמיתיות או מזויפות.

לחלופין, המערכת המשנית בתוך רשת גנרטיבית יריבה שקובעת אם הדוגמאות שנוצרו על ידי הגנרטור הן אמיתיות או מזויפות.

מידע נוסף זמין במאמר המסווג בקורס GAN.

השפעה שונה

#responsible

קבלת החלטות לגבי אנשים שמשפיעות באופן לא פרופורציונלי על קבוצות משנה שונות באוכלוסייה. בדרך כלל מדובר במצבים שבהם תהליך אלגוריתמי של קבלת החלטות פוגע בקבוצות משנה מסוימות יותר מאשר באחרות, או מועיל להן יותר מאשר לאחרות.

לדוגמה, נניח שיש אלגוריתם שקובע אם אדם זכאי להלוואה לרכישת בית זעיר, וסביר יותר שהוא יסווג אותו כ'לא זכאי' אם מיקוד מסוים מופיע בכתובת למשלוח דואר שלו. אם לתושבי ליליפוט שמשתמשים בשיטת Big-Endian יש סיכוי גבוה יותר להשתמש בכתובות למשלוח עם המיקוד הזה מאשר לתושבי ליליפוט שמשתמשים בשיטת Little-Endian, יכול להיות שהאלגוריתם הזה יגרום להשפעה לא פרופורציונלית.

ההגדרה הזו שונה מיחס מפלה, שמתמקדת בפערים שנוצרים כשמאפיינים של קבוצות משנה הם נתונים מפורשים בתהליך אלגוריתמי של קבלת החלטות.

יחס שונה

#responsible

הכללת מאפיינים רגישים של נושאי התוכן בתהליך קבלת החלטות אלגוריתמי, כך שקבוצות משנה שונות של אנשים מקבלות יחס שונה.

לדוגמה, נניח שיש אלגוריתם שקובע אם לתושבי ליליפוט מגיעה הלוואה לרכישת בית מיניאטורי על סמך הנתונים שהם מספקים בבקשת ההלוואה. אם האלגוריתם משתמש בשיוך של תושב ליליפוט כ-Big-Endian או כ-Little-Endian כקלט, הוא מבצע אפליה לאורך הממד הזה.

המושג הזה שונה מהשפעה לא פרופורציונלית, שמתמקדת בפערים בהשפעות החברתיות של החלטות אלגוריתמיות על קבוצות משנה, בלי קשר לשאלה אם קבוצות המשנה האלה הן נתוני קלט למודל.

אזהרה: מאפיינים רגישים כמעט תמיד קשורים לתכונות אחרות בנתונים, ולכן הסרה מפורשת של מידע על מאפיינים רגישים לא מבטיחה שקבוצות משנה יקבלו יחס שווה. לדוגמה, אם מסירים ממערך נתונים לאימון מאפיינים דמוגרפיים רגישים, אבל עדיין כוללים את המיקוד כמאפיין, יכול להיות שזה יפתור את הבעיה של אפליה בין קבוצות משנה, אבל עדיין יכולה להיות השפעה מפלה על הקבוצות האלה כי המיקוד יכול לשמש כפרוקסי למידע דמוגרפי אחר.

זיקוק

#generativeAI

תהליך של הקטנת הגודל של מודל (שנקרא מורה) למודל קטן יותר (שנקרא תלמיד) שמדמה את התחזיות של המודל המקורי בצורה הכי מדויקת שאפשר. זיקוק מועיל כי למודל הקטן יש שני יתרונות מרכזיים על פני המודל הגדול יותר (המודל המלמד):

• זמן הסקת מסקנות מהיר יותר
• צריכת זיכרון ואנרגיה מופחתת

עם זאת, בדרך כלל התחזיות של התלמידים לא טובות כמו התחזיות של המורים.

בזיקוק, המודל התלמיד עובר אימון כדי למזער פונקציית הפסד על סמך ההבדל בין התוצאות של התחזיות של מודלי התלמיד והמורה.

השוו והבדילו בין זיקוק לבין המונחים הבאים:

• שיפור הדיוק
• למידה מבוססת-הנחיות

מידע נוסף מופיע במאמר מודלים גדולים של שפה (LLM): כוונון עדין, זיקוק והנדסת הנחיות בקורס המקוצר על למידת מכונה.

distribution

התדירות והטווח של ערכים שונים עבור תכונה או תווית נתונים מסוימת. התפלגות מתעדת את הסבירות של ערך מסוים.

בתמונה הבאה מוצגים היסטוגרמות של שתי התפלגויות שונות:

• בצד ימין, התפלגות חוק החזקה של העושר לעומת מספר האנשים שמחזיקים בעושר הזה.
• משמאל, התפלגות נורמלית של הגובה לעומת מספר האנשים בגובה הזה.

הבנת הפיזור של כל תכונה ותווית יכולה לעזור לכם לקבוע איך לנרמל ערכים ולזהות ערכים חריגים.

הביטוי out of distribution מתייחס לערך שלא מופיע במערך הנתונים או שהוא נדיר מאוד. לדוגמה, תמונה של כוכב שבתאי תיחשב כחריגה מההתפלגות של מערך נתונים שמורכב מתמונות של חתולים.

סידור באשכולות באמצעות חלוקה

#clustering

מידע נוסף מופיע במאמר בנושא אשכול היררכי.

דגימה ברזולוציה נמוכה

מונח עמוס שיכול להתייחס לאחת מהאפשרויות הבאות:

• הפחתת כמות המידע בתכונה כדי לאמן מודל בצורה יעילה יותר. לדוגמה, לפני אימון מודל לזיהוי תמונות, מבצעים דגימת חסר של תמונות ברזולוציה גבוהה לפורמט ברזולוציה נמוכה יותר.
• אימון על אחוז נמוך באופן לא פרופורציונלי של דוגמאות של סיווג שמוצגות יתר על המידה, כדי לשפר את אימון המודל על סיווגים שמוצגים פחות. לדוגמה, במערך נתונים עם חוסר איזון בין מחלקות, המודלים נוטים ללמוד הרבה על מחלקת הרוב ולא מספיק על מחלקת המיעוט. דילול דגימה עוזר לאזן את כמות האימון של רוב המחלקות ומיעוט המחלקות.

מידע נוסף זמין במאמר מערכי נתונים: מערכי נתונים לא מאוזנים בקורס המקוצר על למידת מכונה.

DQN

קיצור של Deep Q-Network (רשת Q עמוקה).

רגולריזציה של נשירה

סוג של רגולריזציה שמועיל לאימון של רשתות נוירונים. רגולריזציה של נשירה מסירה בחירה אקראית של מספר קבוע של יחידות בשכבת רשת לשלב שיפוע יחיד. ככל שיותר יחידות נושרות, כך הרגולריזציה חזקה יותר. זה דומה לאימון הרשת כדי לחקות אנסמבל גדול באופן אקספוננציאלי של רשתות קטנות יותר. פרטים מלאים זמינים במאמר Dropout: A Simple Way to Prevent Neural Networks from Overfitting.

דינמי

#fundamentals

משהו שעושים לעיתים קרובות או באופן רציף. המונחים דינמי ואונליין הם מילים נרדפות בתחום למידת המכונה. אלה שימושים נפוצים במונחים דינמי ואונליין בלמידת מכונה:

• מודל דינמי (או מודל אונליין) הוא מודל שעובר אימון מחדש לעיתים קרובות או באופן רציף.
• הדרכה דינמית (או הדרכה אונליין) היא תהליך של הדרכה בתדירות גבוהה או באופן רציף.
• הסקת מסקנות דינמית (או הסקת מסקנות אונליין) היא תהליך של יצירת תחזיות לפי דרישה.

מודל דינמי

#fundamentals

מודל שעובר אימון מחדש לעיתים קרובות (אולי אפילו באופן רציף). מודל דינמי הוא 'לומד לכל החיים' שמתאים את עצמו כל הזמן לנתונים משתנים. מודל דינמי נקרא גם מודל אונליין.

השוואה למודל סטטי.

E

הרצה מיידית

#TensorFlow

סביבת תכנות של TensorFlow שבה פעולות מופעלות באופן מיידי. לעומת זאת, פעולות שמופעלות בביצוע גרף לא מופעלות עד שהן מוערכות במפורש. ההרצה המיידית היא ממשק אימפרטיבי, בדומה לקוד ברוב שפות התכנות. בדרך כלל קל הרבה יותר לבצע ניפוי באגים בתוכניות של ביצוע Eager מאשר בתוכניות של ביצוע גרף.

עצירה מוקדמת

#fundamentals

שיטה לרגולריזציה שכוללת סיום של אימון לפני שההפסד של האימון מפסיק לרדת. בשיטת העצירה המוקדמת, עוצרים בכוונה את אימון המודל כשההפסד במערך נתוני האימות מתחיל לעלות, כלומר כשביצועי ההכללה מתדרדרים.

כדי לראות הערות נוספות, לוחצים על הסמל.

יכול להיות שההפסקה המוקדמת תיראה לכם לא הגיונית. אחרי הכול, אם אומרים למודל להפסיק את האימון בזמן שההפסד עדיין יורד, זה כמו להגיד לשף להפסיק לבשל לפני שהקינוח נאפה לגמרי. עם זאת, אימון מודל למשך זמן ארוך מדי עלול להוביל להתאמת יתר. כלומר, אם מאמנים מודל יותר מדי זמן, יכול להיות שהמודל יתאים לנתוני האימון בצורה כל כך מדויקת שהוא לא יבצע חיזויים טובים לגבי דוגמאות חדשות.

---

ההפך מיציאה מוקדמת.

מרחק בין תנועות של עפר (EMD)

#Metric

מדד לדמיון היחסי בין שתי התפלגויות. ככל שהמרחק בין התמונות קטן יותר, כך ההתפלגויות דומות יותר.

מרחק עריכה

#Metric

מדד של מידת הדמיון בין שתי מחרוזות טקסט. בלמידת מכונה, מרחק העריכה שימושי מהסיבות הבאות:

• קל לחשב את מרחק העריכה.
• אפשר להשתמש במרחק עריכה כדי להשוות בין שתי מחרוזות שידוע שהן דומות זו לזו.
• מרחק העריכה יכול לקבוע את מידת הדמיון בין מחרוזות שונות למחרוזת נתונה.

יש כמה הגדרות של מרחק עריכה, וכל אחת מהן משתמשת בפעולות שונות על מחרוזות. דוגמה מופיעה במאמר בנושא מרחק לבנשטיין.

סימון איינסום

סימון יעיל לתיאור האופן שבו צריך לשלב בין שני טנסורים. הטנסורים משולבים על ידי הכפלת הרכיבים של טנסור אחד ברכיבים של הטנסור השני, ואז חישוב סכום המכפלות. בסימון איינסום משתמשים בסמלים כדי לזהות את הצירים של כל טנזור, ומסדרים מחדש את אותם סמלים כדי לציין את הצורה של הטנזור החדש שמתקבל.

‫NumPy מספקת הטמעה נפוצה של Einsum.

שכבת הטמעה

#fundamentals

שכבה נסתרת מיוחדת שעוברת אימון על מאפיין קטגורי עם הרבה ממדים, כדי ללמוד בהדרגה וקטור הטמעה עם פחות ממדים. שכבת הטמעה מאפשרת לאמן רשת נוירונים בצורה יעילה הרבה יותר מאשר אימון רק על תכונה קטגורית רב-ממדית.

לדוגמה, נכון לעכשיו, Earth תומך בכ-73,000 מיני עצים. נניח שתכונה במודל היא מין העץ, ולכן שכבת הקלט של המודל כוללת וקטור one-hot באורך 73,000 אלמנטים. לדוגמה, יכול להיות שהתו baobab ייוצג כך:

מערך עם 73,000 רכיבים הוא ארוך מאוד. אם לא מוסיפים למודל שכבת הטמעה, האימון יהיה ארוך מאוד כי צריך להכפיל 72,999 אפסים. יכול להיות שתבחרו ששכבת ההטמעה תכלול 12 ממדים. כתוצאה מכך, שכבת ההטמעה תלמד בהדרגה וקטור הטמעה חדש לכל מין של עץ.

במצבים מסוימים, גיבוב הוא חלופה סבירה לשכבת הטמעה.

מידע נוסף זמין במאמר Embeddings (הטמעה) בקורס המקוצר על למידת מכונה.

מרחב הטמעה

מרחב וקטורי d-ממדי שאליו ממופים מאפיינים ממרחב וקטורי רב-ממדי. מרחב ההטמעה מאומן לזהות מבנה שרלוונטי לאפליקציה המיועדת.

המכפלה הסקלרית של שני וקטורי הטמעה היא מדד לדמיון ביניהם.

וקטור הטמעה

באופן כללי, מערך של מספרים ממשיים שמופיעים בכל שכבה נסתרת ומתארים את נתוני הקלט של אותה שכבה נסתרת. לרוב, וקטור הטמעה הוא מערך של מספרים ממשיים (float) שאומנו בשכבת הטמעה. לדוגמה, נניח ששכבת הטמעה צריכה ללמוד וקטור הטמעה לכל אחד מ-73,000 מיני העצים בכדור הארץ. יכול להיות שהמערך הבא הוא וקטור ההטמעה של עץ באובב:

וקטור הטמעה הוא לא אוסף של מספרים אקראיים. שכבת הטמעה קובעת את הערכים האלה באמצעות אימון, בדומה לאופן שבו רשת עצבית לומדת משקלים אחרים במהלך האימון. כל רכיב במערך הוא דירוג של מאפיין מסוים של מין עצים. איזה רכיב מייצג את המאפיין של איזה מין עץ? קשה מאוד לבני אדם לקבוע את זה.

החלק המדהים מבחינה מתמטית בווקטור הטמעה הוא שפריטים דומים מכילים קבוצות דומות של מספרים ממשיים. לדוגמה, מינים דומים של עצים יניבו קבוצה דומה יותר של מספרים עם נקודה עשרונית מאשר מינים שונים של עצים. עצי סקוויה ועצי רדווד הם מינים קרובים של עצים, ולכן יהיה להם סט דומה יותר של מספרים עם נקודה צפה מאשר לעצי רדווד ולעצי קוקוס. המספרים בווקטור ההטמעה ישתנו בכל פעם שתאמנו מחדש את המודל, גם אם תאמנו אותו מחדש עם קלט זהה.

פונקציית התפלגות מצטברת אמפירית (eCDF או EDF)

#Metric

פונקציית התפלגות מצטברת שמבוססת על מדידות אמפיריות ממערך נתונים אמיתי. הערך של הפונקציה בכל נקודה לאורך ציר ה-x הוא החלק של התצפיות במערך הנתונים שקטן מהערך שצוין או שווה לו.

צמצום סיכונים אמפירי (ERM)

בחירת הפונקציה שממזערת את ההפסד במערך האימון. השוואה לצמצום סיכונים מבניים.

מקודד

באופן כללי, כל מערכת ML שמבצעת המרה מייצוג גולמי, דליל או חיצוני לייצוג מעובד יותר, צפוף יותר או פנימי יותר.

מקודדים הם לרוב רכיב של מודל גדול יותר, ולעתים קרובות הם משולבים עם מפענח. חלק מהטרנספורמרים משלבים מקודדים עם מפענחים, אבל טרנספורמרים אחרים משתמשים רק במקודד או רק במפענח.

במערכות מסוימות, הפלט של המקודד משמש כקלט לרשת סיווג או רגרסיה.

במשימות של רצף לרצף, מקודד מקבל רצף קלט ומחזיר מצב פנימי (וקטור). לאחר מכן, המפענח משתמש במצב הפנימי הזה כדי לחזות את הרצף הבא.

הגדרה של מקודד בארכיטקטורת טרנספורמר מופיעה במאמר Transformer.

מידע נוסף מופיע במאמר LLMs: What's a large language model (מודלים גדולים של שפה: מהו מודל גדול של שפה) בקורס Machine Learning Crash Course (קורס מקוצר על למידת מכונה).

נקודות קצה

מיקום שאפשר להגיע אליו דרך הרשת (בדרך כלל כתובת URL) שבו אפשר לקבל שירות.

ensemble

אוסף של מודלים שאומנו באופן עצמאי והתחזיות שלהם מחושבות כממוצע או מצטברות. במקרים רבים, מודל אנסמבל מניב תחזיות טובות יותר ממודל יחיד. לדוגמה, יער אקראי הוא אנסמבל שנבנה מכמה עצי החלטה. חשוב לזכור שלא כל יערות ההחלטות הם אנסמבלים.

מידע נוסף זמין במאמר Random Forest (יער אקראי) בקורס המקוצר על למידת מכונה.

אנטרופיה

#df

#Metric

ב תורת המידע, אנטרופיה היא מדד למידת חוסר הניבוי של התפלגות הסתברויות. לחלופין, אנטרופיה מוגדרת גם ככמות המידע שכל דוגמה מכילה. הפיזור הוא בעל האנטרופיה הגבוהה ביותר האפשרית כשכל הערכים של משתנה אקראי הם בעלי סבירות שווה.

האנטרופיה של קבוצה עם שני ערכים אפשריים, 0 ו-1 (לדוגמה, התוויות בבעיה של סיווג בינארי), מחושבת לפי הנוסחה הבאה:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

where:‎

• ‫H היא האנטרופיה.
• ‫p הוא השבר של הדוגמאות מסוג '1'.
• ‫q הוא החלק של הדוגמאות עם הערך '0'. שימו לב: q = (1 - p)
• הפונקציה log היא בדרך כלל log₂. במקרה הזה, יחידת האנטרופיה היא ביט.

לדוגמה, נניח את הדברים הבאים:

• ‫100 דוגמאות מכילות את הערך '1'
• ‫300 דוגמאות מכילות את הערך '0'

לכן, ערך האנטרופיה הוא:

• p = 0.25
• q = 0.75
• H = (-0.25)log₂(0.25) - (0.75)log₂(0.75) = 0.81 bits per example

קבוצה מאוזנת לחלוטין (לדוגמה, 200 ערכים של '0' ו-200 ערכים של '1') תהיה בעלת אנטרופיה של 1.0 ביט לכל דוגמה. ככל שקבוצה הופכת לא מאוזנת יותר, האנטרופיה שלה מתקרבת ל-0.0.

בעצי החלטה, האנטרופיה עוזרת לגבש רווח מידע כדי לעזור למפצל לבחור את התנאים במהלך הצמיחה של עץ החלטה לסיווג.

השוואת האנטרופיה עם:

• gini impurity
• פונקציית האובדן cross-entropy

אנטרופיה נקראת לעיתים קרובות אנטרופיה של שאנון.

מידע נוסף זמין במאמר Exact splitter for binary classification with numerical features בקורס Decision Forests.

environment

בלמידת חיזוק, העולם מכיל את הסוכן ומאפשר לסוכן לצפות במצב העולם. לדוגמה, העולם המיוצג יכול להיות משחק כמו שחמט, או עולם פיזי כמו מבוך. כשהסוכן מחיל פעולה על הסביבה, הסביבה עוברת בין מצבים.

פרק

בשיטת הלמידה באמצעות חיזוקים, כל אחד מהניסיונות החוזרים של הסוכן ללמוד סביבה.

תקופה של זמן מערכת

#fundamentals

מעבר אימון מלא על כל מערך האימון, כך שכל דוגמה עברה עיבוד פעם אחת.

אפוקה מייצגת N/גודל אצווה אימונים של איטרציות, כאשר N הוא מספר הדוגמאות הכולל.

לדוגמה, נניח את הדברים הבאים:

• מערך הנתונים מורכב מ-1,000 דוגמאות.
• גודל הקבוצה הוא 50 דוגמאות.

לכן, כל אפוקה דורשת 20 איטרציות:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

מידע נוסף זמין במאמר רגרסיה לינארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

מדיניות epsilon greedy

בלמידת חיזוק, מדיניות שפועלת לפי מדיניות אקראית בהסתברות אפסילון, או לפי מדיניות חמדנית בכל מקרה אחר. לדוגמה, אם אפסילון הוא 0.9, המדיניות היא מדיניות אקראית ב-90% מהמקרים ומדיניות חמדנית ב-10% מהמקרים.

במהלך פרקים עוקבים, האלגוריתם מקטין את הערך של אפסילון כדי לעבור ממדיניות אקראית למדיניות חמדנית. בשיטת המדיניות הזו, הנציג קודם בוחן את הסביבה באופן אקראי ואז מנצל את התוצאות של הבחינה האקראית.

שוויון הזדמנויות

#responsible

#Metric

מדד הוגנות להערכת היכולת של מודל לחזות את התוצאה הרצויה באותה רמה של דיוק לכל הערכים של מאפיין רגיש. במילים אחרות, אם התוצאה הרצויה למודל היא הסיווג החיובי, המטרה היא ששיעור החיוביים האמיתיים יהיה זהה לכל הקבוצות.

שוויון הזדמנויות קשור לסיכויים שווים, שדורש שגם שיעורי החיוביים האמיתיים וגם שיעורי החיוביים הכוזבים יהיו זהים לכל הקבוצות.

נניח שבאוניברסיטת גלאבדאבדריב מתקבלים ללימודי מתמטיקה גם ליליפוטים וגם ברובדינגנאגים. בתי הספר התיכוניים של הליליפוטים מציעים תוכנית לימודים מקיפה של שיעורי מתמטיקה, ורוב התלמידים עומדים בדרישות של התוכנית האוניברסיטאית. בבתי הספר התיכוניים בברובדינגנאג לא מוצעים שיעורי מתמטיקה בכלל, וכתוצאה מכך, הרבה פחות תלמידים עומדים בדרישות. התנאי של שוויון הזדמנויות מתקיים לגבי התווית המועדפת 'התקבל' בהקשר של לאום (ליליפוטי או ברובדינגנאגי) אם הסיכויים של תלמידים שעומדים בדרישות להתקבל שווים, בלי קשר ללאום שלהם.

לדוגמה, נניח ש-100 אנשים מליליפוט ו-100 אנשים מברובדינגנאג הגישו בקשה להתקבל לאוניברסיטת גלובדאבדריב, וההחלטות לגבי הקבלה מתקבלות באופן הבא:

טבלה 1. מועמדים קטנים (90% עומדים בדרישות)

	כשירים	לא מתאים
התקבל	45	3
נדחה	45	7
סה"כ	90	10
אחוז הסטודנטים שעומדים בדרישות והתקבלו: 45/90 = 50% אחוז הסטודנטים שלא עומדים בדרישות ונדחו: 7/10 = 70% האחוז הכולל של סטודנטים מליליפוט שהתקבלו: (45+3)/100 = 48%

 

טבלה 2. מועמדים בברובדינגנאג (10% כשירים):

	כשירים	לא מתאים
התקבל	5	9
נדחה	5	81
סה"כ	10	90
אחוז הסטודנטים שעומדים בדרישות שהתקבלו: 5/10 = 50% אחוז הסטודנטים שלא עומדים בדרישות שנדחו: 81/90 = 90% אחוז הסטודנטים מברובדינגנאג שהתקבלו: (5+9)/100 = 14%

הדוגמאות הקודמות עומדות בדרישה של שוויון הזדמנויות לקבלה של תלמידים שעומדים בדרישות, כי גם לליליפוטים וגם לברובדינגנאגים שעומדים בדרישות יש סיכוי של 50% להתקבל.

למרות שהשוויון בהזדמנויות מתקיים, שני מדדי ההוגנות הבאים לא מתקיימים:

• שוויון דמוגרפי: שיעורי הקבלה לאוניברסיטה של תושבי ליליפוט ושל תושבי ברובדינגנאג שונים זה מזה. 48% מהסטודנטים מליליפוט מתקבלים, אבל רק 14% מהסטודנטים מברובדינגנאג מתקבלים.
• סיכויים שווים: לתלמידים זכאים מליליפוט ולתלמידים זכאים מברובדינגנאג יש סיכוי שווה להתקבל, אבל התנאי הנוסף שלפיו לתלמידים לא זכאים מליליפוט ולתלמידים לא זכאים מברובדינגנאג יש סיכוי שווה להידחות לא מתקיים. שיעור הדחייה של מועמדים לא מתאימים לליליפוט הוא 70%, לעומת 90% למועמדים לא מתאימים לברובדינגנאג.

מידע נוסף זמין במאמר הוגנות: שוויון הזדמנויות בקורס המקוצר על למידת מכונה.

הסתברות שווה

#responsible

#Metric

מדד הוגנות שנועד להעריך אם מודל חוזה תוצאות באותה רמת דיוק לכל הערכים של מאפיין רגיש ביחס לסיווג החיובי ולסיווג השלילי – ולא רק ביחס לסיווג אחד. במילים אחרות, גם שיעור החיוביים האמיתיים וגם שיעור השליליים הכוזבים צריכים להיות זהים בכל הקבוצות.

הסיכויים שווים קשורים לשוויון הזדמנויות, שמתמקד רק בשיעורי השגיאות של סיווג יחיד (חיובי או שלילי).

לדוגמה, נניח שאוניברסיטת גלאבדאבדריב מקבלת לתוכנית לימודים קפדנית במתמטיקה גם ליליפוטים וגם ברובדינגנאגים. בתי הספר התיכוניים של ליליפוט מציעים תוכנית לימודים מקיפה של שיעורי מתמטיקה, ורוב התלמידים עומדים בדרישות של התוכנית האוניברסיטאית. בבתי הספר התיכוניים בברובדינגנאג לא מוצעים שיעורי מתמטיקה בכלל, וכתוצאה מכך, הרבה פחות תלמידים עומדים בדרישות. הקריטריון של סיכויים שווים מתקיים אם לא משנה אם המועמד הוא ליליפוט או ברובדינגנאג, אם הוא עומד בדרישות, הסיכויים שלו להתקבל לתוכנית שווים, ואם הוא לא עומד בדרישות, הסיכויים שלו להידחות שווים.

נניח ש-100 אנשים מליליפוט ו-100 אנשים מברובדינגנאג מגישים בקשה להתקבל לאוניברסיטת גלובדאבדריב, והחלטות הקבלה מתקבלות באופן הבא:

טבלה 3. מועמדים קטנים (90% עומדים בדרישות)

	כשירים	לא מתאים
התקבל	45	2
נדחה	45	8
סה"כ	90	10
אחוז התלמידים שעומדים בדרישות שהתקבלו: 45/90 = 50% אחוז התלמידים שלא עומדים בדרישות שנדחו: 8/10 = 80% האחוז הכולל של תלמידי Lilliputian שהתקבלו: (45+2)/100 = 47%

 

טבלה 4. מועמדים בברובדינגנאג (10% כשירים):

	כשירים	לא מתאים
התקבל	5	18
נדחה	5	72
סה"כ	10	90
אחוז הסטודנטים שעומדים בדרישות שהתקבלו: 5/10 = 50% אחוז הסטודנטים שלא עומדים בדרישות שנדחו: 72/90 = 80% אחוז הסטודנטים הכולל מברובדינגנאג שהתקבלו: (5+18)/100 = 23%

התנאי של סיכויים שווים מתקיים כי לסטודנטים כשירים מליליפוט ומברובדינגנאג יש סיכוי של 50% להתקבל, ולסטודנטים לא כשירים מליליפוט ומברובדינגנאג יש סיכוי של 80% להידחות.

הערה: למרות שהתנאי של הסתברות שווה מתקיים כאן, השוויון הדמוגרפי לא מתקיים. סטודנטים מליליפוט ומברובדינגנאג מתקבלים לאוניברסיטת גלובדאבדריב בשיעורים שונים: 47% מהסטודנטים מליליפוט מתקבלים, ו-23% מהסטודנטים מברובדינגנאג מתקבלים.

ההגדרה הפורמלית של סיכויי הצלחה שווים מופיעה במאמר "Equality of Opportunity in Supervised Learning" (שוויון הזדמנויות בלמידה מפוקחת) באופן הבא: "המאפיין המנבא Ŷ עומד בדרישות של סיכויי הצלחה שווים ביחס למאפיין המוגן A ולתוצאה Y אם Ŷ ו-A הם בלתי תלויים, בהינתן Y".

הערה: כדאי להשוות בין הסיכויים השווים לבין מדד השוויון בהזדמנויות, שהוא מדד מקל יותר.

Estimator

#TensorFlow

‫TensorFlow API שהוצא משימוש. כדאי להשתמש ב-tf.keras במקום ב-Estimators.

evals

#generativeAI

#Metric

משמש בעיקר כקיצור של הערכות של מודלים גדולים של שפה. באופן כללי, evals הוא קיצור לכל סוג של הערכה.

הערכה

#generativeAI

#Metric

התהליך של מדידת האיכות של מודל או השוואה בין מודלים שונים.

כדי להעריך מודל של למידת מכונה מבוקרת, בדרך כלל משווים אותו לקבוצת אימות ולקבוצת בדיקה. הערכת מודל שפה גדול (LLM) כוללת בדרך כלל הערכות רחבות יותר של איכות ובטיחות.

התאמה מדויקת

#Metric

מדד של הכול או כלום, שבו הפלט של המודל תואם בדיוק לאמת הבסיס או לטקסט ההפניה, או שלא תואם בכלל. לדוגמה, אם ערך האמת הוא orange, הפלט היחיד של המודל שעומד בדרישות של התאמה מדויקת הוא orange.

התאמה מדויקת יכולה גם להעריך מודלים שהפלט שלהם הוא רצף (רשימה מדורגת של פריטים). באופן כללי, התאמה מדויקת מחייבת שהרשימה המדורגת שנוצרה תהיה זהה לרשימת האמת; כלומר, כל פריט בשתי הרשימות צריך להיות באותו סדר. עם זאת, אם נתוני האמת מורכבים מכמה רצפים נכונים, התאמה מדויקת דורשת רק שהפלט של המודל יתאים לאחד מהרצפים הנכונים.

דוגמה

#fundamentals

הערכים של שורה אחת ב-features ואולי גם label. דוגמאות בלמידה מונחית מתחלקות לשתי קטגוריות כלליות:

• דוגמה עם תווית מורכבת מתכונה אחת או יותר ומתווית. דוגמאות מתויגות משמשות במהלך האימון.
• דוגמה לא מסומנת מורכבת מתכונה אחת או יותר, אבל לא כוללת תווית. דוגמאות לא מסומנות משמשות במהלך ההסקה.

לדוגמה, נניח שאתם מאמנים מודל כדי לקבוע את ההשפעה של תנאי מזג האוויר על ציוני התלמידים במבחנים. הנה שלוש דוגמאות עם תוויות:

תכונות			תווית
טמפרטורה	לחות	לחץ	ציון הבדיקה
15	47	998	טוב
19	34	1020	מצוינת
18	92	1012	גרועה

הנה שלוש דוגמאות ללא תווית:

טמפרטורה	לחות	לחץ
12	62	1014
21	47	1017
19	41	1021

השורה במערך נתונים היא בדרך כלל המקור הגולמי לדוגמה. כלומר, דוגמה בדרך כלל מורכבת מקבוצת משנה של העמודות במערך הנתונים. בנוסף, התכונות בדוגמה יכולות לכלול גם תכונות סינתטיות, כמו תכונות משולבות.

מידע נוסף זמין במאמר למידה מפוקחת בקורס מבוא ללמידת מכונה.

חזרה על חוויה

בלמידת חיזוק, טכניקת DQN משמשת לצמצום קורלציות זמניות בנתוני האימון. הסוכן שומר את מעברי המצב במאגר חוזר, ואז דוגם מעברים ממאגר החוזר כדי ליצור נתוני אימון.

הטיה של עורכי הניסוי

#responsible

מידע נוסף על הטיית אישור

בעיית הגרדיאנט המתפוצץ

הנטייה של גרדיאנטים ברשתות נוירונים עמוקות (במיוחד רשתות נוירונים חוזרות) להיות תלולים (גבוהים) באופן מפתיע. שיפועים תלולים גורמים לעדכונים גדולים מאוד של המשקלים של כל צומת ברשת נוירונים עמוקה.

קשה או בלתי אפשרי לאמן מודלים שסובלים מבעיית הגרדיאנט המתפוצץ. חיתוך הדרגתי יכול לצמצם את הבעיה הזו.

השוואה לבעיית הגרדיאנט הנעלם.

F

F₁

#Metric

מדד סיווג בינארי מסוג 'סיכום' שמסתמך על דיוק וגם על החזרה. זו הנוסחה:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

אפשר ללחוץ על הסמל כדי לראות דוגמאות.

נניח שערכי הדיוק וההחזרה הם:

• precision = 0.6
• recall = 0.4

כך מחשבים את F₁:

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

כשערכי הדיוק וההחזרה דומים למדי (כמו בדוגמה הקודמת), F₁ קרוב לממוצע שלהם. אם יש הבדל משמעותי בין הדיוק לבין ההחזרה, הערך של F₁ יהיה קרוב יותר לערך הנמוך. לדוגמה:

• precision = 0.9
• recall = 0.1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

---

עובדתיות

#generativeAI

בעולם של למידת מכונה, מאפיין שמתאר מודל שהפלט שלו מבוסס על המציאות. המושג 'עובדתיות' הוא מושג ולא מדד. לדוגמה, נניח שאתם שולחים את הפרומפט הבא אל מודל שפה גדול:

מהי הנוסחה הכימית של מלח שולחן?

מודל שמבצע אופטימיזציה של נכונות העובדות ישיב:

NaCl

יש נטייה להניח שכל המודלים צריכים להתבסס על עובדות. עם זאת, יש הנחיות מסוימות, כמו ההנחיות הבאות, שגורמות למודל AI גנרטיבי לבצע אופטימיזציה של יצירתיות ולא של דיוק עובדתי.

תכתוב לי חמשיר על אסטרונאוט וזחל.

סביר להניח שהלימריק שיתקבל לא יתבסס על המציאות.

ההגדרה הזו שונה מהתבססות על מקורות מידע.

מגבלת הוגנות

#responsible

החלת אילוץ על אלגוריתם כדי להבטיח שמתקיימת הגדרה אחת או יותר של הוגנות. דוגמאות למגבלות הוגנות:

• עיבוד שלאחר מכן של הפלט של המודל.
• שינוי פונקציית ההפסד כדי לשלב עונש על הפרה של מדד הוגנות.
• הוספה ישירה של אילוץ מתמטי לבעיית אופטימיזציה.

מדד הוגנות

#responsible

#Metric

הגדרה מתמטית של 'הוגנות' שאפשר למדוד. דוגמאות למדדי הוגנות נפוצים:

• equalized odds
• שוויון חיזוי
• הוגנות קונטרה-פקטואלית
• שוויון דמוגרפי

הרבה מדדים של הוגנות הם בלעדיים; אפשר לעיין באי-התאמה של מדדים של הוגנות.

תוצאה שלילית שגויה (FN)

#fundamentals

#Metric

דוגמה שבה המודל מנבא בטעות את הסיווג השלילי. לדוגמה, המודל חוזה שהודעת אימייל מסוימת אינה ספאם (הסיווג השלילי), אבל הודעת האימייל הזו היא למעשה ספאם.

שיעור השגיאות השליליות

#Metric

השיעור של הדוגמאות החיוביות בפועל שהמודל טעה לגביהן וניבא את הסיווג השלילי. הנוסחה הבאה משמשת לחישוב שיעור התוצאות השליליות השגויות:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

מידע נוסף זמין במאמר ערכי סף ומטריצת בלבול בקורס המקוצר על למידת מכונה.

תוצאה חיובית שגויה (FP)

#fundamentals

#Metric

דוגמה שבה המודל חוזה בטעות את הסיווג החיובי. לדוגמה, המודל חוזה שהודעת אימייל מסוימת היא ספאם (הסיווג החיובי), אבל הודעת האימייל הזו לא ספאם בפועל.

מידע נוסף זמין במאמר ערכי סף ומטריצת בלבול בקורס המקוצר על למידת מכונה.

שיעור התוצאות החיוביות השגויות (FPR)

#fundamentals

#Metric

השיעור של הדוגמאות השליליות בפועל שהמודל טעה בהן וניבא את הסיווג החיובי. הנוסחה הבאה משמשת לחישוב שיעור התוצאות החיוביות השגויות:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

שיעור התוצאות החיוביות השגויות הוא ציר ה-x בעקומת ROC.

מידע נוסף זמין במאמר בנושא סיווג: ROC ו-AUC בקורס המקוצר בנושא למידת מכונה.

דעיכה מהירה

#generativeAI

טכניקת אימון לשיפור הביצועים של מודלים גדולים של שפה (LLM). התפוגה המהירה כוללת הפחתה מהירה של קצב הלמידה במהלך האימון. השיטה הזו עוזרת למנוע התאמת יתר של המודל לנתוני האימון, ומשפרת את ההכללה.

מאפיין

#fundamentals

משתנה קלט במודל למידת מכונה. דוגמה מורכבת מתכונה אחת או יותר. לדוגמה, נניח שאתם מאמנים מודל כדי לקבוע את ההשפעה של תנאי מזג האוויר על ציוני התלמידים במבחנים. בטבלה הבאה מוצגות שלוש דוגמאות, שכל אחת מהן מכילה שלוש תכונות ותווית אחת:

תכונות			תווית
טמפרטורה	לחות	לחץ	ציון הבדיקה
15	47	998	92
19	34	1020	84
18	92	1012	87

ניגודיות עם התווית.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בקורס Introduction to Machine Learning (מבוא ללמידת מכונה).

אינטראקציה בין מאפיינים

#fundamentals

תכונה סינתטית שנוצרת על ידי 'הצלבה' של תכונות קטגוריות או תכונות שמוקצות לדלי.

לדוגמה, נניח שיש מודל של 'חיזוי מצב רוח' שמייצג טמפרטורה באחת מארבע הקטגוריות הבאות:

• freezing
• chilly
• temperate
• warm

המשתנה הזה מייצג את מהירות הרוח באחד משלושת הטווחים הבאים:

• still
• light
• windy

בלי שילובים של תכונות, המודל הלינארי מתאמן באופן עצמאי על כל אחד משבעת הדליים השונים הקודמים. לכן, המודל מתאמן על, למשל, freezing בנפרד מהאימון על, למשל, windy.

אפשרות אחרת היא ליצור שילוב של טמפרטורה ומהירות רוח. לתכונה הסינתטית הזו יהיו 12 ערכים אפשריים:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

הודות לשילובים של תכונות, המודל יכול ללמוד את ההבדלים במצב הרוח בין יום freezing-windy ליום freezing-still.

אם תיצרו מאפיין סינתטי משני מאפיינים שלכל אחד מהם יש הרבה דליים שונים, למאפיין המשולב שיתקבל יהיה מספר עצום של שילובים אפשריים. לדוגמה, אם לתכונה אחת יש 1,000 קטגוריות ולתכונה השנייה יש 2,000 קטגוריות, הצלב של התכונות יכלול 2,000,000 קטגוריות.

באופן רשמי, צלב הוא מכפלה קרטזית.

השימוש בתכונות משולבות נעשה בעיקר עם מודלים לינאריים, ובמקרים נדירים עם רשתות עצביות.

מידע נוסף זמין במאמר נתונים קטגוריים: שילובים של תכונות בקורס המקוצר על למידת מכונה.

הנדסת פיצ'רים (feature engineering)

#fundamentals

#TensorFlow

תהליך שכולל את השלבים הבאים:

1. קביעה אילו תכונות עשויות להיות שימושיות באימון מודל.
2. המרת נתונים גולמיים ממערך הנתונים לגרסאות יעילות של התכונות האלה.

לדוגמה, יכול להיות שתקבעו שהתכונה temperature עשויה להיות שימושית. אחר כך אפשר להתנסות בחלוקה לקבוצות כדי לבצע אופטימיזציה של מה שהמודל יכול ללמוד מטווחים שונים של temperature.

הנדסת תכונות נקראת לפעמים חילוץ תכונות או יצירת תכונות.

כדי לראות הערות נוספות על TensorFlow, לוחצים על הסמל.

ב-TensorFlow, הנדסת תכונות לרוב מתייחסת להמרה של רשומות גולמיות בקובץ יומן למאגרי פרוטוקול של tf.Example. מידע נוסף זמין במאמר בנושא tf.Transform.

---

מידע נוסף זמין במאמר נתונים מספריים: איך מודל מעכל נתונים באמצעות וקטורים של תכונות בסדנה המקוונת בנושא למידת מכונה.

חילוץ מאפיינים

מונח בעל עומס יתר, שיש לו אחת מההגדרות הבאות:

• שליפה של ייצוגים של תכונות ביניים שמחושבים על ידי מודל לא מפוקח או מודל שאומן מראש (לדוגמה, ערכים של שכבה נסתרת ברשת עצבית) לשימוש כקלט במודל אחר.
• מילה נרדפת למונח הנדסת פיצ'רים.

חשיבות התכונות

#df

#Metric

מילה נרדפת למונח חשיבות משתנים.

מערך תכונות

#fundamentals

קבוצת התכונות שהמודל של למידת המכונה מתאמן עליהן. לדוגמה, קבוצת מאפיינים פשוטה למודל שמנבא מחירי דיור יכולה לכלול מיקוד, גודל הנכס ומצב הנכס.

מפרט התכונות

#TensorFlow

מתואר המידע שנדרש כדי לחלץ נתוני מאפיינים ממאגר פרוטוקול tf.Example. מכיוון ש-tf.Example protocol buffer הוא רק מאגר לנתונים, צריך לציין את הפרטים הבאים:

• הנתונים לחילוץ (כלומר, המפתחות של התכונות)
• סוג הנתונים (לדוגמה, float או int)
• האורך (קבוע או משתנה)

וקטור מאפיינים

#fundamentals

מערך של ערכי feature שמרכיבים example. וקטור המאפיינים משמש כקלט במהלך האימון ובמהלך ההסקה. לדוגמה, וקטור התכונות של מודל עם שתי תכונות נפרדות יכול להיות:

[0.92, 0.56]

בכל דוגמה מופיעים ערכים שונים של וקטור התכונות, ולכן וקטור התכונות של הדוגמה הבאה יכול להיות משהו כזה:

[0.73, 0.49]

הנדסת תכונות קובעת איך לייצג תכונות בווקטור התכונות. לדוגמה, מאפיין קטגורי בינארי עם חמישה ערכים אפשריים יכול להיות מיוצג באמצעות קידוד one-hot. במקרה כזה, החלק של וקטור התכונות בדוגמה מסוימת יכלול ארבעה אפסים ו-1.0 אחד במיקום השלישי, באופן הבא:

[0.0, 0.0, 1.0, 0.0, 0.0]

דוגמה נוספת: נניח שהמודל שלכם מורכב משלושה מאפיינים:

• תכונה קטגורית בינארית עם חמישה ערכים אפשריים שמיוצגים באמצעות קידוד one-hot. לדוגמה: [0.0, 1.0, 0.0, 0.0, 0.0]
• תכונה קטגורית בינארית נוספת עם שלושה ערכים אפשריים שמיוצגים באמצעות קידוד one-hot. לדוגמה: [0.0, 0.0, 1.0]
• תכונה של נקודה צפה (floating-point), לדוגמה: 8.3.

במקרה כזה, וקטור התכונות של כל דוגמה ייוצג על ידי תשעה ערכים. בהינתן הערכים לדוגמה ברשימה הקודמת, וקטור התכונות יהיה:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

מידע נוסף זמין במאמר נתונים מספריים: איך מודל מעכל נתונים באמצעות וקטורים של תכונות בסדנה המקוונת בנושא למידת מכונה.

הפיכה לתכונה

התהליך של חילוץ מאפיינים ממקור קלט, כמו מסמך או סרטון, ומיפוי המאפיינים האלה לוקטור מאפיינים.

חלק מהמומחים ל-ML משתמשים במונח featurization כמילה נרדפת להנדסת פיצ'רים או לחילוץ פיצ'רים.

למידה משותפת (Federated)

גישה מבוזרת ללמידת מכונה שמאמנת מודלים של למידת מכונה באמצעות דוגמאות מבוזרות שנמצאות במכשירים כמו סמארטפונים. בלמידה משותפת (Federated), קבוצת משנה של מכשירים מורידה את המודל הנוכחי משרת מרכזי לתיאום. המכשירים משתמשים בדוגמאות שמאוחסנות בהם כדי לשפר את המודל. לאחר מכן המכשירים מעלים את השיפורים במודל (אבל לא את דוגמאות האימון) לשרת המתאם, שם הם מצטברים עם עדכונים אחרים כדי ליצור מודל גלובלי משופר. אחרי הצבירה, המודל מתעדכן בחישובים שבוצעו במכשירים, ולכן אין יותר צורך בנתונים האלה ואפשר למחוק אותם.

מכיוון שדוגמאות האימון אף פעם לא מועלות, למידה משותפת (Federated) פועלת לפי עקרונות הפרטיות של איסוף נתונים ממוקד וצמצום נתונים.

פרטים נוספים זמינים בקומיקס בנושא למידה משותפת (כן, קומיקס).

לולאת משוב

#fundamentals

במערכות למידת מכונה, מצב שבו החיזויים של מודל מסוים משפיעים על נתוני האימון של אותו מודל או של מודל אחר. לדוגמה, מודל שממליץ על סרטים ישפיע על הסרטים שאנשים רואים, מה שישפיע על מודלים עתידיים להמלצות על סרטים.

מידע נוסף זמין במאמר מערכות ML בייצור: שאלות שכדאי לשאול ב-Machine Learning Crash Course.

רשת זרימה קדימה (FFN)

רשת נוירונים ללא חיבורים מחזוריים או רקורסיביים. לדוגמה, רשתות נוירונים עמוקות מסורתיות הן רשתות נוירונים עם זרימה קדימה. בניגוד לרשתות נוירונים חוזרות, שהן מחזוריות.

למידה עם כמה דוגמאות

גישה של למידת מכונה, שמשמשת לעיתים קרובות לסיווג אובייקטים, ומיועדת לאימון של מודלים יעילים לסיווג על סמך מספר קטן של דוגמאות לאימון.

אפשר לעיין גם במאמרים בנושא למידה מדוגמה אחת ולמידה ללא דוגמאות.

מתן הנחיות עם כמה דוגמאות

#generativeAI

פרומפט שמכיל יותר מדוגמה אחת (מספר דוגמאות) שממחישות איך מודל שפה גדול צריך להשיב. לדוגמה, ההנחיה הארוכה הבאה מכילה שתי דוגמאות שמראות למודל שפה גדול איך לענות על שאילתה.

החלקים של הנחיה	הערות
מהו המטבע הרשמי של המדינה שצוינה?	השאלה שרוצים שה-LLM יענה עליה.
צרפת: EUR	דוגמה אחת.
בריטניה: GBP	דוגמה נוספת.
הודו:	השאילתה בפועל.

בדרך כלל, פרומפטים עם מעט דוגמאות מניבים תוצאות טובות יותר מאשר פרומפטים ללא דוגמאות ופרומפטים עם דוגמה אחת. עם זאת, כדי לעצב הנחיות עם כמה דוגמאות צריך להשתמש בהנחיה ארוכה יותר.

הנחיה עם כמה דוגמאות היא סוג של למידה עם כמה דוגמאות שמוחלת על למידה מבוססת-הנחיות.

מידע נוסף מופיע במאמר הנדסת הנחיות בקורס המקוצר על למידת מכונה.

Fiddle

ספריית הגדרות שמתבססת על Python, ומגדירה את הערכים של פונקציות ומחלקות בלי קוד או תשתית פולשניים. במקרה של Pax – ובסיסי קוד אחרים של ML – הפונקציות והמחלקות האלה מייצגות מודלים והיפרפרמטרים של אימון.

‫Fiddle מניח שבסיסי קוד של למידת מכונה מחולקים בדרך כלל ל:

• קוד הספריות, שמגדיר את השכבות ואת האופטימיזציה.
• קוד 'דבק' של מערך הנתונים, שקורא לספריות ומקשר בין כל הרכיבים.

‫Fiddle מתעד את מבנה הקריאה של קוד הדבק בצורה לא מוערכת וניתנת לשינוי.

כוונון עדין

#generativeAI

שלב אימון שני, ספציפי למשימה, שמתבצע במודל שעבר אימון מראש כדי לשפר את הפרמטרים שלו לתרחיש שימוש ספציפי. לדוגמה, רצף האימון המלא של מודלים גדולים של שפה הוא כזה:

1. אימון מראש: אימון מודל גדול של שפה על מערך נתונים כללי עצום, כמו כל הדפים בוויקיפדיה באנגלית.
2. כוונון עדין: אימון המודל שעבר אימון מראש לביצוע משימה ספציפית, כמו מענה לשאלות רפואיות. בדרך כלל, כוונון עדין כולל מאות או אלפי דוגמאות שמתמקדות במשימה הספציפית.

דוגמה נוספת: רצף האימון המלא של מודל גדול של תמונות הוא כדלקמן:

1. אימון מראש: אימון של מודל תמונות גדול על מערך נתונים גדול של תמונות כלליות, כמו כל התמונות ב-Wikimedia Commons.
2. כוונון עדין: אימון המודל שעבר אימון מראש לביצוע משימה ספציפית, כמו יצירת תמונות של לווייתנים קטלניים.

תהליך הכוונון העדין יכול לכלול כל שילוב של האסטרטגיות הבאות:

• שינוי כל הפרמטרים הקיימים של המודל שעבר אימון מראש. התהליך הזה נקרא לפעמים כוונון עדין מלא.
• שינוי רק של חלק מהפרמטרים הקיימים של המודל שאומן מראש (בדרך כלל, השכבות הכי קרובות לשכבת הפלט), בלי לשנות את שאר הפרמטרים הקיימים (בדרך כלל, השכבות הכי קרובות לשכבת הקלט). מידע נוסף זמין במאמר בנושא כוונון יעיל בפרמטרים.
• הוספת עוד שכבות, בדרך כלל מעל השכבות הקיימות הכי קרובות לשכבת הפלט.

התאמה עדינה היא סוג של למידת העברה. לכן, יכול להיות שבמהלך הכוונון העדין נעשה שימוש בפונקציית הפסד שונה או בסוג מודל שונה מאלה ששימשו לאימון המודל שאומן מראש. לדוגמה, אפשר לבצע כוונון עדין של מודל גדול של תמונות שעבר אימון מראש כדי ליצור מודל רגרסיה שמחזיר את מספר הציפורים בתמונת קלט.

השוואה וניגוד בין כוונון עדין לבין המונחים הבאים:

• זיקוק
• למידה מבוססת-הנחיות

מידע נוסף זמין במאמר Fine-tuning (כוונון עדין) בקורס המקוצר על למידת מכונה.

דגם הפלאש

#generativeAI

משפחה של מודלים קטנים יחסית של Gemini שעברו אופטימיזציה למהירות ולזמן אחזור נמוך. מודלים של Flash מיועדים למגוון רחב של אפליקציות שבהן תשובות מהירות וקצב העברת נתונים גבוה הם חיוניים.

פשתן

ספרייה בקוד פתוח עם ביצועים גבוהים ללמידה עמוקה, שמבוססת על JAX. ‫Flax מספקת פונקציות לאימון רשתות עצביות, וגם שיטות להערכת הביצועים שלהן.

Flaxformer

ספרייה של Transformer בקוד פתוח, שמבוססת על Flax ומיועדת בעיקר לעיבוד שפה טבעית ולמחקר רב-אופני.

שער שכחה

החלק בתא Long Short-Term Memory שמווסת את זרימת המידע דרך התא. שערי שכחה שומרים על ההקשר על ידי החלטה איזה מידע להשליך ממצב התא.

מודל בסיס

#generativeAI

#Metric

מודל שעבר אימון מראש גדול מאוד שאומן על מערך אימונים עצום ומגוון. מודל בסיס יכול לבצע את שתי הפעולות הבאות:

• להגיב בצורה טובה למגוון רחב של בקשות.
• לשמש כמודל בסיסי לכוונון עדין נוסף או להתאמה אישית אחרת.

במילים אחרות, מודל בסיסי כבר מסוגל לבצע משימות רבות באופן כללי, אבל אפשר להתאים אותו עוד יותר כדי שיהיה שימושי יותר למשימה ספציפית.

חלק מההצלחות

#generativeAI

#Metric

מדד להערכת הטקסט שנוצר על ידי מודל ML. המדד 'חלק ההצלחות' מייצג את מספר הפלט של הטקסט שנוצר בהצלחה חלקי המספר הכולל של פלט הטקסט שנוצר. לדוגמה, אם מודל שפה גדול יצר 10 בלוקים של קוד, וחמישה מהם היו מוצלחים, אז שיעור ההצלחה יהיה 50%.

למרות שהמדד 'שיעור ההצלחות' שימושי בסטטיסטיקה באופן כללי, בלמידת מכונה הוא שימושי בעיקר למדידת משימות שניתנות לאימות, כמו יצירת קוד או בעיות מתמטיות.

full softmax

מילה נרדפת ל-softmax.

ההבדל בין זה לבין דגימת מועמדים.

מידע נוסף זמין במאמר רשתות עצביות: סיווג רב-מחלקתי בסדנה ללמידת מכונה.

שכבה מקושרת באופן מלא

שכבה סמויה שבה כל צומת מחובר לכל צומת בשכבה הסמויה הבאה.

שכבה מקושרת מלאה נקראת גם שכבה צפופה.

שינוי פונקציה

פונקציה שמקבלת פונקציה כקלט ומחזירה פונקציה שעברה שינוי כפלט. ‫JAX משתמשת בטרנספורמציות של פונקציות.

G

GAN

קיצור של רשת למידה חישובית גנרטיבית.

Gemini

#generativeAI

הסביבה העסקית שכוללת את ה-AI הכי מתקדם של Google. הרכיבים במערכת האקולוגית הזו כוללים:

• מודלים שונים של Gemini.
• ממשק שיחה אינטראקטיבי עם מודל Gemini. המשתמשים מקלידים הנחיות ו-Gemini משיב להנחיות האלה.
• ממשקי Gemini API שונים.
• מוצרים עסקיים שונים שמבוססים על מודלים של Gemini, למשל Gemini for Google Cloud.

המודלים של Gemini

#generativeAI

מודלים מולטימודאליים חדשניים מבוססי Transformer של Google. מודלים של Gemini מיועדים במיוחד לשילוב עם סוכנים.

המשתמשים יכולים לקיים אינטראקציה עם מודלים של Gemini במגוון דרכים, כולל באמצעות ממשק דיאלוג אינטראקטיבי וערכות SDK.

‏Gemma

#generativeAI

משפחה של מודלים קלי משקל בקוד פתוח שמבוססים על אותם מחקרים וטכנולוגיות ששימשו ליצירת המודלים של Gemini. יש כמה מודלים שונים של Gemma, וכל אחד מהם מספק תכונות שונות, כמו ראייה, קוד וביצוע הוראות. פרטים נוספים מופיעים במאמר בנושא Gemma.

AI גנרטיבי או AI גנרטיבי

#generativeAI

קיצור של בינה מלאכותית גנרטיבית.

הכללה

#fundamentals

היכולת של מודל לבצע חיזויים נכונים לגבי נתונים חדשים שלא נראו קודם. מודל שיכול להכליל הוא ההפך ממודל שעובר התאמת יתר.

כדי לראות הערות נוספות, לוחצים על הסמל.

מאמנים מודל על הדוגמאות שבקבוצת האימון. כתוצאה מכך, המודל לומד את המאפיינים הייחודיים של הנתונים במערך האימון. הכללה (Generalization) בודקת למעשה אם המודל יכול לספק תחזיות טובות לגבי דוגמאות שלא נמצאות במערך האימון.

כדי לעודד הכללה, רגולריזציה עוזרת למודל להתאמן בצורה פחות מדויקת למאפיינים הייחודיים של הנתונים במערך האימון.

---

מידע נוסף מופיע במאמר הכללה בקורס המקוצר על למידת מכונה.

עקומת הכללה

#fundamentals

תרשים של הפסד האימון ושל הפסד האימות כפונקציה של מספר האיטרציות.

עקומת הכללה יכולה לעזור לכם לזהות התאמת יתר אפשרית. לדוגמה, עקומת ההכללה הבאה מצביעה על התאמת יתר, כי הפסד האימות בסופו של דבר גבוה משמעותית מהפסד האימון.

מידע נוסף מופיע במאמר הכללה בקורס המקוצר על למידת מכונה.

מודל לינארי מוכלל

הכללה של מודלים של רגרסיה של ריבועים פחותים, שמבוססים על רעש גאוסיאני, לסוגים אחרים של מודלים שמבוססים על סוגים אחרים של רעש, כמו רעש פואסוני או רעש קטגורי. דוגמאות למודלים לינאריים מוכללים:

• רגרסיה לוגיסטית
• רגרסיה רב-סיווגית
• רגרסיה של הריבועים הקטנים ביותר

אפשר למצוא את הפרמטרים של מודל ליניארי מוכלל באמצעות אופטימיזציה קמורה.

למודלים ליניאריים מוכללים יש את המאפיינים הבאים:

• החיזוי הממוצע של מודל הרגרסיה האופטימלי של הריבועים הקטנים ביותר שווה לתווית הממוצעת בנתוני האימון.
• ההסתברות הממוצעת שחוזה מודל הרגרסיה הלוגיסטית האופטימלי שווה לתווית הממוצעת בנתוני האימון.

היכולת של מודל ליניארי מוכלל מוגבלת על ידי התכונות שלו. בניגוד למודל עמוק, מודל ליניארי מוכלל לא יכול "ללמוד תכונות חדשות".

טקסט שנוצר

#generativeAI

באופן כללי, הטקסט שהמודל של למידת מכונה מוציא. כשמעריכים מודלים גדולים של שפה, חלק מהמדדים משווים בין הטקסט שנוצר לבין טקסט ייחוס. לדוגמה, נניח שאתם מנסים לקבוע עד כמה מודל למידת מכונה מתרגם ביעילות מצרפתית להולנדית. במקרה זה:

• הטקסט שנוצר הוא התרגום להולנדית שהמודל של למידת המכונה מוציא.
• טקסט הייחוס הוא התרגום להולנדית שמתרגם אנושי (או תוכנה) יוצר.

חשוב לדעת: בחלק משיטות ההערכה לא נעשה שימוש בטקסט להשוואה.

רשת למידה חישובית גנרטיבית (GAN)

מערכת ליצירת נתונים חדשים שבה גנרטור יוצר נתונים ומפלה קובע אם הנתונים שנוצרו תקפים או לא תקפים.

מידע נוסף זמין בקורס בנושא רשתות למידה חישובית גנרטיבית (GAN).

בינה מלאכותית גנרטיבית

#generativeAI

תחום מתפתח ומשנה את פני הדברים, ללא הגדרה רשמית. עם זאת, רוב המומחים מסכימים שמודלים של AI גנרטיבי יכולים ליצור ("לגנרר") תוכן שהוא כל אחד מהדברים הבאים:

• מורכב
• קוהרנטי
• מקורית

דוגמאות ל-AI גנרטיבי:

• מודלים גדולים של שפה (LLM), שיכולים ליצור טקסט מקורי מתוחכם ולענות על שאלות.
• מודל ליצירת תמונות, שיכול ליצור תמונות ייחודיות.
• מודלים ליצירת אודיו ומוזיקה, שיכולים ליצור מוזיקה מקורית או ליצור דיבור שנשמע מציאותי.
• מודלים ליצירת סרטונים, שיכולים ליצור סרטונים מקוריים.

טכנולוגיות מוקדמות יותר, כולל LSTMs ו-RNNs, יכולות גם הן ליצור תוכן מקורי ועקבי. יש מומחים שרואים בטכנולוגיות המוקדמות האלה AI גנרטיבי, ויש מומחים שחושבים ש-AI גנרטיבי אמיתי צריך ליצור פלט מורכב יותר ממה שהטכנולוגיות המוקדמות האלה יכולות ליצור.

אפשר להשוות את זה ללמידת מכונה חיזויית.

מודל גנרטיבי

מבחינה מעשית, מודל שמבצע אחת מהפעולות הבאות:

• יוצר (מפיק) דוגמאות חדשות ממערך הנתונים לאימון. לדוגמה, מודל גנרטיבי יכול ליצור שירה אחרי אימון על מערך נתונים של שירים. החלק היוצר של רשת למידה חישובית גנרטיבית (GAN) נכלל בקטגוריה הזו.
• קובעת את ההסתברות שדוגמה חדשה מגיעה ממערך האימונים, או נוצרה מאותו מנגנון שיצר את מערך האימונים. לדוגמה, אחרי אימון על מערך נתונים שמורכב ממשפטים באנגלית, מודל גנרטיבי יכול לקבוע את ההסתברות שקלט חדש הוא משפט תקף באנגלית.

מודל גנרטיבי יכול באופן תיאורטי להבחין בין ההתפלגות של דוגמאות או תכונות מסוימות במערך נתונים. כלומר:

p(examples)

מודלים של למידה בלתי מונחית הם גנרטיביים.

ההבדל ביניהם לבין מודלים דיסקרימינטיביים.

מחולל

מערכת המשנה בתוך רשת גנרטיבית יריבה שיוצרת דוגמאות חדשות.

ההפך ממודל דיסקרימינטיבי.

gini impurity

#df

#Metric

מדד שדומה לאנטרופיה. מפצלים משתמשים בערכים שנגזרים מאי-טוהר גיני או מאנטרופיה כדי ליצור תנאים לסיווג עצי החלטה. הרווח במידע נגזר מאנטרופיה. אין מונח מקביל שמקובל באופן אוניברסלי למדד שנגזר מאי-טוהר של גיני. עם זאת, המדד הזה, שאין לו שם, חשוב בדיוק כמו מדד הרווח במידע.

המדד הזה נקרא גם מדד ג'יני או פשוט ג'יני.

כדי לראות פרטים מתמטיים על מדד Gini impurity, לוחצים על הסמל.

אי-הטוהר של גיני הוא ההסתברות לסיווג שגוי של נתון חדש שנלקח מאותה התפלגות. הטומאה של גיני בקבוצה עם שני ערכים אפשריים, 0 ו-1 (לדוגמה, התוויות בבעיה של סיווג בינארי), מחושבת לפי הנוסחה הבאה:

   ‫I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

where:‎

• ‫I הוא מדד הגיני לטוהר.
• ‫p הוא השבר של הדוגמאות מסוג '1'.
• ‫q הוא החלק של הדוגמאות עם הערך '0'. שימו לב ש-q = 1-p

לדוגמה, נניח שיש לכם את קבוצת הנתונים הבאה:

• ‫100 תוויות (0.25 ממערך הנתונים) מכילות את הערך '1'
• ‫300 תוויות (0.75 ממערך הנתונים) מכילות את הערך '0'

לכן, מדד הגיני לזיהום הוא:

• p = 0.25
• q = 0.75
• I = 1 - (0.25² + 0.75²) = 0.375

לכן, לתווית אקראית מאותו מערך נתונים יש סיכוי של 37.5% לסיווג שגוי, וסיכוי של 62.5% לסיווג נכון.

תווית מאוזנת לחלוטין (לדוגמה, 200 תווים של '0' ו-200 תווים של '1') תהיה בעלת אי-טוהר של גיני בשיעור של 0.5. תווית לא מאוזנת מאוד תהיה בעלת אי-טוהר של גיני שקרוב ל-0.0.

---

קבוצת נתונים מוזהבת

קבוצה של נתונים שנאספו באופן ידני ומייצגים בסיס מידע משותף. צוותים יכולים להשתמש במערך נתונים מוזהב אחד או יותר כדי להעריך את איכות המודל.

חלק ממערכי הנתונים המוזהבים מתעדים תחומי משנה שונים של נתוני אמת. לדוגמה, קבוצת נתונים מוזהבת לסיווג תמונות עשויה לכלול את תנאי התאורה ואת הרזולוציה של התמונה.

תשובה לדוגמה

#generativeAI

תשובה שידוע שהיא טובה. לדוגמה, אם נותנים את ההנחיה הבאה:

2 + 2

התשובה המושלמת היא:

4

הערה: ארגונים מסוימים מגדירים מונחים נוספים כמו תשובה ברמת כסף ותשובה ברמת פלטינה לתשובות באיכות נמוכה או גבוהה יותר, בהתאמה, מהתשובה המוזהבת. לדוגמה, ארגון יכול להשתמש בתגובה ברמת פלטינה כדי לציין תגובה מושלמת שנוצרה על ידי מומחה ונבדקה על ידי מומחים נוספים.

כאן אפשר לקרוא הערות על תשובה מושלמת ועל טקסט הפניה.

חלק ממדדי ההערכה, כמו ROUGE, משווים בין טקסט ייחוס לבין טקסט שנוצר על ידי מודל. אם יש תשובה נכונה אחת להנחיה, התשובה המוזהבת משמשת בדרך כלל כטקסט ההפניה.

יש הנחיות שאין להן תשובה נכונה אחת. לדוגמה, להנחיה סכם את המסמך הזה סביר להניח שיהיו הרבה תשובות נכונות. במקרים כאלה, לרוב לא מעשי להשתמש בטקסט להשוואה כי המודל יכול ליצור מגוון רחב מאוד של סיכומים אפשריים. עם זאת, יכול להיות שיהיה שימושי לקבל תשובה מושלמת במצב הזה. לדוגמה, תשובה מושלמת שמכילה סיכום טוב של מסמך יכולה לעזור לאמן כלי לדירוג אוטומטי כדי לזהות דפוסים של סיכומי מסמכים טובים.

---

‏Google AI Studio

כלי של Google שמספק ממשק ידידותי למשתמש לניסוי ובנייה של אפליקציות באמצעות מודלים גדולים של שפה של Google. פרטים נוספים זמינים בדף הבית של Google AI Studio.

GPT (Generative Pre-trained Transformer)

#generativeAI

משפחה של מודלים גדולים של שפה שמבוססים על טרנספורמרים ופותחו על ידי OpenAI.

גרסאות של GPT יכולות להתאים לכמה אופנים, כולל:

• יצירת תמונות (לדוגמה, ImageGPT)
• יצירת תמונות מטקסט (לדוגמה, DALL-E).

הדרגתי

הווקטור של הנגזרות החלקיות ביחס לכל המשתנים הבלתי תלויים. בלמידת מכונה, הגרדיאנט הוא וקטור של נגזרות חלקיות של פונקציית המודל. השיפוע מצביע לכיוון העלייה התלולה ביותר.

צבירת גרדיאנטים

טכניקת backpropagation שמעדכנת את הפרמטרים רק פעם אחת בכל תקופה ולא פעם אחת בכל איטרציה. אחרי העיבוד של כל מיני-קבוצה, הצטברות הגרדיאנטים פשוט מעדכנת את הסכום הכולל של הגרדיאנטים. לאחר מכן, אחרי עיבוד המיני-batch האחרון בתקופה, המערכת מעדכנת סופית את הפרמטרים על סמך הסכום הכולל של כל שינויי הגרדיאנט.

הצטברות של גרדיאנטים שימושית כשגודל האצווה גדול מאוד בהשוואה לכמות הזיכרון שזמינה לאימון. כשזיכרון הוא בעיה, הנטייה הטבעית היא להקטין את גודל האצווה. עם זאת, הקטנת גודל האצווה בשיטת backpropagation רגילה מגדילה את מספר עדכוני הפרמטרים. הצטברות של גרדיאנטים מאפשרת למודל להימנע מבעיות בזיכרון, ועדיין להתאמן ביעילות.

עצי החלטה עם חיזוק גרדיאנט (GBT)

#df

סוג של יער החלטות שבו:

• הדרכה מתבססת על חיזוק גרדיאנט.
• המודל החלש הוא עץ החלטות.

מידע נוסף זמין במאמר Gradient Boosted Decision Trees (עצים להחלטות עם שיפור גרדיאנט) בקורס בנושא Decision Forests (יערות החלטה).

חיזוק גרדיאנט

#df

אלגוריתם אימון שבו מודלים חלשים מאומנים באופן איטרטיבי כדי לשפר את האיכות (להפחית את ההפסד) של מודל חזק. לדוגמה, מודל חלש יכול להיות מודל לינארי או מודל קטן של עץ החלטות. המודל החזק הופך לסכום של כל המודלים החלשים שאומנו קודם לכן.

בצורה הפשוטה ביותר של שיטת Gradient Boosting, בכל איטרציה, מודל חלש עובר אימון כדי לחזות את שיפוע אובדן המידע של המודל החזק. לאחר מכן, הפלט של המודל החזק מתעדכן על ידי חיסור הגרדיאנט החזוי, בדומה לירידת גרדיאנט.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

where:‎

• ‫$F_{0}$ הוא המודל של התחלה חזקה.
• ‫$F_{i+1}$ הוא המודל החזק הבא.
• ‫$F_{i}$ הוא המודל החזק הנוכחי.
• ‫$\xi$ הוא ערך בין 0.0 ל-1.0 שנקרא התכווצות, והוא דומה לקצב הלמידה בשיטת הגרדיאנט.
• ‫$f_{i}$ הוא המודל החלש שאומן לחזות את שיפוע ההפסד של $F_{i}$.

וריאציות מודרניות של gradient boosting כוללות גם את הנגזרת השנייה (Hessian) של הפסד בחישוב שלהן.

עצי החלטה משמשים בדרך כלל כמודלים חלשים בשיטת Gradient Boosting. מידע נוסף על עצים עם שיפור גרדיאנט (החלטה)

חיתוך גרדיאנט

מנגנון נפוץ לצמצום הבעיה של גרדיאנטים מתפוצצים הוא הגבלה מלאכותית (חיתוך) של הערך המקסימלי של הגרדיאנטים כשמשתמשים בירידת גרדיאנט כדי לאמן מודל.

ירידת גרדיאנט

#fundamentals

טכניקה מתמטית שמטרתה למזער את ההפסד. בשיטת גרדיאנט ירידה, מתבצעת התאמה איטרטיבית של משקלים והטיות, ובאופן הדרגתי נמצא השילוב הטוב ביותר לצמצום ההפסד.

השיטה של ירידת גרדיאנט קיימת כבר הרבה מאוד זמן, הרבה יותר זמן מלמידת מכונה.

מידע נוסף זמין במאמר רגרסיה לינארית: שיטת גרדיאנט ירידה בסדנה ללימוד מכונת למידה.

תרשים

#TensorFlow

ב-TensorFlow, מפרט חישוב. הצמתים בתרשים מייצגים פעולות. הקצוות הם מכוונים ומייצגים העברה של תוצאת פעולה (Tensor) כאופרנד לפעולה אחרת. אפשר להשתמש ב-TensorBoard כדי להמחיש תרשים.

הרצת גרף

#TensorFlow

סביבת תכנות של TensorFlow שבה התוכנית יוצרת קודם גרף ואז מפעילה את הגרף הזה כולו או חלק ממנו. ההרצה של הגרף היא מצב ההרצה שמוגדר כברירת מחדל ב-TensorFlow 1.x.

ההפך מ-eager execution.

מדיניות חמדנית

בלמידת חיזוק, מדיניות שתמיד בוחרת את הפעולה עם ההחזר הצפוי הכי גבוה.

עיגון בנתונים

מאפיין של מודל שהפלט שלו מבוסס על חומר מקור ספציפי (או "מעוגן" בו). לדוגמה, נניח שאתם מספקים ספר לימוד שלם בפיזיקה כקלט ("הקשר") למודל שפה גדול. לאחר מכן, מזינים למודל השפה הגדול פרומפט עם שאלה בפיזיקה. אם התשובה של המודל משקפת מידע שמופיע בספר הלימוד, סימן שהמודל מבוסס על ספר הלימוד הזה.

חשוב לזכור שמודל מעוגן הוא לא תמיד מודל עובדתי. לדוגמה, יכול להיות שיהיו טעויות בספר הלימוד לפיזיקה שמשמש כקלט.

ערכי סף (ground truth)

#fundamentals

ריאליטי.

מה שקרה בפועל.

לדוגמה, נניח שיש מודל של סיווג בינארי שמנבא אם סטודנט בשנה הראשונה באוניברסיטה יסיים את התואר תוך שש שנים. האמת הבסיסית של המודל הזה היא אם התלמיד או התלמידה סיימו את הלימודים תוך שש שנים.

כדי לראות הערות נוספות, לוחצים על הסמל.

אנחנו מעריכים את איכות המודל בהשוואה לאמת הבסיסית. עם זאת, נתוני האמת לא תמיד מדויקים לחלוטין. לדוגמה, הנה כמה דוגמאות לפגמים פוטנציאליים בנתוני האמת:

• בדוגמה של סיום הלימודים, האם אנחנו בטוחים שרשומות סיום הלימודים של כל תלמיד תמיד נכונות? האם רישום הנתונים באוניברסיטה מתבצע בצורה מושלמת?
• נניח שהתווית היא ערך נקודה צפה שנמדד על ידי מכשירים (לדוגמה, ברומטרים). איך אפשר לוודא שכל המכשירים מכוילים באופן זהה או שכל קריאה מתבצעת באותם תנאים?
• אם התווית היא עניין של דעה אנושית, איך אפשר להיות בטוחים שכל בודק אנושי מעריך את האירועים באותו אופן? כדי לשפר את העקביות, לפעמים מתערבים מומחים אנושיים.

---

הטיית ייחוס קבוצתית

#responsible

הנחה שמה שנכון לגבי אדם מסוים נכון גם לגבי כל האנשים בקבוצה. ההשפעות של הטיית שיוך קבוצתית עלולות להיות חמורות יותר אם משתמשים בדגימה נוחה לאיסוף נתונים. במדגם לא מייצג, יכול להיות שיינתנו שיוכים שלא משקפים את המציאות.

אפשר לעיין גם במאמרים בנושא הטיה של הומוגניות מחוץ לקבוצה והטיה לטובת הקבוצה. מידע נוסף זמין גם במאמר הוגנות: סוגי הטיה בסדנה המקוונת בנושא למידת מכונה.

H

הזיה

#generativeAI

יצירת פלט שנראה סביר אבל כולל עובדות שגויות על ידי מודל AI גנרטיבי, שמציג את עצמו כמודל שמספק טענות לגבי העולם האמיתי. לדוגמה, מודל של AI גנרטיבי שטוען שברק אובמה מת בשנת 1865 מייצר הזיות.

גיבוב (hashing)

בלמידת מכונה, מנגנון לקיבוץ נתונים קטגוריים, במיוחד כשמספר הקטגוריות גדול, אבל מספר הקטגוריות שמופיעות בפועל במערך הנתונים קטן יחסית.

לדוגמה, בכדור הארץ יש כ-73,000 מיני עצים. אפשר לייצג כל אחד מ-73,000 מיני העצים ב-73,000 קטגוריות נפרדות. לחלופין, אם רק 200 מתוך מיני העצים האלה מופיעים בפועל במערך נתונים, אפשר להשתמש בגיבוב כדי לחלק את מיני העצים ל-500 דליים.

מאגר אחד יכול להכיל כמה מיני עצים. לדוגמה, גיבוב יכול למקם את baobab ו-red maple – שני מינים שונים מבחינה גנטית – באותה קטגוריה. בכל מקרה, גיבוב הוא עדיין דרך טובה למפות קבוצות גדולות של קטגוריות למספר הדליים שנבחר. גיבוב הופך מאפיין קטגוריאלי עם מספר גדול של ערכים אפשריים למספר קטן בהרבה של ערכים, על ידי קיבוץ ערכים בצורה דטרמיניסטית.

מידע נוסף זמין במאמר Categorical data: Vocabulary and one-hot encoding (נתונים קטגוריים: אוצר מילים וקידוד one-hot) בסדנה ללימוד למידת מכונה.

היוריסטיקה

פתרון פשוט שאפשר ליישם במהירות לבעיה. לדוגמה, "בעזרת היוריסטיקה, הגענו לרמת דיוק של 86%. כשעברנו לרשת עצבית עמוקה, רמת הדיוק עלתה ל-98%".

שכבה נסתרת

#fundamentals

שכבה ברשת עצבית בין שכבת הקלט (התכונות) לבין שכבת הפלט (התחזית). כל שכבה מוסתרת מורכבת מנוירונים. לדוגמה, רשת הנוירונים הבאה מכילה שתי שכבות נסתרות, הראשונה עם שלושה נוירונים והשנייה עם שני נוירונים:

רשת עצבית עמוקה מכילה יותר משכבה נסתרת אחת. לדוגמה, האיור הקודם הוא רשת עצבית עמוקה כי המודל מכיל שתי שכבות מוסתרות.

מידע נוסף זמין במאמר רשתות עצביות: צמתים ושכבות מוסתרות בסדנה המקוונת ללמידת מכונה.

סידור היררכי באשכולות

#clustering

קטגוריה של אלגוריתמים של אשכולות שיוצרים עץ של אשכולות. השיטה של אשכול היררכי מתאימה לנתונים היררכיים, כמו טקסונומיות בוטניות. יש שני סוגים של אלגוריתמים להיררכיה של אשכולות:

• אשכול צבירה קודם מקצה כל דוגמה לאשכול משלה, ואז ממזג באופן איטרטיבי את האשכולות הקרובים ביותר כדי ליצור עץ היררכי.
• חלוקה לקלאסטרים: קודם מקבצים את כל הדוגמאות לקלאסטר אחד, ואז מחלקים את הקלאסטר באופן איטרטיבי לעץ היררכי.

השיטה הזו שונה מאשכולות מבוססי-מרכז.

מידע נוסף זמין במאמר בנושא אלגוריתמים של אשכולות בקורס בנושא אשכולות.

טיפוס על גבעה

אלגוריתם לשיפור איטרטיבי ("הליכה בעלייה") של מודל למידת מכונה עד שהמודל מפסיק להשתפר ("מגיע לראש הגבעה"). הצורה הכללית של האלגוריתם היא:

1. יוצרים מודל התחלתי.
2. יוצרים מודלים חדשים למועמדים על ידי ביצוע שינויים קלים בדרך שבה מאמנים או מכווננים את המודלים. יכול להיות שתצטרכו לעבוד עם מערך אימון שונה במקצת או עם היפרפרמטרים שונים.
3. מעריכים את המודלים החדשים המועמדים ובוחרים אחת מהפעולות הבאות:
   • אם מודל מועמד מספק ביצועים טובים יותר ממודל ההתחלה, הוא הופך למודל ההתחלה החדש. במקרה כזה, חוזרים על שלבים 1, 2 ו-3.
   • אם אף מודל לא עולה על המודל ההתחלתי, הגעתם לשיא ואתם צריכים להפסיק את האיטרציות.

הערה: אפשר לחשוב על הנקודה הכי גבוהה בגבעה כעל מקסימום מקומי שלא בהכרח מייצג מקסימום גלובלי. כלומר, שיטת הטיפוס על גבעה יכולה לעזור לכם למצוא את המודל הכי טוב במסגרת המגבלות הנוכחיות. עם זאת, יכול להיות שאפשר ליצור מודל טוב יותר אם מתחילים מחדש עם גישה חדשה.

הנחיות לגבי כוונון היפר-פרמטר זמינות במדריך לשיפור הביצועים של מודלים של למידה עמוקה. הנחיות בנושא הנדסת תכונות זמינות במודולים בנושא נתונים בקורס המקוצר על למידת מכונה.

ציר שבור

#Metric

משפחה של פונקציות loss לסיווג שנועדו למצוא את גבול ההחלטה במרחק הכי גדול שאפשר מכל דוגמה לאימון, וכך למקסם את המרווח בין הדוגמאות לגבול. ב-KSVM נעשה שימוש בפונקציית הפסד ציר (או בפונקציה קשורה, כמו פונקציית הפסד ציר בריבוע). בסיווג בינארי, פונקציית ההפסד של הציר מוגדרת כך:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

כאשר y הוא התיוג האמיתי, -1 או +1, ו-y' הוא הפלט הגולמי של מודל הסיווג:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

לכן, תרשים של hinge loss לעומת (y * y') נראה כך:

הטיה היסטורית

#responsible

סוג של הטיה שכבר קיימת בעולם והגיעה למערך נתונים. ההטיות האלה נוטות לשקף סטריאוטיפים תרבותיים קיימים, אי-שוויון דמוגרפי ודעות קדומות כלפי קבוצות חברתיות מסוימות.

לדוגמה, נניח שיש מודל סיווג שמנבא אם מבקש הלוואה יפגר בתשלומים או לא. המודל הזה אומן על נתונים היסטוריים של פיגור בתשלומים על הלוואות משנות ה-80 מבנקים מקומיים בשתי קהילות שונות. אם בעבר, הסיכוי של מועמדים מקהילה א' שלא לעמוד בתנאי ההלוואה היה גבוה פי שישה מהסיכוי של מועמדים מקהילה ב', יכול להיות שהמודל ילמד הטיה היסטורית שתגרום לו להיות פחות סביר לאשר הלוואות בקהילה א', גם אם התנאים ההיסטוריים שהובילו לשיעורי ברירת המחדל הגבוהים יותר בקהילה הזו כבר לא רלוונטיים.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בסדנת מבוא ללמידת מכונה.

נתונים במצב holdout

דוגמאות שלא נעשה בהן שימוש מכוון ("הוצאו") במהלך האימון. מערך הנתונים validation ומערך הנתונים test הם דוגמאות לנתונים שמוחזקים בנפרד. נתוני החזקה (Holdout) עוזרים להעריך את היכולת של המודל לבצע הכללה לנתונים אחרים, מלבד הנתונים שעליהם הוא אומן. ההפסד בקבוצת ההחזקה מספק הערכה טובה יותר של ההפסד במערך נתונים שלא נראה מאשר ההפסד בקבוצת האימון.

מארח

#TensorFlow

#GoogleCloud

כשמאמנים מודל ML על שבבי האצה (GPU או TPU), החלק במערכת ששולט בשני הדברים הבאים:

• הזרימה הכוללת של הקוד.
• החילוץ והשינוי של צינור הקלט.

המארח פועל בדרך כלל במעבד, ולא בשבב האצה. המכשיר מבצע מניפולציות על טנסורים בשבבי ההאצה.

בדיקה אנושית

#generativeAI

תהליך שבו אנשים שופטים את איכות הפלט של מודל למידת מכונה. לדוגמה, אנשים דו-לשוניים שופטים את האיכות של מודל למידת מכונה לתרגום. הערכה אנושית שימושית במיוחד לבדיקת מודלים שאין להם תשובה נכונה אחת.

ההבדל בין זה לבין הערכה אוטומטית והערכה על ידי מערכת אוטומטית למתן ציונים.

האדם שבתהליך (HITL)

#generativeAI

ביטוי לא מוגדר היטב שיכול להיות לו אחד מהפירושים הבאים:

• מדיניות של צפייה בתוצרים של AI גנרטיבי באופן ביקורתי או סקפטי.
• אסטרטגיה או מערכת שמבטיחות שאנשים יעזרו לעצב, להעריך ולשפר את התנהגות המודל. השארת אדם בתהליך מאפשרת ל-AI ליהנות מאינטליגנציה של מכונה וגם מאינטליגנציה אנושית. לדוגמה, מערכת שבה AI יוצר קוד שמהנדסי תוכנה בודקים אותו היא מערכת עם מעורבות אנושית בתהליך.

היפר-פרמטר

#fundamentals

המשתנים שאתם או שירות לכוונון היפר-פרמטרים משנים במהלך הפעלות רצופות של אימון מודל. לדוגמה, קצב הלמידה הוא היפר-פרמטר. אפשר להגדיר את קצב הלמידה ל-0.01 לפני סשן אימון. אם תגיעו למסקנה ש-0.01 הוא ערך גבוה מדי, תוכלו להגדיר את קצב הלמידה ל-0.003 בסשן האימון הבא.

לעומת זאת, פרמטרים הם משקלים והטיות שונים שהמודל לומד במהלך האימון.

מידע נוסף זמין במאמר רגרסיה לינארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

מישור היפר

גבול שמפריד בין מרחב לשני תת-מרחבים. לדוגמה, קו הוא היפר-מישור בשני ממדים ומישור הוא היפר-מישור בשלושה ממדים. בדרך כלל, בלמידת מכונה, היפר-מישור הוא הגבול שמפריד בין מרחב רב-ממדי. ‫Kernel Support Vector Machines משתמשים בהיפר-מישורים כדי להפריד בין מחלקות חיוביות למחלקות שליליות, לרוב במרחב רב-ממדי.

I

i.i.d.

קיצור של independently and identically distributed (מפוזר באופן עצמאי וזהה).

זיהוי תמונות, זיהוי תמונה

תהליך שמסווג אובייקטים, דפוסים או מושגים בתמונה. זיהוי תמונות נקרא גם סיווג תמונות.

מידע נוסף זמין במאמר ML Practicum: Image Classification.

מידע נוסף זמין בקורס ML Practicum: Image Classification.

קבוצת נתונים לא מאוזנת

מילה נרדפת ל-class-imbalanced dataset.

הטיה מרומזת

#responsible

יצירת קשר או הנחה באופן אוטומטי על סמך מודלים וזיכרונות במוח. הטיה מרומזת יכולה להשפיע על:

• איך הנתונים נאספים ומסווגים.
• איך מערכות למידת מכונה מתוכננות ומפותחות.

לדוגמה, כשבונה מודל סיווג כדי לזהות תמונות חתונה, מהנדס יכול להשתמש בנוכחות של שמלה לבנה בתמונה כמאפיין. עם זאת, שמלות לבנות היו מקובלות רק בתקופות מסוימות ובתרבויות מסוימות.

אפשר לעיין גם במאמר בנושא הטיית אישור.

השלמת נתונים חסרים

קיצור של השלמת ערכים.

אי התאמה של מדדי הוגנות

#responsible

#Metric

הרעיון שלפיו חלק מהמושגים של הוגנות לא תואמים זה לזה ולא ניתן לספק אותם בו-זמנית. לכן, אין מדד אוניברסלי יחיד לכימות ההוגנות שאפשר להחיל על כל בעיות ה-ML.

יכול להיות שזה נשמע מייאש, אבל חוסר התאמה של מדדי הוגנות לא אומר שהמאמצים להשגת הוגנות הם חסרי תועלת. במקום זאת, היא מציעה להגדיר הוגנות בהקשר של בעיה נתונה של למידת מכונה, במטרה למנוע נזקים שספציפיים לתרחישי השימוש שלה.

במאמר "On the (im)possibility of fairness" יש דיון מפורט יותר על חוסר התאימות של מדדי הוגנות.

למידה בהקשר

#generativeAI

מילה נרדפת ל-few-shot prompting.

בלתי תלויים ומחולקים באופן זהה (i.i.d)

#fundamentals

נתונים שנלקחים מהתפלגות שלא משתנה, וכל ערך שנלקח לא תלוי בערכים שנלקחו קודם. משתנים בלתי תלויים ומחולקים זהה הם הגז האידיאלי של למידת מכונה – מבנה מתמטי שימושי אבל כמעט אף פעם לא נמצא בדיוק בעולם האמיתי. לדוגמה, פיזור המבקרים בדף אינטרנט עשוי להיות i.i.d. במהלך חלון זמן קצר. כלומר, הפיזור לא משתנה במהלך חלון הזמן הקצר הזה, והביקור של אדם אחד בדרך כלל לא תלוי בביקור של אדם אחר. עם זאת, אם תרחיבו את חלון הזמן הזה, יכול להיות שתראו הבדלים עונתיים במבקרים בדף האינטרנט.

מידע נוסף מופיע במאמר בנושא nonstationarity.

הוגנות אישית

#responsible

#Metric

מדד הוגנות שבודק אם סיווג של אנשים דומים הוא דומה. לדוגמה, יכול להיות שב-Brobdingnagian Academy ירצו להבטיח הוגנות אינדיבידואלית, כלומר ששני תלמידים עם ציונים זהים במבחנים סטנדרטיים יקבלו סיכוי שווה להתקבל למוסד.

חשוב לזכור שההוגנות האישית תלויה לחלוטין בהגדרה של 'דמיון' (במקרה הזה, ציונים במבחנים וציונים בלימודים), ויש סיכון ליצירת בעיות חדשות של הוגנות אם מדד הדמיון לא כולל מידע חשוב (כמו רמת הקושי של תוכנית הלימודים של התלמיד).

במאמר "הוגנות באמצעות מודעות" מופיע דיון מפורט יותר בנושא ההוגנות האישית.

היקש

#fundamentals

#generativeAI

בלמידת מכונה מסורתית, התהליך של ביצוע חיזויים על ידי החלת מודל מאומן על דוגמאות לא מסומנות. מידע נוסף זמין במאמר בנושא למידה מפוקחת בקורס 'מבוא ל-ML'.

במודלים גדולים של שפה, הסקה היא התהליך של שימוש במודל מאומן כדי ליצור תשובה להנחיה.

למונח 'היסק' יש משמעות שונה בסטטיסטיקה. פרטים נוספים זמינים במאמר בוויקיפדיה בנושא הסקה סטטיסטית.

נתיב היקש

#df

בעץ החלטה, במהלך ההסקה, המסלול שדוגמה ספציפית עוברת מהשורש לתנאים אחרים, ומסתיים בעלה. לדוגמה, בעץ ההחלטה הבא, החצים העבים יותר מראים את נתיב ההסקה לדוגמה עם ערכי התכונות הבאים:

• x = 7
• y = 12
• z = -3

נתיב ההסקה באיור הבא עובר דרך שלושה תנאים לפני שהוא מגיע לעלה (Zeta).

שלושת החיצים העבים מראים את נתיב ההסקה.

מידע נוסף זמין במאמר עצי החלטה בקורס בנושא יערות החלטה.

הרווח ממידע

#df

#Metric

ביערות החלטה, ההפרש בין האנטרופיה של צומת לבין הסכום המשוקלל (לפי מספר הדוגמאות) של האנטרופיה של צמתי הצאצאים שלה. האנטרופיה של צומת היא האנטרופיה של הדוגמאות בצומת הזה.

לדוגמה, נבחן את ערכי האנטרופיה הבאים:

• האנטרופיה של צומת ההורה = 0.6
• האנטרופיה של צומת משני אחד עם 16 דוגמאות רלוונטיות = 0.2
• האנטרופיה של צומת צאצא אחר עם 24 דוגמאות רלוונטיות = 0.1

לכן, 40% מהדוגמאות נמצאות בצומת צאצא אחד ו-60% נמצאות בצומת הצאצא השני. לכן:

• סכום האנטרופיה המשוקללת של צומתי הצאצא = (‎0.4 * 0.2) + (‎0.6 * 0.1) = 0.14

לכן, הרווח במידע הוא:

• הרווח במידע = האנטרופיה של צומת האב – סכום האנטרופיה המשוקלל של צמתי הבן
• הרווח מהמידע = 0.6 – 0.14 = 0.46

רוב המספקים מנסים ליצור תנאים שממקסמים את הרווח במידע.

הטיה לטובת קבוצת השייכות

#responsible

העדפה של הקבוצה שאליה משתייכים או של מאפיינים אישיים. אם הבודקים או המדרגים הם חברים, בני משפחה או עמיתים של מפתח הלמידה החישובית, יכול להיות שהטיה בתוך הקבוצה תפסול את בדיקת המוצר או את מערך הנתונים.

הטיה לטובת קבוצת הפנים היא סוג של הטיית ייחוס קבוצתית. אפשר לעיין גם במאמר בנושא הטיית הומוגניות של קבוצת חוץ.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בסדנה בנושא למידת מכונה.

מחולל קלט

מנגנון שבאמצעותו נתונים נטענים לתוך רשת נוירונים.

אפשר לחשוב על גנרטור קלט כרכיב שאחראי לעיבוד נתונים גולמיים לטנסורים, שמתבצעת עליהם איטרציה כדי ליצור אצוות לאימון, להערכה ולהסקת מסקנות.

שכבת הקלט

#fundamentals

השכבה של רשת הנוירונים שמכילה את וקטור התכונות. כלומר, שכבת הקלט מספקת דוגמאות לאימון או להסקת מסקנות. לדוגמה, שכבת הקלט ברשת העצבית הבאה מורכבת משני מאפיינים:

תנאי בתוך קבוצה

#df

בעץ החלטות, תנאי שבודק אם פריט מסוים קיים בקבוצת פריטים. לדוגמה, התנאי הבא הוא תנאי בתוך קבוצה:

  house-style in [tudor, colonial, cape]

במהלך ההסקה, אם הערך של feature בסגנון הבית הוא tudor או colonial או cape, התנאי הזה מקבל את הערך Yes. אם הערך של התכונה house-style הוא משהו אחר (לדוגמה, ranch), התנאי הזה יחזיר את הערך 'לא'.

תנאים בתוך קבוצה בדרך כלל מובילים לעצי החלטה יעילים יותר מאשר תנאים שבודקים תכונות בקידוד one-hot.

מכונה

מילה נרדפת לדוגמה.

התאמת מודל להנחיות

#generativeAI

סוג של כוונון עדין שמשפר את היכולת של מודל AI גנרטיבי לפעול לפי הוראות. כוונון לפי הוראות כולל אימון של מודל על סדרה של הנחיות, שלרוב מכסות מגוון רחב של משימות. המודל שמתקבל אחרי כוונון לפי הוראות נוטה ליצור תשובות שימושיות להנחיות ללא דוגמאות במגוון משימות.

השוואה וניגוד עם:

• כוונון יעיל בפרמטרים
• שיפור הנחיות

יכולת פירוש

#fundamentals

היכולת להסביר או להציג את הנימוקים של מודל למידת מכונה במונחים מובנים לאדם.

לדוגמה, רוב המודלים של רגרסיה לינארית ניתנים לפירוש בקלות. (צריך רק לבדוק את המשקלים שאומנו לכל תכונה). בנוסף, קל מאוד לפרש את התוצאות של יערות החלטה. עם זאת, כדי להבין חלק מהמודלים צריך להשתמש בהדמיה מתוחכמת.

אפשר להשתמש ב Learning Interpretability Tool (LIT) כדי לפרש מודלים של ML.

הסכמה בין בודקים

#Metric

מדד שמשקף את התדירות שבה מעריכים אנושיים מסכימים ביניהם כשמבצעים משימה. אם יש חוסר הסכמה בין הבודקים, יכול להיות שצריך לשפר את הוראות המשימה. נקרא גם לפעמים הסכמה בין מבארים או מהימנות בין מעריכים. ראו גם את קאפה של כהן, אחד ממדדי ההסכמה בין מעריכים הפופולריים ביותר.

מידע נוסף זמין במאמר נתונים קטגוריים: בעיות נפוצות בסדנה ללימוד מכונת למידה.

חיתוך על איחוד (IoU)

החיתוך של שתי קבוצות חלקי האיחוד שלהן. במשימות של זיהוי תמונות באמצעות למידת מכונה, משתמשים ב-IoU כדי למדוד את הדיוק של תיבת התוחמת החזויה של המודל ביחס לתיבת התוחמת של האמת הבסיסית. במקרה כזה, חיתוך על איחוד (IoU) של שתי התיבות הוא היחס בין האזור החופף לבין האזור הכולל, והערך שלו נע בין 0 (אין חפיפה בין תיבת התוחמת החזויה לבין תיבת התוחמת של נתוני האמת) לבין 1 (תיבת התוחמת החזויה ותיבת התוחמת של נתוני האמת הן בעלות אותן קואורדינטות בדיוק).

לדוגמה, בתמונה שלמטה:

• תיבת התוחמת החזויה (הקואורדינטות שמגדירות איפה המודל חוזה ששולחן הלילה ממוקם בציור) מודגשת בסגול.
• תיבת התוחמת של האמת הבסיסית (הקואורדינטות שמגדירות את המיקום בפועל של שידת הלילה בציור) מודגשת בירוק.

בדוגמה הזו, שטח החיתוך של תיבות התוחמות של החיזוי ושל נתוני האמת (משמאל למטה) הוא 1, ושטח האיחוד של תיבות התוחמות של החיזוי ושל נתוני האמת (מימין למטה) הוא 7, ולכן ערך ה-IoU הוא \(\frac{1}{7}\).

IoU

קיצור של intersection over union (חיתוך חלקי איחוד).

מטריצת פריטים

במערכות המלצות, מטריצה של ווקטורים של הטמעה שנוצרו על ידי פירוק מטריצות שמכילה אותות סמויים לגבי כל פריט. כל שורה במטריצת הפריטים מכילה את הערך של תכונה סמויה אחת לכל הפריטים. לדוגמה, נניח שיש מערכת להמלצות על סרטים. כל עמודה במטריצת הפריטים מייצגת סרט יחיד. האותות הסמויים יכולים לייצג ז'אנרים, או להיות אותות שקשה יותר לפרש אותם, שכוללים אינטראקציות מורכבות בין ז'אנר, כוכבים, גיל הסרט או גורמים אחרים.

למטריצת הפריטים יש אותו מספר עמודות כמו למטריצת היעד שמפורקת לגורמים. לדוגמה, אם יש מערכת המלצות לסרטים שמעריכה 10,000 שמות של סרטים, מטריצת הפריטים תכלול 10,000 עמודות.

פריטים

במערכת המלצות, הישויות שהמערכת ממליצה עליהן. לדוגמה, סרטונים הם הפריטים שחנות וידאו ממליצה עליהם, בעוד שספרים הם הפריטים שחנות ספרים ממליצה עליהם.

איטרציה

#fundamentals

עדכון יחיד של הפרמטרים של מודל – המשקולות וההטיות של המודל – במהלך האימון. גודל האצווה קובע כמה דוגמאות המודל מעבד באיטרציה אחת. לדוגמה, אם גודל האצווה הוא 20, המודל מעבד 20 דוגמאות לפני שהוא משנה את הפרמטרים.

כשמאמנים רשת נוירונים, איטרציה אחת כוללת את שני המעברים הבאים:

1. העברה קדימה כדי להעריך את ההפסד באצווה אחת.
2. מעבר אחורה (backpropagation) כדי לשנות את הפרמטרים של המודל על סמך הפסד וקצב הלמידה.

מידע נוסף זמין במאמר בנושא Gradient descent (שיטת גרדיאנט) בקורס המקוצר על למידת מכונה.

J

JAX

ספרייה של מחשוב מערכים, שמשלבת בין XLA (אלגברה לינארית מואצת) לבין דיפרנציאציה אוטומטית, למחשוב נומרי עתיר ביצועים. ‫JAX מספקת API פשוט ועוצמתי לכתיבת קוד נומרי מואץ עם טרנספורמציות שניתנות להרכבה. ‫JAX כולל תכונות כמו:

• grad (הבחנה אוטומטית)
• jit (קומפילציה בזמן אמת)
• vmap (וקטוריזציה אוטומטית או אצווה)
• pmap (מקביליות)

‫JAX היא שפה להבעה וליצירה של טרנספורמציות של קוד נומרי, בדומה לספריית NumPy של Python, אבל בהיקף גדול בהרבה. (למעשה, ספריית ‎ .numpy ב-JAX היא גרסה שוות-ערך מבחינת פונקציונלית, אבל שנכתבה מחדש לחלוטין של ספריית Python NumPy).

‫JAX מתאים במיוחד להאצת משימות רבות של למידת מכונה, על ידי המרת המודלים והנתונים לפורמט שמתאים להרצה מקבילית ב-GPU וב-TPU accelerator chips.

‫Flax,‏ Optax,‏ Pax וספריות רבות אחרות מבוססות על תשתית JAX.

K

Keras

ממשק API פופולרי ללמידת מכונה ב-Python. ‫Keras פועל בכמה מסגרות של למידה עמוקה, כולל TensorFlow, שבו הוא זמין כ-tf.keras.

מכונות וקטוריות לתמיכה בליבה (KSVM)

אלגוריתם סיווג שמטרתו למקסם את המרווח בין סיווגים חיוביים לבין סיווגים שליליים על ידי מיפוי של וקטורים של נתוני קלט למרחב רב-ממדי. לדוגמה, נניח שיש בעיית סיווג שבה מערך הנתונים של הקלט כולל מאה מאפיינים. כדי למקסם את השוליים בין מחלקות חיוביות ושליליות, יכול להיות ש-KSVM ימפה את התכונות האלה באופן פנימי למרחב של מיליון ממדים. ב-KSVM נעשה שימוש בפונקציית הפסד שנקראת hinge loss.

נקודות מרכזיות

הקואורדינטות של תכונות מסוימות בתמונה. לדוגמה, במודל של זיהוי תמונות שמבחין בין מיני פרחים, נקודות מרכזיות יכולות להיות מרכז כל עלה כותרת, הגבעול, האבקן וכן הלאה.

אימות צולב k-fold

אלגוריתם לחיזוי היכולת של מודל להכליל לנתונים חדשים. האות k ב-k-fold מתייחסת למספר הקבוצות השוות שאליהן מחלקים את הדוגמאות בסט נתונים. כלומר, מאמנים את המודל ובודקים אותו k פעמים. בכל סבב של אימון ובדיקה, קבוצה אחרת היא קבוצת הבדיקה, וכל הקבוצות שנותרו הופכות לקבוצת האימון. אחרי k סבבים של אימון ובדיקה, מחשבים את הממוצע ואת סטיית התקן של המדדים שנבחרו לבדיקה.

לדוגמה, נניח שקבוצת הנתונים שלכם כוללת 120 דוגמאות. נניח שאתם מחליטים להגדיר את k ל-4. לכן, אחרי ערבוב הדוגמאות, מחלקים את מערך הנתונים לארבע קבוצות שוות של 30 דוגמאות ומבצעים ארבעה סבבים של אימון ובדיקה:

לדוגמה, הטעות הריבועית הממוצעת (MSE) יכולה להיות המדד הכי משמעותי למודל רגרסיה לינארית. לכן, צריך לחשב את הממוצע ואת סטיית התקן של ה-MSE בכל ארבעת הסיבובים.

k-means

#clustering

אלגוריתם פופולרי של אשכולות שמקבץ דוגמאות בלי למידה מפוקחת. האלגוריתם k-means מבצע את הפעולות הבאות:

• האלגוריתם קובע באופן איטרטיבי את k הנקודות המרכזיות הטובות ביותר (שנקראות מרכזי מסה).
• משייכת כל דוגמה למרכז המסה הקרוב ביותר. הדוגמאות הכי קרובות לאותו מרכז מסה שייכות לאותה קבוצה.

אלגוריתם k-means בוחר מיקומים של מרכזי מסה כדי למזער את הריבוע המצטבר של המרחקים מכל דוגמה למרכז המסה הקרוב ביותר שלה.

לדוגמה, נבחן את התרשים הבא של גובה הכלב ביחס לרוחב הכלב:

אם k=3, אלגוריתם k-means יקבע שלושה צנטרואידים. כל דוגמה מוקצית למרכז המסה הקרוב ביותר שלה, וכך נוצרות שלוש קבוצות:

נניח שיצרן רוצה לקבוע את המידות האידיאליות לסוודרים לכלבים במידות קטנות, בינוניות וגדולות. שלושת המרכזים מזהים את הגובה הממוצע והרוחב הממוצע של כל כלב באותו אשכול. לכן, כדאי ליצרן לבסס את מידות הסוודרים על שלושת מרכזי המסה האלה. שימו לב: בדרך כלל, מרכז הכובד של אשכול לא מייצג דוגמה באשכול.

האיורים הקודמים מציגים את k-means לדוגמאות עם שני מאפיינים בלבד (גובה ורוחב). הערה: אלגוריתם k-means יכול לקבץ דוגמאות לפי הרבה מאפיינים.

מידע נוסף זמין במאמר מהו אשכול k-means? בקורס בנושא אשכולות.

k-median

#clustering

אלגוריתם קיבוץ באשכולות שקשור קשר הדוק ל-k-means. ההבדל המעשי בין שני סוגי ההמרות:

• בשיטת k-means, הצנטרואידים נקבעים על ידי מזעור סכום הריבועים של המרחק בין צנטרואיד פוטנציאלי לבין כל אחת מהדוגמאות שלו.
• בשיטת k-median, מרכזי המסה נקבעים על ידי מזעור סכום המרחק בין מרכז מסה פוטנציאלי לבין כל אחת מהדוגמאות שלו.

שימו לב גם להבדלים בהגדרות של המרחק:

• אלגוריתם k-means מסתמך על המרחק האוקלידי מהצנטרואיד לדוגמה. (במרחב דו-ממדי, המרחק האוקלידי הוא היתר במשולש ישר זווית, שמחושב באמצעות משפט פיתגורס). לדוגמה, המרחק בין (2,2) לבין (5,-2) בשיטת k-means יהיה:

$$ {\text{Euclidean distance}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5 $$

• אלגוריתם k-median מסתמך על מרחק מנהטן מהצנטרואיד לדוגמה. המרחק הזה הוא סכום הדלתאות המוחלטות בכל מאפיין. לדוגמה, המרחק בין (2,2) לבין (5,-2) בשיטת k-median הוא:

$$ {\text{Manhattan distance}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7 $$

L

רגולריזציה של L₀

#fundamentals

סוג של רגולריזציה שמעניש את המספר הכולל של משקלים שאינם אפס במודל. לדוגמה, מודל עם 11 משקלים שונים מאפס ייענש יותר ממודל דומה עם 10 משקלים שונים מאפס.

רגולריזציה מסוג L₀ נקראת לפעמים רגולריזציה מסוג L0-norm.

כדי לראות הערות נוספות, לוחצים על הסמל.

_{בדרך כלל, רגולריזציה מסוג L0 לא מעשית במודלים גדולים, כי היא הופכת את האימון לבעיית אופטימיזציה קמורה.}

---

הפסד ברמה L₁

#fundamentals

#Metric

פונקציית הפסד שמחשבת את הערך המוחלט של ההפרש בין ערכי התוויות בפועל לבין הערכים שהמודל חוזה. לדוגמה, הנה החישוב של הפסד L₁ עבור batch של חמש דוגמאות:

ערך בפועל של הדוגמה	הערך שהמודל חזה	הערך המוחלט של הדלתא
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		‫8 = הפסד L1

הפונקציה L₁ loss פחות רגישה לערכים חריגים מאשר הפונקציה L₂ loss.

השגיאה הממוצעת המוחלטת היא הפסד _L1 הממוצע לכל דוגמה.

כדי לראות את המתמטיקה הפורמלית, לוחצים על הסמל.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

כאשר:

• ‫$n$ הוא מספר הדוגמאות.
• ‫$y$ הוא הערך בפועל של התווית.
• ‫$\hat{y}$ הוא הערך שהמודל חוזה עבור $y$.

---

מידע נוסף זמין במאמר רגרסיה ליניארית: הפסד בסדנה בנושא למידת מכונה.

רגולריזציה של L₁

#fundamentals

סוג של רגולריזציה שמענישה משקלים באופן יחסי לסכום הערך המוחלט של המשקלים. רגולריזציה מסוג L₁ עוזרת להסיט את המשקלים של תכונות לא רלוונטיות או רלוונטיות במידה מועטה לערך 0 בדיוק. תכונה עם משקל של 0 למעשה מוסרת מהמודל.

השוואה לרגולריזציה מסוג L₂.

נשירה ברמה _L2

#fundamentals

#Metric

פונקציית הפסד שמחשבת את ריבוע ההפרש בין ערכי התוויות בפועל לבין הערכים שהמודל חוזה. לדוגמה, הנה חישוב של הפסד L₂ עבור batch של חמש דוגמאות:

ערך בפועל של הדוגמה	הערך שהמודל חזה	ריבוע של דלתא
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		‫16 = L2 loss

בגלל ההעלאה בריבוע, הפסד L₂ מגביר את ההשפעה של ערכים חריגים. כלומר, הפסד L₂ מגיב בעוצמה רבה יותר לחיזויים שגויים מאשר הפסד L₁. לדוגמה, ערך ההפסד L₁ עבור האצווה הקודמת יהיה 8 ולא 16. שימו לב שערך חריג אחד מייצג 9 מתוך 16.

מודלים של רגרסיה משתמשים בדרך כלל בהפסד L₂ כפונקציית ההפסד.

השגיאה הריבועית הממוצעת היא הפסד _L2 הממוצע לכל דוגמה. שגיאה בריבוע הוא שם נוסף לשגיאת L₂.

כדי לראות את המתמטיקה הפורמלית, לוחצים על הסמל.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

כאשר:

• ‫$n$ הוא מספר הדוגמאות.
• ‫$y$ הוא הערך בפועל של התווית.
• ‫$\hat{y}$ הוא הערך שהמודל חוזה עבור $y$.

---

מידע נוסף זמין במאמר Logistic regression: Loss and regularization (רגרסיה לוגיסטית: הפסד ורגולריזציה) בסדנה בנושא למידת מכונה.

רגולריזציה של L₂

#fundamentals

סוג של רגולריזציה שמעניש משקלים באופן יחסי לסכום הריבועים של המשקלים. רגולריזציה מסוג L₂ עוזרת להסיט משקלים של ערכים חריגים (ערכים חיוביים גבוהים או ערכים שליליים נמוכים) קרוב יותר ל-0, אבל לא בדיוק ל-0. תכונות עם ערכים שקרובים מאוד ל-0 נשארות במודל, אבל לא משפיעות על התחזית של המודל.

רגולריזציה מסוג L₂ תמיד משפרת את ההכללה במודלים ליניאריים.

השוואה לרגולריזציה מסוג _L1.

מידע נוסף זמין במאמר התאמת יתר: רגולריזציה מסוג L2 בקורס המקוצר על למידת מכונה.

תווית

#fundamentals

בלמידת מכונה מפוקחת, החלק של ה"תשובה" או ה "תוצאה" בדוגמה.

כל דוגמה מתויגת מורכבת ממאפיין אחד או יותר ומתווית. לדוגמה, במערך נתונים לזיהוי ספאם, התווית תהיה כנראה 'ספאם' או 'לא ספאם'. במערך נתונים של גשמים, התווית יכולה להיות כמות הגשם שירדה במהלך תקופה מסוימת.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בסדרת המאמרים Introduction to Machine Learning (מבוא ללמידת מכונה).

דוגמה מסומנת בתווית

#fundamentals

דוגמה שמכילה תכונה אחת או יותר ותווית. לדוגמה, בטבלה הבאה מוצגות שלוש דוגמאות מתויגות ממודל להערכת שווי של בית, לכל אחת מהן יש שלושה מאפיינים ותווית אחת:

מספר חדרי שינה	מספר חדרי אמבטיה	גיל הבית	מחיר הבית (תווית)
3	2	15	$345,000
2	1	72	$179,000
4	2	34	$392,000

בלמידת מכונה מבוקרת, מודלים מתאמנים על דוגמאות מתויגות ומבצעים חיזויים על דוגמאות לא מתויגות.

השוואה בין דוגמה עם תוויות לבין דוגמאות ללא תוויות.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בסדרת המאמרים Introduction to Machine Learning (מבוא ללמידת מכונה).

דליפת תוויות

פגם בתכנון המודל שבו תכונה משמשת כפרוקסי לתווית. לדוגמה, נניח שיש לכם מודל של סיווג בינארי שמנבא אם לקוח פוטנציאלי ירכוש מוצר מסוים. נניח שאחת מהתכונות של המודל היא בוליאנית בשם SpokeToCustomerAgent. נניח גם שסוכן שירות לקוחות מוקצה אחרי שהלקוח הפוטנציאלי רכש את המוצר בפועל. במהלך האימון, המודל ילמד במהירות את הקשר בין SpokeToCustomerAgent לתווית.

מידע נוסף זמין במאמר מעקב אחרי צינורות נתונים בקורס המקוצר על למידת מכונה.

lambda

#fundamentals

מילה נרדפת ל-regularization rate.

המונח Lambda הוא מונח עמוס. במאמר הזה נתמקד בהגדרה של המונח רגולריזציה.

‫LaMDA (Language Model for Dialogue Applications)

מודל שפה גדול מבוסס Transformer שפותח על ידי Google ואומן על מערך נתונים גדול של דיאלוגים. המודל יכול ליצור תשובות ריאליסטיות לשיחות.

LaMDA: our breakthrough conversation technology (LaMDA: הטכנולוגיה פורצת הדרך שלנו לשיחות) מספק סקירה כללית.

ציוני דרך

מילה נרדפת לנקודות מרכזיות.

מודל שפה

מודל שמעריך את ההסתברות שטוקן או רצף של טוקנים יופיעו ברצף ארוך יותר של טוקנים.

כדי לראות הערות נוספות, לוחצים על הסמל.

למרות שזה נשמע לא הגיוני, הרבה מודלים שמבצעים הערכה של טקסט הם לא מודלים של שפה. לדוגמה, מודלים לסיווג טקסט ומודלים לניתוח סנטימנטים הם לא מודלים של שפה.

---

מידע נוסף זמין במאמר מהו מודל שפה? בקורס המקוצר על למידת מכונה.

מודל שפה גדול

#generativeAI

לפחות מודל שפה עם מספר גבוה מאוד של פרמטרים. באופן לא רשמי, כל מודל שפה שמבוסס על Transformer, כמו Gemini או GPT.

מידע נוסף זמין במאמר מודלים גדולים של שפה (LLMs) בסדנת מבוא ללמידת מכונה.

זמן אחזור

#generativeAI

הזמן שלוקח למודל לעבד קלט וליצור תשובה. תשובה עם זמן אחזור גבוה לוקחת יותר זמן ליצירה מאשר תשובה עם זמן אחזור נמוך.

בין הגורמים שמשפיעים על זמן האחזור של מודלים גדולים של שפה:

• אורכי קלט ופלט [token]
• מורכבות המודל
• התשתית שבה המודל פועל

אופטימיזציה של זמן האחזור היא חיונית ליצירת אפליקציות רספונסיביות וידידותיות למשתמש.

מרחב לטנטי

מילה נרדפת למרחב הטמעה.

שכבה

#fundamentals

קבוצה של נוירונים ברשת נוירונים. שלושה סוגים נפוצים של שכבות:

• שכבת הקלט, שמספקת ערכים לכל התכונות.
• שכבות מוסתרות אחת או יותר, שמזהות קשרים לא לינאריים בין התכונות לבין התווית.
• שכבת הפלט, שמספקת את החיזוי.

לדוגמה, באיור הבא מוצג רשת עצבית עם שכבת קלט אחת, שתי שכבות נסתרות ושכבת פלט אחת:

ב-TensorFlow, שכבות הן גם פונקציות Python שמקבלות טנסורים ואפשרויות הגדרה כקלט, ומפיקות טנסורים אחרים כפלט.

‫Layers API ‏ (tf.layers)

#TensorFlow

‫TensorFlow API ליצירת רשת עצבית עמוקה כהרכב של שכבות. ‫Layers API מאפשר לכם ליצור סוגים שונים של שכבות, למשל:

• ‫tf.layers.Dense עבור שכבה שמקושרת באופן מלא.
• ‫tf.layers.Conv2D לשכבת קונבולוציה.

ממשק ה-API של Layers פועל לפי המוסכמות של ממשק ה-API של שכבות Keras. כלומר, מלבד קידומת שונה, לכל הפונקציות ב-Layers API יש את אותם שמות וחתימות כמו הפונקציות המקבילות ב-Keras layers API.

עלה

#df

כל נקודת סיום בעץ החלטות. בניגוד לתנאי, צומת עלה לא מבצע בדיקה. במקום זאת, עלה הוא תחזית אפשרית. עלה הוא גם צומת סופית של נתיב הסקה.

לדוגמה, עץ ההחלטות הבא מכיל שלושה עלים:

מידע נוסף זמין במאמר עצי החלטה בקורס בנושא יערות החלטה.

Learning Interpretability Tool (LIT)‎

כלי אינטראקטיבי להצגה חזותית של נתונים ולהבנת מודלים.

אתם יכולים להשתמש ב-LIT בקוד פתוח כדי לפרש מודלים או כדי להציג נתונים טקסטואליים, נתונים של תמונות ונתונים טבלאיים.

קצב למידה

#fundamentals

מספר נקודה צפה שמציין לאלגוריתם gradient descent עד כמה לשנות את המשקלים וההטיות בכל iteration. לדוגמה, שיעור למידה של 0.3 יתאים את המשקלים וההטיות בעוצמה גדולה פי 3 בהשוואה לשיעור למידה של 0.1.

קצב הלמידה הוא היפר-פרמטר מרכזי. אם מגדירים את קצב הלמידה נמוך מדי, האימון יימשך זמן רב מדי. אם קצב הלמידה מוגדר גבוה מדי, לעיתים קרובות קשה להגיע להתכנסות בשיטת הגרדיאנט.

כדי לקבל הסבר מתמטי יותר, לוחצים על הסמל.

במהלך כל איטרציה, האלגוריתם gradient descent מכפיל את קצב הלמידה בשיפוע. המוצר שמתקבל נקרא שלב הגרדיאנט.

---

מידע נוסף זמין במאמר רגרסיה לינארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

רגרסיה של הריבועים הקטנים ביותר

מודל רגרסיה ליניארית שאומן על ידי מזעור הפסד L₂.

מרחק לבנשטיין

#metric

מדד מרחק העריכה שמחשב את מספר הפעולות המינימלי של מחיקה, הוספה והחלפה שנדרשות כדי לשנות מילה אחת למילה אחרת. לדוגמה, מרחק לוינשטיין בין המילים "heart" ו-"darts" הוא שלוש, כי אלה שלושת השינויים המינימליים שצריך לבצע כדי להפוך מילה אחת לשנייה:

1. לב ← לב (החלפת האות 'ל' באות 'ל')
2. deart → dart (מחיקת האות e)
3. dart → darts (insert "s")

הערה: הרצף הקודם הוא לא הדרך היחידה לבצע שלושה שינויים.

ליניארי

#fundamentals

קשר בין שני משתנים או יותר שאפשר לייצג רק באמצעות חיבור וכפל.

הגרף של קשר לינארי הוא קו.

ההבדל בין מודעות לינאריות ללא לינאריות.

מודל לינארי

#fundamentals

מודל שמקצה משקל אחד לכל מאפיין כדי ליצור תחזיות. (מודלים לינאריים כוללים גם הטיה). לעומת זאת, הקשר בין התכונות לבין התחזיות במודלים עמוקים הוא בדרך כלל לא ליניארי.

בדרך כלל קל יותר לאמן מודלים לינאריים והם ניתנים יותר לפירוש ממודלים עמוקים. עם זאת, מודלים עמוקים יכולים ללמוד קשרים מורכבים בין תכונות.

‫Linear regression ו-logistic regression הם שני סוגים של מודלים לינאריים.

כדי לראות את החישוב, לוחצים על הסמל.

מודל לינארי פועל לפי הנוסחה הבאה:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

כאשר:

• ‫y' הוא החיזוי הגולמי. (בסוגים מסוימים של מודלים לינאריים, התחזית הגולמית הזו תעבור שינוי נוסף. לדוגמה, ראו רגרסיה לוגיסטית.)
• ‫b הוא ההטיה.
• ‫w הוא משקל, לכן w₁ הוא המשקל של התכונה הראשונה, w₂ הוא המשקל של התכונה השנייה וכן הלאה.
• ‫x הוא מאפיין, לכן x₁ הוא הערך של המאפיין הראשון, x₂ הוא הערך של המאפיין השני וכן הלאה.

לדוגמה, נניח שמודל לינארי עם שלוש תכונות לומד את ההטיה והמשקלים הבאים:

• b = 7
• ‫w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

לכן, בהינתן שלוש תכונות (x₁, x₂ ו-x₃), המודל הליניארי משתמש במשוואה הבאה כדי ליצור כל תחזית:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

נניח שדוגמה מסוימת מכילה את הערכים הבאים:

• x₁ = 4
• x₂ = -10
• x₃ = 5

אם מציבים את הערכים האלה בנוסחה, מקבלים את התחזית הבאה לדוגמה הזו:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

מודלים ליניאריים כוללים לא רק מודלים שמשתמשים רק במשוואה ליניארית כדי ליצור תחזיות, אלא גם קבוצה רחבה יותר של מודלים שמשתמשים במשוואה ליניארית כרכיב אחד בלבד בנוסחה שיוצרת תחזיות. לדוגמה, רגרסיה לוגיסטית מבצעת עיבוד לאחר החיזוי הגולמי (y') כדי ליצור ערך חיזוי סופי בין 0 ל-1, לא כולל.

---

רגרסיה לינארית

#fundamentals

סוג של מודל למידת מכונה שבו מתקיימים שני התנאים הבאים:

• המודל הוא מודל לינארי.
• החיזוי הוא ערך נקודה צפה (floating-point). (זהו החלק של הרגרסיה ברגרסיה לינארית).

השוואה בין רגרסיה לינארית לבין רגרסיה לוגיסטית. בנוסף, השוו בין רגרסיה לבין סיווג.

מידע נוסף זמין במאמר בנושא רגרסיה לינארית בקורס המקוצר על למידת מכונה.

LIT

קיצור של Learning Interpretability Tool (LIT), שנקרא בעבר Language Interpretability Tool (כלי להסבר שפה).

LLM

#generativeAI

קיצור של מודל שפה גדול.

הערכות של מודלים גדולים של שפה (LLM)

#generativeAI

#Metric

קבוצה של מדדים ונקודות השוואה להערכת הביצועים של מודלים גדולים של שפה (LLM). ברמת העל, הערכות של מודלים גדולים של שפה (LLM):

• לעזור לחוקרים לזהות תחומים שבהם צריך לשפר את מודלי ה-LLM.
• הם שימושיים להשוואה בין מודלי שפה גדולים שונים ולזיהוי מודל השפה הגדול הטוב ביותר למשימה מסוימת.
• עוזרים להבטיח שהשימוש במודלים גדולים של שפה (LLM) יהיה בטוח ואתי.

מידע נוסף זמין במאמר מודלים גדולים של שפה (LLM) בקורס המקוצר על למידת מכונה.

רגרסיה לוגיסטית

#fundamentals

סוג של מודל רגרסיה שמנבא הסתברות. למודלים של רגרסיה לוגיסטית יש את המאפיינים הבאים:

• התווית היא קטגורית. המונח רגרסיה לוגיסטית מתייחס בדרך כלל לרגרסיה לוגיסטית בינארית, כלומר למודל שמחשב הסתברויות לתוויות עם שני ערכים אפשריים. וריאנט פחות נפוץ, רגרסיה לוגיסטית מולטינומיאלית, מחשב הסתברויות לתוויות עם יותר משני ערכים אפשריים.
• פונקציית ההפסד במהלך האימון היא Log Loss. (אפשר להציב כמה יחידות של Log Loss במקביל לתוויות עם יותר משני ערכים אפשריים).
• למודל יש ארכיטקטורה לינארית, ולא רשת עצבית עמוקה. עם זאת, שאר ההגדרה הזו חלה גם על מודלים עמוקים שמנבאים הסתברויות של תוויות קטגוריות.

לדוגמה, נניח שיש מודל רגרסיה לוגיסטית שמחשב את ההסתברות לכך שאימייל קלט הוא ספאם או לא ספאם. במהלך ההסקה, נניח שהמודל חוזה 0.72. לכן, המודל מעריך:

• סיכוי של 72% שהאימייל הוא ספאם.
• יש סיכוי של 28% שהאימייל לא ספאם.

מודל רגרסיה לוגיסטית משתמש בארכיטקטורה הבאה בת שני השלבים:

1. המודל יוצר חיזוי גולמי (y') על ידי החלת פונקציה ליניארית של תכונות קלט.
2. המודל משתמש בתחזית הגולמית הזו כקלט לפונקציית סיגמואיד, שממירה את התחזית הגולמית לערך בין 0 ל-1, לא כולל.

בדומה לכל מודל רגרסיה, מודל רגרסיה לוגיסטית חוזה מספר. עם זאת, המספר הזה בדרך כלל הופך לחלק ממודל סיווג בינארי באופן הבא:

• אם המספר החזוי גדול מסף הסיווג, מודל הסיווג הבינארי חוזה את המחלקה החיובית.
• אם המספר החזוי נמוך מסף הסיווג, מודל הסיווג הבינארי חוזה את המחלקה השלילית.

מידע נוסף זמין במאמר רגרסיה לוגיסטית בקורס המקוצר על למידת מכונה.

ערכי לוגיט

הווקטור של התחזיות הגולמיות (לא מנורמלות) שנוצרות על ידי מודל סיווג, שמועבר בדרך כלל לפונקציית נרמול. אם המודל פותר בעיה של סיווג רב-מחלקתי, בדרך כלל ערכי הלוגיט הופכים לקלט של פונקציית softmax. לאחר מכן, פונקציית softmax יוצרת וקטור של הסתברויות (מנורמלות) עם ערך אחד לכל מחלקה אפשרית.

Log Loss

#fundamentals

פונקציית ההפסד שמשמשת ברגרסיה לוגיסטית בינארית.

כדי לראות את החישוב, לוחצים על הסמל.

הנוסחה הבאה משמשת לחישוב של Log Loss:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

כאשר:

• ‫ \((x,y)\in D\) הוא מערך הנתונים שמכיל הרבה דוגמאות מתויגות, שהן זוגות של \((x,y)\) .
• ‫ \(y\) היא התווית בדוגמה המתויגת. מכיוון שמדובר ברגרסיה לוגיסטית, כל ערך של \(y\) חייב להיות 0 או 1.
• ‫ \(y'\) הוא הערך החזוי (בין 0 ל-1, לא כולל), בהינתן קבוצת התכונות ב- \(x\).

---

מידע נוסף זמין במאמר Logistic regression: Loss and regularization (רגרסיה לוגיסטית: הפסד ורגולריזציה) בסדנה ללימוד מכונת למידה.

יחס הלוגים

#fundamentals

הלוגריתם של הסיכויים לאירוע מסוים.

כדי לראות את החישוב, לוחצים על הסמל.

אם האירוע הוא הסתברות בינארית, אז odds מתייחס ליחס בין ההסתברות להצלחה (p) לבין ההסתברות לכישלון (1-p). לדוגמה, נניח שלאירוע מסוים יש סיכוי של 90% להצלחה וסיכוי של 10% לכישלון. במקרה הזה, הסיכויים מחושבים כך:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

הלוגריתם של הסיכויים הוא פשוט הלוגריתם של היחס בין הסיכויים. לפי המוסכמה, המונח 'לוגריתם' מתייחס ללוגריתם טבעי, אבל למעשה לוגריתם יכול להיות כל בסיס שגדול מ-1. בהתאם למוסכמה, הלוג-אודס של הדוגמה שלנו הוא:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

פונקציית הלוג-אודס היא ההופכי של פונקציית הסיגמואיד.

---

זיכרון ארוך לטווח קצר (LSTM)

סוג של תא ברשת נוירונים חוזרת שמשמש לעיבוד רצפים של נתונים באפליקציות כמו זיהוי כתב יד, תרגום מכונה ותיוג תמונות. מודלי LSTM פותרים את בעיית הגרדיאנט הנעלם שמתרחשת כשמאמנים רשתות RNN בגלל רצפים ארוכים של נתונים. הם עושים זאת על ידי שמירת היסטוריה במצב זיכרון פנימי שמבוסס על קלט חדש והקשר מתאים קודמים ברשת ה-RNN.

LoRA

#generativeAI

קיצור של Low-Rank Adaptability (התאמה לדירוג נמוך).

הפסד

#fundamentals

#Metric

במהלך האימון של מודל בפיקוח, נמדד המרחק בין התחזית של המודל לבין התווית שלו.

פונקציית הפסד מחשבת את ההפסד.

מידע נוסף זמין במאמר רגרסיה ליניארית: הפסד בסדנה בנושא למידת מכונה.

אתר אגרגטור של הפסדים

סוג של אלגוריתם למידת מכונה שמשפר את הביצועים של מודל על ידי שילוב התחזיות של כמה מודלים ושימוש בתחזיות האלה כדי ליצור תחזית אחת. כתוצאה מכך, מצטבר הפסדים יכול להפחית את השונות של התחזיות ולשפר את הדיוק של התחזיות.

עקומת הפסד

#fundamentals

תרשים של הפסד כפונקציה של מספר האיטרציות של האימון. התרשים הבא מציג עקומת הפסד אופיינית:

עקומות הפסד יכולות לעזור לכם לקבוע מתי המודל מתכנס או מתאים יתר על המידה.

עקומות הפסד יכולות להציג את כל סוגי ההפסד הבאים:

• הפסד האימון
• הפסד האימות
• test loss

אפשר לעיין גם בעקומת הכללה.

מידע נוסף מופיע במאמר התאמת יתר: פירוש עקומות הפסד בסדנה ללימוד מכונת למידה.

פונקציית אובדן

#fundamentals

#Metric

במהלך האימון או הבדיקה, פונקציה מתמטית שמחשבת את השגיאה באוסף של דוגמאות. פונקציית הפסד מחזירה ערך הפסד נמוך יותר למודלים שמבצעים חיזויים טובים מאשר למודלים שמבצעים חיזויים לא טובים.

המטרה של האימון היא בדרך כלל למזער את ההפסד שמוחזר על ידי פונקציית הפסד.

קיימים סוגים רבים ושונים של פונקציות אובדן. בוחרים את פונקציית ההפסד המתאימה לסוג המודל שאתם בונים. לדוגמה:

• הפונקציה אובדן _L2 (או השגיאה הריבועית הממוצעת) היא פונקציית האובדן של רגרסיה ליניארית.
• Log Loss היא פונקציית האובדן של רגרסיה לוגיסטית.

משטח הפסד

גרף של משקלים לעומת ירידה במשקל. Gradient descent aims to find the weight(s) for which the loss surface is at a local minimum.

אפקט האובדן באמצע

הנטייה של מודל שפה גדול היא להשתמש במידע מתחילת חלון ההקשר ארוך ובסופו בצורה יעילה יותר מאשר במידע מהאמצע. כלומר, בהינתן הקשר ארוך, אפקט האובדן באמצע גורם לדיוק להיות:

• גבוה יחסית כשהמידע הרלוונטי ליצירת תשובה נמצא בתחילת או בסוף ההקשר.
• נמוכה יחסית כשהמידע הרלוונטי ליצירת תשובה נמצא באמצע ההקשר.

המונח מגיע מהמאמר Lost in the Middle: How Language Models Use Long Contexts.

התאמה לדרגה נמוכה (LoRA)

#generativeAI

טכניקה יעילה מבחינת פרמטרים לכוונון עדין שבה המערכת "מקפיאה" את המשקולות של המודל שעבר אימון מראש (כך שלא ניתן לשנות אותן יותר), ואז מוסיפה למודל קבוצה קטנה של משקולות שאפשר לאמן. קבוצת המשקלים שאפשר לאמן (שנקראת גם 'מטריצות עדכון') קטנה משמעותית ממודל הבסיס, ולכן האימון שלה מהיר הרבה יותר.

היתרונות של LoRA:

• משפר את איכות התחזיות של מודל עבור הדומיין שבו מוחל הכוונון העדין.
• השיטה הזו מאפשרת לבצע התאמה עדינה מהר יותר מאשר שיטות שדורשות התאמה עדינה של כל הפרמטרים של המודל.
• האפשרות הזו מפחיתה את עלות החישוב של הסקת מסקנות על ידי הפעלה של הצגה בו-זמנית של כמה מודלים ייעודיים שמשתפים את אותו מודל בסיסי.

כדי לקבל מידע נוסף על מטריצות עדכון ב-LoRA, לוחצים על הסמל.

מטריצות העדכון שמשמשות ב-LoRA מורכבות ממטריצות פירוק דרגה, שנגזרות ממודל הבסיס כדי לעזור לסנן רעשי רקע ולהתמקד באימון על התכונות הכי חשובות של המודל.

---

LSTM

קיצור של Long Short-Term Memory (זיכרון לטווח קצר ארוך).

M

למידה חישובית

#fundamentals

תוכנה או מערכת שמאמנת מודל מנתוני קלט. המודל שעבר אימון יכול לבצע חיזויים שימושיים מנתונים חדשים (שלא נראו בעבר) שנלקחו מאותו פיזור ששימש לאימון המודל.

למידת מכונה מתייחסת גם לתחום המחקר שעוסק בתוכנות או במערכות האלה.

מידע נוסף זמין בקורס מבוא ללמידת מכונה.

תרגום אוטומטי

#generativeAI

שימוש בתוכנה (בדרך כלל, מודל למידת מכונה) כדי להמיר טקסט משפה אנושית אחת לשפה אנושית אחרת, למשל מאנגלית ליפנית.

הכיתה הגדולה ביותר

#fundamentals

התווית הנפוצה יותר במערך נתונים עם חוסר איזון בין המחלקות. לדוגמה, אם יש קבוצת נתונים שמכילה 99% תוויות שליליות ו-1% תוויות חיוביות, התוויות השליליות הן מחלקת הרוב.

ההפך ממעמד המיעוט.

מידע נוסף זמין במאמר מערכי נתונים: מערכי נתונים לא מאוזנים בסדנה ללימוד מכונתית.

תהליך קבלת החלטות של מרקוב (MDP)

תרשים שמייצג את מודל קבלת ההחלטות שבו מתקבלות החלטות (או פעולות) כדי לנווט ברצף של מצבים בהנחה שמאפיין מרקוב מתקיים. בלמידת חיזוק, המעברים האלה בין מצבים מחזירים תגמול מספרי.

מאפיין מרקוב

מאפיין של סביבות מסוימות, שבהן מעברי המצב נקבעים באופן מלא על ידי מידע שמשתמע מהמצב הנוכחי והפעולה של הסוכן.

מודל התממת שפה (MLM)

מודל שפה שחוזה את ההסתברות של טוקנים מועמדים למילוי מקומות ריקים ברצף. לדוגמה, מודל שפה עם מיסוך יכול לחשב את ההסתברויות של מילים מועמדות להחלפת הקו התחתון במשפט הבא:

ה____ בכובע חזר.

בספרות המקצועית, בדרך כלל משתמשים במחרוזת MASK במקום בקו תחתון. לדוגמה:

המסכה בכובע חזרה.

רוב המודלים המודרניים של התממת שפה הם דו-כיווניים.

matplotlib

ספריית Python בקוד פתוח ליצירת תרשימים דו-ממדיים. הספרייה matplotlib עוזרת להמחיש היבטים שונים של למידת מכונה.

פירוק מטריצות

במתמטיקה, מנגנון למציאת המטריצות שמכפלתן הנקודתית היא קירוב של מטריצת יעד.

במערכות המלצה, מטריצת היעד מכילה בדרך כלל את דירוגי המשתמשים של פריטים. לדוגמה, מטריצת היעד של מערכת להמלצות על סרטים יכולה להיראות כך, כאשר המספרים השלמים החיוביים הם דירוגי משתמשים ו-0 מציין שהמשתמש לא דירג את הסרט:

	קזבלנקה	סיפור פילדלפיה	הפנתר השחור	וונדר וומן	ספרות זולה
משתמש 1	5.0	3.0	0.0	2.0	0.0
משתמש 2	4.0	0.0	0.0	1.0	5.0
משתמש 3	3.0	1.0	4.0	5.0	0.0

מערכת ההמלצות לסרטים מנסה לחזות את דירוגי המשתמשים לסרטים שלא סווגו. לדוגמה, האם משתמש 1 יאהב את הסרט הפנתר השחור?

אחת הגישות למערכות המלצות היא שימוש בפירוק מטריצות כדי ליצור את שתי המטריצות הבאות:

• מטריצת משתמשים, בצורה של מספר המשתמשים כפול מספר המאפיינים של ההטמעה.
• מטריצת פריטים, בצורה של מספר הממדים של ההטמעה כפול מספר הפריטים.

לדוגמה, אם נשתמש בפירוק מטריצות על שלושת המשתמשים וחמשת הפריטים שלנו, יכול להיות שנקבל את מטריצת המשתמשים ומטריצת הפריטים הבאות:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

מכפלה סקלרית של מטריצת המשתמשים ומטריצת הפריטים מניבה מטריצת המלצות שמכילה לא רק את דירוגי המשתמשים המקוריים, אלא גם תחזיות לגבי הסרטים שכל משתמש לא צפה בהם. לדוגמה, נניח שהדירוג של משתמש 1 לסרט קזבלנקה היה 5.0. הנקודה שמייצגת את המוצר שמתאים לתא הזה במטריצת ההמלצות צריכה להיות בסביבות 5.0, ואכן:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

והכי חשוב, האם משתמש 1 יאהב את הסרט Black Panther? מכפלת הנקודות שמתאימה לשורה הראשונה ולעמודה השלישית נותנת דירוג צפוי של 4.3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

בדרך כלל, פירוק מטריצה יוצר מטריצת משתמשים ומטריצת פריטים, שביחד קומפקטיות משמעותית ממטריצת היעד.

שגיאה ממוצעת מוחלטת (MAE)

#Metric

ההפסד הממוצע לכל דוגמה כשמשתמשים ב-L₁ loss. כדי לחשב את שגיאת הממוצע המוחלט, פועלים לפי השלבים הבאים:

1. חישוב של הפסד L₁ עבור אצווה.
2. מחלקים את הפסד L₁ במספר הדוגמאות באצווה.

כדי לראות את המתמטיקה הפורמלית, לוחצים על הסמל.

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

where:‎

• ‫$n$ הוא מספר הדוגמאות.
• ‫$y$ הוא הערך בפועל של התווית.
• ‫$\hat{y}$ הוא הערך שהמודל חוזה עבור $y$.

---

לדוגמה, נניח שרוצים לחשב את הפסד L₁ בקבוצה הבאה של חמש דוגמאות:

ערך בפועל של הדוגמה	הערך שהמודל חזה	הפסד (ההפרש בין הערך בפועל לבין הערך החזוי)
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		‫8 = הפסד L1

לכן, ערך ההפסד L₁ הוא 8 ומספר הדוגמאות הוא 5. לכן, השגיאה הממוצעת המוחלטת היא:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

השוואה בין שגיאה מוחלטת ממוצעת של ניגודיות לבין שגיאה ריבועית ממוצעת ושורש טעות ריבועית ממוצעת.

דיוק ממוצע ממוצע ב-k‏ (mAP@k)

#generativeAI

#Metric

הממוצע הסטטיסטי של כל הציונים של דיוק ממוצע ב-k במערך נתוני אימות. אחד השימושים ב-MAP@k הוא הערכת האיכות של המלצות שנוצרות על ידי מערכת המלצות.

למרות שהביטוי 'ממוצע ממוצע' נשמע מיותר, השם של המדד מתאים. בסופו של דבר, המדד הזה מחשב את הממוצע של כמה ערכים של דיוק ממוצע ב-k.

כדי לראות דוגמה, לוחצים על הסמל.

נניח שאתם בונים מערכת המלצות שמפיקה רשימה מותאמת אישית של רומנים מומלצים לכל משתמש. על סמך המשוב ממשתמשים נבחרים, חישבתם את חמשת ציוני הדיוק הממוצעים הבאים ב-k (ציון אחד לכל משתמש):

• 0.73
• 0.77
• 0.67
• 0.82
• 0.76

לכן, הדיוק הממוצע ב-K הוא:

$$\text{mean } = \frac{\text{0.73 + 0.77 + 0.67 + 0.82 + 0.76}} {\text{5}} = \text{0.75}$$

---

שגיאה ריבועית ממוצעת (MSE)

#Metric

ההפסד הממוצע לכל דוגמה כשמשתמשים ב-L₂ loss. כך מחשבים את השגיאה הריבועית הממוצעת:

1. חישוב הפסד L₂ עבור אצווה.
2. מחלקים את הפסד L₂ במספר הדוגמאות באצווה.

כדי לראות את המתמטיקה הפורמלית, לוחצים על הסמל.

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$ כאשר:

• ‫$n$ הוא מספר הדוגמאות.
• ‫$y$ הוא הערך בפועל של התווית.
• ‫$\hat{y}$ הוא החיזוי של המודל עבור $y$.

---

לדוגמה, נניח שחמש הדוגמאות הבאות הן קבוצת דוגמאות:

ערך בפועל	החיזוי של המודל	הפסד	Squared loss
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			‫16 = L2 loss

לכן, השגיאה הריבועית הממוצעת היא:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

השגיאה הריבועית הממוצעת היא אופטימיזציה פופולרית לאימון, במיוחד עבור רגרסיה לינארית.

השוואה בין שורש טעות ריבועית ממוצעת לבין טעות מוחלטת ממוצעת ושורש טעות ריבועית ממוצעת.

‫TensorFlow Playground משתמש בטעות ריבועית ממוצעת כדי לחשב את ערכי ההפסד.

כדי לראות פרטים נוספים על חריגים, לוחצים על הסמל.

ערכים חריגים משפיעים מאוד על שורש הטעות הריבועית הממוצעת. לדוגמה, הפסד של 1 הוא הפסד בריבוע של 1, אבל הפסד של 3 הוא הפסד בריבוע של 9. בדוגמה שמוצגת בטבלה שלמעלה, אובדן של 3 חשבונות מייצג כ-56% משגיאת הריבוע הממוצעת, ואילו כל אחת מהדוגמאות עם אובדן של חשבון אחד מייצגת רק 6% משגיאת הריבוע הממוצעת.

ערכים חריגים לא משפיעים על שגיאה ממוצעת מוחלטת כמו על שגיאה ממוצעת ריבועית. לדוגמה, אם יש ירידה של 3 חשבונות, השגיאה הממוצעת המוחלטת תהיה רק 38% בערך.

חיתוך הוא דרך אחת למנוע ממקרים קיצוניים של חריגה לפגוע ביכולת החיזוי של המודל.

---

רשת

#TensorFlow

#GoogleCloud

במקביל לשימוש ב-ML, מונח שקשור להקצאת הנתונים והמודל לשבבי TPU, ולהגדרת האופן שבו הערכים האלה יחולקו או ישוכפלו.

המונח Mesh (רשת) הוא מונח עמוס שיכול להתייחס לאחד מהדברים הבאים:

• פריסה פיזית של שבבי TPU.
• מבנה לוגי מופשט למיפוי הנתונים והמודל לשבבי TPU.

בכל מקרה, רשת מוגדרת כצורה.

מטא-למידה

תת-קבוצה של למידת מכונה שמגלה או משפרת אלגוריתם למידה. מערכת מטא-למידה יכולה גם לאמן מודל ללמידה מהירה של משימה חדשה מכמות קטנה של נתונים או מניסיון שנצבר במשימות קודמות. אלגוריתמים של למידת-על בדרך כלל מנסים להשיג את המטרות הבאות:

• לשפר או ללמוד תכונות שנוצרו באופן ידני (כמו פונקציית אתחול או פונקציית אופטימיזציה).
• להיות יעילים יותר מבחינת נתונים וחישובים.
• שיפור ההכללה.

מטא-למידה קשורה ללמידה מכמה דוגמאות.

ערך

#TensorFlow

#Metric

נתון סטטיסטי שחשוב לכם.

יעד הוא מדד שמערכת למידת מכונה מנסה לבצע לו אופטימיזציה.

Metrics API (tf.metrics)

#Metric

‫TensorFlow API להערכת מודלים. לדוגמה, tf.metrics.accuracy קובע את התדירות שבה התחזיות של מודל תואמות לתוויות.

מיני-batch

#fundamentals

קבוצת משנה קטנה שנבחרה באופן אקראי מתוך קבוצת פריטים שעוברת עיבוד באיטרציה אחת. גודל האצווה של אצווה קטנה הוא בדרך כלל בין 10 ל-1,000 דוגמאות.

לדוגמה, נניח שקבוצת האימון כולה (הקבוצה המלאה) כוללת 1,000 דוגמאות. נניח שקבעתם את גודל הקבוצה של כל קבוצת נתונים קטנה ל-20. לכן, בכל איטרציה נקבע ההפסד על סמך 20 דוגמאות אקראיות מתוך 1,000 הדוגמאות, ואז מתבצעים שינויים במשקלים ובהטיות בהתאם.

יעיל הרבה יותר לחשב את ההפסד במיני-אצווה מאשר את ההפסד בכל הדוגמאות באצווה המלאה.

מידע נוסף זמין במאמר רגרסיה לינארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

ירידה סטוכסטית בגרדיאנט של קבוצת נתונים קטנה

אלגוריתם gradient descent שמשתמש בmini-batches. במילים אחרות, שיטת הגרדיאנט הסתמי של קבוצות קטנות של נתונים מעריכה את הגרדיאנט על סמך קבוצת משנה קטנה של נתוני האימון. בשיטה הרגילה של ירידת גרדיאנט סטוכסטית נעשה שימוש במיני-אצווה בגודל 1.

הפסד מינימקס

#Metric

פונקציית הפסד של רשתות יריבות גנרטיביות, שמבוססת על אנטרופיה צולבת בין ההתפלגות של הנתונים שנוצרו לבין הנתונים האמיתיים.

הפסד מינימקס משמש במאמר הראשון לתיאור רשתות יריבות גנרטיביות.

מידע נוסף זמין במאמר פונקציות הפסד בקורס בנושא רשתות יריבות גנרטיביות.

קבוצת מיעוט

#fundamentals

התווית הפחות נפוצה במערך נתונים עם חוסר איזון בין מחלקות. לדוגמה, אם יש מערך נתונים שמכיל 99% תוויות שליליות ו-1% תוויות חיוביות, התוויות החיוביות הן המחלקה הקטנה.

הניגודיות למחלקת הרוב.

כדי לראות הערות נוספות, לוחצים על הסמל.

קבוצת אימון עם מיליון דוגמאות נשמעת מרשימה. עם זאת, אם הייצוג של המחלקה הקטנה לא טוב, יכול להיות שגם מערך אימון גדול מאוד לא יספיק. חשוב להתמקד יותר במספר הדוגמאות בסיווג המיעוט, ופחות במספר הכולל של הדוגמאות במערך הנתונים.

אם מערך הנתונים לא מכיל מספיק דוגמאות של מחלקת המיעוט, כדאי להשתמש בדילול (ההגדרה בתבליט השני) כדי להשלים את מחלקת המיעוט.

---

מידע נוסף זמין במאמר מערכי נתונים: מערכי נתונים לא מאוזנים בסדנה ללימוד מכונתית.

תערובת של מומחים

#generativeAI

שיטה להגדלת היעילות של רשת עצבית באמצעות שימוש רק בקבוצת משנה של הפרמטרים שלה (שנקראת מומחה) כדי לעבד טוקן או דוגמה נתונים. רשת שערים מעבירה כל טוקן קלט או דוגמה למומחה המתאים.

פרטים נוספים זמינים במאמרים הבאים:

• Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
• Mixture-of-Experts with Expert Choice Routing

ML

קיצור של למידת מכונה.

MMIT

#generativeAI

קיצור של multimodal instruction-tuned.

MNIST

קבוצת נתונים בנחלת הכלל שאוסף LeCun,‏ Cortes ו-Burges, שמכילה 60,000 תמונות. בכל תמונה מוצג אופן הכתיבה הידנית של ספרה מסוימת מ-0 עד 9. כל תמונה מאוחסנת כמערך של מספרים שלמים בגודל 28x28, כאשר כל מספר שלם הוא ערך של גוון אפור בין 0 ל-255, כולל.

‫MNIST הוא מערך נתונים קנוני ללמידת מכונה, שמשמש לעיתים קרובות לבדיקת גישות חדשות ללמידת מכונה. פרטים נוספים זמינים במאמר בנושא The MNIST Database of Handwritten Digits.

אופן השימוש

קטגוריית נתונים ברמה גבוהה. לדוגמה, מספרים, טקסט, תמונות, סרטונים ואודיו הם חמש שיטות שונות.

מודל

#fundamentals

באופן כללי, כל מבנה מתמטי שמעבד נתוני קלט ומחזיר פלט. במילים אחרות, מודל הוא קבוצת הפרמטרים והמבנה שדרושים למערכת כדי לבצע תחזיות. בלמידת מכונה מבוקרת, מודל מקבל דוגמה כקלט ומסיק חיזוי כפלט. בלמידת מכונה בפיקוח, יש הבדלים בין המודלים. לדוגמה:

• מודל רגרסיה לינארית מורכב ממערך של משקלים ומהטיה.
• מודל של רשת נוירונים מורכב מ:
  • קבוצה של שכבות מוסתרות, שכל אחת מהן מכילה נוירון אחד או יותר.
  • המשקלים וההטיות שמשויכים לכל נוירון.
• מודל של עץ החלטה מורכב מ:
  • הצורה של העץ, כלומר התבנית שבה התנאים והעלים מחוברים.
  • התנאים והחופשות.

אפשר לשמור מודל, לשחזר אותו או ליצור ממנו עותקים.

למידת מכונה לא מפוקחת גם יוצרת מודלים, בדרך כלל פונקציה שיכולה למפות דוגמה של קלט לאשכול המתאים ביותר.

לוחצים על הסמל כדי להשוות בין פונקציות אלגבריות ופונקציות תכנות לבין מודלים של ML.

פונקציה אלגברית כמו הבאה היא מודל:

  f(x, y) = 3x -5xy + y2 + 17

הפונקציה הקודמת ממפה ערכי קלט (x ו-y) לפלט.

באופן דומה, פונקציית תכנות כמו הבאה היא גם מודל:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

הפונקציה הקוראת מעבירה ארגומנטים לפונקציית Python הקודמת, ופונקציית Python יוצרת פלט (באמצעות ההצהרה return).

למרות שלרשת נוירונים עמוקה יש מבנה מתמטי שונה מאוד מזה של פונקציה אלגברית או פונקציית תכנות, רשת נוירונים עמוקה עדיין מקבלת קלט (דוגמה) ומחזירה פלט (תחזית).

מתכנת אנושי מקודד פונקציית תכנות באופן ידני. לעומת זאת, מודל למידת מכונה לומד בהדרגה את הפרמטרים האופטימליים במהלך אימון אוטומטי.

---

קיבולת המודל

#Metric

מורכבות הבעיות שהמודל יכול ללמוד. ככל שהבעיות שמודל יכול ללמוד מורכבות יותר, כך הקיבולת של המודל גבוהה יותר. הקיבולת של מודל בדרך כלל גדלה עם מספר הפרמטרים של המודל. הגדרה רשמית של הקיבולת של מודל סיווג מופיעה במאמר בנושא ממד VC.

מודל מדורג

#generativeAI

מערכת שבוחרת את המודל האידיאלי לשאילתת הסקה ספציפית.

תארו לעצמכם קבוצה של מודלים, החל ממודלים גדולים מאוד (עם הרבה פרמטרים) ועד למודלים קטנים בהרבה (עם הרבה פחות פרמטרים). מודלים גדולים מאוד צורכים יותר משאבי מחשוב בזמן הסקת מסקנות מאשר מודלים קטנים יותר. עם זאת, מודלים גדולים מאוד יכולים בדרך כלל להסיק בקשות מורכבות יותר ממודלים קטנים יותר. המודל קובע את מורכבות שאילתת ההיקש, ואז בוחר את המודל המתאים לביצוע ההיקש. הסיבה העיקרית לשימוש במודל מדורג היא להפחית את עלויות ההסקה. לשם כך, בדרך כלל נבחרים מודלים קטנים יותר, ומודל גדול יותר נבחר רק עבור שאילתות מורכבות יותר.

נניח שמודל קטן פועל בטלפון וגרסה גדולה יותר של אותו מודל פועלת בשרת מרוחק. העברת בקשות בין מודלים בצורה טובה מפחיתה את העלות ואת זמן האחזור, כי המודל הקטן יותר מטפל בבקשות פשוטות ורק המודל המרוחק מטפל בבקשות מורכבות.

מידע נוסף מופיע במאמר בנושא ניתוב מודלים.

מקביליות של מודלים

שיטה להרחבת האימון או ההסקת מסקנות, שבה חלקים שונים של מודל אחד ממוקמים במכשירים שונים. מקביליות של מודלים מאפשרת להשתמש במודלים גדולים מדי שלא נכנסים למכשיר אחד.

כדי ליישם מקביליות של מודלים, מערכת בדרך כלל מבצעת את הפעולות הבאות:

1. מפצלים את המודל לחלקים קטנים יותר.
2. מפיץ את האימון של החלקים הקטנים האלה בין כמה מעבדים. כל מעבד מאמן חלק משלו במודל.
3. התוצאות משולבות ליצירת מודל יחיד.

מקביליות המודל מאטה את האימון.

אפשר לעיין גם במקבילות נתונים.

נתב לדוגמה

#generativeAI

האלגוריתם שקובע את המודל האידיאלי להסקת מסקנות במודל מדורג. נתב מודלים הוא בדרך כלל מודל למידת מכונה שלומד בהדרגה איך לבחור את המודל הכי טוב לקלט נתון. עם זאת, נתב מודלים יכול להיות לפעמים אלגוריתם פשוט יותר שאינו מבוסס על למידת מכונה.

אימון מודל

התהליך של קביעת המודל הטוב ביותר.

MOE

#generativeAI

קיצור של תערובת של מומחים.

מומנטום

אלגוריתם מורכב של ירידת גרדיאנט שבו שלב הלמידה תלוי לא רק בנגזרת בשלב הנוכחי, אלא גם בנגזרות של השלבים שקדמו לו. בשיטת המומנטום, המערכת מחשבת ממוצע נע משוקלל אקספוננציאלית של הגרדיאנטים לאורך זמן, בדומה למומנטום בפיזיקה. המומנטום מונע לפעמים את התקיעה של תהליך הלמידה בנקודות מינימום מקומיות.

MT

#generativeAI

קיצור של תרגום אוטומטי.

סיווג רב-מחלקתי

#fundamentals

בלמידה מפוקחת, בעיית סיווג שבה מערך הנתונים מכיל יותר משני סוגים של תוויות. לדוגמה, התוויות במערך הנתונים של איריס צריכות להיות אחת משלוש המחלקות הבאות:

• Iris setosa
• Iris virginica
• Iris versicolor

מודל שאומן על מערך הנתונים של איריס ומנבא את סוג האיריס בדוגמאות חדשות, מבצע סיווג רב-מחלקתי.

לעומת זאת, בעיות סיווג שמבחינות בין שני סוגים בדיוק הן מודלים של סיווג בינארי. לדוגמה, מודל אימייל שמנבא אם אימייל הוא ספאם או לא ספאם הוא מודל סיווג בינארי.

בבעיות של קיבוץ לאשכולות, סיווג רב-מחלקתי מתייחס ליותר משני אשכולות.

מידע נוסף זמין במאמר רשתות עצביות: סיווג רב-מחלקתי בקורס המקוצר על למידת מכונה.

רגרסיה לוגיסטית רב-סיווגית

שימוש ברגרסיה לוגיסטית בבעיות של סיווג רב-מחלקתי.

מנגנון תשומת לב עצמית עם כמה ראשים

הרחבה של קשב עצמי שבה מנגנון הקשב העצמי מופעל מספר פעמים לכל מיקום ברצף הקלט.

טרנספורמרים הציגו קשב עצמי מרובה ראשים.

מכוונן להוראות מולטי-מודאליות

מודל שעבר כוונון לפי הוראות שיכול לעבד קלט שהוא לא רק טקסט, כמו תמונות, סרטונים ואודיו.

מודל מולטי-מודאלי

מודל שהקלט, הפלט או שניהם כוללים יותר מאופן פעולה אחד. לדוגמה, נניח שיש מודל שמקבל כמאפיינים גם תמונה וגם כיתוב (שני סוגי נתונים), ומוציא ציון שמציין עד כמה הכיתוב מתאים לתמונה. לכן, הקלט של המודל הזה הוא מולטימודאלי והפלט הוא אונימודאלי.

סיווג רב-נומינלי

מילה נרדפת לסיווג רב-מחלקתי.

רגרסיה מולטינומיאלית

מילה נרדפת לרגרסיה לוגיסטית רב-סיווגית.

ריבוי משימות

טכניקה של למידת מכונה שבה מודל אחד מאומן לבצע כמה משימות.

מודלים לביצוע כמה משימות נוצרים על ידי אימון על נתונים שמתאימים לכל אחת מהמשימות השונות. כך המודל לומד לשתף מידע בין המשימות, מה שעוזר לו ללמוד בצורה יעילה יותר.

למודל שאומן למספר משימות יש לרוב יכולות הכללה משופרות, והוא יכול להיות חזק יותר בטיפול בסוגים שונים של נתונים.

לא

Nano

#generativeAI

מודל Gemini קטן יחסית שמיועד לשימוש במכשיר. פרטים נוספים זמינים במאמר בנושא Gemini Nano.

אפשר גם לעיין בPro וב-Ultra.

מלכודת NaN

כשמספר אחד במודל הופך ל-NaN במהלך האימון, מה שגורם להרבה או לכל המספרים האחרים במודל להפוך בסופו של דבר ל-NaN.

‫NaN הוא קיצור של Not a Number (לא מספר).

עיבוד שפה טבעית (NLP)

תחום שמלמד מחשבים לעבד את מה שהמשתמש אמר או הקליד באמצעות כללים לשוניים. כמעט כל העיבוד המודרני של שפה טבעית (NLP) מסתמך על למידת מכונה.

הבנת שפה טבעית (NLU)

קבוצת משנה של עיבוד שפה טבעית שקובעת את הכוונות של משהו שנאמר או הוקלד. הבנת שפה טבעית יכולה לכלול יותר מעיבוד שפה טבעית, ולשקול היבטים מורכבים של השפה כמו הקשר, סרקזם ורגשות.

סיווג שלילי

#fundamentals

#Metric

בסיווג בינארי, מחלקים את הנתונים לשתי קבוצות: חיובית ושלילית. הסיווג החיובי הוא הדבר או האירוע שהמודל בודק, והסיווג השלילי הוא האפשרות השנייה. לדוגמה:

• הסיווג השלילי בבדיקה רפואית יכול להיות 'לא גידול'.
• הסיווג השלילי במודל סיווג של אימייל יכול להיות 'לא ספאם'.

ההגדרה הזו שונה מסיווג חיובי.

דגימה שלילית

מילה נרדפת לדגימת מועמדים.

Neural Architecture Search (NAS)

טכניקה לעיצוב אוטומטי של הארכיטקטורה של רשת עצבית. אלגוריתמים של NAS יכולים לצמצם את כמות הזמן והמשאבים שנדרשים לאימון של רשת נוירונים.

בדרך כלל נעשה שימוש ב-NAS:

• מרחב חיפוש, שהוא קבוצה של ארכיטקטורות אפשריות.
• פונקציית כושר, שהיא מדד לביצועים של ארכיטקטורה מסוימת במשימה נתונה.

אלגוריתמים של NAS מתחילים בדרך כלל עם קבוצה קטנה של ארכיטקטורות אפשריות, ומרחיבים בהדרגה את מרחב החיפוש ככל שהאלגוריתם לומד יותר על הארכיטקטורות האפקטיביות. פונקציית הכושר מבוססת בדרך כלל על הביצועים של הארכיטקטורה במערך אימון, והאלגוריתם מאומן בדרך כלל באמצעות טכניקה של למידת חיזוק.

אלגוריתמים של NAS הוכחו כיעילים במציאת ארכיטקטורות עם ביצועים גבוהים למגוון משימות, כולל סיווג תמונות, סיווג טקסט ותרגום מכונה.

רשת הזרימה קדימה

#fundamentals

מודל שמכיל לפחות שכבה מוסתרת אחת. רשת עצבית עמוקה היא סוג של רשת עצבית שכוללת יותר משכבה נסתרת אחת. לדוגמה, בתרשים הבא מוצגת רשת עצבית עמוקה שמכילה שתי שכבות נסתרות.

כל נוירון ברשת נוירונים מתחבר לכל הצמתים בשכבה הבאה. לדוגמה, בדיאגרמה הקודמת, אפשר לראות שכל אחד משלושת הנוירונים בשכבה הנסתרת הראשונה מתחבר בנפרד לשני הנוירונים בשכבה הנסתרת השנייה.

רשתות נוירונים שמיושמות במחשבים נקראות לפעמים רשתות נוירונים מלאכותיות כדי להבדיל ביניהן לבין רשתות נוירונים שנמצאות במוח ובמערכות עצבים אחרות.

חלק מהרשתות העצביות יכולות לחקות קשרים לא לינאריים מורכבים במיוחד בין תכונות שונות לבין התווית.

ראו גם רשת נוירונים קונבולוציונית ורשת נוירונים חוזרת.

מידע נוסף מופיע במאמר רשתות עצביות בקורס המקוצר על למידת מכונה.

נוירון

#fundamentals

בלמידת מכונה, יחידה נפרדת בשכבה נסתרת של רשת נוירונים. כל נוירון מבצע את הפעולה הבאה בשני שלבים:

1. הפונקציה מחשבת את הסכום המשוקלל של ערכי הקלט כפול המשקלים התואמים שלהם.
2. הפונקציה מעבירה את הסכום המשוקלל כקלט לפונקציית הפעלה.

נוירון בשכבה הנסתרת הראשונה מקבל קלט מערכי המאפיינים בשכבת הקלט. נוירון בכל שכבה מוסתרת מעבר לשכבה הראשונה מקבל קלט מהנוירונים בשכבה המוסתרת הקודמת. לדוגמה, נוירון בשכבה הנסתרת השנייה מקבל קלט מהנוירונים בשכבה הנסתרת הראשונה.

באיור הבא מודגמים שני נוירונים והקלט שלהם.

נוירון ברשת נוירונים מחקה את ההתנהגות של נוירונים במוח ובחלקים אחרים של מערכת העצבים.

N-gram

רצף מסודר של N מילים. לדוגמה, truly madly הוא ביגרם. מכיוון שהסדר רלוונטי, ה-2-גרם madly truly שונה מה-2-גרם truly madly.

לא	שם או שמות לסוג הזה של N-gram	דוגמאות
2	ביגרם או 2-גרם	to go, go to, eat lunch, eat dinner
3	טריגרמה או 3-גרם	ate too much, happily ever after, the bell tolls
4	‫4 גרם	walk in the park, dust in the wind, the boy ate lentils

הרבה מודלים של הבנת שפה טבעית מסתמכים על N-grams כדי לחזות את המילה הבאה שהמשתמש יקליד או יגיד. לדוגמה, נניח שמשתמש הקליד happily ever. מודל NLU שמבוסס על טריגרמות צפוי לחזות שהמשתמש יקליד את המילה after.

השוואה בין N-grams לבין bag of words, שהם קבוצות לא מסודרות של מילים.

מידע נוסף זמין במאמר מודלים גדולים של שפה בקורס Machine Learning Crash Course.

NLP

קיצור של עיבוד שפה טבעית.

NLU

קיצור של natural language understanding (הבנת שפה טבעית).

צומת (עץ החלטה)

#df

בעץ החלטות, כל תנאי או עלה.

מידע נוסף זמין במאמר עצי החלטה בקורס בנושא יערות החלטה.

צומת (רשת נוירונים)

#fundamentals

נוירון בשכבה נסתרת.

מידע נוסף מופיע במאמר רשתות עצביות בקורס המקוצר על למידת מכונה.

צומת (תרשים TensorFlow)

#TensorFlow

פעולה בגרף של TensorFlow.

רעש

באופן כללי, כל דבר שמסתיר את האות במערך נתונים. רעשים יכולים להיכנס לנתונים במגוון דרכים. לדוגמה:

• המעריכים האנושיים טועים לפעמים בתוויות.
• במקרים מסוימים, בני אדם ומכשירים לא מתעדים או משמיטים ערכים של תכונות.

מצב לא בינארי

#df

תנאי שמכיל יותר משני תוצאות אפשריות. לדוגמה, התנאי הלא בינארי הבא מכיל שלושה תוצאות אפשריות:

מידע נוסף זמין במאמר סוגי תנאים בקורס בנושא יערות החלטה.

לא לינארי

#fundamentals

קשר בין שני משתנים או יותר שלא ניתן לייצג רק באמצעות חיבור וכפל. אפשר לייצג קשר לינארי כקו, אבל אי אפשר לייצג קשר לא לינארי כקו. לדוגמה, נניח שיש שני מודלים שכל אחד מהם מקשר תכונה אחת לתווית אחת. המודל בצד ימין הוא ליניארי והמודל בצד שמאל הוא לא ליניארי:

בקורס המקוצר על למידת מכונה, אפשר לעיין בקטע רשתות עצביות: צמתים ושכבות מוסתרות כדי להתנסות בסוגים שונים של פונקציות לא לינאריות.

הטיית אי-היענות

#responsible

ראו הטיית בחירה.

nonstationarity

#fundamentals

תכונה שהערכים שלה משתנים לאורך מאפיין אחד או יותר, בדרך כלל זמן. לדוגמה, הנה כמה דוגמאות לנתונים לא סטציונריים:

• מספר בגדי הים שנמכרים בחנות מסוימת משתנה בהתאם לעונה.
• הכמות של פרי מסוים שנקטף באזור מסוים היא אפס במשך רוב השנה, אבל גדולה במשך תקופה קצרה.
• בגלל שינויי האקלים, הטמפרטורות הממוצעות השנתיות משתנות.

השוואה לסטציונריות.

אין תשובה נכונה אחת (NORA)

#generativeAI

הנחיה עם כמה תשובות נכונות. לדוגמה, להנחיה הבאה אין תשובה נכונה אחת:

תספר לי בדיחה מצחיקה על פילים.

הערכת התשובות להנחיות שאין להן תשובה נכונה אחת היא בדרך כלל סובייקטיבית הרבה יותר מהערכת הנחיות שיש להן תשובה נכונה אחת. לדוגמה, כדי להעריך בדיחה על פיל צריך דרך שיטתית לקבוע כמה הבדיחה מצחיקה.

NORA

#generativeAI

קיצור של אין תשובה נכונה אחת.

נירמול

#fundamentals

באופן כללי, התהליך של המרת טווח הערכים בפועל של משתנה לטווח ערכים סטנדרטי, כמו:

• ‫‎-1 עד ‎+1
• ‫0 עד 1
• ציוני תקן (בערך, ‎-3 עד ‎+3)

לדוגמה, נניח שהטווח בפועל של ערכי תכונה מסוימת הוא 800 עד 2,400. במסגרת הנדסת התכונות, אפשר לנרמל את הערכים בפועל לטווח סטנדרטי, למשל מ-1 עד +1.

נורמליזציה היא משימה נפוצה בהנדסת תכונות. בדרך כלל, אימון המודלים מהיר יותר (והחיזויים מדויקים יותר) כשכל תכונה מספרית בווקטור התכונות נמצאת בטווח דומה.

אפשר לעיין גם במאמר נירמול לפי ציון Z.

מידע נוסף זמין במאמר נתונים מספריים: נורמליזציה בסדנה ללימוד למידת מכונה.

Notebook LM

#generativeAI

כלי מבוסס-Gemini שמאפשר למשתמשים להעלות מסמכים ואז להשתמש בהנחיות כדי לשאול שאלות לגבי המסמכים, לסכם אותם או לארגן אותם. לדוגמה, סופר יכול להעלות כמה סיפורים קצרים ולבקש מ-NotebookLM למצוא את הנושאים המשותפים שלהם או לזהות איזה מהם יהיה הכי מתאים לעיבוד לסרט.

זיהוי של תכונות חדשות

התהליך של קביעה אם דוגמה חדשה (חדשנית) מגיעה מאותו פיזור כמו קבוצת האימון. במילים אחרות, אחרי אימון על מערך האימון, זיהוי חריגות קובע אם דוגמה חדשה (במהלך הסקה או במהלך אימון נוסף) היא חריגה.

ההבדל בין השיטה הזו לבין זיהוי חריגים.

נתונים מספריים

#fundamentals

מאפיינים שמיוצגים כמספרים שלמים או כמספרים ממשיים. לדוגמה, במודל להערכת שווי של בית, גודל הבית (במטרים רבועים או ברגל רבוע) כנראה ייוצג כנתונים מספריים. ייצוג של תכונה כנתונים מספריים מציין שלערכים של התכונה יש קשר מתמטי לתווית. כלומר, למספר המטרים הרבועים בבית יש כנראה קשר מתמטי כלשהו לערך הבית.

לא כל נתוני המספרים השלמים צריכים להיות מיוצגים כנתונים מספריים. לדוגמה, מיקודים בחלקים מסוימים בעולם הם מספרים שלמים, אבל מיקודים כאלה לא צריכים להיות מיוצגים כנתונים מספריים במודלים. הסיבה לכך היא שמיקוד של 20000 לא חזק פי שניים (או חצי) ממיקוד של 10000. בנוסף, למרות שיש קשר בין מיקודים שונים לבין ערכי נדל"ן שונים, אי אפשר להניח שערכי הנדל"ן במיקוד 20000 הם כפולים מערכי הנדל"ן במיקוד 10000. במקום זאת, צריך להציג את המיקודים כנתונים קטגוריים.

תכונות מספריות נקראות לפעמים תכונות רציפות.

מידע נוסף זמין במאמר עבודה עם נתונים מספריים בקורס המקוצר על למידת מכונה.

NumPy

ספרייה מתמטית בקוד פתוח שמספקת פעולות יעילות על מערכים ב-Python. הספרייה pandas מבוססת על NumPy.

O

יעד

#Metric

מדד שהאלגוריתם מנסה לבצע לו אופטימיזציה.

פונקציית היעד

#Metric

הנוסחה המתמטית או המדד שהמודל שואף לבצע אופטימיזציה לגביהם. לדוגמה, פונקציית היעד של רגרסיה לינארית היא בדרך כלל Mean Squared Loss (אובדן ממוצע בריבוע). לכן, כשמאמנים מודל רגרסיה לינארית, האימון נועד למזער את ההפסד הממוצע בריבוע.

במקרים מסוימים, המטרה היא למקסם את פונקציית היעד. לדוגמה, אם פונקציית היעד היא דיוק, המטרה היא למקסם את הדיוק.

מידע נוסף זמין במאמר בנושא הפסד.

תנאי עקיף

#df

בעץ החלטה, תנאי שכולל יותר ממאפיין אחד. לדוגמה, אם הגובה והרוחב הם מאפיינים, אז התנאי הבא הוא תנאי אלכסוני:

  height > width

ההבדל בין תנאי שמתייחס לציר לבין תנאי שמתייחס למיקום.

מידע נוסף זמין במאמר סוגי תנאים בקורס בנושא יערות החלטה.

לא מקוון

#fundamentals

מילה נרדפת ל-static.

הסקת מסקנות אופליין

#fundamentals

התהליך שבו מודל יוצר קבוצה של חיזויים ואז שומר אותם במטמון. האפליקציות יכולות לגשת לתחזית המשוערת מהמטמון במקום להריץ מחדש את המודל.

לדוגמה, נניח שיש מודל שמפיק תחזיות מזג אוויר מקומיות (חיזויים) אחת לארבע שעות. אחרי כל הרצת מודל, המערכת שומרת במטמון את כל התחזיות המקומיות. אפליקציות מזג האוויר מאחזרות את התחזיות מהמטמון.

הסקת מסקנות אופליין נקראת גם הסקת מסקנות סטטית.

ההבדל בין הסקת מסקנות אונליין. מידע נוסף זמין במאמר Production ML systems: Static versus dynamic inference (מערכות ML בייצור: הסקה סטטית לעומת הסקה דינמית) ב-Machine Learning Crash Course (קורס מזורז ללימוד מכונת למידה).

קידוד one-hot

#fundamentals

ייצוג נתונים קטגוריים כווקטור שבו:

• רכיב אחד מוגדר ל-1.
• כל שאר הרכיבים מוגדרים כ-0.

קידוד one-hot משמש בדרך כלל לייצוג מחרוזות או מזהים שיש להם קבוצה סופית של ערכים אפשריים. לדוגמה, נניח שלתכונה קטגורית מסוימת בשם Scandinavia יש חמישה ערכים אפשריים:

• "Denmark"
• "Sweden"
• "Norway"
• "Finland"
• "איסלנד"

קידוד one-hot יכול לייצג כל אחד מחמשת הערכים באופן הבא:

מדינה	וקטור
"Denmark"	1	0	0	0	0
"Sweden"	0	1	0	0	0
"Norway"	0	0	1	0	0
"Finland"	0	0	0	1	0
"איסלנד"	0	0	0	0	1

הודות לקידוד one-hot, מודל יכול ללמוד קשרים שונים על סמך כל אחת מחמש המדינות.

ייצוג מאפיין כנתונים מספריים הוא חלופה לקידוד "חם-יחיד". לצערנו, לא מומלץ לייצג את המדינות הסקנדינביות באמצעות מספרים. לדוגמה, הנה ייצוג מספרי:

• ‫"Denmark" הוא 0
• הערך 'שוודיה' הוא 1
• ‫"Norway" הוא 2
• ‫"Finland" הוא 3
• ‫"Iceland" is 4

בקידוד מספרי, המודל יפרש את המספרים הגולמיים באופן מתמטי וינסה להתאמן על המספרים האלה. עם זאת, איסלנד לא גדולה פי שניים מנורווגיה (או קטנה פי שניים ממנה), ולכן המודל יגיע למסקנות מוזרות.

מידע נוסף זמין במאמר Categorical data: Vocabulary and one-hot encoding (נתונים קטגוריים: אוצר מילים וקידוד one-hot) בסדנה ללימוד למידת מכונה.

תשובה נכונה אחת (ORA)

#generativeAI

הנחיה עם תשובה נכונה אחת. לדוגמה, נניח את ההנחיה הבאה:

נכון או לא נכון: שבתאי גדול יותר ממאדים.

התשובה הנכונה היחידה היא true.

ההפך מאין תשובה נכונה אחת.

one-shot learning

גישה של למידת מכונה, שמשמשת לעיתים קרובות לסיווג אובייקטים, ומיועדת ללמוד מודל סיווג יעיל מדוגמה אחת לאימון.

כדאי לעיין גם בfew-shot learning ובzero-shot learning.

מתן הנחיות בשיטת one-shot

#generativeAI

הנחיה שמכילה דוגמה אחת שמראה איך מודל שפה גדול צריך להגיב. לדוגמה, ההנחיה הבאה מכילה דוגמה אחת שמראה למודל שפה גדול איך עליו לענות על שאילתה.

החלקים של הנחיה	הערות
מהו המטבע הרשמי של המדינה שצוינה?	השאלה שרוצים שה-LLM יענה עליה.
צרפת: EUR	דוגמה אחת.
הודו:	השאילתה בפועל.

השוואה וניגוד בין הנחיה חד-פעמית לבין המונחים הבאים:

• מתן הנחיות בשיטת zero-shot
• מתן הנחיות עם כמה דוגמאות

אחד מול כולם

#fundamentals

בהינתן בעיית סיווג עם N מחלקות, פתרון שמורכב ממודל סיווג בינארי נפרד של N – מודל סיווג בינארי אחד לכל תוצאה אפשרית. לדוגמה, אם יש מודל שמסווג דוגמאות כבעלי חיים, ירקות או מינרלים, פתרון של אחד מול כולם יספק את שלושת המודלים הנפרדים הבאים של סיווג בינארי:

• בעל חיים לעומת לא בעל חיים
• ירק לעומת לא ירק
• מינרל לעומת לא מינרל

online

#fundamentals

מילה נרדפת לדינמי.

היקש אונליין

#fundamentals

יצירת תחזיות על פי דרישה. לדוגמה, נניח שאפליקציה מעבירה קלט למודל ושולחת בקשה לתחזית. מערכת שמשתמשת בהסקת מסקנות אונליין מגיבה לבקשה על ידי הפעלת המודל (ומחזירה את החיזוי לאפליקציה).

ההבדל בין זה לבין הסקת מסקנות אופליין.

מידע נוסף זמין במאמר Production ML systems: Static versus dynamic inference (מערכות ML בייצור: הסקה סטטית לעומת הסקה דינמית) ב-Machine Learning Crash Course (קורס מזורז ללימוד מכונת למידה).

פעולה (op)

#TensorFlow

ב-TensorFlow, כל פרוצדורה שיוצרת, מעבדת או משמידה Tensor. לדוגמה, כפל מטריצות הוא פעולה שמקבלת שני טנסורים כקלט ומפיקה טנסור אחד כפלט.

Optax

ספרייה לעיבוד ולאופטימיזציה של גרדיאנטים ל-JAX. ‫Optax מספקת אבני בניין שאפשר לשלב מחדש בדרכים מותאמות אישית כדי לבצע אופטימיזציה של מודלים פרמטריים כמו רשתות נוירונים עמוקות, וכך היא מסייעת במחקר. יעדים אחרים כוללים:

• לספק הטמעות קריאות, שנבדקו היטב ויעילות של רכיבי ליבה.
• שיפור הפרודוקטיביות על ידי האפשרות לשלב רכיבים ברמה נמוכה באופטימיזטורים בהתאמה אישית (או ברכיבים אחרים לעיבוד גרדיאנטים).
• האפשרות לכל אחד לתרום רעיונות מאפשרת להטמיע רעיונות חדשים במהירות.

optimizer

הטמעה ספציפית של האלגוריתם gradient descent ‎. בין האופטימיזטורים הפופולריים:

• ‫AdaGrad, קיצור של ADAptive GRADient descent (שיטת גרדיאנט יורד אדפטיבית).
• ‫Adam, קיצור של ADAptive with Momentum (אדפטיבי עם מומנטום).

ORA

#generativeAI

קיצור של תשובה נכונה אחת.

הטיית הומוגניות של קבוצת חוץ

#responsible

הנטייה לראות חברים בקבוצה החיצונית כדומים יותר מאשר חברים בקבוצה הפנימית, כשמשווים בין עמדות, ערכים, תכונות אישיות ומאפיינים אחרים. בתוך הקבוצה – אנשים שיש לכם איתם אינטראקציה באופן קבוע. מחוץ לקבוצה – אנשים שאין לכם איתם אינטראקציה באופן קבוע. אם תיצרו מערך נתונים על ידי בקשה מאנשים לספק מאפיינים לגבי קבוצות חיצוניות, יכול להיות שהמאפיינים האלה יהיו פחות מדויקים ויותר סטריאוטיפיים מאשר מאפיינים שהמשתתפים יציינו לגבי אנשים בקבוצה הפנימית שלהם.

לדוגמה, יכול להיות שאנשי ליליפוט יתארו את הבתים של אנשי ליליפוט אחרים בפירוט רב, ויציינו הבדלים קטנים בסגנונות האדריכליים, בחלונות, בדלתות ובגדלים. אבל יכול להיות שאותם ליליפוטים פשוט יצהירו שכל תושבי ברובדינגנאג גרים בבתים זהים.

הטיית הומוגניות של קבוצה חיצונית היא סוג של הטיית ייחוס לקבוצה.

אפשר לעיין גם במאמר בנושא הטיה לטובת קבוצת השייכות.

זיהוי חריגות

התהליך של זיהוי חריגים בקבוצת אימון.

ההבדל בין זה לבין זיהוי של תכונות חדשות.

ערכים חריגים

ערכים שרחוקים מרוב הערכים האחרים. בלמידת מכונה, חריגים הם כל אחד מהמקרים הבאים:

• נתוני קלט שהערכים שלהם חורגים ביותר מ-3 סטיות תקן מהממוצע.
• משקלים עם ערכים מוחלטים גבוהים.
• הערכים החזויים רחוקים יחסית מהערכים בפועל.

לדוגמה, נניח ש-widget-price היא תכונה של מודל מסוים. נניח שהממוצע widget-price הוא 7 אירו עם סטיית תקן של אירו אחד. לכן, דוגמאות שמכילות widget-price של 12 אירו או 2 אירו ייחשבו לערכים חריגים, כי כל אחד מהמחירים האלה הוא חמש סטיות תקן מהממוצע.

בדרך כלל, חריגים נובעים משגיאות הקלדה או משגיאות אחרות בהזנה. במקרים אחרים, חריגים הם לא טעויות. אחרי הכול, ערכים שחמישה סטיות תקן רחוקים מהממוצע הם נדירים אבל לא בלתי אפשריים.

ערכים חריגים גורמים לרוב לבעיות באימון המודל. חיתוך הוא דרך אחת לנהל חריגים.

מידע נוסף זמין במאמר עבודה עם נתונים מספריים בקורס המקוצר על למידת מכונה.

הערכה מחוץ לתיק (OOB)

#df

מנגנון להערכת האיכות של יער החלטות על ידי בדיקה של כל עץ החלטות מול הדוגמאות שלא שימשו במהלך האימון של עץ ההחלטות הזה. לדוגמה, בתרשים הבא אפשר לראות שהמערכת מאמנת כל עץ החלטה על כשני שלישים מהדוגמאות, ואז מעריכה את השליש הנותר של הדוגמאות.

הערכה מחוץ לתיק היא קירוב שמרני ויעיל מבחינת חישוב של מנגנון האימות הצולב. באימות צולב, מאמנים מודל אחד לכל סבב של אימות צולב (לדוגמה, 10 מודלים מאומנים באימות צולב של 10 חלקים). בשיטת ההערכה OOB, מאמנים מודל יחיד. מכיוון שbagging מעכב חלק מהנתונים מכל עץ במהלך האימון, אפשר להשתמש בנתונים האלה כדי לבצע הערכה של OOB ולבצע קירוב של אימות צולב.

מידע נוסף זמין במאמר הערכה מחוץ לתיק בקורס בנושא יערות החלטה.

שכבת הפלט

#fundamentals

השכבה ה "סופית" של רשת נוירונים. שכבת הפלט מכילה את החיזוי.

האיור הבא מציג רשת עצבית עמוקה קטנה עם שכבת קלט, שתי שכבות נסתרות ושכבת פלט:

התאמת יתר (overfitting)

#fundamentals

יצירת מודל שתואם לנתוני האימון בצורה כל כך מדויקת, שהמודל לא מצליח לבצע חיזויים נכונים לגבי נתונים חדשים.

רגולריזציה יכולה לצמצם את התאמת היתר. אימון על מערך אימון גדול ומגוון יכול גם להפחית את התאמת היתר.

כדי לראות הערות נוספות, לוחצים על הסמל.

התאמת יתר היא כמו לפעול רק לפי העצות של המורה האהוב עליכם. סביר להניח שתצליחו בכיתה של המורה הזה, אבל יכול להיות שתתאימו את עצמכם יותר מדי לרעיונות של המורה ולא תצליחו בכיתות אחרות. הקשבה לעצות ממגוון מורים תאפשר לכם להסתגל טוב יותר למצבים חדשים.

---

מידע נוסף מופיע במאמר בנושא התאמת יתר בקורס המקוצר על למידת מכונה.

דגימת יתר

שימוש חוזר בדוגמאות של מחלקת מיעוט במערך נתונים עם חוסר איזון בין המחלקות כדי ליצור מערך אימון מאוזן יותר.

לדוגמה, נניח שיש בעיית סיווג בינארית שבה היחס בין מחלקת הרוב למחלקת המיעוט הוא 5,000:1. אם מערך הנתונים מכיל מיליון דוגמאות, אז הוא מכיל רק כ-200 דוגמאות של המחלקה הקטנה, וזה יכול להיות מעט מדי דוגמאות לאימון יעיל. כדי להתגבר על הבעיה הזו, אפשר לבצע דגימת יתר (שימוש חוזר) ב-200 הדוגמאות האלה מספר פעמים, וכך אולי להגיע למספר מספיק של דוגמאות לאימון יעיל.

כשמבצעים דגימת יתר, צריך להיזהר מהתאמת יתר.

ההפך מתת-דגימה.

P

נתונים ארוזים

גישה לאחסון נתונים בצורה יעילה יותר.

נתונים דחוסים הם נתונים שמאוחסנים בפורמט דחוס או בפורמט אחר שמאפשר גישה יעילה יותר לנתונים. נתונים ארוזים מצמצמים את כמות הזיכרון והחישובים שנדרשים כדי לגשת אליהם, וכך האימון מהיר יותר וההסקה של המודל יעילה יותר.

לרוב משתמשים בנתונים דחוסים עם טכניקות אחרות, כמו הגדלת מערך הנתונים ורגולריזציה, כדי לשפר עוד יותר את הביצועים של מודלים.

PaLM

קיצור של Pathways Language Model.

פנדות

#fundamentals

‫API לניתוח נתונים מבוסס-עמודות, שמבוסס על numpy. הרבה מסגרות של למידת מכונה, כולל TensorFlow, תומכות במבני נתונים של pandas כקלט. פרטים נוספים זמינים במאמרי העזרה של pandas.

פרמטר

#fundamentals

המשקולות וההטיות שהמודל לומד במהלך האימון. לדוגמה, במודל של רגרסיה ליניארית, הפרמטרים מורכבים מההטיה (b) ומכל המשקלים (w₁,‏ w₂ וכן הלאה) בנוסחה הבאה:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

לעומת זאת, היפר-פרמטרים הם הערכים שאתם (או שירות להתאמת היפר-פרמטרים) מספקים למודל. לדוגמה, קצב הלמידה הוא פרמטר-על.

כוונון יעיל בפרמטרים

#generativeAI

קבוצה של טכניקות לכוונון עדין של מודל שפה גדול שאומן מראש (PLM) בצורה יעילה יותר מאשר כוונון עדין מלא. בדרך כלל, כוונון יעיל בפרמטרים מכוונן הרבה פחות פרמטרים מאשר כוונון מלא, אבל בדרך כלל הוא יוצר מודל שפה גדול עם ביצועים טובים (או כמעט טובים) כמו של מודל שפה גדול שנבנה מכוונון מלא.

השוואה בין כוונון יעיל בפרמטרים לבין:

• instruction tuning
• שיפור הנחיות

כוונון יעיל בפרמטרים נקרא גם כוונון עדין ויעיל בפרמטרים.

שרת פרמטרים (PS)

#TensorFlow

משימה שעוקבת אחרי הפרמטרים של מודל בהגדרה מבוזרת.

עדכון הפרמטרים

פעולת ההתאמה של הפרמטרים של מודל במהלך האימון, בדרך כלל במסגרת איטרציה אחת של ירידת גרדיאנט.

נגזרת חלקית

נגזרת שבה כל המשתנים, למעט אחד, נחשבים לקבוע. לדוגמה, הנגזרת החלקית של f(x, y) ביחס ל-x היא הנגזרת של f שנחשבת כפונקציה של x בלבד (כלומר, תוך שמירה על y כקבוע). הנגזרת החלקית של f ביחס ל-x מתמקדת רק בשינוי של x ומתעלמת מכל המשתנים האחרים במשוואה.

הטיית השתתפות

#responsible

מילה נרדפת להטיית אי-תגובה. ראו הטיית בחירה.

אסטרטגיית חלוקה למחיצות

האלגוריתם שבאמצעותו המשתנים מחולקים בין שרתי הפרמטרים.

מעבר ב-k (pass@k)

#Metric

מדד לקביעת איכות הקוד (לדוגמה, Python) שנוצר על ידי מודל שפה גדול. באופן ספציפי יותר, הערך של k ב-pass@k מציין את הסבירות שלפחות בלוק קוד אחד מתוך k בלוקים של קוד שנוצרו יעבור את כל בדיקות היחידה שלו.

למודלים גדולים של שפה (LLM) יש לעיתים קרובות קושי ליצור קוד טוב לבעיות תכנות מורכבות. מהנדסי תוכנה מתמודדים עם הבעיה הזו על ידי הנחיית המודל הגדול של השפה ליצור כמה (k) פתרונות לאותה בעיה. לאחר מכן, מהנדסי תוכנה בודקים כל אחד מהפתרונות באמצעות בדיקות יחידה. החישוב של pass@k תלוי בתוצאה של בדיקות היחידה:

• אם אחד או יותר מהפתרונות האלה עוברים את בדיקת היחידה, מודל ה-LLM עובר את האתגר של יצירת הקוד.
• אם אף אחד מהפתרונות לא עובר את בדיקת היחידה, מודל ה-LLM נכשל באתגר הזה של יצירת קוד.

הנוסחה לחישוב המעבר ב-k היא:

\[\text{pass at k} = \frac{\text{total number of passes}} {\text{total number of challenges}}\]

באופן כללי, ערכים גבוהים יותר של k מניבים ציונים גבוהים יותר של מעבר ב-k, אבל ערכים גבוהים יותר של k דורשים יותר משאבים של מודלים גדולים של שפה ובדיקות יחידה.

לוחצים על הסמל כדי לראות דוגמה.

נניח שמהנדס תוכנה מבקש ממודל שפה גדול ליצור k=10 פתרונות ל-n=50 בעיות קשות בתכנות. אלה התוצאות:

• 30 כרטיסים
• 20 נכשלים

לכן, ציון המעבר הוא:

$$\text{pass at 10} = \frac{\text{30}} {\text{50}} = 0.6$$

---

Pathways Language Model (PaLM)

מודל ישן יותר, שקדם למודלים של Gemini.

Pax

#generativeAI

‫Framework לתכנות שנועד לאימון של מודלים של רשתות נוירונים בקנה מידה גדול, כלומר מודלים כל כך גדולים שהם מתפרסים על פני כמה פרוסות או אשכולות של שבבי האצה מסוג TPU.

‫Pax מבוסס על Flax, שמבוסס על JAX.

‫

פרספטרון

מערכת (חומרה או תוכנה) שמקבלת ערך קלט אחד או יותר, מפעילה פונקציה על הסכום המשוקלל של הקלטים ומחשבת ערך פלט יחיד. בלמידת מכונה, הפונקציה היא בדרך כלל לא לינארית, כמו ReLU,‏ sigmoid או tanh. לדוגמה, הפרספטרון הבא מסתמך על פונקציית הסיגמואיד כדי לעבד שלושה ערכי קלט:

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

בדוגמה הבאה, הפרספטרון מקבל שלושה ערכי קלט, שכל אחד מהם משוקלל לפני שהוא מוזן לפרספטרון:

פרספטרונים הם הנוירונים ברשתות נוירונים.

ביצועים

#Metric

מונח עם עומס יתר שכולל את המשמעויות הבאות:

• המשמעות הסטנדרטית בהנדסת תוכנה. כלומר: עד כמה התוכנה הזו פועלת מהר (או ביעילות)?
• המשמעות בהקשר של למידת מכונה. כאן, הביצועים עונים על השאלה הבאה: עד כמה המודל הזה מדויק? כלומר, עד כמה התחזיות של המודל טובות?

חשיבות משתנים בתמורה

#df

#Metric

סוג של חשיבות משתנה שמעריך את העלייה בשגיאת החיזוי של מודל אחרי שינוי הערכים של התכונה. חשיבות המשתנה של פרמוטציה היא מדד שלא תלוי במודל.

תמיהה

#Metric

מדד אחד שמשקף את מידת ההצלחה של מודל בהשגת המטרה שלו. לדוגמה, נניח שהמשימה שלכם היא לקרוא את כמה האותיות הראשונות של מילה שמשתמש מקליד במקלדת של טלפון, ולהציע רשימה של מילים אפשריות להשלמה. הערך של Perplexity, ‏ P, למשימה הזו הוא בערך מספר הניחושים שצריך להציע כדי שהרשימה תכיל את המילה שהמשתמש מנסה להקליד.

המדד Perplexity קשור לcross-entropy באופן הבא:

$$P= 2^{-\text{cross entropy}}$$

צינור עיבוד נתונים

התשתית שמקיפה אלגוריתם של למידת מכונה. הצינור כולל איסוף של הנתונים, הכנסת הנתונים לקבצים של נתוני אימון, אימון של מודל אחד או יותר וייצוא המודלים לסביבת הייצור.

מידע נוסף זמין במאמר צינורות ML בקורס בנושא ניהול פרויקטים של ML.

צינור עיבוד נתונים

סוג של מקביליות של מודלים שבו העיבוד של מודל מחולק לשלבים עוקבים, וכל שלב מבוצע במכשיר אחר. בזמן ששלב מסוים מעבד אצווה אחת, השלב הקודם יכול לעבוד על האצווה הבאה.

אפשר לעיין גם במאמר בנושא הדרכה בשלבים.

pjit

פונקציית JAX שמפצלת קוד להרצה בכמה שבבי האצה. המשתמש מעביר פונקציה ל-pjit, שבתמורה מחזירה פונקציה עם סמנטיקה שוות ערך, אבל היא עוברת קומפילציה לחישוב XLA שפועל בכמה מכשירים (כמו מעבדי GPU או ליבות TPU).

‫PJIT מאפשר למשתמשים לפצל חישובים בלי לשכתב אותם באמצעות מחלקת המחיצות SPMD.

החל ממרץ 2023, ‏pjit מוזג עם jit. פרטים נוספים זמינים במאמר בנושא מערכים מבוזרים והקבלה אוטומטית.

PLM

#generativeAI

קיצור של מודל שפה שעבר אימון מראש.

pmap

פונקציית JAX שמבצעת עותקים של פונקציית קלט במכשירי חומרה בסיסיים מרובים (מעבדי CPU, מעבדי GPU או TPU), עם ערכי קלט שונים. הפונקציה pmap מסתמכת על SPMD.

מדיניות

בלמידת חיזוק, מיפוי הסתברותי של סוכן ממצבים לפעולות.

איגום

הקטנת מטריצה (או מטריצות) שנוצרה על ידי שכבת קונבולוציה קודמת למטריצה קטנה יותר. בדרך כלל, איגום נתונים כולל שימוש בערך המקסימלי או הממוצע של האזור המאוגם. לדוגמה, נניח שיש לנו את מטריצת 3x3 הבאה:

פעולת איגום, כמו פעולת קונבולוציה, מחלקת את המטריצה לפרוסות ואז מחליקה את פעולת הקונבולוציה בצעדים. לדוגמה, נניח שפעולת האיגום מחלקת את מטריצת הקונבולוציה לפרוסות בגודל 2x2 עם צעד של 1x1. כפי שאפשר לראות בתרשים הבא, מתבצעות ארבע פעולות של שיתוף משאבים. נניח שכל פעולת איגום בוחרת את הערך המקסימלי מתוך ארבעת הערכים בפרוסה הזו:

האיגום עוזר לאכוף אינווריאנטיות תרגומית במטריצת הקלט.

האיגום ליישומי ראייה ידוע באופן רשמי יותר כאיגום מרחבי. בדרך כלל, ביישומים של סדרות עיתיות, איגום נקרא איגום זמני. בשימוש פחות רשמי, לפעולת ה-Pooling קוראים לעיתים קרובות subsampling או downsampling.

אפשר לעיין במאמר היכרות עם רשתות עצביות מתקפלות בקורס 'סדנה ללמידת מכונה: סיווג תמונות'.

קידוד לפי מיקום

שיטה להוספת מידע על המיקום של טוקן ברצף להטמעה של הטוקן. מודלים מסוג טרנספורמר משתמשים בקידוד מיקום כדי להבין טוב יותר את הקשר בין חלקים שונים ברצף.

הטמעה נפוצה של קידוד מיקום משתמשת בפונקציה סינוסואידית. (באופן ספציפי, התדירות והמשרעת של הפונקציה הסינוסואידית נקבעות לפי המיקום של הטוקן ברצף). הטכניקה הזו מאפשרת למודל Transformer ללמוד להתמקד בחלקים שונים של הרצף על סמך המיקום שלהם.

סיווג חיובי

#fundamentals

#Metric

הכיתה שאתם בודקים לגביה.

לדוגמה, המחלקה החיובית במודל לסרטן יכולה להיות 'גידול'. הסיווג החיובי במודל לסיווג אימיילים יכול להיות 'ספאם'.

ההפך מסיווג שלילי.

כדי לראות הערות נוספות, לוחצים על הסמל.

המונח סיווג חיובי עלול לבלבל, כי התוצאה ה'חיובית' של הרבה בדיקות היא לרוב תוצאה לא רצויה. לדוגמה, התוצאה החיובית בהרבה בדיקות רפואיות מתאימה לגידולים או למחלות. באופן כללי, אתם רוצים לשמוע מרופא את המילים: "מזל טוב! תוצאות הבדיקה שלך היו שליליות". בכל מקרה, המחלקה החיובית היא האירוע שהבדיקה מנסה למצוא.

נכון, אתם בודקים בו-זמנית את המחלקות החיוביות והשליליות.

---

עיבוד תמונה (Post Processing)

#responsible

#fundamentals

שינוי הפלט של מודל אחרי שהמודל הופעל. אפשר להשתמש בעיבוד שלאחר מכן כדי לאכוף אילוצי הוגנות בלי לשנות את המודלים עצמם.

לדוגמה, אפשר להחיל עיבוד לאחר על מודל סיווג בינארי על ידי הגדרת סף סיווג כך ששוויון הזדמנויות יישמר עבור מאפיין מסוים. כדי לעשות זאת, בודקים ששיעור החיוביים האמיתיים זהה לכל הערכים של המאפיין הזה.

מודל שעבר אימון

#generativeAI

מונח כללי שמתייחס בדרך כלל למודל שעבר אימון מראש ועבר עיבוד כלשהו אחרי האימון, כמו אחד או יותר מהתהליכים הבאים:

• זיקוק
• כוונון עדין
• התאמה להוראות

PR AUC (שטח מתחת לעקומת PR)

#Metric

השטח מתחת לעקומת הדיוק וההחזרה שחושב על ידי אינטרפולציה, ומתקבל על ידי שרטוט נקודות (החזרה, דיוק) עבור ערכים שונים של סף הסיווג.

Praxis

ספריית ליבה של Pax ללמידת מכונה עם ביצועים גבוהים. ל-Praxis קוראים לעיתים קרובות 'ספריית השכבות'.

‫Praxis מכיל לא רק את ההגדרות של המחלקה Layer, אלא גם את רוב הרכיבים התומכים שלה, כולל:

• קלט של נתונים
• ספריות הגדרה (HParam ו-Fiddle)
• optimizers

‫Praxis מספק את ההגדרות של המחלקה Model.

דיוק

#fundamentals

#Metric

מדד למודלים של סיווג שעונה על השאלה הבאה:

כשהמודל חזה את הסיווג החיובי, מה אחוז החיזויים הנכונים?

זו הנוסחה:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

where:‎

• חיובי אמיתי פירושו שהמודל חזה נכון את המחלקה החיובית.
• תוצאה חיובית שגויה פירושה שהמודל טעה וחיזוי את הסיווג החיובי.

לדוגמה, נניח שמודל יצר 200 תחזיות חיוביות. מתוך 200 התחזיות החיוביות האלה:

• ‫150 היו חיוביים אמיתיים.
• 50 מהן היו תוצאות חיוביות שגויות.

במקרה זה:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

ההגדרה הזו שונה מדיוק ומהחזרה.

מידע נוסף זמין במאמר סיווג: דיוק, היזכרות, פרסיזיה ומדדים קשורים בסדנה ללמידת מכונה.

דיוק ב-k‏ (precision@k)

#Metric

מדד להערכת רשימה מדורגת (מסודרת) של פריטים. המדד 'דיוק ב-k' מזהה את החלק של k הפריטים הראשונים ברשימה שהם 'רלוונטיים'. כלומר:

\[\text{precision at k} = \frac{\text{relevant items in first k items of the list}} {\text{k}}\]

הערך של k צריך להיות קטן או שווה לאורך הרשימה שמוחזרת. שימו לב שאורך הרשימה שמוחזרת לא נכלל בחישוב.

הרלוונטיות היא לרוב סובייקטיבית. אפילו מעריכים אנושיים מומחים חלוקים בדעתם לגבי הפריטים הרלוונטיים.

השווה ל:

• ‫average precision at k
• דיוק ממוצע ב-k

כדי לראות דוגמה, לוחצים על הסמל.

נניח שמודל שפה גדול מקבל את השאילתה הבאה:

List the 6 funniest movies of all time in order.

מודל השפה הגדול מחזיר את הרשימה שמוצגת בשתי העמודות הראשונות של הטבלה הבאה:

מיקום	סרט	רלוונטי?
1	The General	כן
2	Mean Girls	כן
3	Platoon	לא
4	שושבינות	כן
5	האזרח קיין	לא
6	This is Spinal Tap	כן

שניים מתוך שלושת הסרטים הראשונים רלוונטיים, לכן רמת הדיוק ב-3 היא:

$$\text{precision at 3} = \frac{\text{2}} {\text{3}} = 0.67$$

שלושה מתוך חמשת הסרטים הראשונים מצחיקים מאוד, ולכן הדיוק ברמה 5 הוא:

$$\text{precision at 5} = \frac{\text{3}} {\text{5}} = 0.6$$

---

עקומת דיוק-החזרה

#Metric

עקומת הדיוק לעומת ההחזרה בספי סיווג שונים.

חיזוי (prediction)

#fundamentals

הפלט של המודל. לדוגמה:

• החיזוי של מודל סיווג בינארי הוא או הסיווג החיובי או הסיווג השלילי.
• החיזוי של מודל סיווג רב-מחלקתי הוא מחלקה אחת.
• החיזוי של מודל רגרסיה ליניארית הוא מספר.

הטיה בתחזית

#Metric

ערך שמציין את המרחק בין הממוצע של התחזיות לבין הממוצע של התוויות במערך הנתונים.

לא להתבלבל עם מונח ההטיה במודלים של למידת מכונה או עם הטיה באתיקה ובהוגנות.

חיזוי באמצעות ML

כל מערכת למידת מכונה רגילה (קלאסית).

למונח predictive ML אין הגדרה רשמית. המונח הזה מבחין בין קטגוריות של מערכות ML שלא מבוססות על AI גנרטיבי.

שוויון חזוי

#responsible

#Metric

מדד הוגנות שבודק אם שיעורי הדיוק שווים עבור קבוצות משנה שנבדקות במודל סיווג נתון.

לדוגמה, מודל שמנבא קבלה למכללה יעמוד בדרישות של שוויון חיזוי לפי לאום אם שיעור הדיוק שלו יהיה זהה עבור תושבי ליליפוט ותושבי ברובדינגנאג.

לפעמים קוראים לשיטת התמחור הזו גם שיטת תמחור חזויה.

בסעיף 3.2.1 במאמר הסברים על הגדרות ההוגנות מופיע דיון מפורט יותר בנושא שוויון חיזוי.

השוואת מחירים חזויה

#responsible

#Metric

שם נוסף לשוויון חיזוי.

עיבוד מקדים

#responsible

עיבוד נתונים לפני השימוש בהם לאימון מודל. העיבוד המקדים יכול להיות פשוט כמו הסרת מילים ממאגר טקסט באנגלית שלא מופיעות במילון האנגלי, או מורכב כמו שינוי של נקודות נתונים באופן שמבטל כמה שיותר מאפיינים שקשורים למאפיינים רגישים. עיבוד מקדים יכול לעזור לעמוד באילוצי הוגנות.

מודל שעבר אימון מראש

#generativeAI

למרות שהמונח הזה יכול להתייחס לכל מודל שעבר אימון או לווקטור הטמעה שעבר אימון, כיום המונח 'מודל שעבר אימון מראש' מתייחס בדרך כלל למודל גדול של שפה שעבר אימון או לצורה אחרת של מודל בינה מלאכותית גנרטיבית שעבר אימון.

כדאי לעיין גם בערכים מודל בסיס ומודל בסיס.

אימון מראש

#generativeAI

אימון ראשוני של מודל על מערך נתונים גדול. חלק מהמודלים שעברו אימון מראש הם מודלים גדולים ומסורבלים, ובדרך כלל צריך לשפר אותם באמצעות אימון נוסף. לדוגמה, מומחים ללמידת מכונה יכולים לאמן מראש מודל שפה גדול על מערך נתונים עצום של טקסט, כמו כל הדפים באנגלית בוויקיפדיה. אחרי האימון המקדים, אפשר לשפר את המודל שנוצר באמצעות אחת מהטכניקות הבאות:

• זיקוק
• שיפור הדיוק
• instruction tuning
• כוונון יעיל בפרמטרים
• prompt-tuning

אמונה קודמת

מה אתם חושבים על הנתונים לפני שמתחילים לאמן את המודל על סמך הנתונים האלה. לדוגמה, רגולריזציה מסוג _L2 מסתמכת על הנחה מוקדמת שמשקלים צריכים להיות קטנים ולהתפלג באופן נורמלי סביב האפס.

Pro

#generativeAI

מודל Gemini עם פחות פרמטרים מ-Ultra אבל יותר פרמטרים מ-Nano. פרטים נוספים זמינים במאמר בנושא Gemini Pro.

מודל רגרסיה הסתברותי

מודל רגרסיה שמשתמש לא רק במשקלים של כל תכונה, אלא גם במידת אי הוודאות של המשקלים האלה. מודל רגרסיה הסתברותי יוצר חיזוי ואת אי הוודאות של החיזוי הזה. לדוגמה, מודל רגרסיה הסתברותי עשוי להניב תחזית של 325 עם סטיית תקן של 12. מידע נוסף על מודלים של רגרסיה הסתברותית זמין ב-Colab בכתובת tensorflow.org.

פונקציית צפיפות ההסתברות

#Metric

פונקציה שמזהה את התדירות של דגימות נתונים עם ערך מסוים בדיוק. כשערכים במערך נתונים הם מספרים רציפים עם נקודה עשרונית, התאמות מדויקות הן נדירות. עם זאת, שילוב של פונקציית צפיפות הסתברות מהערך x לערך y מניב את התדירות הצפויה של דגימות נתונים בין x ל-y.

לדוגמה, נניח שיש התפלגות נורמלית עם ממוצע של 200 וסטיית תקן של 30. כדי לקבוע את התדירות הצפויה של דגימות נתונים שנמצאות בטווח 211.4 עד 218.7, אפשר לבצע אינטגרציה של פונקציית צפיפות ההסתברות להתפלגות נורמלית מ-211.4 עד 218.7.

הנחיה

#generativeAI

כל טקסט שמוזן כקלט למודל שפה גדול כדי לגרום למודל להתנהג בצורה מסוימת. ההנחיות יכולות להיות קצרות כמו ביטוי או ארוכות מאוד (לדוגמה, הטקסט המלא של רומן). ההנחיות מחולקות לכמה קטגוריות, כולל אלה שמוצגות בטבלה הבאה:

קטגוריית ההנחיה	דוגמה	הערות
שאלה	מהי מהירות התעופה של יונה?
הוראות	תכתוב שיר מצחיק על ארביטראז'.	פרומפט שמבקש ממודל שפה גדול לעשות משהו.
דוגמה	תרגום קוד Markdown ל-HTML. לדוגמה: Markdown:‏ * list item HTML:‏ <ul> <li>list item</li> </ul>	המשפט הראשון בהנחיה לדוגמה הזו הוא הוראה. שאר ההנחיה היא הדוגמה.
תפקיד	תסביר למה משתמשים בשיטת גרדיאנט ירידה באימון של למידת מכונה, ברמה של דוקטורט בפיזיקה.	החלק הראשון של המשפט הוא הוראה, והביטוי "to a PhD in Physics" הוא החלק שמתאר את התפקיד.
קלט חלקי שהמודל צריך להשלים	ראש ממשלת בריטניה מתגורר בכתובת	הנחיה חלקית לקלט יכולה להסתיים בפתאומיות (כמו בדוגמה הזו) או להסתיים בקו תחתון.

מודל בינה מלאכותית גנרטיבית יכול להגיב להנחיה באמצעות טקסט, קוד, תמונות, הטמעות, סרטונים… כמעט כל דבר.

למידה מבוססת-הנחיות

#generativeAI

יכולת של מודלים מסוימים שמאפשרת להם להתאים את ההתנהגות שלהם בתגובה לקלט טקסט שרירותי (הנחיות). בפרדיגמה טיפוסית של למידה מבוססת-הנחיה, מודל שפה גדול מגיב להנחיה על ידי יצירת טקסט. לדוגמה, נניח שמשתמש מזין את ההנחיה הבאה:

סכמו את חוק התנועה השלישי של ניוטון.

מודל שיכול ללמוד על סמך הנחיות לא עובר אימון ספציפי כדי לענות על ההנחיה הקודמת. המודל 'יודע' הרבה עובדות על פיזיקה, הרבה על כללי שפה כלליים והרבה על מה נחשב לתשובות שימושיות באופן כללי. הידע הזה מספיק כדי לספק תשובה (בתקווה) מועילה. משוב אנושי נוסף ("התשובה הזו הייתה מסובכת מדי" או "מה זה תגובה?") מאפשר למערכות מסוימות של למידה מבוססת-הנחיות לשפר בהדרגה את התועלת של התשובות שלהן.

עיצוב הנחיות

#generativeAI

מילה נרדפת להנדסת הנחיות.

הנדסת הנחיות

#generativeAI

האומנות של יצירת הנחיות שמניבות את התשובות הרצויות ממודל שפה גדול. אנשים מבצעים הנדסת הנחיות. כדי לקבל תשובות מועילות ממודל שפה גדול, חשוב לכתוב הנחיות מובנות היטב. הנדסת הנחיות תלויה בהרבה גורמים, כולל:

• קבוצת הנתונים שמשמשת לאימון מראש ולכוונון עדין של המודל הגדול של השפה.
• הטמפרטורה ופרמטרים אחרים של פענוח שהמודל משתמש בהם כדי ליצור תשובות.

עיצוב פרומפטים הוא מילה נרדפת להנדסת פרומפטים.

במאמר הזה מוסבר איך לכתוב הנחיות מועילות.

קבוצת הנחיות

#generativeAI

קבוצה של הנחיות להערכה של מודל שפה גדול. לדוגמה, באיור הבא מוצג סט של הנחיות שכולל שלוש הנחיות:

קבוצות טובות של פרומפטים כוללות אוסף מספיק 'רחב' של פרומפטים כדי להעריך באופן יסודי את הבטיחות והתועלת של מודל שפה גדול.

אפשר לעיין גם במאמר בנושא קבוצת תשובות.

כוונון הנחיות

#generativeAI

מנגנון כוונון יעיל בפרמטרים שלומד "קידומת" שהמערכת מוסיפה לפני ההנחיה עצמה.

אחת מהווריאציות של שיפור הנחיות – שנקראת לפעמים שיפור באמצעות תחילית – היא הוספת התחילית לכל שכבה. לעומת זאת, ברוב המקרים של שיפור הנחיות מוסיפים רק קידומת לשכבת הקלט.

כדי לקבל מידע נוסף על קידומות, לוחצים על הסמל.

בשיפור הנחיות, הקידומת (שנקראת גם הנחיה רכה) היא קבוצה קטנה של וקטורים שנלמדו וספציפיים למשימה, שמוצמדים לפני הטוקנים של הטקסט מההנחיה בפועל. המערכת לומדת את ההנחיה הרכה על ידי הקפאת כל שאר הפרמטרים של המודל וביצוע התאמה עדינה למשימה ספציפית.

---

proxy (מאפיינים רגישים)

#responsible

מאפיין שמשמש כתחליף למאפיין רגיש. לדוגמה, יכול להיות שמיקוד של אדם ישמש כפרוקסי לנתונים כמו הכנסה, גזע או מוצא אתני.

תוויות לשרת proxy

#fundamentals

הנתונים שמשמשים לחישוב משוער של התוויות לא זמינים ישירות במערך נתונים.

לדוגמה, נניח שאתם צריכים לאמן מודל כדי לחזות את רמת הלחץ של העובדים. מערך הנתונים מכיל הרבה תכונות חיזוי, אבל לא מכיל תווית בשם stress level. אתם לא נרתעים ובוחרים בתווית 'תאונות במקום העבודה' כתווית חלופית לרמת הלחץ. בסופו של דבר, עובדים שנמצאים במתח גבוה מעורבים ביותר תאונות מעובדים רגועים. או שכן? יכול להיות שתאונות במקומות עבודה עולות ויורדות מכמה סיבות.

דוגמה נוספת: נניח שאתם רוצים ש-is it raining? יהיה תווית בוליאנית למערך הנתונים, אבל מערך הנתונים לא מכיל נתוני גשם. אם יש תמונות זמינות, יכול להיות שתגדירו תמונות של אנשים עם מטריות כתווית חלופית לשאלה is it raining? (האם יורד גשם?). האם זו תווית טובה לשימוש במקום? יכול להיות, אבל בתרבויות מסוימות אנשים נוטים יותר לשאת מטרייה כדי להגן על עצמם מפני השמש ולא מפני הגשם.

תוויות של שרתי proxy לרוב לא מושלמות. אם אפשר, עדיף לבחור תוויות בפועל ולא תוויות פרוקסי. עם זאת, אם אין תווית בפועל, צריך לבחור את תווית הפרוקסי בזהירות רבה, ולבחור את תווית הפרוקסי שהיא הכי פחות גרועה מבין האפשרויות.

מידע נוסף זמין במאמר Datasets: Labels (קבוצות נתונים: תוויות) בסדנת מבוא ללמידת מכונה.

פונקציה טהורה

פונקציה שהפלט שלה מבוסס רק על הקלט שלה, ואין לה תופעות לוואי. במילים אחרות, פונקציה טהורה לא משתמשת במצב גלובלי ולא משנה אותו, כמו התוכן של קובץ או הערך של משתנה מחוץ לפונקציה.

אפשר להשתמש בפונקציות טהורות כדי ליצור קוד בטוח לשימוש עם שרשורים, וזה מועיל כשמבצעים שרדינג של קוד מודל בכמה שבבי האצה.

שיטות ההמרה של פונקציות ב-JAX מחייבות שהפונקציות שמוזנות יהיו פונקציות טהורות.

Q

פונקציית Q

בלמידת חיזוק, הפונקציה שמנבאת את התשואה הצפויה מביצוע פעולה במצב מסוים, ולאחר מכן מביצוע מדיניות נתונה.

פונקציית Q נקראת גם פונקציית ערך של מצב-פעולה.

Q-learning

בלמידת חיזוק, אלגוריתם שמאפשר לסוכן ללמוד את פונקציית Q האופטימלית של תהליך קבלת החלטות של מרקוב באמצעות יישום משוואת בלמן. מודל תהליך קבלת ההחלטות של מרקוב (MDP) מתאר סביבה.

quantile

כל קטגוריה בקטגוריות של קוונטילים.

חלוקה לקוונטילים

חלוקת הערכים של מאפיין לדליים כך שכל דלי מכיל את אותו מספר דוגמאות (או מספר כמעט זהה). לדוגמה, באיור הבא, 44 נקודות מחולקות ל-4 קטגוריות, שבכל אחת מהן יש 11 נקודות. כדי שכל קטגוריה באיור תכיל את אותו מספר נקודות, חלק מהקטגוריות משתרעות על רוחב שונה של ערכי x.

מידע נוסף זמין במאמר נתונים מספריים: חלוקה לקטגוריות בסדנה ללימוד מכונת למידה.

קוונטיזציה

מונח עם כמה משמעויות, שיכול לשמש בכל אחת מהדרכים הבאות:

• הטמעה של חלוקה לקבוצות לפי אחוזון בתכונה מסוימת.
• הפיכת הנתונים לאפסים ולאחדות כדי לאחסן, לאמן ולהסיק מסקנות מהר יותר. נתונים בוליאניים עמידים יותר לרעשי רקע ולשגיאות מאשר פורמטים אחרים, ולכן כימות יכול לשפר את נכונות המודל. טכניקות הכמת כוללות עיגול, חיתוך וסיווג לקטגוריות.

• הפחתת מספר הביטים שמשמשים לאחסון הפרמטרים של מודל. לדוגמה, נניח שהפרמטרים של מודל מאוחסנים כמספרים נקודה צפה (floating-point) של 32 ביט. הקוונטיזציה ממירה את הפרמטרים האלה מ-32 ביט ל-4, 8 או 16 ביט. הקוונטיזציה מצמצמת את:

  • שימוש במחשוב, בזיכרון, בדיסק וברשת
  • הזמן להסקת תחזית
  • צריכת חשמל

  עם זאת, לפעמים הכמתה מפחיתה את מידת הדיוק של התחזיות של המודל.

רשימת סרטונים

#TensorFlow

‫TensorFlow Operation שמטמיע מבנה נתונים של תור. בדרך כלל נמצא בשימוש בקלט/פלט.

R

RAG

#fundamentals

קיצור של retrieval-augmented generation (יצירה משופרת באמצעות אחזור).

יער אקראי

#df

אנסמבל של עצי החלטה שבהם כל עץ החלטה מאומן עם רעש אקראי ספציפי, כמו bagging.

יערות אקראיים הם סוג של יער החלטות.

מידע נוסף זמין במאמר Random Forest (יער אקראי) בקורס בנושא Decision Forests (יערות החלטה).

מדיניות אקראית

בלמידת חיזוק, מדיניות שבוחרת פעולה באופן אקראי.

rank (ordinality)

המיקום הסידורי של מחלקה בבעיית למידה חישובית שמסווגת מחלקות מהגבוה לנמוך. לדוגמה, מערכת דירוג התנהגות יכולה לדרג את התגמולים לכלב מהגבוה ביותר (סטייק) לנמוך ביותר (כרוב עלים נבול).

rank (Tensor)

#TensorFlow

מספר המאפיינים ב-Tensor. לדוגמה, לערך סקלרי יש דרגה 0, לווקטור יש דרגה 1 ולמטריצה יש דרגה 2.

לא להתבלבל עם דירוג (סדר).

דירוג

סוג של למידה מונחית שמטרתה לסדר רשימה של פריטים.

מדרג

#fundamentals

אדם שמספק תוויות לדוגמאות. 'מבקר' הוא שם נוסף ל'בודק'.

מידע נוסף זמין במאמר נתונים קטגוריים: בעיות נפוצות בסדנה ללמידת מכונה.

recall

#fundamentals

#Metric

מדד למודלים של סיווג שעונה על השאלה הבאה:

כשהאמת הבסיס הייתה הסיווג החיובי, מהו אחוז התחזיות שהמודל זיהה נכון כסיווג החיובי?

זו הנוסחה:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

where:‎

• חיובי אמיתי פירושו שהמודל חזה נכון את המחלקה החיובית.
• תוצאה שלילית שגויה פירושה שהמודל טעה וחיזוי את הסיווג השלילי.

לדוגמה, נניח שהמודל שלכם ביצע 200 חיזויים על דוגמאות שבהן האמת הבסיסית הייתה הסיווג החיובי. מתוך 200 התחזיות האלה:

• 180 היו תוצאות חיוביות אמיתיות.
• 20 מהן היו תוצאות שליליות מטעות.

במקרה זה:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

לוחצים על הסמל כדי לראות הערות לגבי מערכי נתונים עם חוסר איזון בין הכיתות.

המדד Recall שימושי במיוחד לקביעת יכולת החיזוי של מודלים לסיווג שבהם המחלקה החיובית נדירה. לדוגמה, נניח שיש מערך נתונים עם חוסר איזון בין הסיווגים שבו הסיווג החיובי למחלה מסוימת מופיע רק אצל 10 מתוך מיליון מטופלים. נניח שהמודל שלכם מבצע חמישה מיליון חיזויים שמניבים את התוצאות הבאות:

• ‫30 חיוביים אמיתיים
• 20 תוצאות שליליות כוזבות
• ‫4,999,000 תוצאות שליליות אמיתיות
• 950 תוצאות חיוביות שגויות

לכן, ערך ה-recall של המודל הזה הוא:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

לעומת זאת, רמת הדיוק של המודל הזה היא:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

ערך הדיוק הגבוה הזה נראה מרשים, אבל הוא חסר משמעות. המדד Recall שימושי הרבה יותר למערכי נתונים לא מאוזנים של מחלקות מאשר המדד Accuracy.

---

מידע נוסף זמין במאמר סיווג: דיוק, היזכרות, פרסיזיה ומדדים קשורים.

ריקול ב-k‏ (recall@k)

#Metric

מדד להערכת מערכות שמפיקות רשימה מדורגת (מסודרת) של פריטים. המדד Recall at k מזהה את החלק של הפריטים הרלוונטיים מתוך k הפריטים הראשונים ברשימה מתוך המספר הכולל של הפריטים הרלוונטיים שהוחזרו.

\[\text{recall at k} = \frac{\text{relevant items in first k items of the list}} {\text{total number of relevant items in the list}}\]

הניגודיות עם הדיוק ב-k.

כדי לראות דוגמה, לוחצים על הסמל.

נניח שמודל שפה גדול מקבל את השאילתה הבאה:

List the 10 funniest movies of all time in order.

מודל השפה הגדול מחזיר את הרשימה שמוצגת בשתי העמודות הראשונות:

מיקום	סרט	רלוונטי?
1	The General	כן
2	Mean Girls	כן
3	Platoon	לא
4	שושבינות	כן
5	This is Spinal Tap	כן
6	מטוס!	כן
7	יום המרמיטה	כן
8	מונטי פייתון והגביע הקדוש	כן
9	אופנהיימר	לא
10	Clueless	כן

שמונה מהסרטים ברשימה הקודמת מצחיקים מאוד, ולכן הם 'פריטים רלוונטיים ברשימה'. לכן, 8 יהיה המכנה בכל החישובים של ההחזרה ב-k. מה לגבי המונה? ובכן, 3 מתוך 4 הפריטים הראשונים רלוונטיים, ולכן ההחזרה ב-4 היא:

$$\text{recall at 4} = \frac{\text{3}} {\text{8}} = 0.375$$

7 מתוך 8 הסרטים הראשונים מצחיקים מאוד, ולכן רמת הזכירה בסרטון 8 היא:

$$\text{recall at 8} = \frac{\text{7}} {\text{8}} = 0.875$$

---

מערכת ההמלצות

מערכת שבוחרת לכל משתמש קבוצה קטנה יחסית של פריטים רצויים מתוך מאגר גדול. לדוגמה, מערכת להמלצה על סרטונים עשויה להמליץ על שני סרטונים מתוך מאגר של 100,000 סרטונים. למשתמש אחד היא תבחר את הסרטונים קזבלנקה וסיפור פילדלפיה, ולמשתמש אחר את הסרטונים וונדר וומן והפנתר השחור. מערכת המלצות לסרטונים עשויה לבסס את ההמלצות שלה על גורמים כמו:

• סרטים שמשתמשים דומים דירגו או צפו בהם.
• ז'אנר, במאים, שחקנים, קבוצה דמוגרפית לטירגוט...

מידע נוסף זמין בקורס בנושא מערכות המלצות.

יחידה לינארית מתוקנת (ReLU)

#fundamentals

פונקציית הפעלה עם אופן הפעולה הבא:

• אם הקלט שלילי או אפס, הפלט הוא 0.
• אם הקלט חיובי, הפלט שווה לקלט.

לדוגמה:

• אם הקלט הוא ‎-3, הפלט הוא 0.
• אם הקלט הוא ‎+3, הפלט הוא 3.0.

הנה גרף של ReLU:

‫ReLU היא פונקציית הפעלה פופולרית מאוד. למרות ההתנהגות הפשוטה שלה, ReLU עדיין מאפשרת לרשת נוירונים ללמוד על קשרים לא לינאריים בין תכונות לבין התווית.

רשת נוירונים חוזרת

רשת נוירונים שמופעלת בכוונה כמה פעמים, כשחלקים מכל הפעלה מוזנים להפעלה הבאה. באופן ספציפי, שכבות מוסתרות מההרצה הקודמת מספקות חלק מהקלט לאותה שכבה מוסתרת בהרצה הבאה. רשתות נוירונים חוזרות שימושיות במיוחד להערכת רצפים, כך שהשכבות הנסתרות יכולות ללמוד מהרצות קודמות של רשת הנוירונים בחלקים קודמים של הרצף.

לדוגמה, באיור הבא מוצגת רשת נוירונים חוזרת שפועלת ארבע פעמים. שימו לב שהערכים שנלמדו בשכבות הנסתרות מההרצה הראשונה הופכים לחלק מהקלט לאותן שכבות נסתרות בהרצה השנייה. באופן דומה, הערכים שנלמדו בשכבה הנסתרת בהרצה השנייה הופכים לחלק מהקלט לאותה שכבה נסתרת בהרצה השלישית. כך, הרשת העצבית החוזרת מתאמנת בהדרגה ומנבאת את המשמעות של הרצף כולו, ולא רק את המשמעות של מילים בודדות.

טקסט לדוגמה

#generativeAI

תשובה של מומחה להנחיה. לדוגמה, אם נותנים את ההנחיה הבאה:

תרגם את השאלה "What is your name?‎" מאנגלית לצרפתית.

תשובה של מומחה יכולה להיות:

Comment vous appelez-vous?

מדדים שונים (כמו ROUGE) בודקים את מידת ההתאמה בין טקסט ההפניה לבין הטקסט שנוצר על ידי מודל ML.

הערה: בדרך כלל המומחה הוא אדם, אבל יכול להיות שזה מודל ML.

הרהורים

#generativeAI

אסטרטגיה לשיפור האיכות של תהליך עבודה מבוסס-סוכן על ידי בדיקה (רפלקציה) של הפלט של שלב מסוים לפני העברת הפלט הזה לשלב הבא.

הבודק הוא לרוב אותו LLM שיצר את התשובה (אבל יכול להיות שזה LLM אחר). איך יכול להיות שאותו LLM שיצר תשובה ישפוט בצורה הוגנת את התשובה שהוא עצמו יצר? הטריק הוא להכניס את ה-LLM למצב חשיבה ביקורתי (רפלקטיבי). התהליך הזה דומה לתהליך שבו סופר משתמש בחשיבה יצירתית כדי לכתוב טיוטה ראשונה, ואז עובר לחשיבה ביקורתית כדי לערוך אותה.

לדוגמה, נניח שיש לכם תהליך עבודה מבוסס-סוכנים שהשלב הראשון בו הוא יצירת טקסט לספלי קפה. ההנחיה לשלב הזה יכולה להיות:

אתם אנשים יצירתיים. תייצר טקסט מקורי והומוריסטי באורך של פחות מ-50 תווים שמתאים לספל קפה.

עכשיו דמיינו את ההנחיה הרפלקטיבית הבאה:

אתם שותים קפה. האם התגובה הקודמת מצחיקה?

לאחר מכן, יכול להיות שרק טקסט שמקבל ציון גבוה של שיקוף יעבור לשלב הבא בתהליך העבודה.

מודל רגרסיה

#fundamentals

באופן לא רשמי, מודל שיוצר חיזוי מספרי. (לעומת זאת, מודל סיווג יוצר חיזוי של מחלקה). לדוגמה, כל המודלים הבאים הם מודלים של רגרסיה:

• מודל שמנבא את הערך של בית מסוים באירו, למשל 423,000.
• מודל שמנבא את תוחלת החיים של עץ מסוים בשנים, כמו 23.2.
• מודל שמנבא את כמות הגשם באינצ'ים שתירד בעיר מסוימת במהלך שש השעות הבאות, למשל 0.18.

שני סוגים נפוצים של מודלים של רגרסיה הם:

• רגרסיה לינארית, שמוצאת את הקו שהכי מתאים לערכי התוויות ולמאפיינים.
• רגרסיה לוגיסטית, שמייצרת הסתברות בין 0.0 ל-1.0, שבדרך כלל ממופה על ידי המערכת לחיזוי של סיווג.

לא כל מודל שמפיק תחזיות מספריות הוא מודל רגרסיה. במקרים מסוימים, חיזוי מספרי הוא למעשה מודל סיווג עם שמות מחלקות מספריים. לדוגמה, מודל שמנבא מיקוד מספרי הוא מודל סיווג ולא מודל רגרסיה.

רגולריזציה (regularization)

#fundamentals

כל מנגנון שמפחית התאמת יתר. סוגים פופולריים של רגולריזציה כוללים:

• רגולריזציה מסוג L₁
• רגולריזציה מסוג _L2
• dropout regularization
• עצירה מוקדמת (זו לא שיטה רשמית של רגולריזציה, אבל היא יכולה להגביל ביעילות את התאמת היתר)

אפשר גם להגדיר רגולריזציה כעונש על מורכבות של מודל.

כדי לראות הערות נוספות, לוחצים על הסמל.

הרגולריזציה היא לא אינטואיטיבית. הגדלת הרגולריזציה בדרך כלל מגדילה את הפסד האימון, וזה מבלבל כי המטרה היא למזער את הפסד האימון.

למעשה, לא. המטרה היא לא למזער את הפסד האימון. המטרה היא ליצור תחזיות מצוינות על דוגמאות מהעולם האמיתי. חשוב לציין שאף על פי שהגברת הרגולריזציה מגדילה את אובדן האימון, היא בדרך כלל עוזרת למודלים לבצע תחזיות טובות יותר בדוגמאות מהעולם האמיתי.

---

מידע נוסף זמין במאמר התאמת יתר: מורכבות המודל בקורס המקוצר על למידת מכונה.

שיעור הרגולריזציה

#fundamentals

מספר שמציין את החשיבות היחסית של רגולריזציה במהלך האימון. העלאת שיעור הרגולריזציה מפחיתה את ההתאמה העודפת, אבל עשויה להפחית את יכולת החיזוי של המודל. לעומת זאת, הקטנה של שיעור הרגולריזציה או השמטה שלו מגדילות את התאמת היתר.

כדי לראות את החישוב, לוחצים על הסמל.

שיעור הרגולריזציה מיוצג בדרך כלל באמצעות האות היוונית למדא. המשוואה הפשוטה הבאה של loss מראה את ההשפעה של lambda:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

כאשר רגולריזציה היא כל מנגנון רגולריזציה, כולל:

• רגולריזציה מסוג L₁
• רגולריזציה מסוג _L2

---

מידע נוסף זמין במאמר התאמת יתר: רגולריזציה מסוג L2 בקורס המקוצר על למידת מכונה.

למידת חיזוק (RL)

משפחה של אלגוריתמים שמלמדים מדיניות אופטימלית, שמטרתה למקסם את ההחזר באינטראקציה עם סביבה. לדוגמה, התגמול האולטימטיבי ברוב המשחקים הוא ניצחון. מערכות ללמידת חיזוק יכולות להפוך למומחיות במשחקים מורכבים על ידי הערכת רצפים של מהלכים קודמים במשחק שהובילו בסופו של דבר לניצחונות, ורצפים שהובילו בסופו של דבר להפסדים.

למידה ממשוב אנושי (RLHF)

#generativeAI

שימוש במשוב ממדרגים אנושיים כדי לשפר את האיכות של התשובות של המודל. לדוגמה, מנגנון RLHF יכול לבקש מהמשתמשים לדרג את איכות התשובה של המודל באמצעות אמוג'י של לייק (👍) או דיסלייק (👎). המערכת יכולה לשנות את התשובות העתידיות שלה בהתאם למשוב.

ReLU

#fundamentals

קיצור של Rectified Linear Unit (יחידה לינארית מתוקנת).

מאגר נתונים זמני של הפעלה חוזרת

באלגוריתמים דמויי DQN, הזיכרון שבו הסוכן משתמש כדי לאחסן מעברים בין מצבים לשימוש בחזרה על ניסיון.

רפליקה

עותק (או חלק מ-) של קבוצת אימון או של מודל, שבדרך כלל מאוחסן במחשב אחר. לדוגמה, מערכת יכולה להשתמש באסטרטגיה הבאה כדי להטמיע מקביליות נתונים:

1. מציבים רפליקות של מודל קיים בכמה מכונות.
2. שליחת קבוצות משנה שונות של מערך האימונים לכל עותק.
3. מצטברים העדכונים של הפרמטר.

המונח 'עותק' יכול להתייחס גם לעותק אחר של שרת הסקת מסקנות. הגדלת מספר הרפליקות מגדילה את מספר הבקשות שהמערכת יכולה לטפל בהן בו-זמנית, אבל גם מגדילה את עלויות ההצגה.

הטיית דיווח

#responsible

התדירות שבה אנשים כותבים על פעולות, תוצאות או מאפיינים לא משקפת את התדירות שלהם בעולם האמיתי או את המידה שבה מאפיין מסוים מאפיין קבוצה של אנשים. הטיה בדיווח יכולה להשפיע על הרכב הנתונים שמערכות למידת מכונה לומדות מהם.

לדוגמה, בספרים, המילה צחק נפוצה יותר מהמילה נשם. מודל ללמידת מכונה שמעריך את התדירות היחסית של צחוק ונשימה מתוך קורפוס של ספרים, כנראה יקבע שצחוק נפוץ יותר מנשימה.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בסדנה בנושא למידת מכונה.

בווקטור יהיה זהה,

תהליך מיפוי הנתונים לתכונות שימושיות.

דירוג מחדש

השלב האחרון של מערכת המלצות, שבמהלכו יכול להיות שהמערכת תדרג מחדש פריטים שקיבלו ציון לפי אלגוריתם אחר (בדרך כלל לא אלגוריתם של למידת מכונה). בשלב הדירוג מחדש מתבצעת הערכה של רשימת הפריטים שנוצרה בשלב הניקוד, ומתבצעות פעולות כמו:

• הסרת פריטים שהמשתמש כבר רכש.
• שיפור הניקוד של פריטים עדכניים יותר.

מידע נוסף זמין במאמר בנושא דירוג מחדש בקורס בנושא מערכות המלצה.

תשובה

#generativeAI

טקסט, תמונות, אודיו או סרטונים שמודל של AI גנרטיבי מסיק מהם. במילים אחרות, הנחיה היא הקלט למודל של AI גנרטיבי, והתשובה היא הפלט.

קבוצת תשובות

#generativeAI

אוסף התשובות שמודל שפה גדול מחזיר לקלט של הנחיות.

יצירה משופרת בעזרת אחזור מידע (RAG)

#fundamentals

טכניקה לשיפור האיכות של הפלט של מודל שפה גדול (LLM) על ידי עיגון הפלט במקורות ידע שאוחזרו אחרי שהמודל אומן. טכנולוגיית RAG משפרת את הדיוק של התשובות של מודלים מסוג LLM בכך שהיא מספקת למודל LLM שאומן גישה למידע שאוחזר ממסדי ידע או ממסמכים מהימנים.

הנה כמה מהסיבות הנפוצות לשימוש ב-RAG:

• שיפור הדיוק העובדתי של תשובות שנוצרו על ידי מודל.
• מתן גישה למודל לידע שהוא לא אומן עליו.
• שינוי הידע שבו המודל משתמש.
• הפעלת האפשרות לציטוט מקורות על ידי המודל.

לדוגמה, נניח שאפליקציה ללימוד כימיה משתמשת ב-PaLM API כדי ליצור סיכומים שקשורים לשאילתות של משתמשים. כשחלק הקצה העורפי של האפליקציה מקבל שאילתה, הוא:

1. מחפש (או מאחזר) נתונים שרלוונטיים לשאילתה של המשתמש.
2. מצרף ("מרחיב") את הנתונים הרלוונטיים של הכימיה לשאילתה של המשתמש.
3. ההנחיה הזו מורה ל-LLM ליצור סיכום על סמך הנתונים שצורפו.

שורה חדשה

בלמידת חיזוק, בהינתן מדיניות מסוימת ומצב מסוים, התגמול הוא סכום כל התגמולים שהסוכן מצפה לקבל כשהוא פועל לפי המדיניות מהמצב ועד לסיום הפרק. הסוכן מתחשב באופי המעוכב של התגמולים הצפויים על ידי הנחה של התגמולים בהתאם למעברי המצב הנדרשים כדי לקבל את התגמול.

לכן, אם מקדם ההנחה הוא \(\gamma\), ו \(r_0, \ldots, r_{N}\)מציין את התגמולים עד סוף הפרק, חישוב התשואה הוא כדלקמן:

$$\text{Return} = r_0 + \gamma r_1 + \gamma^2 r_2 + \ldots + \gamma^{N-1} r_{N-1}$$

הטבה

בלמידת חיזוק, התוצאה המספרית של ביצוע פעולה במצב, כפי שמוגדר על ידי הסביבה.

רגולריזציה של רכסים

מילה נרדפת לרגולריזציה של _L2. המונח רגולריזציה של רכס נפוץ יותר בהקשרים של סטטיסטיקה טהורה, ואילו המונח רגולריזציה של _L2 נפוץ יותר בלמידת מכונה.

RNN

קיצור של רשתות נוירונים חוזרות.

עקומת ROC (מאפיין הפעולה של המקלט)

#fundamentals

#Metric

תרשים של שיעור החיוביים האמיתיים לעומת שיעור החיוביים הכוזבים עבור סף סיווג שונים בסיווג בינארי.

הצורה של עקומת ROC מצביעה על היכולת של מודל סיווג בינארי להפריד בין סיווגים חיוביים לסיווגים שליליים. נניח, לדוגמה, שמודל סיווג בינארי מפריד בצורה מושלמת בין כל המחלקות השליליות לבין כל המחלקות החיוביות:

עקומת ה-ROC של המודל הקודם נראית כך:

לעומת זאת, באיור הבא מוצגים בגרף הערכים הגולמיים של רגרסיה לוגיסטית עבור מודל גרוע שלא מצליח להפריד בין מחלקות שליליות למחלקות חיוביות:

עקומת ה-ROC של המודל הזה נראית כך:

בינתיים, בעולם האמיתי, רוב מודלי הסיווג הבינארי מפרידים בין מחלקות חיוביות ושליליות במידה מסוימת, אבל בדרך כלל לא בצורה מושלמת. לכן, עקומת ROC טיפוסית נמצאת איפשהו בין שני הקצוות:

הנקודה בעקומת ROC שהכי קרובה ל-(0.0,1.0) מזהה באופן תיאורטי את סף הסיווג האידיאלי. עם זאת, יש כמה בעיות בעולם האמיתי שמשפיעות על הבחירה של סף הסיווג האידיאלי. לדוגמה, יכול להיות שתוצאות שליליות כוזבות גורמות להרבה יותר בעיות מאשר תוצאות חיוביות כוזבות.

מדד מספרי שנקרא AUC מסכם את עקומת ה-ROC לערך נקודה צפה יחיד.

הנחיות לשינוי תפקיד

#generativeAI

הנחיה, בדרך כלל מתחילה בכינוי הגוף אתה, שמורה למודל AI גנרטיבי להעמיד פנים שהוא אדם מסוים או ממלא תפקיד מסוים כשהוא יוצר את התשובה. הנחיות עם תפקיד יכולות לעזור למודל AI גנרטיבי להיכנס ל "מצב המחשבה" הנכון כדי ליצור תשובה מועילה יותר. לדוגמה, כל אחת מההנחיות הבאות להגדרת תפקיד יכולה להתאים בהתאם לסוג התשובה שאתם מחפשים:

יש לך דוקטורט במדעי המחשב.

אתה מהנדס תוכנה שנהנה להסביר בסבלנות על Python לתלמידים חדשים בתחום התכנות.

אתה גיבור פעולה עם כישורי תכנות מאוד ספציפיים. תמצא פריט מסוים ברשימת Python.

הרמה הבסיסית (root)

#df

הצומת ההתחלתי (התנאי הראשון) בעץ החלטה. לפי המוסכמה, צומת השורש מופיע בחלק העליון של עץ ההחלטות. לדוגמה:

ספריית שורש

#TensorFlow

הספרייה שאתם מציינים לאירוח של ספריות משנה של קובצי TensorFlow checkpoint וקובצי אירועים של כמה מודלים.

שורש טעות ריבועית ממוצעת (RMSE)

#fundamentals

#Metric

השורש הריבועי של הטעות הריבועית הממוצעת.

אי-תלות בסיבוב

בבעיה של סיווג תמונות, היכולת של אלגוריתם לסווג תמונות בהצלחה גם כשמשנים את הכיוון של התמונה. לדוגמה, האלגוריתם יכול לזהות מחבט טניס גם אם הוא מוצג כלפי מעלה, לצדדים או כלפי מטה. חשוב לציין שלא תמיד רצוי להשתמש בתכונה הזו. לדוגמה, אם הספרה 9 מוצגת הפוכה, היא לא צריכה להיות מסווגת כ-9.

אפשר גם לקרוא על אינווריאנטיות להזזה ועל אינווריאנטיות לגודל.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

#Metric

משפחה של מדדים שמשמשים להערכת מודלים של סיכום אוטומטי ושל תרגום מכונה. מדדי ROUGE קובעים את מידת החפיפה בין טקסט ייחוס לבין טקסט שנוצר על ידי מודל ML. כל אחד מהמדדים במשפחת ROUGE מודד חפיפה בצורה שונה. ציוני ROUGE גבוהים יותר מצביעים על דמיון רב יותר בין טקסט ההפניה לבין הטקסט שנוצר, בהשוואה לציוני ROUGE נמוכים יותר.

כל מדד במשפחת ROUGE מייצר בדרך כלל את המדדים הבאים:

• דיוק
• זכירות
• F₁

הערה: המדדים דיוק והיזכרות ב-ROUGE שונים במידה מסוימת מהמדדים דיוק והיזכרות המסורתיים.

לפרטים נוספים ולעיון בדוגמאות, ראו:

• ROUGE-L
• ROUGE-N
• ROUGE-S

הערה: BLEU ו-BLEURT עוברות אופטימיזציה לדיוק, ואילו ROUGE עוברת אופטימיזציה להחזרה. לכן, BLEU ו-BLEURT הם מדדים טובים יותר להערכת תרגום מכונה (כי הדגש הוא על דיוק), ואילו ROUGE הוא מדד טוב יותר לסיכום (כי הדגש הוא על היזכרות).

ROUGE-L

#Metric

חבר במשפחת ROUGE שמתמקד באורך של הרצף המשותף הארוך ביותר בטקסט ההפניה ובטקסט שנוצר. הנוסחאות הבאות משמשות לחישוב ההחזרה והדיוק של ROUGE-L:

$$\text{ROUGE-L recall} = \frac{\text{longest common sequence}} {\text{number of words in the reference text} }$$

$$\text{ROUGE-L precision} = \frac{\text{longest common sequence}} {\text{number of words in the generated text} }$$

אחר כך אפשר להשתמש ב-F₁ כדי לסכם את הנתונים של ROUGE-L recall ו-ROUGE-L precision למדד אחד:

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{ROUGE-L recall} * \text{ROUGE-L precision}} {\text{ROUGE-L recall} + \text{ROUGE-L precision} }$$

לוחצים על הסמל כדי לראות דוגמה לחישוב של ROUGE-L.

כדאי לעיין בטקסט המקורי ובטקסט שנוצר.

קטגוריה	מי הפיק?	טקסט
טקסט לדוגמה	מתרגם אנושי	אני רוצה להבין מגוון רחב של דברים.
הטקסט שנוצר	מודל ML	אני רוצה ללמוד הרבה דברים.

לכן:

• הרצף המשותף הארוך ביותר הוא 5 (I want to of things)
• מספר המילים בטקסט ההפניה הוא 9.
• מספר המילים בטקסט שנוצר הוא 7.

כתוצאה מכך:

$$\text{ROUGE-L recall} = \frac{\text{5}} {\text{9} } = 0.56$$

$$\text{ROUGE-L precision} = \frac{\text{5}} {\text{7} } = 0.71$$

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{0.56} * \text{0.71}} {\text{0.56} + \text{0.71} } = 0.63$$

---

המדד ROUGE-L מתעלם ממעברי שורה בטקסט הייחוס ובטקסט שנוצר, ולכן הרצף המשותף הארוך ביותר יכול לחצות כמה משפטים. אם טקסט ההפניה והטקסט שנוצר כוללים כמה משפטים, מדד טוב יותר בדרך כלל הוא וריאציה של ROUGE-L שנקראת ROUGE-Lsum. המדד ROUGE-Lsum קובע את הרצף המשותף הארוך ביותר לכל משפט בקטע, ואז מחשב את הממוצע של הרצפים המשותפים הארוכים ביותר האלה.

לוחצים על הסמל כדי לראות דוגמה לחישוב של ROUGE-Lsum.

כדאי לעיין בטקסט המקורי ובטקסט שנוצר.

קטגוריה	מי הפיק?	טקסט
טקסט לדוגמה	מתרגם אנושי	פני השטח של מאדים יבשים. כמעט כל המים נמצאים עמוק מתחת לאדמה.
הטקסט שנוצר	מודל ML	המשטח של מאדים יבש. עם זאת, רוב המים נמצאים מתחת לאדמה.

לכן:

	המשפט הראשון	המשפט השני
הרצף המשותף הארוך ביותר	‫2 (Mars dry)	‫3 (מים מתחת לפני הקרקע)
אורך המשפט בטקסט העזר	6	7
אורך המשפט בטקסט שנוצר	5	8

לכן:

$$\text{recall of first sentence} = \frac{\text{2}} {\text{6}} = 0.33 $$

$$\text{recall of second sentence} = \frac{\text{3}} {\text{7}} = 0.43 $$

$$\text{ROUGE-Lsum recall} = \frac{\text{0.33} + \text{0.43}} {\text{2}} = 0.38 $$

$$\text{precision of first sentence} = \frac{\text{2}} {\text{5}} = 0.4 $$

$$\text{precision of second sentence} = \frac{\text{3}} {\text{8}} = 0.38 $$

$$\text{ROUGE-Lsum precision} = \frac{\text{0.4} + \text{0.38}} {\text{2}} = 0.39 $$

$$\text{ROUGE-Lsum F}{_1} = \frac{\text{2} * \text{0.38} * \text{0.39}} {\text{0.38} + \text{0.39}} = 0.38 $$

---

ROUGE-N

#Metric

קבוצה של מדדים במשפחת ROUGE שמשווה בין ה-N-grams המשותפים בגודל מסוים בטקסט ההפניה לבין הטקסט שנוצר. לדוגמה:

• המדד ROUGE-1 מודד את מספר הטוקנים המשותפים בטקסט ההפניה ובטקסט שנוצר.
• ‫ROUGE-2 מודד את מספר הביגרמות (2-גרמות) המשותפות בטקסט ההפניה ובטקסט שנוצר. ‫
• המדד ROUGE-3 מודד את מספר הטריגרמים (3-גרמים) המשותפים בטקסט ההפניה ובטקסט שנוצר.

אפשר להשתמש בנוסחאות הבאות כדי לחשב את מדד הזיכרון (recall) של ROUGE-N ואת מדד הדיוק (precision) של ROUGE-N לכל חבר במשפחת ROUGE-N:

$$\text{ROUGE-N recall} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the reference text} }$$

$$\text{ROUGE-N precision} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the generated text} }$$

אחר כך אפשר להשתמש ב-F₁ כדי לסכם את מדדי הזיכרון (recall) והדיוק (precision) של ROUGE-N למדד אחד:

$$\text{ROUGE-N F}{_1} = \frac{\text{2} * \text{ROUGE-N recall} * \text{ROUGE-N precision}} {\text{ROUGE-N recall} + \text{ROUGE-N precision} }$$

לוחצים על הסמל כדי לראות דוגמה.

נניח שאתם מחליטים להשתמש ב-ROUGE-2 כדי למדוד את היעילות של תרגום שבוצע על ידי מודל ML בהשוואה לתרגום שבוצע על ידי מתרגם אנושי.

קטגוריה	מי הפיק?	טקסט	ביגרמות
טקסט לדוגמה	מתרגם אנושי	אני רוצה להבין מגוון רחב של דברים.	אני רוצה, רוצה להבין, להבין מגוון, מגוון רחב, רחב של דברים
הטקסט שנוצר	מודל ML	אני רוצה ללמוד הרבה דברים.	I want, want to, to learn, learn plenty, plenty of, of things

לכן:

• מספר הביגרמות התואמות הוא 3 (I want,‏ want to ו-of things).
• מספר ה-2-גרמים בטקסט ההפניה הוא 8.
• מספר ה-2-גרמים בטקסט שנוצר הוא 6.

כתוצאה מכך:

$$\text{ROUGE-2 recall} = \frac{\text{3}} {\text{8} } = 0.375$$

$$\text{ROUGE-2 precision} = \frac{\text{3}} {\text{6} } = 0.5$$

$$\text{ROUGE-2 F}{_1} = \frac{\text{2} * \text{0.375} * \text{0.5}} {\text{0.375} + \text{0.5} } = 0.43$$

---

ROUGE-S

#Metric

גרסה סלחנית של ROUGE-N שמאפשרת התאמה של skip-gram. כלומר, ROUGE-N סופר רק N-grams שתואמים בדיוק, אבל ROUGE-S סופר גם N-grams שמפרידה ביניהם מילה אחת או יותר. לדוגמה, שקול את הדברים הבאים:

• טקסט להפניה: White clouds
• טקסט שנוצר: White billowing clouds

כשמחשבים את ROUGE-N, ה-2-gram, ‏ White clouds לא תואם ל-White billowing clouds. עם זאת, כשמחשבים את ROUGE-S, ‏ White clouds תואם ל-White billowing clouds.

R בריבוע

#Metric

מדד רגרסיה שמציין כמה מהשונות בתווית נובעת מתכונה יחידה או מקבוצת תכונות. מקדם המתאם R² הוא ערך בין 0 ל-1, שאפשר לפרש אותו באופן הבא:

• ערך של 0 ב-R בריבוע מציין שאף אחד מהשינויים בתווית לא נובע ממערך התכונות.
• ערך R-squared של 1 מציין שכל השונות של תווית מסוימת נובעת מקבוצת התכונות.
• ערך R בריבוע בין 0 ל-1 מציין את המידה שבה אפשר לחזות את השונות של התווית ממאפיין מסוים או מקבוצת מאפיינים. לדוגמה, אם ערך ה-R בריבוע הוא 0.10, המשמעות היא ש-10 אחוזים מהשונות בתווית נובעים מקבוצת התכונות. אם ערך ה-R בריבוע הוא 0.20, המשמעות היא ש-20 אחוזים נובעים מקבוצת התכונות, וכן הלאה.

מקדם המתאם R בריבוע הוא הריבוע של מקדם המתאם של פירסון בין הערכים שהמודל חזה לבין הערכים האמיתיים.

S

הטיית דגימה

#responsible

ראו הטיית בחירה.

דגימה עם החזרה

#df

שיטה לבחירת פריטים מתוך קבוצה של פריטים אפשריים, שבה אפשר לבחור את אותו פריט כמה פעמים. הביטוי 'עם החזרה' מציין שאחרי כל בחירה, הפריט שנבחר מוחזר למאגר של הפריטים שאפשר לבחור מתוכם. השיטה ההפוכה, דגימה ללא החזרה, פירושה שפריט מועמד יכול להיבחר רק פעם אחת.

לדוגמה, נניח שיש לכם את קבוצת הפירות הבאה:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

נניח שהמערכת בוחרת באופן אקראי את fig כפריט הראשון. אם משתמשים בדגימה עם החזרה, המערכת בוחרת את הפריט השני מתוך הקבוצה הבאה:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

כן, זה אותו סט כמו קודם, כך שהמערכת יכולה לבחור שוב את fig.

אם משתמשים בדגימה ללא החזרה, אחרי שבוחרים דגימה אי אפשר לבחור אותה שוב. לדוגמה, אם המערכת בוחרת באופן אקראי את fig כמדגם הראשון, היא לא יכולה לבחור בו שוב.fig לכן, המערכת בוחרת את הדגימה השנייה מתוך הקבוצה הבאה (המצומצמת):

fruit = {kiwi, apple, pear, cherry, lime, mango}

כדי לראות הערות נוספות, לוחצים על הסמל.

המילה החלפה במונח דגימה עם החלפה מבלבלת הרבה אנשים. באנגלית, replacement פירושו "החלפה". עם זאת, דגימה עם החזרה משתמשת למעשה בהגדרה הצרפתית של החזרה, שמשמעותה היא "החזרת משהו".

המילה האנגלית replacement מתורגמת למילה הצרפתית remplacement.

---

SavedModel

#TensorFlow

הפורמט המומלץ לשמירה ולשחזור של מודלים של TensorFlow. ‫SavedModel הוא פורמט סריאליזציה שאינו תלוי בשפה וניתן לשחזור, שמאפשר למערכות ולכלים ברמה גבוהה יותר ליצור, לצרוך ולשנות מודלים של TensorFlow.

פרטים מלאים מופיעים בקטע שמירה ושחזור במדריך לתכנתים של TensorFlow.

חסכוני

#TensorFlow

אובייקט TensorFlow שאחראי לשמירת נקודות ביקורת (checkpoint) של המודל.

סקלרי

מספר יחיד או מחרוזת יחידה שאפשר לייצג כטנזור מדרגה 0. לדוגמה, כל אחת משורות הקוד הבאות יוצרת סקלר אחד ב-TensorFlow:

breed = tf.Variable("poodle", tf.string)
temperature = tf.Variable(27, tf.int16)
precision = tf.Variable(0.982375101275, tf.float64)

התאמה לעומס (scaling)

כל טרנספורמציה או טכניקה מתמטית שמשנה את הטווח של תווית, של ערך מאפיין או של שניהם. חלק מהשיטות לשינוי קנה מידה שימושיות מאוד לנורמליזציה של טרנספורמציות.

כמה דוגמאות לשיטות נפוצות של שינוי קנה מידה ששימושיות בלמידת מכונה:

• קנה מידה לינארי, שבדרך כלל משתמש בשילוב של חיסור וחילוק כדי להחליף את הערך המקורי במספר בין ‎-1 ל-‎+1 או בין 0 ל-1.
• סולם לוגריתמי, שמחליף את הערך המקורי בלוגריתם שלו.
• נורמליזציה של ציון Z, שמחליפה את הערך המקורי בערך נקודה צפה שמייצג את מספר סטיות התקן מהממוצע של התכונה.

scikit-learn

פלטפורמה פופולרית ללמידת מכונה בקוד פתוח. מידע נוסף זמין באתר scikit-learn.org.

דירוג

#Metric

החלק במערכת ההמלצות שמספק ערך או דירוג לכל פריט שנוצר בשלב יצירת המועמדים.

הטיית בחירה

#responsible

שגיאות במסקנות שמוסקים מנתונים מדוגמים בגלל תהליך בחירה שיוצר הבדלים שיטתיים בין הדגימות שנצפו בנתונים לבין הדגימות שלא נצפו. אלה סוגי הטיית הבחירה שקיימים:

• הטיה בכיסוי: האוכלוסייה שמיוצגת במערך הנתונים לא תואמת לאוכלוסייה שלגביה מודל למידת המכונה מפיק תחזיות.
• הטיית דגימה: הנתונים לא נאספים באופן אקראי מקבוצת היעד.
• הטיה שנובעת מאי-היענות (נקראת גם הטיה שנובעת מהשתתפות): משתמשים מקבוצות מסוימות בוחרים שלא להשתתף בסקרים בשיעורים שונים ממשתמשים מקבוצות אחרות.

לדוגמה, נניח שאתם יוצרים מודל למידת מכונה שמנבא את מידת ההנאה של אנשים מסרט. כדי לאסוף נתוני אימון, מחלקים שאלון לכל מי שיושב בשורה הראשונה באולם קולנוע שבו מוקרן הסרט. מבלי לחשוב יותר מדי, יכול להיות שזו נראית דרך סבירה לאסוף מערך נתונים. עם זאת, צורת איסוף הנתונים הזו עלולה להוביל להטיות הבחירה הבאות:

• הטיה בכיסוי: אם המודל מתבסס על מדגם של אנשים שבחרו לצפות בסרט, יכול להיות שהתחזיות שלו לא יהיו רלוונטיות לאנשים שלא הביעו עניין ברמה הזו בסרט.
• הטיה בדגימה: במקום לדגום באופן אקראי מתוך האוכלוסייה המיועדת (כל האנשים בסרט), דגמתם רק את האנשים בשורה הראשונה. יכול להיות שהאנשים שישבו בשורה הראשונה התעניינו בסרט יותר מאלה שישבו בשורות אחרות.
• הטיית אי-תגובה: באופן כללי, אנשים עם דעות מוצקות נוטים להשיב לסקרים אופציונליים בתדירות גבוהה יותר מאנשים עם דעות מתונות. מכיוון שהשתתפות בסקר על הסרט היא אופציונלית, סביר יותר שהתשובות יצרו התפלגות דו-אופנית מאשר התפלגות נורמלית (בצורת פעמון).

קשב עצמי (נקרא גם שכבת קשב עצמי)

שכבה של רשת נוירונים שמבצעת טרנספורמציה ברצף של הטמעות (לדוגמה, הטמעות של טוקנים) לרצף אחר של הטמעות. כל הטמעה ברצף הפלט נוצרת על ידי שילוב מידע מהאלמנטים של רצף הקלט באמצעות מנגנון ההפניה.

החלק self במונח self-attention מתייחס לרצף שמתייחס לעצמו ולא להקשר אחר. מנגנון הקשב העצמי הוא אחד מאבני הבניין העיקריות של טרנספורמרים, והוא משתמש בטרמינולוגיה של חיפוש במילון, כמו 'שאילתה', 'מפתח' ו'ערך'.

שכבת קשב עצמי מתחילה ברצף של ייצוגי קלט, אחד לכל מילה. ייצוג הקלט של מילה יכול להיות הטמעה פשוטה. לכל מילה ברצף הקלט, הרשת מחשבת את מידת הרלוונטיות של המילה לכל רכיב ברצף המילים כולו. הציונים לרלוונטיות קובעים עד כמה הייצוג הסופי של המילה משלב את הייצוגים של מילים אחרות.

לדוגמה, נבחן את המשפט הבא:

החיה לא חצתה את הכביש כי היא הייתה עייפה מדי.

באיור הבא (מתוך Transformer: A Novel Neural Network Architecture for Language Understanding) מוצג דפוס הקשב של שכבת קשב עצמי עבור כינוי הגוף it. עובי הקו מציין את מידת התרומה של כל מילה לייצוג:

שכבת הקשב העצמי מדגישה מילים שרלוונטיות ל-"it". במקרה הזה, שכבת תשומת הלב למדה להדגיש מילים שהיא עשויה להתייחס אליהן, ולהקצות את המשקל הגבוה ביותר למילה animal (חיה).

ברצף של n טוקנים, מנגנון הקשב העצמי מבצע טרנספורמציה של רצף ההטמעות n פעמים נפרדות, פעם אחת בכל מיקום ברצף.

כדאי לעיין גם במאמרים בנושא תשומת לב ותשומת לב עצמית עם כמה ראשים.

למידה בפיקוח עצמי

משפחה של טכניקות להמרת בעיה של למידת מכונה לא מבוקרת לבעיה של למידת מכונה מבוקרת על ידי יצירת תוויות חלופיות מדוגמאות לא מתויגות.

חלק מהמודלים שמבוססים על טרנספורמר, כמו BERT, משתמשים בלמידה בפיקוח עצמי.

אימון בפיקוח עצמי הוא גישה של למידה מונחית למחצה.

אימון עצמי

וריאציה של למידה בפיקוח עצמי, שימושית במיוחד כשמתקיימים כל התנאים הבאים:

• היחס בין דוגמאות לא מסומנות לבין דוגמאות מסומנות במערך הנתונים גבוה.
• זו בעיה של סיווג.

באימון עצמי, המודל עובר על שני השלבים הבאים שוב ושוב עד שהוא מפסיק להשתפר:

1. משתמשים בלמידת מכונה מבוקרת כדי לאמן מודל על הדוגמאות המתויגות.
2. משתמשים במודל שנוצר בשלב 1 כדי ליצור תחזיות (תוויות) בדוגמאות ללא תוויות, ומעבירים את הדוגמאות שבהן רמת הביטחון גבוהה לדוגמאות עם תוויות עם התווית החזויה.

שימו לב שבכל איטרציה של שלב 2 מתווספות דוגמאות מתויגות נוספות לשלב 1, כדי לאמן את המודל.

למידה מונחית למחצה

אימון מודל על נתונים שחלק מדוגמאות האימון שלהם מתויגות וחלק לא. טכניקה אחת ללמידה חצי-מפוקחת היא להסיק תוויות לדוגמאות לא מתויגות, ואז להתאמן על התוויות שהוסקו כדי ליצור מודל חדש. למידה חצי מפוקחת יכולה להיות שימושית אם יקר להשיג תוויות, אבל יש הרבה דוגמאות לא מסומנות.

אימון עצמי הוא שיטה אחת ללמידה מונחית למחצה.

מאפיין רגיש

#responsible

מאפיין אנושי שעשוי לקבל התייחסות מיוחדת מסיבות משפטיות, אתיות, חברתיות או אישיות.

ניתוח סנטימנט

שימוש באלגוריתמים סטטיסטיים או של למידת מכונה כדי לקבוע את הגישה הכללית של קבוצה – חיובית או שלילית – כלפי שירות, מוצר, ארגון או נושא. לדוגמה, באמצעות הבנת שפה טבעית, אלגוריתם יכול לבצע ניתוח סנטימנטים על המשוב הטקסטואלי מקורס באוניברסיטה כדי לקבוע עד כמה התלמידים אהבו או לא אהבו את הקורס באופן כללי.

מידע נוסף זמין במדריך בנושא סיווג טקסט.

מודל רצף

מודל שהקלט שלו תלוי ברצף. לדוגמה, חיזוי הסרטון הבא שייצפה מתוך רצף של סרטונים שנצפו בעבר.

משימה של רצף לרצף

משימה שממירה רצף קלט של טוקנים לרצף פלט של טוקנים. לדוגמה, שני סוגים פופולריים של משימות sequence-to-sequence הם:

• מתרגמים:
  • רצף קלט לדוגמה: "I love you".
  • רצף פלט לדוגמה: "Je t'aime."
• מענה לשאלות:
  • רצף קלט לדוגמה: "Do I need my car in New York City?"
  • רצף פלט לדוגמה: "לא. עדיף להשאיר את הרכב בבית".

מנה

התהליך של הפיכת מודל מאומן לזמין כדי לספק תחזיות באמצעות הסקת מסקנות אונליין או הסקת מסקנות אופליין.

צורה (Tensor)

מספר הרכיבים בכל ממד של טנסור. הצורה מיוצגת כרשימה של מספרים שלמים. לדוגמה, לטנזור הדו-ממדי הבא יש צורה של [3,4]:

[[5, 7, 6, 4],
 [2, 9, 4, 8],
 [3, 6, 5, 1]]

‫TensorFlow משתמש בפורמט row-major (בסגנון C) כדי לייצג את סדר הממדים, ולכן הצורה ב-TensorFlow היא [3,4] ולא [4,3]. במילים אחרות, בטנזור דו-ממדי של TensorFlow, הצורה היא [מספר השורות, מספר העמודות].

צורה סטטית היא צורה של טנסור שידועה בזמן ההידור.

צורה דינמית היא לא ידועה בזמן ההידור ולכן היא תלויה בנתוני זמן הריצה. יכול להיות שהטנסור הזה ייוצג עם ממד placeholder ב-TensorFlow, כמו בדוגמה [3, ?].

פצל

#TensorFlow

#GoogleCloud

חלוקה לוגית של נתוני האימון או של המודל. בדרך כלל, תהליך מסוים יוצר רסיסים על ידי חלוקה של הדוגמאות או הפרמטרים לחלקים בגודל שווה (בדרך כלל). לאחר מכן, כל שבר מוקצה למכונה אחרת.

הפעולה של חלוקת מודל נקראת מקבילות של מודלים, והפעולה של חלוקת נתונים נקראת מקבילות של נתונים.

כיווץ

#df

היפר-פרמטר בשיטת הגרדיאנט ששולט בהתאמת יתר. ההתכווצות בחיזוק גרדיאנט דומה לשיעור הלמידה בירידת גרדיאנט. ההתכווצות היא ערך עשרוני בין 0.0 ל-1.0. ערך כיווץ נמוך מפחית את התאמת היתר יותר מערך כיווץ גבוה.

הערכה מקבילה

השוואה בין האיכות של שני מודלים על סמך התשובות שלהם לאותה הנחיה. לדוגמה, נניח שנותנים את ההנחיה הבאה ל-2 מודלים שונים:

צור תמונה של כלב חמוד שמלהטט עם שלושה כדורים.

בבדיקה של תמונות זו לצד זו, בודק בוחר את התמונה ה'טובה יותר' (האם היא מדויקת יותר? יותר יפה? יותר חמודים?).

פונקציית סיגמואיד

#fundamentals

פונקציה מתמטית ש'דוחסת' ערך קלט לטווח מוגבל, בדרך כלל 0 עד 1 או ‎-1 עד ‎+1. כלומר, אפשר להעביר כל מספר (שניים, מיליון, מיליארד שלילי, מה שרוצים) לפונקציית הסיגמואיד, והפלט עדיין יהיה בטווח המוגבל. גרף של פונקציית ההפעלה הסיגמואידית נראה כך:

לפונקציית הסיגמואיד יש כמה שימושים בלמידת מכונה, כולל:

• המרת הפלט הגולמי של מודל רגרסיה לוגיסטית או רגרסיה מולטינומיאלית להסתברות.
• משמשת כפונקציית הפעלה בחלק מהרשתות העצביות.

כדי לראות את החישוב, לוחצים על הסמל.

הנוסחה של פונקציית הסיגמואיד על מספר קלט x היא:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

בלמידת מכונה, x הוא בדרך כלל סכום משוקלל.

---

מדד הדמיון

#clustering

#Metric

באלגוריתמים של אשכולות, המדד שמשמש לקביעת מידת הדמיון בין שני מקרים.

תוכנית יחידה / נתונים מרובים (SPMD)

טכניקה של מקביליות שבה אותו חישוב מורץ על נתוני קלט שונים במקביל במכשירים שונים. המטרה של SPMD היא להשיג תוצאות מהר יותר. זהו הסגנון הנפוץ ביותר של תכנות מקבילי.

אי-תלות בגודל

בבעיה של סיווג תמונות, היכולת של אלגוריתם לסווג תמונות בהצלחה גם כשהגודל של התמונה משתנה. לדוגמה, האלגוריתם עדיין יכול לזהות חתול גם אם הוא צורך 2 מיליון פיקסלים וגם אם הוא צורך 200,000 פיקסלים. חשוב לציין שגם לאלגוריתמים הטובים ביותר לסיווג תמונות יש מגבלות מעשיות לגבי אי-תלות בגודל. לדוגמה, סביר להניח שאלגוריתם (או אדם) לא יסווג נכון תמונה של חתול אם התמונה תהיה בגודל של 20 פיקסלים בלבד.

אפשר גם לקרוא על אינווריאנטיות ביחס להזזה ועל אינווריאנטיות ביחס לסיבוב.

מידע נוסף זמין בקורס בנושא אשכולות.

רישום

#clustering

בלמידת מכונה לא מפוקחת, קטגוריה של אלגוריתמים שמבצעים ניתוח דמיון מקדים על דוגמאות. אלגוריתמים של סקיצה משתמשים ב פונקציית גיבוב (hash) שרגישה למיקום כדי לזהות נקודות שסביר להניח שהן דומות, ואז מקבצים אותן לדליים.

השימוש בשיטת הסקיצה מצמצם את החישובים שנדרשים לחישובים של דמיון במערכי נתונים גדולים. במקום לחשב את הדמיון לכל זוג דוגמאות במערך הנתונים, אנחנו מחשבים את הדמיון רק לכל זוג נקודות בכל דלי.

skip-gram

n-gram שבו יכול להיות שיושמטו מילים מההקשר המקורי (או ש "ידלגו" עליהן), כלומר יכול להיות שהמילים לא היו סמוכות במקור. באופן מדויק יותר, 'k-skip-n-gram' הוא n-gram שבו יכול להיות שדילגו על עד k מילים.

לדוגמה, הביטוי "the quick brown fox" מכיל את ה-2-גרמים האפשריים הבאים:

• ‫"the quick" ‏(המהיר)
• "quick brown"
• "brown fox"

‫'1-skip-2-gram' הוא צמד מילים שיש ביניהן מילה אחת לכל היותר. לכן, הביטוי "the quick brown fox" כולל את ה-2-grams הבאים עם דילוג של 1:

• "the brown"
• "quick fox"

בנוסף, כל ה-2-grams הם גם 1-skip-2-grams, כי אפשר לדלג על פחות ממילה אחת.

דיאגרמות דילוג שימושיות להבנת ההקשר הרחב יותר של מילה. בדוגמה, המילה fox קושרה ישירות למילה quick בקבוצה של 1-skip-2-grams, אבל לא בקבוצה של 2-grams.

דיאגרמות skip-gram עוזרות לאמן מודלים של word embedding.

softmax

#fundamentals

פונקציה שקובעת הסתברויות לכל מחלקה אפשרית במודל סיווג רב-מחלקה. סכום ההסתברויות הוא בדיוק 1.0. לדוגמה, בטבלה הבאה אפשר לראות איך פונקציית softmax מחלקת הסתברויות שונות:

התמונה היא…	Probability
כלב	‫0.85
cat	‫.13
סוס	‫.02

‫Softmax נקרא גם full softmax.

ההבדל בין זה לבין דגימת מועמדים.

כדי לראות את החישוב, לוחצים על הסמל.

משוואת softmax היא:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

כאשר:

• ‫$\sigma_i$ הוא וקטור הפלט. כל רכיב של וקטור הפלט מציין את ההסתברות של הרכיב הזה. סכום כל הרכיבים בווקטור הפלט הוא 1.0. וקטור הפלט מכיל את אותו מספר רכיבים כמו וקטור הקלט, ‎$z$‎.
• ‫$z$ הוא וקטור הקלט. כל רכיב של וקטור הקלט מכיל ערך של נקודה צפה.
• ‫$K$ הוא מספר הרכיבים בווקטור הקלט (ובווקטור הפלט).

לדוגמה, נניח שווקטור הקלט הוא:

[1.2, 2.5, 1.8]

לכן, פונקציית softmax מחשבת את המכנה באופן הבא:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

לכן, ההסתברות של כל אלמנט ב-softmax היא:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

לכן, וקטור הפלט הוא:

$$\sigma = [0.154, 0.565, 0.281]$$

סכום שלושת הרכיבים ב-$\sigma$ הוא 1.0. סוף סוף!

---

מידע נוסף זמין במאמר רשתות עצביות: סיווג רב-מחלקתי בקורס המקוצר על למידת מכונה.

כוונון הנחיות רך

#generativeAI

טכניקה לכוונון מודל שפה גדול למשימה מסוימת, בלי כוונון עדין שדורש הרבה משאבים. במקום לאמן מחדש את כל המשקלים במודל, שינוי הנחיה רכה משנה באופן אוטומטי הנחיה כדי להשיג את אותה מטרה.

בהינתן הנחיה טקסטואלית, בדרך כלל מוסיפים להנחיה הטמנות של טוקנים נוספים ומבצעים אופטימיזציה של הקלט באמצעות הפצת שגיאה לאחור.

הנחיה 'קשה' מכילה טוקנים בפועל במקום הטבעות של טוקנים.

תכונה דלילה

#fundamentals

תכונה שהערכים שלה הם בעיקר אפס או ריקים. לדוגמה, תכונה שמכילה ערך 1 יחיד ומיליון ערכים של 0 היא דלילה. לעומת זאת, תכונה צפופה היא תכונה שהערכים שלה הם בעיקר לא אפס או לא ריקים.

בלמידת מכונה, מספר מפתיע של מאפיינים הם מאפיינים דלילים. תכונות קטגוריות הן בדרך כלל תכונות דלילות. לדוגמה, מתוך 300 מיני עצים אפשריים ביער, דוגמה אחת יכולה לזהות רק עץ אדר. או, מתוך מיליוני הסרטונים האפשריים בספריית סרטונים, דוגמה אחת עשויה לזהות רק את הסרט 'קזבלנקה'.

במודל, בדרך כלל מייצגים מאפיינים דלילים באמצעות קידוד one-hot. אם קידוד one-hot גדול, אפשר להוסיף שכבת הטמעה מעל קידוד one-hot כדי לשפר את היעילות.

ייצוג דליל

#fundamentals

אחסון רק של המיקומים של רכיבים שונים בתכונה דלילה.

לדוגמה, נניח שיש תכונה קטגורית בשם species שמזהה את 36 מיני העצים ביער מסוים. נניח גם שכל דוגמה מזהה רק מין אחד.

אפשר להשתמש בווקטור בקידוד "חם-יחיד" כדי לייצג את מיני העצים בכל דוגמה. וקטור one-hot יכיל ערך 1 אחד (לייצוג מין העץ הספציפי בדוגמה) ו-35 ערכים של 0 (לייצוג 35 מיני העצים שלא בדוגמה). לכן, ייצוג one-hot של maple יכול להיראות כך:

לחלופין, ייצוג דליל יזהה פשוט את המיקום של המינים הספציפיים. אם maple נמצא במיקום 24, הייצוג הדליל של maple יהיה פשוט:

24

שימו לב שהייצוג הדליל הרבה יותר קומפקטי מהייצוג one-hot.

הערה: אל תעבירו ייצוג דליל כקלט תכונה ישיר למודל. במקום זאת, צריך להמיר את הייצוג הדליל לייצוג one-hot לפני שמבצעים אימון על בסיסו.

כדי לראות דוגמה קצת יותר מורכבת, לוחצים על הסמל.

נניח שכל דוגמה במודל צריכה לייצג את המילים – אבל לא את הסדר שלהן – במשפט באנגלית. האנגלית כוללת כ-170,000 מילים, ולכן היא מאפיין קטגורי עם כ-170,000 רכיבים. רוב המשפטים באנגלית משתמשים בחלק קטן מאוד מ-170,000 המילים האלה, ולכן קבוצת המילים בדוגמה אחת כמעט בוודאות תהיה נתונים דלילים.

נניח שיש לכם את המשפט הבא:

My dog is a great dog

אפשר להשתמש בווריאציה של וקטור one-hot כדי לייצג את המילים במשפט הזה. בגרסה הזו, כמה תאים בווקטור יכולים להכיל ערך שונה מאפס. בנוסף, בגרסה הזו, תא יכול להכיל מספר שלם שאינו אחד. המילים 'my',‏ 'is',‏ 'a' ו-'great' מופיעות רק פעם אחת במשפט, אבל המילה 'dog' מופיעה פעמיים. שימוש בווריאציה הזו של וקטורים עם קידוד one-hot לייצוג המילים במשפט הזה יוצר את הווקטור הבא עם 170,000 רכיבים:

ייצוג דליל של אותו משפט יהיה פשוט:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

אם אתם לא בטוחים, לוחצים על הסמל.

המונח 'ייצוג דליל' מבלבל הרבה אנשים כי ייצוג דליל הוא לא וקטור דליל. במקום זאת, ייצוג דליל הוא למעשה ייצוג צפוף של וקטור דליל. המילה הנרדפת ייצוג אינדקס קצת יותר ברורה מהמונח 'ייצוג דליל'.

---

מידע נוסף זמין במאמר עבודה עם נתונים שמחולקים לקטגוריות בסדנה ללימוד מכונת למידה.

וקטור דליל

#fundamentals

וקטור שהערכים שלו הם בעיקר אפסים. אפשר לעיין גם במאמרים בנושא תכונת sparse וsparsity.

sparsity

#Metric

מספר הרכיבים שמוגדרים לאפס (או לערך null) בווקטור או במטריצה, חלקי המספר הכולל של הערכים בווקטור או במטריצה. לדוגמה, נניח שיש מטריצה עם 100 רכיבים, שבה 98 תאים מכילים אפס. החישוב של הדלילות מתבצע כך:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

דלילות של מאפיינים מתייחסת לדלילות של וקטור מאפיינים, ודלילות של מודל מתייחסת לדלילות של משקלי המודל.

איגום מרחבי

מידע נוסף זמין במאמר בנושא איגום.

קידוד לפי מפרט

#generativeAI

התהליך של כתיבה ותחזוקה של קובץ בשפה טבעית (לדוגמה, אנגלית) שמתאר תוכנה. אחר כך אפשר להנחות מודל AI גנרטיבי או מהנדס תוכנה אחר ליצור את התוכנה שתואמת לתיאור הזה.

בדרך כלל צריך לבצע איטרציה על קוד שנוצר באופן אוטומטי. בקידוד ספציפי, חוזרים על הפעולה בקובץ התיאור. לעומת זאת, בתכנות שיחתי, חוזרים על הפעולה בתיבת ההנחיה. בפועל, יצירת קוד אוטומטית כוללת לפעמים שילוב של גם קידוד ספציפי וגם קידוד שיחתי.

פיצול

#df

בעץ החלטות, שם נוסף לתנאי.

מפצל

#df

במהלך אימון של עץ החלטה, השגרה (והאלגוריתם) שאחראית למציאת התנאי הטוב ביותר בכל צומת.

SPMD

קיצור של single program / multiple data (תוכנית אחת / נתונים מרובים).

SQuAD

#Metric

ראשי תיבות של Stanford Question Answering Dataset (מערך נתונים של סטנפורד למענה על שאלות), שהוצג במאמר SQuAD: 100,000+ Questions for Machine Comprehension of Text (מערך SQuAD: יותר מ-100,000 שאלות להבנת טקסט על ידי מכונה). השאלות במערך הנתונים הזה מגיעות מאנשים ששואלים שאלות לגבי מאמרים בוויקיפדיה. לחלק מהשאלות ב-SQuAD יש תשובות, אבל לחלק אחר אין תשובות בכוונה. לכן, אפשר להשתמש ב-SQuAD כדי להעריך את היכולת של מודל שפה גדול (LLM) לבצע את שתי הפעולות הבאות:

• לענות על שאלות שאפשר לענות עליהן.
• לזהות שאלות שאי אפשר לענות עליהן.

התאמה מדויקת בשילוב עם F₁ הם המדדים הנפוצים ביותר להערכת מודלים גדולים של שפה (LLM) בהשוואה ל-SQuAD.

squared hinge loss

#Metric

הריבוע של הפסד הציר. הפסד ציר בריבוע מעניש חריגים בצורה חמורה יותר מאשר הפסד ציר רגיל.

squared loss

#fundamentals

#Metric

מילה נרדפת לאובדן _L2.

אימון מדורג

טקטיקה לאימון מודל ברצף של שלבים נפרדים. המטרה יכולה להיות לזרז את תהליך האימון או להשיג איכות מודל טובה יותר.

האיור הבא מציג את הגישה של הוספה הדרגתית של שכבות:

• שלב 1 מכיל 3 שכבות מוסתרות, שלב 2 מכיל 6 שכבות מוסתרות ושלב 3 מכיל 12 שכבות מוסתרות.
• בשלב 2 מתחילים באימון עם המשקלים שנלמדו ב-3 השכבות המוסתרות של שלב 1. בשלב 3 מתחילים באימון עם המשקלים שנלמדו ב-6 השכבות המוסתרות של שלב 2.

מידע נוסף זמין במאמר בנושא צינורות (pipelining).

הסמוי הסופי

בלמידת חיזוק, ערכי הפרמטרים שמתארים את ההגדרה הנוכחית של הסביבה, שהסוכן משתמש בה כדי לבחור פעולה.

פונקציית ערך של מצב-פעולה

מילה נרדפת ל-Q-function.

סטטי

#fundamentals

משהו שעושים פעם אחת ולא באופן רציף. המונחים סטטי ואופליין הם מילים נרדפות. אלה שימושים נפוצים במונחים סטטי ואופליין בלמידת מכונה:

• מודל סטטי (או מודל אופליין) הוא מודל שעובר אימון פעם אחת ואז משתמשים בו למשך תקופה.
• אימון סטטי (או אימון אופליין) הוא תהליך האימון של מודל סטטי.
• היקש סטטי (או היקש אופליין) הוא תהליך שבו מודל יוצר קבוצה של תחזיות בכל פעם.

ניגודיות לדינמי.

היקש סטטי

#fundamentals

מילה נרדפת להסקת מסקנות במצב אופליין.

סטציונריות

#fundamentals

תכונה שהערכים שלה לא משתנים בכמה מאפיינים, בדרך כלל זמן. לדוגמה, תכונה שהערכים שלה נראים כמעט זהים ב-2021 וב-2023 מציגה סטציונריות.

בעולם האמיתי, מעט מאוד תכונות מציגות סטציונריות. גם תכונות שמזוהות עם יציבות (כמו גובה פני הים) משתנות עם הזמן.

ההפך מnonstationarity.

שלב

מעבר קדימה ומעבר אחורה של קבוצת נתונים אחת.

מידע נוסף על העברה קדימה והעברה אחורה זמין במאמר בנושא backpropagation.

גודל השלב

מילה נרדפת לקצב למידה.

ירידה סטוכסטית בגרדיאנט (SGD)

#fundamentals

אלגוריתם gradient descent שבו גודל האצווה הוא אחד. במילים אחרות, SGD מתאמן על דוגמה אחת שנבחרה באופן אחיד ואקראי מתוך קבוצת אימון.

מידע נוסף זמין במאמר רגרסיה לינארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

פסיעה

בפעולת קונבולוציה או איגום, הדלתא בכל מימד של הסדרה הבאה של פרוסות הקלט. לדוגמה, באנימציה הבאה מוצג מעבר (1,1) במהלך פעולת קונבולוציה. לכן, פרוסת הקלט הבאה מתחילה מיקום אחד מימין לפרוסת הקלט הקודמת. כשהפעולה מגיעה לקצה הימני, הפרוסה הבאה נמצאת בצד השמאלי, אבל במקום אחד למטה.

בדוגמה שלמעלה מוצג דילוג דו-ממדי. אם מטריצת הקלט היא תלת-ממדית, גם הצעד יהיה תלת-ממדי.

מזעור סיכונים מבניים (SRM)

אלגוריתם שמאזן בין שני יעדים:

• הצורך לבנות את המודל הכי מדויק (לדוגמה, עם הכי פחות אובדן).
• הצורך לשמור על מודל פשוט ככל האפשר (לדוגמה, רגולריזציה חזקה).

לדוגמה, פונקציה שממזערת את ההפסד + הרגולריזציה במערך האימון היא אלגוריתם של מזעור סיכונים מבניים.

ההפך מצמצום סיכונים אמפירי.

דגימת משנה

מידע נוסף זמין במאמר בנושא איגום.

טוקן של תת-מילה

במודלים של שפה, טוקן הוא מחרוזת משנה של מילה, שיכולה להיות המילה כולה.

לדוגמה, המילה itemize (לפרט) יכולה להתפרק לחלקים item (פריט) (מילת בסיס) ו-ize (סיומת), וכל אחד מהם מיוצג על ידי טוקן משלו. פיצול מילים לא נפוצות לחלקים כאלה, שנקראים תת-מילים, מאפשר למודלים של שפה לפעול על החלקים הנפוצים יותר של המילה, כמו תחיליות וסיומות.

לעומת זאת, מילים נפוצות כמו going לא יפוצלו ויכול להיות שיוצגו באמצעות טוקן יחיד.

סיכום

#TensorFlow

ב-TensorFlow, ערך או קבוצת ערכים שמחושבים בשלב מסוים, בדרך כלל משמשים למעקב אחרי מדדי המודל במהלך האימון.

למידת מכונה מפוקחת

#fundamentals

אימון מודל ממאפיינים והתוויות התואמות שלהם. למידת מכונה מפוקחת דומה ללימוד נושא מסוים על ידי עיון בסדרת שאלות ובתשובות המתאימות להן. אחרי שהתלמידים יבינו את הקשר בין השאלות לתשובות, הם יוכלו לענות על שאלות חדשות (שלא נראו קודם) באותו נושא.

השוואה ללמידת מכונה לא מפוקחת.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בקורס Introduction to ML (מבוא ל-ML).

תכונה סינתטית

#fundamentals

תכונה שלא מופיעה בין תכונות הקלט, אבל מורכבת מאחת או יותר מהן. שיטות ליצירת תכונות סינתטיות:

• חלוקה לקטגוריות של תכונה רציפה לקטגוריות של טווחים.
• יצירת תכונה חוצה.
• הכפלה (או חלוקה) של ערך תכונה אחד בערך תכונה אחר או בעצמו. לדוגמה, אם a ו-b הם מאפייני קלט, אלה דוגמאות למאפיינים סינתטיים:
  • ab
  • a²
• החלת פונקציה טרנסצנדנטית על ערך של תכונה. לדוגמה, אם c הוא מאפיין קלט, אלה דוגמאות למאפיינים סינתטיים:
  • sin(c)
  • ln(c)

תכונות שנוצרו על ידי נרמול או שינוי קנה מידה בלבד לא נחשבות לתכונות סינתטיות.

T

T5

מודל ללמידת העברה מטקסט לטקסט שהוצג על ידי Google AI בשנת 2020. ‫T5 הוא מודל מקודד-מפענח שמבוסס על ארכיטקטורת Transformer, שאומן על מערך נתונים גדול במיוחד. הוא יעיל במגוון משימות של עיבוד שפה טבעית (NLP), כמו יצירת טקסט, תרגום שפות ומענה על שאלות בסגנון שיחה.

השם T5 נגזר מחמש האותיות T בביטוי Text-to-Text Transfer Transformer (מודל טרנספורמציה להעברת טקסט לטקסט).

T5X

מסגרת למידת מכונה מבוססת קוד פתוח שנועדה ליצור ולאמן מודלים של עיבוד שפה טבעית (NLP) בקנה מידה גדול. ‫T5 מיושם בבסיס הקוד של T5X (שמבוסס על JAX ועל Flax).

tabular Q-learning

בלמידת חיזוק, מיישמים Q-learning באמצעות טבלה לאחסון פונקציות Q לכל שילוב של מצב ופעולה.

יעד

מילה נרדפת לתווית.

רשת יעד

ב-Deep Q-learning, רשת נוירונים שהיא קירוב יציב של רשת הנוירונים הראשית, כאשר רשת הנוירונים הראשית מיישמת פונקציית Q או מדיניות. לאחר מכן, אפשר לאמן את הרשת הראשית על ערכי ה-Q שחזתה רשת היעד. כך נמנעים מלולאת המשוב שמתרחשת כשהרשת הראשית מתאמנת על ערכי Q שחזתה בעצמה. הימנעות מהמשוב הזה משפרת את יציבות האימון.

משימה

בעיה שאפשר לפתור באמצעות טכניקות של למידת מכונה, כמו:

• ‫classification
• regression
• clustering
• זיהוי אנומליות

טמפרטורה

#generativeAI

היפרפרמטר ששולט במידת הרנדומיזציה של הפלט של מודל. טמפרטורות גבוהות יותר יובילו לתוצאות אקראיות יותר, ואילו טמפרטורות נמוכות יותר יובילו לתוצאות פחות אקראיות.

הטמפרטורה הטובה ביותר תלויה באפליקציה הספציפית ובערכי המחרוזת.

נתונים זמניים

נתונים שנרשמו בנקודות זמן שונות. לדוגמה, נתוני מכירות של מעילי חורף שנרשמו לכל יום בשנה הם נתונים זמניים.

Tensor

#TensorFlow

מבנה הנתונים העיקרי בתוכניות TensorFlow. טנסורים הם מבני נתונים בעלי N ממדים (כאשר N יכול להיות מספר גדול מאוד), בדרך כלל סקלרים, וקטורים או מטריצות. האלמנטים של Tensor יכולים להכיל מספרים שלמים, מספרים עשרוניים או ערכי מחרוזות.

TensorBoard

#TensorFlow

לוח הבקרה שבו מוצגים הסיכומים שנשמרו במהלך ההרצה של תוכנית TensorFlow אחת או יותר.

TensorFlow

#TensorFlow

פלטפורמה מבוזרת של למידת מכונה בקנה מידה גדול. המונח מתייחס גם לשכבת ה-API הבסיסית במערך TensorFlow, שתומכת בחישוב כללי בתרשימי זרימת נתונים.

למרות ש-TensorFlow משמש בעיקר ללמידת מכונה, אפשר להשתמש בו גם למשימות שאינן קשורות ללמידת מכונה, שדורשות חישובים מספריים באמצעות תרשימי זרימת נתונים.

TensorFlow Playground

#TensorFlow

תוכנית שממחישה איך היפרפרמטרים שונים משפיעים על אימון המודל (בעיקר רשת עצבית). כדי להתנסות ב-TensorFlow Playground, עוברים אל http://playground.tensorflow.org.

TensorFlow Serving

#TensorFlow

פלטפורמה לפריסת מודלים מאומנים בסביבת ייצור.

Tensor Processing Unit (TPU)‎

#TensorFlow

#GoogleCloud

מעגל משולב לאפליקציות ספציפיות (ASIC) שמבצע אופטימיזציה של הביצועים של עומסי עבודה של למידת מכונה. ה-ASIC האלה נפרסים כשבבי TPU מרובים במכשיר TPU.

דירוג טנסור

#TensorFlow

מידע נוסף זמין במאמר בנושא rank (Tensor).

צורת טנסור

#TensorFlow

מספר הרכיבים ש-Tensor מכיל במאפיינים שונים. לדוגמה, לטנזור [5, 10] יש צורה של 5 בממד אחד ו-10 בממד אחר.

גודל הטנסור

#TensorFlow

המספר הכולל של ערכים סקלריים שמוכלים ב-Tensor. לדוגמה, לטנזור [5, 10] יש גודל של 50.

TensorStore

ספרייה לקריאה ולכתיבה יעילות של מערכים גדולים רב-ממדיים.

תנאי סיום

בלמידת חיזוק, התנאים שקובעים מתי פרק מסתיים, למשל כשהסוכן מגיע למצב מסוים או חורג ממספר סף של מעברים בין מצבים. לדוגמה, באיקס עיגול, פרק מסתיים כששחקן מסמן שלושה ריבועים רצופים או כשכל הריבועים מסומנים.

בדיקה

#df

בעץ החלטות, שם נוסף לתנאי.

אובדן נתונים במהלך בדיקה

#fundamentals

#Metric

מדד שמייצג את הפסד של מודל בהשוואה לקבוצת הבדיקה. כשבונים מודל, בדרך כלל מנסים לצמצם את הפסד הבדיקה. הסיבה לכך היא שערך נמוך של הפסד בבדיקה הוא אות איכות חזק יותר מערך נמוך של הפסד באימון או ערך נמוך של הפסד באימות.

פער גדול בין הפסד הבדיקה לבין הפסד האימון או הפסד האימות מצביע לפעמים על הצורך להגדיל את שיעור הרגולריזציה.

קבוצת נתונים לבדיקה

קבוצת משנה של מערך הנתונים ששמורה לבדיקה של מודל שאומן.

באופן מסורתי, מחלקים את הדוגמאות במערך הנתונים לשלוש קבוצות משנה נפרדות:

• קבוצת נתונים לאימון
• קבוצת נתונים לתיקוף
• קבוצת נתונים לבדיקה

כל דוגמה בקבוצת נתונים צריכה להיות שייכת רק לאחת מקבוצות המשנה הקודמות. לדוגמה, דוגמה אחת לא יכולה להיות גם בקבוצת האימון וגם בקבוצת הבדיקה.

קבוצת הנתונים לאימון וקבוצת הנתונים לתיקוף קשורות קשר הדוק לאימון של מודל. מכיוון שקבוצת הבדיקה משויכת לאימון באופן עקיף בלבד, הפסד הבדיקה הוא מדד פחות מוטה ואיכותי יותר מאשר הפסד האימון או הפסד האימות.

מידע נוסף זמין במאמר מערכי נתונים: חלוקת מערך הנתונים המקורי בקורס המקוצר על למידת מכונה.

טווח טקסט

טווח האינדקסים במערך שמשויך לחלק משנה ספציפי במחרוזת טקסט. לדוגמה, המילה good במחרוזת Python‏ s="Be good now" תופסת את טווח הטקסט מ-3 עד 6.

tf.Example

#TensorFlow

פרוטוקול חוצץ סטנדרטי לתיאור נתוני קלט לאימון או להסקת מסקנות של מודל למידת מכונה.

tf.keras

#TensorFlow

הטמעה של Keras שמשולבת ב-TensorFlow.

סף (עבור עצי החלטה)

#df

בתנאי שמתייחס לציר, הערך שאליו התכונה מושווית. לדוגמה, 75 הוא ערך הסף בתנאי הבא:

grade >= 75

המשמעות של המונח סף שונה מהמשמעות של סף סיווג.

מידע נוסף זמין במאמר Exact splitter for binary classification with numerical features (מפצל מדויק לסיווג בינארי עם תכונות מספריות) בקורס בנושא Decision Forests (יערות החלטה).

ניתוח של סדרות זמנים

#clustering

תחום משנה של למידת מכונה וסטטיסטיקה שבו מנתחים נתונים זמניים. סוגים רבים של בעיות בלמידת מכונה דורשים ניתוח של סדרות זמן, כולל סיווג, אשכולות, חיזוי וזיהוי אנומליות. לדוגמה, אפשר להשתמש בניתוח של סדרות עיתיות כדי לחזות את נתוני המכירות העתידיים של מעילי חורף לפי חודש, על סמך נתוני מכירות היסטוריים.

timestep

תא אחד 'לא מגולגל' בתוך רשת נוירונים חוזרת. לדוגמה, באיור הבא מוצגים שלושה שלבי זמן (מסומנים במדדי המשנה t-1,‏ t ו-t+1):

token

במודל שפה, היחידה האטומית שעליה המודל מתאמן ומבצע חיזויים. אסימון הוא בדרך כלל אחד מהבאים:

• מילה – לדוגמה, הביטוי "dogs like cats" מורכב משלושה טוקנים של מילים: "dogs",‏ "like" ו-"cats".
• תו – לדוגמה, הביטוי bike fish מורכב מתשעה טוקנים של תווים. (שימו לב שהרווח נחשב כאחד מהטוקנים).
• מילים חלקיות – מילה אחת יכולה להיות טוקן אחד או כמה טוקנים. מילת משנה מורכבת ממילת בסיס, מקידומת או מסיומת. לדוגמה, מודל שפה שמשתמש במילים חלקיות כאסימונים עשוי לראות את המילה dogs כשני אסימונים (מילת הבסיס dog והסיומת לרבים s). אותו מודל שפה עשוי לראות את המילה היחידה "taller" (גבוה יותר) כשתי מילים משנה (מילת הבסיס "tall" (גבוה) והסיומת "er").

בדומיינים מחוץ למודלי שפה, טוקנים יכולים לייצג סוגים אחרים של יחידות אטומיות. לדוגמה, בראייה ממוחשבת, אסימון יכול להיות קבוצת משנה של תמונה.

מידע נוסף זמין במאמר מודלים גדולים של שפה בקורס Machine Learning Crash Course.

tokenizer

מערכת או אלגוריתם שמתרגמים רצף של נתוני קלט לטוקנים.

רוב המודלים הבסיסיים המודרניים הם מודלים מולטימודאליים. טוקנייזר למערכת מולטימודלית צריך לתרגם כל סוג קלט לפורמט המתאים. לדוגמה, אם נתוני הקלט כוללים גם טקסט וגם גרפיקה, יכול להיות שהטוקנייזר יתרגם את טקסט הקלט למילים חלקיות ואת תמונות הקלט לטלאים קטנים. לאחר מכן, הטוקנייזר צריך להמיר את כל הטוקנים למרחב הטמעה מאוחד יחיד, כדי שהמודל יוכל 'להבין' זרם של קלט רב-אופני.

דיוק top-k

#Metric

אחוז הפעמים שבהן 'תווית היעד' מופיעה בתוך k המיקומים הראשונים של רשימות שנוצרו. הרשימות יכולות להיות המלצות מותאמות אישית או רשימה של פריטים שמסודרים לפי softmax.

דיוק k המובילים נקרא גם דיוק ב-k.

הערה: תווית היעד יכולה להיות כל מחלקה (לא בהכרח המחלקה של האמת הבסיסית), ולכן דיוק top-k לא תמיד שווה לדיוק רגיל.

לוחצים על הסמל כדי לראות דוגמה.

נניח שיש מערכת למידת מכונה שמשתמשת ב-softmax כדי לזהות הסתברויות של עצים על סמך תמונה של עלי עצים. בטבלה הבאה מוצגות רשימות פלט שנוצרו מחמש תמונות של עצים. כל שורה מכילה תווית יעד וחמישה עצים עם הסבירות הגבוהה ביותר. לדוגמה, אם תווית היעד הייתה maple (אדר), מודל למידת המכונה זיהה את elm (אלם) כעץ הכי סביר, את oak (אלון) כעץ השני הכי סביר וכן הלאה.

תווית היעד	1	2	3	4	5
מייפל	בוקיצה	אלון	maple	אשור	צפצפה
קרנית	אלון	dogwood	צפצפה	Hickory	מייפל
אלון	oak	תִרזָה	ארבה	אלמון	Linden
Linden	מייפל	פפאיה	אלון	תִרזָה	צפצפה
אלון	ארבה	Linden	oak	מייפל	פפאיה

תווית היעד מופיעה במיקום הראשון רק פעם אחת, ולכן דיוק המיקום הראשון הוא:

$$\text{top-1 accuracy} = \frac{\text{1}} {\text{5}} = 0.2$$

תווית היעד מופיעה באחד משלושת המיקומים הראשונים ארבע פעמים, לכן רמת הדיוק של 3 המובילים היא:

$$\text{top-1 accuracy} = \frac{\text{4}} {\text{5}} = 0.8$$

---

מגדל

רכיב של רשת נוירונים עמוקה שהוא בעצמו רשת נוירונים עמוקה. במקרים מסוימים, כל מגדל קורא מתוך מקור נתונים עצמאי, והמגדלים האלה נשארים עצמאיים עד שהפלט שלהם משולב בשכבה סופית. במקרים אחרים (לדוגמה, ב-מקודד וב-מפענח של הרבה טרנספורמרים), יש קשרים צולבים בין המגדלים.

תוכן רעיל

#Metric

המידה שבה התוכן פוגעני, מאיים או מעליב. הרבה מודלים של למידת מכונה יכולים לזהות ולמדוד רעילות. רוב המודלים האלה מזהים רעילות לפי כמה פרמטרים, כמו רמת השפה הפוגעת ורמת השפה המאיימת.

TPU

#TensorFlow

#GoogleCloud

קיצור של Tensor Processing Unit (יחידת עיבוד טנסור).

שבב TPU

#TensorFlow

#GoogleCloud

מאיץ אלגברה לינארית שניתן לתכנות עם זיכרון פס רחב גבוה על השבב, שעבר אופטימיזציה לעומסי עבודה של למידת מכונה. כמה שבבי TPU נפרסים במכשיר TPU.

מכשיר TPU

#TensorFlow

#GoogleCloud

לוח מעגלים מודפס (PCB) עם כמה שבבי TPU, ממשקי רשת עם רוחב פס גבוה ורכיבי חומרה לקירור המערכת.

צומת TPU

#TensorFlow

#GoogleCloud

משאב TPU ב-Google Cloud עם סוג TPU ספציפי. צומת ה-TPU מתחבר לרשת ה-VPC מרשת VPC שכנה. צומתי TPU הם משאב שמוגדר ב-Cloud TPU API.

TPU Pod

#TensorFlow

#GoogleCloud

תצורה ספציפית של מכשירי TPU במרכז נתונים של Google. כל המכשירים ב-TPU Pod מחוברים זה לזה באמצעות רשת ייעודית מהירה. ‫TPU Pod הוא ההגדרה הגדולה ביותר של מכשירי TPU שזמינה לגרסה ספציפית של TPU.

משאב TPU

#TensorFlow

#GoogleCloud

ישות TPU ב-Google Cloud שאתם יוצרים, מנהלים או משתמשים בה. לדוגמה, צומתי TPU וסוגי TPU הם משאבי TPU.

פרוסת TPU

#TensorFlow

#GoogleCloud

פרוסת TPU היא חלק קטן ממכשירי TPU בTPU Pod. כל המכשירים בפרוסת TPU מחוברים זה לזה באמצעות רשת ייעודית מהירה.

סוג ה-TPU

#TensorFlow

#GoogleCloud

הגדרה של מכשירי TPU אחד או יותר עם גרסת חומרה ספציפית של TPU. כשיוצרים צומת TPU ב-Google Cloud, בוחרים את סוג ה-TPU. לדוגמה, סוג TPU‏ v2-8 הוא מכשיר TPU v2 יחיד עם 8 ליבות. סוג TPU‏ v3-2048 כולל 256 מכשירי TPU v3 שמחוברים לרשת, ובסך הכול 2,048 ליבות. סוגי TPU הם משאב שמוגדר ב-Cloud TPU API.

TPU worker

#TensorFlow

#GoogleCloud

תהליך שפועל במכונת מארח ומבצע תוכניות של למידת מכונה במכשירי TPU.

הדרכה

#fundamentals

התהליך של קביעת הפרמטרים האידיאליים (משקלים והטיות) שמרכיבים מודל. במהלך האימון, מערכת קוראת דוגמאות ומתאימה בהדרגה את הפרמטרים. במהלך האימון, כל דוגמה משמשת בין כמה פעמים למיליארדי פעמים.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בקורס Introduction to ML (מבוא ל-ML).

הפסד האימון

#fundamentals

#Metric

מדד שמייצג את האובדן של מודל במהלך איטרציה מסוימת של אימון. לדוגמה, נניח שפונקציית ההפסד היא Mean Squared Error. יכול להיות שההפסד של האימון (השגיאה הממוצעת בריבוע) באיטרציה העשירית הוא 2.2, וההפסד של האימון באיטרציה ה-100 הוא 1.9.

עקומת הפסד מציגה את הפסד האימון לעומת מספר האיטרציות. עקומת הפסד מספקת את הרמזים הבאים לגבי האימון:

• שיפוע כלפי מטה מעיד על שיפור במודל.
• שיפוע כלפי מעלה מעיד על כך שהמודל משתפר.
• שיפוע שטוח מרמז שהמודל הגיע להתכנסות.

לדוגמה, עקומת ההפסד הבאה היא אידיאלית במידה מסוימת:

• שיפוע חד כלפי מטה במהלך האיטרציות הראשוניות, שמצביע על שיפור מהיר של המודל.
• שיפוע שמשתטח בהדרגה (אבל עדיין יורד) עד לסיום האימון, מה שמצביע על שיפור מתמשך של המודל בקצב איטי יותר מאשר במהלך האיטרציות הראשוניות.
• שיפוע מתון לקראת סוף האימון, שמצביע על התכנסות.

למרות שאיבוד נתונים באימון הוא חשוב, כדאי לעיין גם בהכללה.

training-serving skew

#fundamentals

ההבדל בין הביצועים של מודל מסוים במהלך האימון לבין הביצועים של אותו מודל במהלך ההפעלה.

קבוצת נתונים לאימון

#fundamentals

קבוצת המשנה של מערך הנתונים שמשמשת לאימון מודל.

באופן מסורתי, הדוגמאות במערך הנתונים מחולקות לשלוש קבוצות משנה נפרדות:

• קבוצת נתונים לאימון
• קבוצת נתונים לתיקוף
• קבוצת נתונים לבדיקה

באופן אידיאלי, כל דוגמה במערך הנתונים צריכה להיות שייכת רק לאחת מקבוצות המשנה הקודמות. לדוגמה, דוגמה אחת לא יכולה להיות גם בקבוצת האימון וגם בקבוצת האימות.

מידע נוסף זמין במאמר מערכי נתונים: חלוקת מערך הנתונים המקורי בקורס המקוצר על למידת מכונה.

מסלול

בלמידת חיזוק, רצף של טפלים שמייצגים רצף של מעברי מצב של הסוכן, כאשר כל טפל מתאים למצב, לפעולה, לתגמול ולמצב הבא של מעבר מצב נתון.

למידת העברה

העברת מידע ממשימת למידת מכונה אחת לאחרת. לדוגמה, בלמידה מרובת-משימות, מודל יחיד פותר כמה משימות, כמו מודל עמוק שיש לו צמתי פלט שונים למשימות שונות. העברת למידה עשויה לכלול העברת ידע מפתרון של משימה פשוטה יותר למשימה מורכבת יותר, או העברת ידע ממשימה שבה יש יותר נתונים למשימה שבה יש פחות נתונים.

רוב מערכות למידת המכונה פותרות משימה אחת. למידה בהעברה היא צעד ראשון לקראת בינה מלאכותית, שבו תוכנית אחת יכולה לפתור כמה משימות.

רובוטריק

ארכיטקטורה של רשת עצבית שפותחה ב-Google ומסתמכת על מנגנוני self-attention כדי להמיר רצף של הטמעות קלט לרצף של הטמעות פלט, בלי להסתמך על convolutions או על רשתות עצביות חוזרות. אפשר לראות טרנספורמר כסטאק של שכבות קשב עצמי.

טרנספורמציה יכולה לכלול כל אחד מהרכיבים הבאים:

• מקודד
• מפענח
• גם מקודד וגם מפענח

מקודד הופך רצף של הטמעות לרצף חדש באורך זהה. מקודד כולל N שכבות זהות, שכל אחת מהן מכילה שתי תת-שכבות. שתי שכבות המשנה האלה מוחלות בכל מיקום של רצף הטמעת הקלט, והן הופכות כל אלמנט ברצף להטמעה חדשה. שכבת המשנה הראשונה של המקודד צוברת מידע מכל רצף הקלט. שכבת המשנה השנייה של המקודד הופכת את המידע המצטבר להטמעה של פלט.

מפענח הופך רצף של הטמעות קלט לרצף של הטמעות פלט, ויכול להיות שהאורך שלהן יהיה שונה. מפענח כולל גם N שכבות זהות עם שלוש שכבות משנה, שתיים מהן דומות לשכבות המשנה של המקודד. שכבת המשנה השלישית של המפענח מקבלת את הפלט של המקודד ומפעילה את מנגנון הקשב העצמי כדי לאסוף ממנו מידע.

בפוסט בבלוג Transformer: A Novel Neural Network Architecture for Language Understanding מוצג הסבר טוב על טרנספורמרים.

מידע נוסף זמין במאמר LLMs: What's a large language model? (מודלים גדולים של שפה: מהו מודל שפה גדול?) בקורס Machine Learning Crash Course (קורס מקוצר על למידת מכונה).

אינווריאנטיות תרגומית

בבעיה של סיווג תמונות, היכולת של אלגוריתם לסווג תמונות בהצלחה גם כשמיקום האובייקטים בתוך התמונה משתנה. לדוגמה, האלגוריתם עדיין יכול לזהות כלב, בין אם הוא במרכז הפריים או בקצה השמאלי של הפריים.

אפשר גם לקרוא על אי-תלות בגודל ועל אי-תלות בסיבוב.

טריגרמה

N-gram שבו N=3.

שלילי אמיתי (TN)

#fundamentals

#Metric

דוגמה שבה המודל מנבא סיווג שלילי בצורה נכונה. לדוגמה, המודל מסיק שהודעת אימייל מסוימת היא לא ספאם, והודעת האימייל הזו באמת לא ספאם.

חיובי אמיתי (TP)

#fundamentals

#Metric

דוגמה שבה המודל מנבא בצורה נכונה את הסיווג החיובי. לדוגמה, המודל מסיק שהודעת אימייל מסוימת היא ספאם, והודעת האימייל הזו באמת ספאם.

שיעור החיוביים האמיתיים (TPR)

#fundamentals

#Metric

מילה נרדפת לrecall. כלומר:

$$\text{true positive rate} = \frac {\text{true positives}} {\text{true positives} + \text{false negatives}}$$

שיעור החיוביים האמיתיים הוא ציר ה-y בעקומת ROC.

TTL

קיצור של Time to Live (אורך חיים).

U

Ultra

#generativeAI

מודל Gemini עם הכי הרבה פרמטרים. פרטים נוספים זמינים במאמר בנושא Gemini Ultra.

אפשר גם לעיין במידע על Pro ועל Nano.

חוסר מודעות (למאפיין רגיש)

#responsible

מצב שבו קיימים מאפיינים רגישים, אבל הם לא נכללים בנתוני האימון. מכיוון שלעתים קרובות יש קורלציה בין מאפיינים רגישים לבין מאפיינים אחרים בנתונים שלכם, יכול להיות שלמודל שאומן בלי להביא בחשבון מאפיין רגיש עדיין תהיה השפעה לא שוויונית ביחס למאפיין הזה, או שהוא יפר אילוצים אחרים של הוגנות.

התאמה חסרה (underfitting)

#fundamentals

יצירת מודל עם יכולת חיזוי נמוכה, כי המודל לא הצליח לתפוס באופן מלא את המורכבות של נתוני האימון. יש הרבה בעיות שיכולות לגרום להתאמה חסרה, כולל:

• אימון על קבוצה שגויה של תכונות.
• אימון למספר קטן מדי של תקופות אימון או בקצב למידה נמוך מדי.
• אימון עם שיעור רגולריזציה גבוה מדי.
• מספר קטן מדי של שכבות נסתרות ברשת נוירונים עמוקה.

מידע נוסף מופיע במאמר בנושא התאמת יתר בקורס המקוצר על למידת מכונה.

תת-דגימה

הסרת דוגמאות ממחלקת הרוב במערך נתונים עם חוסר איזון בין המחלקות כדי ליצור מערך אימון מאוזן יותר.

לדוגמה, נניח שיש מערך נתונים שבו היחס בין הסיווג הנדיר לבין הסיווג הנפוץ הוא 1:20. כדי להתגבר על חוסר האיזון הזה בין המחלקות, אפשר ליצור מערך אימון שמורכב מכל הדוגמאות של מחלקת המיעוט, אבל רק מעשירית מהדוגמאות של מחלקת הרוב. כך נוצר יחס של 2:1 בין המחלקות במערך האימון. הודות לדילול הדגימה, יכול להיות שמערך האימון המאוזן יותר הזה יניב מודל טוב יותר. לחלופין, יכול להיות שקבוצת האימון המאוזנת יותר הזו לא תכיל מספיק דוגמאות לאימון מודל יעיל.

ההבדל בין זה לבין דגימת יתר.

חד-כיווני

מערכת שמעריכה רק את הטקסט שקודם לקטע טקסט היעד. לעומת זאת, במערכת דו-כיוונית מתבצעת הערכה של הטקסט שלפני קטע הטקסט הרצוי וגם של הטקסט שאחריו. פרטים נוספים מופיעים במאמר בנושא דו-כיווניות.

מודל שפה חד-כיווני

מודל שפה שמסתמך על ההסתברויות שלו רק על טוקנים שמופיעים לפני הטוקנים המטורגטים, ולא אחרי. ההפך ממודל שפה דו-כיווני.

דוגמה ללא תווית

#fundamentals

דוגמה שמכילה תכונות אבל לא תווית. לדוגמה, בטבלה הבאה מוצגות שלוש דוגמאות לא מסומנות ממודל להערכת שווי של בית. לכל דוגמה יש שלושה מאפיינים, אבל לא מצוין שווי הבית:

מספר חדרי שינה	מספר חדרי אמבטיה	גיל הבית
3	2	15
2	1	72
4	2	34

בלמידת מכונה מבוקרת, מודלים מתאמנים על דוגמאות מתויגות ומבצעים חיזויים על דוגמאות לא מתויגות.

בלמידה מונחית למחצה ובלמידה לא מונחית, נעשה שימוש בדוגמאות לא מסומנות במהלך האימון.

השוואה בין דוגמה ללא תווית לבין דוגמה עם תווית.

למידת מכונה לא מפוקחת

#clustering

#fundamentals

אימון מודל כדי לזהות דפוסים במערך נתונים, בדרך כלל מערך נתונים לא מסומן.

השימוש הנפוץ ביותר בלמידת מכונה לא מפוקחת הוא אשכול נתונים לקבוצות של דוגמאות דומות. לדוגמה, אלגוריתם למידת מכונה לא מפוקחת יכול לקבץ שירים לאשכולות על סמך מאפיינים שונים של המוזיקה. האשכולות שמתקבלים יכולים לשמש כקלט לאלגוריתמים אחרים של למידת מכונה (למשל, לשירות המלצות למוזיקה). האשכולות יכולים לעזור כשאין תוויות שימושיות או שיש מעט כאלה. לדוגמה, בתחומים כמו מניעת ניצול לרעה והונאה, אשכולות יכולים לעזור לבני אדם להבין טוב יותר את הנתונים.

ההבדל בין למידת מכונה לא מפוקחת לבין למידת מכונה מפוקחת.

כדי לראות הערות נוספות, לוחצים על הסמל.

דוגמה נוספת ללמידת מכונה לא מפוקחת היא ניתוח רכיבים עיקריים (PCA). לדוגמה, אם מפעילים PCA על מערך נתונים שמכיל את התוכן של מיליוני עגלות קניות, יכול להיות שיתגלה שעגלות קניות שמכילות לימונים מכילות גם תרופות נגד צרבת.

---

מידע נוסף זמין במאמר מהי למידת מכונה? בקורס 'מבוא ל-ML'.

מידול של שיפור הביצועים באמצעות הוספת נכסים

טכניקת מידול, שנפוצה בשימוש בשיווק, שיוצרת מודל של 'ההשפעה הסיבתית' (שנקראת גם 'ההשפעה המצטברת') של 'טיפול' על 'פרט'. להלן שתי דוגמאות:

• רופאים יכולים להשתמש במודלים של עלייה כדי לחזות את הירידה בשיעור התמותה (השפעה סיבתית) של הליך רפואי (טיפול) בהתאם לגיל ולהיסטוריה הרפואית של מטופל (אדם).
• משווקים יכולים להשתמש במודלים של עלייה כדי לחזות את העלייה בהסתברות לרכישה (השפעה סיבתית) כתוצאה ממודעה (טיפול) שמוצגת לאדם (משתמש).

ההבדל בין מודלים לחיזוי עלייה לבין סיווג או רגרסיה הוא שבמודלים לחיזוי עלייה תמיד חסרות חלק מהתוויות (לדוגמה, מחצית מהתוויות בטיפולים בינאריים). לדוגמה, מטופל יכול לקבל טיפול או לא לקבל טיפול. לכן, אנחנו יכולים לראות אם המטופל יחלים או לא יחלים רק באחד משני המצבים האלה (אבל אף פעם לא בשניהם). היתרון העיקרי של מודל עלייה הוא שהוא יכול ליצור תחזיות לגבי מצב שלא נצפה (ההפוך לעובדה) ולהשתמש בהן כדי לחשב את ההשפעה הסיבתית.

הגדלת המשקל

החלת משקל על המחלקה downsampled ששווה לגורם שבו נעשה downsampling.

מטריצת משתמשים

במערכות המלצות, וקטור הטמעה שנוצר על ידי פירוק מטריצות שמכיל אותות סמויים לגבי העדפות המשתמש. כל שורה במטריצת המשתמשים מכילה מידע על העוצמה היחסית של אותות סמויים שונים עבור משתמש יחיד. לדוגמה, נניח שיש מערכת להמלצות על סרטים. במערכת הזו, האותות הסמויים במטריצת המשתמשים עשויים לייצג את ההתעניינות של כל משתמש בז'אנרים מסוימים, או אותות שקשה יותר לפרש שכוללים אינטראקציות מורכבות בין כמה גורמים.

מטריצת המשתמשים כוללת עמודה לכל תכונה סמויה ושורה לכל משתמש. כלומר, למטריצת המשתמשים יש אותו מספר שורות כמו למטריצת היעד שעוברת פירוק לגורמים. לדוגמה, אם יש מערכת להמלצות על סרטים למיליון משתמשים, מטריצת המשתמשים תכלול מיליון שורות.

V

אימות

#fundamentals

ההערכה הראשונית של איכות המודל. במסגרת האימות, אנחנו בודקים את איכות התחזיות של המודל בהשוואה לקבוצת האימות.

מכיוון שקבוצת האימות שונה מקבוצת האימון, האימות עוזר למנוע התאמת יתר.

אפשר לחשוב על הערכת המודל מול קבוצת האימות כסיבוב הראשון של הבדיקה, ועל הערכת המודל מול קבוצת הבדיקה כסיבוב השני של הבדיקה.

הפסד אימות

#fundamentals

#Metric

מדד שמייצג את ההפסד של מודל בקבוצת האימות במהלך איטרציה מסוימת של אימון.

אפשר לעיין גם בעקומת הכללה.

קבוצת נתונים לתיקוף

#fundamentals

קבוצת המשנה של מערך הנתונים שמשמשת לביצוע הערכה ראשונית של מודל מאומן. בדרך כלל, מעריכים את המודל שאומן מול מערך האימות כמה פעמים לפני שמעריכים את המודל מול מערך הבדיקה.

באופן מסורתי, מחלקים את הדוגמאות במערך הנתונים לשלושה תת-קבוצות נפרדות:

• קבוצת נתונים לאימון
• קבוצת נתונים לתיקוף
• קבוצת נתונים לבדיקה

באופן אידיאלי, כל דוגמה במערך הנתונים צריכה להיות שייכת רק לאחת מקבוצות המשנה הקודמות. לדוגמה, דוגמה אחת לא יכולה להיות גם בקבוצת האימון וגם בקבוצת האימות.

מידע נוסף זמין במאמר מערכי נתונים: חלוקת מערך הנתונים המקורי בקורס המקוצר על למידת מכונה.

השלמת ערכים חסרים

התהליך של החלפת ערך חסר בתחליף קביל. אם חסר ערך, אפשר לפסול את הדוגמה כולה או להשתמש בהשלמת ערכים כדי להציל את הדוגמה.

לדוגמה, נניח שיש קבוצת נתונים שמכילה מאפיין temperature שאמור להירשם כל שעה. עם זאת, קריאת הטמפרטורה לא הייתה זמינה בשעה מסוימת. קטע מקבוצת הנתונים:

חותמת זמן	טמפרטורה
1680561000	10
1680564600	12
1680568200	חסר
1680571800	20
1680575400	21
1680579000	21

המערכת יכולה למחוק את הדוגמה החסרה או להזין את הטמפרטורה החסרה כ-12, 16, 18 או 20, בהתאם לאלגוריתם ההשלמה.

בעיית הגרדיאנט הנעלם

הנטייה של הגרדיאנטים של שכבות מוסתרות מוקדמות של חלק מרשתות עצביות עמוקות להיות שטוחים (נמוכים) באופן מפתיע. שיפועים נמוכים יותר ויותר מובילים לשינויים קטנים יותר ויותר במשקלים בצמתים ברשת עצבית עמוקה, וכתוצאה מכך למידה מועטה או ללא למידה בכלל. קשה או בלתי אפשרי לאמן מודלים שסובלים מבעיית הגרדיאנט הנעלם. תאי זיכרון לטווח קצר ארוך פותרים את הבעיה הזו.

השוואה לבעיית הגרדיאנט המתפוצץ.

חשיבות המשתנים

#df

#Metric

קבוצת ציונים שמציינת את החשיבות היחסית של כל תכונה במודל.

לדוגמה, נניח שיש עץ החלטה שמבצע הערכה של מחירי בתים. נניח שעץ ההחלטה הזה משתמש בשלושה מאפיינים: גודל, גיל וסגנון. אם קבוצת חשיבות המשתנים עבור שלושת המאפיינים היא {size=5.8, age=2.5, style=4.7}, אז המאפיין size חשוב יותר לעץ ההחלטה מהמאפיינים age או style.

קיימים מדדים שונים לחשיבות משתנים, שיכולים לספק למומחי ML מידע על היבטים שונים של מודלים.

מקודד אוטומטי וריאציוני (VAE)

סוג של autoencoder שמנצל את הפער בין הקלט לפלט כדי ליצור גרסאות שונות של הקלט. מקודדים אוטומטיים משתנים שימושיים לAI גנרטיבי.

מודלים של VAE מבוססים על הסקה וריאציונית: טכניקה להערכת הפרמטרים של מודל הסתברותי.

וקטור

מונח עמוס מאוד שהמשמעות שלו משתנה בין תחומים מתמטיים ומדעיים שונים. בלמידת מכונה, לווקטור יש שתי תכונות:

• סוג הנתונים: וקטורים בלמידת מכונה בדרך כלל מכילים מספרים עם נקודה עשרונית.
• מספר האלמנטים: זהו האורך של הווקטור או הממד שלו.

לדוגמה, נניח שיש וקטור תכונות שמכיל שמונה מספרים ממשיים. וקטור המאפיינים הזה הוא באורך או בממד של שמונה. שימו לב שלוקטורים של למידת מכונה יש בדרך כלל מספר עצום של ממדים.

אפשר לייצג סוגים רבים ושונים של מידע כווקטור. לדוגמה:

• כל מיקום על פני כדור הארץ יכול להיות מיוצג כווקטור דו-ממדי, כאשר מימד אחד הוא קו הרוחב והשני הוא קו האורך.
• המחירים הנוכחיים של כל אחת מ-500 מניות יכולים להיות מיוצגים כווקטור של 500 ממדים.
• אפשר לייצג התפלגות הסתברות על מספר סופי של מחלקות כווקטור. לדוגמה, מערכת סיווג רב-מחלקתי שמנבאת אחד משלושה צבעי פלט (אדום, ירוק או צהוב) יכולה להפיק את הווקטור (0.3, 0.2, 0.5) כדי לציין P[red]=0.3, P[green]=0.2, P[yellow]=0.5.

אפשר לשרשר וקטורים, ולכן אפשר לייצג מגוון מדיות שונות כווקטור יחיד. חלק מהמודלים פועלים ישירות על שרשור של הרבה קידודים חמים.

מעבדים ייעודיים כמו TPU מותאמים לביצוע פעולות מתמטיות על וקטורים.

וקטור הוא טנזור מדרגה 1.

שיא

#GoogleCloud

#generativeAI

הפלטפורמה של Google Cloud ל-AI ולמידת מכונה. ‫Vertex מספקת כלים ותשתית לפיתוח, לפריסה ולניהול של אפליקציות AI, כולל גישה למודלים של Gemini.

תכנות בשיטת Vibe coding

#generativeAI

הזנת הנחיה למודל של AI גנרטיבי כדי ליצור תוכנה. כלומר, ההנחיות שלכם מתארות את המטרה והתכונות של התוכנה, ומודל AI גנרטיבי מתרגם אותן לקוד מקור. הקוד שנוצר לא תמיד תואם לכוונות שלכם, ולכן בדרך כלל צריך לחזור על התהליך כמה פעמים.

אנדריי קרפטי טבע את המונח 'קידוד אווירה' בפוסט הזה ב-X. בפוסט ב-X, קרפתי מתאר את זה כ "סוג חדש של קידוד...שבו נכנעים לגמרי לאווירה..." לכן, המונח במקור התייחס לגישה מכוונת וגמישה ליצירת תוכנה, שבה יכול להיות שלא תבדקו את הקוד שנוצר. עם זאת, המונח התפתח במהירות בהרבה תחומים, ועכשיו הוא מתייחס לכל סוג של קידוד שנוצר על ידי AI.

תיאור מפורט יותר של קידוד האווירה זמין במאמר מה זה vibe coding?

בנוסף, השוו והבדילו בין קידוד האווירה לבין:

• specificational coding
• conversational coding

W

פונקציית הפסד Wasserstein

#Metric

אחת מפונקציות ההפסד שבהן נעשה שימוש בדרך כלל ברשתות יריבות גנרטיביות, על סמך המרחק בין התפלגות הנתונים שנוצרו לבין הנתונים האמיתיים.

משקל

#fundamentals

ערך שהמודל מכפיל בערך אחר. אימון הוא התהליך של קביעת המשקולות האידיאליות של המודל. הסקת מסקנות היא התהליך של שימוש במשקולות שנלמדו כדי ליצור תחזיות.

כדי לראות דוגמה למשקלים במודל לינארי, לוחצים על הסמל.

נניח שיש מודל לינארי עם שתי תכונות. נניח שהאימון קובע את המשקלים הבאים (והטיה):

• ההטיה, b, היא 2.2
• המשקל, w₁ שמשויך לתכונה אחת הוא 1.5.
• המשקל, w₂ שמשויך לתכונה השנייה הוא 0.4.

עכשיו נדמיין דוגמה עם ערכי התכונות הבאים:

• הערך של תכונה אחת, x₁, הוא 6.
• הערך של התכונה השנייה, x₂, הוא 10.

המודל הליניארי הזה משתמש בנוסחה הבאה כדי ליצור תחזית, y':

$$y' = b + w_1x_1 + w_2x_2$$

לכן, התחזית היא:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

אם המשקל הוא 0, התכונה המתאימה לא תורמת למודל. לדוגמה, אם w₁ הוא 0, אז הערך של x₁ לא רלוונטי.

---

מידע נוסף זמין במאמר בנושא רגרסיה לינארית בקורס המקוצר על למידת מכונה.

שיטת הריבועים הפחותים לסירוגין עם משקל (WALS)

אלגוריתם למיזעור פונקציית היעד במהלך פירוק מטריצות במערכות המלצות, שמאפשר להפחית את המשקל של הדוגמאות החסרות. אלגוריתם WALS ממזער את השגיאה הריבועית המשוקללת בין המטריצה המקורית לבין השחזור, על ידי מעבר לסירוגין בין תיקון הפירוק לשורות לבין תיקון הפירוק לעמודות. כל אחת מהאופטימיזציות האלה ניתנת לפתרון באמצעות אופטימיזציה קמורה של ריבועים פחותים. פרטים נוספים זמינים בקורס בנושא מערכות המלצה.

סכום משוקלל

#fundamentals

הסכום של כל ערכי הקלט הרלוונטיים כפול המשקלים המתאימים שלהם. לדוגמה, נניח שהקלט הרלוונטי כולל את הרכיבים הבאים:

ערך קלט	משקל קלט
2	‫1.3-
-1	0.6
3	0.4

הסכום המשוקלל הוא:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

סכום משוקלל הוא ארגומנט הקלט של פונקציית הפעלה.

מודל רחב

מודל לינארי שבדרך כלל כולל הרבה תכונות קלט דלילות. אנחנו קוראים לו 'רחב' כי מודל כזה הוא סוג מיוחד של רשת עצבית עם מספר גדול של נתוני קלט שמתחברים ישירות לצומת הפלט. לעתים קרובות קל יותר לנפות באגים במודלים רחבים ולבדוק אותם מאשר במודלים עמוקים. אמנם מודלים רחבים לא יכולים לבטא אי-ליניאריות באמצעות שכבות מוסתרות, אבל הם יכולים להשתמש בטרנספורמציות כמו שילוב תכונות וחלוקה לקטגוריות כדי ליצור מודלים של אי-ליניאריות בדרכים שונות.

ההבדל בינו לבין מודל עמוק.

רוחב

מספר הנוירונים בשכבה מסוימת של רשת נוירונים.

חוכמת ההמונים

#df

הרעיון שלפיו חישוב ממוצע של דעות או הערכות של קבוצה גדולה של אנשים ("הקהל") מוביל לרוב לתוצאות טובות באופן מפתיע. לדוגמה, נניח שמשחקים משחק שבו אנשים מנסים לנחש כמה סוכריות ג'לי יש בצנצנת גדולה. למרות שרוב הניחושים האישיים לא יהיו מדויקים, הוכח אמפירית שהממוצע של כל הניחושים קרוב באופן מפתיע למספר האמיתי של סוכריות הג'לי בצנצנת.

מודלים משולבים הם מקבילה תוכנתית לחוכמת ההמונים. גם אם מודלים בודדים יוצרים תחזיות לא מדויקות, ממוצע התחזיות של הרבה מודלים יוצר לעיתים קרובות תחזיות טובות באופן מפתיע. לדוגמה, למרות שעץ החלטה בודד עשוי לספק תחזיות לא טובות, יער החלטה לרוב מספק תחזיות טובות מאוד.

הטמעת מילה

ייצוג כל מילה בקבוצת מילים בווקטור הטמעה, כלומר ייצוג כל מילה כווקטור של ערכים עשרוניים בין 0.0 ל-1.0. למילים עם משמעויות דומות יש ייצוגים דומים יותר מאשר למילים עם משמעויות שונות. לדוגמה, המילים גזר, סלרי ומלפפון יקבלו ייצוגים דומים יחסית, שיהיו שונים מאוד מהייצוגים של המילים מטוס, משקפי שמש ומשחת שיניים.

X

XLA (אלגברה לינארית מואצת)

קומפיילר ללמידת מכונה בקוד פתוח למעבדי GPU, מעבדי CPU ומאיצי למידת מכונה.

הקומפיילר XLA לוקח מודלים ממסגרות פופולריות של למידת מכונה כמו PyTorch,‏ TensorFlow ו-JAX, ומבצע אופטימיזציה שלהם לביצועים גבוהים בפלטפורמות חומרה שונות, כולל מעבדים גרפיים, מעבדים מרכזיים ומאיצי למידת מכונה.

Z

למידה ללא דוגמאות

סוג של אימון מודלים ללמידת מכונה שבו המודל מסיק תחזית למשימה שהוא לא אומן לבצע באופן ספציפי. במילים אחרות, המודל לא מקבל דוגמאות לאימון ספציפי למשימה, אבל מתבקש לבצע הסקת מסקנות לגבי המשימה הזו.

מתן הנחיות בשיטת zero-shot

#generativeAI

הנחיה שלא מספקת דוגמה לאופן שבו רוצים שמודל שפה גדול יגיב. לדוגמה:

החלקים של הנחיה	הערות
מהו המטבע הרשמי של המדינה שצוינה?	השאלה שרוצים שה-LLM יענה עליה.
הודו:	השאילתה בפועל.

מודל השפה הגדול עשוי להגיב באחת מהדרכים הבאות:

• רופיות
• INR
• ₹
• רופי הודי
• רופי
• רופי הודי

כל התשובות נכונות, אבל יכול להיות שתעדיפו פורמט מסוים.

השוואה וניגוד בין הנחיות ללא דוגמאות לבין המונחים הבאים:

• מתן הנחיות בשיטת one-shot
• מתן הנחיות עם כמה דוגמאות

נורמליזציה של ציון תקן

#fundamentals

טכניקת קנה מידה שמחליפה ערך גולמי של מאפיין בערך נקודה צפה שמייצג את מספר סטיות התקן מהממוצע של המאפיין הזה. לדוגמה, נניח שיש תכונה שהממוצע שלה הוא 800 וסטיית התקן שלה היא 100. הטבלה הבאה מראה איך נורמליזציה של ציון Z ממפה את הערך הגולמי לציון Z שלו:

ערך גולמי	ציון תקן
800	0
950	‫1.5+
575	‫‎-2.25

לאחר מכן, מודל למידת המכונה מתאמן על ציוני ה-Z של התכונה במקום על הערכים הגולמיים.

מידע נוסף זמין במאמר נתונים מספריים: נורמליזציה בסדנה ללימוד מכונת למידה.

המילון הזה מגדיר מונחים שקשורים ללמידת מכונה.