לאחר שווידאתם שהבעיה נפתרה בצורה הטובה ביותר באמצעות בלמידת מכונה או בגישה של בינה מלאכותית גנרטיבית, אתם מוכנים להציג את הבעיה במונחים של למידת מכונה. כדי ליצור בעיה בתנאים של למידת מכונה, מבצעים את הפעולות הבאות:
- הגדרת התוצאה האידיאלית והיעד של המודל.
- זהו את הפלט של המודל.
- להגדיר מדדי הצלחה.
הגדרת התוצאה האידיאלית והיעד של המודל
מה התוצאה האידיאלית, ללא קשר למודל למידת המכונה? במילים אחרות, מה זה מהי המשימה המדויקת שברצונך לבצע במוצר או בתכונה שלך? ההגדרה הזו זהה משפט שהגדרתם בעבר בקטע הצהרת היעד .
לקשר בין היעד של המודל לתוצאה האידיאלית, באמצעות הגדרה מפורשת של התוכן מהמודל, הטבלה הבאה מציגה את התוצאות האידיאליות מטרה לאפליקציות היפותטיות:
| קידום אפליקציות | תוצאה אידיאלית | היעד של המודל |
|---|---|---|
| אפליקציית מזג האוויר | חשבו את כמות המשקעים במרווחים של שש שעות באזור גיאוגרפי. | חיזוי כמויות משקעים של 6 שעות באזורים גיאוגרפיים ספציפיים. |
| אפליקציית אופנה | כדאי ליצור מגוון עיצובי חולצות. | ליצור שלושה סוגים של עיצוב חולצה מטקסט ומתמונה, כאשר הטקסט מציין את הסגנון והצבע ואת התמונה היא מסוג חולצה (טישרט, מכופתרת, פולו). |
| אפליקציית וידאו | המלצים על סרטונים שימושיים. | ניתן לחזות אם משתמש ילחץ על סרטון. |
| אפליקציית דואר | זיהוי ספאם. | לחזות אם אימייל הוא ספאם או לא. |
| אפליקציה פיננסית | מסכמים מידע פיננסי מכמה מקורות חדשותיים. | ליצור סיכומים באורך 50 מילים של המגמות הפיננסיות העיקריות שבעת הימים הקודמים. |
| אפליקציית מפה | חישוב זמן ההגעה. | נסו לחזות כמה זמן ייקח לעבור בין שתי נקודות. |
| אפליקציית בנקאות | לזהות עסקאות שמקורן בתרמית. | לחזות אם עסקה בוצעה על ידי בעל הכרטיס. |
| אפליקציית מסעדות | זיהוי מנות לפי התפריט של מסעדה. | לחזות את סוג המסעדה. |
| אפליקציית מסחר אלקטרוני | אפשר ליצור תשובות לתמיכת הלקוחות לגבי המוצרים של החברה. | ליצור תשובות באמצעות ניתוח סנטימנטים והתשובות של הארגון מאגר ידע. |
זיהוי הפלט הדרוש לכם
בחירת סוג המודל תלויה בהקשר ובמגבלות הספציפיים בבעיה שלך. הפלט של המודל צריך להשלים את המשימה שהוגדרה תוצאה אידיאלית. לכן, השאלה הראשונה שצריך לענות עליה היא "איזה סוג של פלט עליי להשתמש כדי לפתור את הבעיה?"
אם אתם צריכים לסווג משהו או לבצע חיזוי מספרי, סביר להניח להשתמש בלמידת מכונה חזויה. אם צריך ליצור תוכן חדש או להפיק פלט שקשורה להבנת שפה טבעית, כנראה תשתמשו בבינה מלאכותית גנרטיבית.
בטבלאות הבאות מפורטים פלטים חזויים של למידת מכונה ו-AI גנרטיבי:
| מערכת למידת מכונה | פלט לדוגמה | |
|---|---|---|
| סיווג | בינארי | אפשר לסווג אימייל כספאם או שהוא לא ספאם. |
| תווית יחידה לכמה כיתות | סיווג של בעל חיים בתמונה. | |
| תוויות מרובות סיווגים | סווגו את כל בעלי החיים בתמונה. | |
| ערך מספרי | רגרסיה חד-ממדית | חיזוי של מספר הצפיות שהסרטון יקבל. |
| רגרסיה רב-מימדית | חיזוי של לחץ הדם, הדופק ורמות הכולסטרול בשביל או אדם פרטי. |
| סוג הדגם | פלט לדוגמה |
|---|---|
| טקסט |
לסכם מאמר. להגיב לביקורות מלקוחות. תרגום מסמכים מאנגלית למנדרינית. חשוב לנסח את תיאורי המוצרים. לנתח מסמכים משפטיים.
|
| תמונה |
יוצרים תמונות שיווקיות. שימוש באפקטים חזותיים בתמונות. יוצרים וריאציות של עיצוב המוצר.
|
| אודיו |
יצירת דו-שיח במבטא ספציפי.
ליצור יצירה מוזיקלית קצרה בז'אנר ספציפי, כמו
ג'אז.
|
| וידאו |
יצירת סרטונים שנראות מציאותיות.
ניתוח של קטעי וידאו ושימוש באפקטים חזותיים.
|
| מרובה מצבים | אפשר להפיק פלט מכמה סוגים, כמו סרטון עם כתוביות בטקסט. |
סיווג
מודל סיווג חוזה לאיזו קטגוריה שייכים נתוני הקלט, לדוגמה אם קלט צריכות להיות מסווגות בתור A, B או C.
איור 1. מודל סיווג שמבצע חיזויים.
האפליקציה עשויה לקבל החלטה על סמך החיזוי של המודל. לדוגמה, אם החיזוי הוא קטגוריה א', ואז לבצע X; אם החיזוי הוא קטגוריה ב', אז do, Y; אם החיזוי הוא קטגוריה ג', אז לעשות ת'. במקרים מסוימים, החיזוי הוא הפלט של האפליקציה.
איור 2. הפלט של מודל סיווג שמשמש בקוד המוצר כדי לקבל החלטה.
רגרסיה
מודל רגרסיה חוזה ערך מספרי.
איור 3. מודל רגרסיה שמבצע חיזוי מספרי.
האפליקציה עשויה לקבל החלטה על סמך החיזוי של המודל. לדוגמה, אם החיזוי נמצא בטווח A, האם X; אם החיזוי נמצא בטווח B, do Y; אם החיזוי נמצא בטווח C, האם Z. במקרים מסוימים, חיזוי הוא הפלט של האפליקציה.
איור 4. הפלט של מודל רגרסיה שמשמש בקוד המוצר כדי ליצור החלטה.
למשל, נבחן את התרחיש הבא:
אתם רוצים לשמור במטמון על סמך הפופולריות החזויה שלהם. במילים אחרות, אם המודל צופה שסרטון יהיה פופולרי, ואתם רוצים להציג אותו למשתמשים במהירות. שפת תרגום תעשו זאת, תשתמשו במטמון היעיל והיקר יותר. בסרטונים אחרים: תשתמשו במטמון אחר. אלה הקריטריונים לשמירה במטמון:
- אם סרטון צפוי לקבל 50 צפיות או יותר, תשתמשו של Google.
- אם סרטון צפוי לקבל בין 30 ל-50 צפיות, תשתמשו של Google.
- אם הסרטון צפוי לצבור פחות מ-30 צפיות, לא תתבצע שמירה במטמון וידאו.
אתם חושבים שמודל רגרסיה הוא הגישה הנכונה, מכיוון שיתבצעו חיזוי ערך מספרי – מספר הצפיות. אבל כשמאמנים את הרגרסיה, נבין שהוא מפיק את הפסד בחיזוי של 28 ו-32 לסרטונים עם 30 צפיות. במילים אחרות, למרות שלאפליקציה שלכם יהיו התנהגות שונה אם החיזוי הוא 28 לעומת 32, המודל מביא בחשבון את שני הסוגים החיזויים טובים באותה מידה.
איור 5. אימון של מודל רגרסיה.
מודלים של רגרסיה לא מודעים לערכי סף שמוגדרים על ידי מוצר. לכן, אם התנהגות האפליקציה משתנה באופן משמעותי בגלל הבדלים קלים של מודל הרגרסיה, אתם צריכים ליישם את מודל הסיווג שלנו.
בתרחיש הזה, מודל סיווג יחזיר את ההתנהגות הנכונה כי מודל סיווג יגרום לאובדן גבוה יותר של חיזוי 28 מאשר 32. במובן מסוים, מודלים של סיווג יוצרים ערכי סף כברירת מחדל.
בתרחיש הזה נדגיש שתי נקודות חשובות:
חיזוי ההחלטה. כשהדבר אפשרי, חשוב לחזות את ההחלטה שהאפליקציה תקבל לקחת. בסרטון לדוגמה, מודל סיווג יחזות את אם הקטגוריות שבהן הוא סיווג סרטונים היו 'ללא מטמון', "זול ,cache" ו'מטמון יקר'. אם מסתירים את התנהגות האפליקציה מהמודל, ייתכן לגרום לאפליקציה להתנהגות שגויה.
להבין את המגבלות של הבעיה. אם האפליקציה משתמשת בניסוח אחר פעולות על סמך ערכי סף שונים, לקבוע אם ערכי הסף האלה קבוע או דינמי.
- ערכי סף דינמיים: אם ערכי הסף הם דינמיים, צריך להשתמש במודל רגרסיה ואת מגבלות הסף בקוד של האפליקציה. כך תוכלו מעדכנים את הספים תוך כדי שהמודל עדיין יהיה הגיוני ויצירת חיזויים.
- ערכי סף קבועים: אם ערכי הסף קבועים, צריך להשתמש במודל סיווג ומתייגים את מערכי הנתונים בהתאם למגבלות הסף.
באופן כללי, רוב הקצאת המטמון היא דינמית וערכי הסף משתנים לאורך זמן. לכן, בגלל שזוהי בעיית שמירה במטמון, האפשרות הטובה ביותר היא מודל רגרסיה. אבל, כשמדובר בבעיות רבות, יהיו ערכי סף קבועים, שיהפכו את מודל הסיווג לפתרון הטוב ביותר.
נבחן דוגמה אחרת. אם אתם בונים אפליקציית מזג אוויר
התוצאה האידיאלית היא להגיד למשתמשים כמה גשם ירד בשש השעות הבאות,
אפשר להשתמש במודל רגרסיה שמזהה את התווית precipitation_amount.
| תוצאה אידיאלית | תווית אידיאלית |
|---|---|
| כאן אפשר לספר למשתמשים כמה ירד גשם באזור שלהם במהלך שש השעות הבאות. | precipitation_amount
|
בדוגמה של אפליקציית מזג האוויר, התווית מתייחסת ישירות לתוצאה האידיאלית.
עם זאת, במקרים מסוימים לא ניתן להבחין בקשר אחד לאחד
את התוצאה האידיאלית ואת התווית. לדוגמה, באפליקציית הווידאו, התוצאה האידיאלית
כדי להמליץ על סרטונים שימושיים. אבל אין תווית במערך הנתונים
useful_to_user.
| תוצאה אידיאלית | תווית אידיאלית |
|---|---|
| המליצו על סרטונים שימושיים. | ? |
לכן, צריך למצוא תווית של שרת proxy.
תוויות לשרת proxy
תוויות לשרת proxy מחליפות את
שלא נמצאות במערך הנתונים. תוויות שרת proxy נחוצות כשאין לך אפשרות
למדוד ישירות את מה שרוצים לחזות. באפליקציית הווידאו, אנחנו לא יכולים ישירות
למדוד אם הסרטון יועיל למשתמש או לא. זה יהיה מעולה אם
במערך הנתונים היה תכונה useful, והמשתמשים סימנו את כל הסרטונים שמצאו
שימושי, אבל מכיוון שמערך הנתונים לא עוזר, נצטרך תווית proxy
חלופיים לתועלת.
תווית proxy לתועלת עשויה להיות אם המשתמש ישתף או לא ירצה את הסרטון.
| תוצאה אידיאלית | תווית שרת proxy |
|---|---|
| המליצו על סרטונים שימושיים. | shared OR liked |
צריך להיזהר כשמשתמשים בתוויות של שרתי proxy, כי הן לא מודדות באופן ישיר את מה שרוצים לחזות. לדוגמה, בטבלה הבאה מפורטות בעיות אפשריות תוויות לשרת proxy להמלצות על סרטונים שימושיים:
| תווית שרת proxy | הבעיה |
|---|---|
| אפשר לחזות אם המשתמש ילחץ על סמל הלייק לחצן. | רוב המשתמשים אף פעם לא לוחצים על 'לייק'. |
| לחזות אם סרטון יהיה פופולרי. | לא מותאמת אישית. חלק מהמשתמשים לא יאהבו סרטונים פופולריים. |
| ניתן לחזות אם המשתמש ישתף את הסרטון. | חלק מהמשתמשים לא משתפים סרטונים. לפעמים אנשים משתפים סרטונים כי הם לא אוהבים אותם. |
| ניתן לחזות אם המשתמש ילחץ על הפעלה. | מגדיל את ערך הקליקבייט. |
| לחזות כמה זמן הם יצפו בסרטון. | עדיפות לסרטונים ארוכים באופן שונה על פני סרטונים קצרים. |
| ניתן לחזות כמה פעמים המשתמש יצפה שוב בסרטון. | העדפה ל'לצפייה חוזרת' מעבר לז'אנרים של סרטונים שאי אפשר לצפות בהם שוב. |
אף תווית של שרת proxy לא יכולה להיות תחליף מושלם לתוצאה האידיאלית שלכם. כל ההעדפות של בעיות פוטנציאליות. כדאי לבחור את השיטה עם הכי פחות בעיות תרחיש לדוגמה.
בדיקת ההבנה
יצירה
ברוב המקרים, לא תאמנו את המודל הגנרטיבי שלכם כי הפעולה הזו דורש כמויות עצומות של נתוני אימון ומשאבי מחשוב. במקום זאת, תתאימו אישית מודל גנרטיבי שעבר אימון מראש. כדי לקבל מודל גנרטיבי כדי להפיק את הפלט הרצוי, ייתכן שתצטרכו להשתמש באחד או יותר מהפיצ'רים הבאים שיטות:
זיקוק. כדי ליצור של מודל גדול יותר, יוצרים מערך נתונים עם תווית סינתטית מהמודל הגדול יותר שבו אתם משתמשים כדי לאמן את המודל הקטן יותר. גנרטיבית הם בדרך כלל ענקיים והם צורכים משאבים רבים (כמו זיכרון וחשמל). זיקוק מאפשר עבודה קטנה יותר, והצורך פחות משאבים כדי להעריך את הביצועים של המודל הגדול.
כוונון עדין או כוונון יעיל בפרמטרים. כדי לשפר את הביצועים של מודל במשימה ספציפית, צריך לאמן את המודל לפי מערך נתונים שמכיל דוגמאות לסוג הפלט שרוצים להפיק.
הנדסת פרומפטים. שפת תרגום לקבל את המודל לביצוע משימה ספציפית ומפיקה פלט בפורמט מסוים, אפשר לומר למודל שהמשימה שרוצים כדי לעשות או להסביר איך רוצים שהפלט יהיה בפורמט. במילים אחרות, בהנחיה יכולה לכלול הוראות בשפה טבעית לגבי ביצוע המשימה או דוגמאות להמחשה עם הפלט הרצוי.
לדוגמה, אם ברצונך לקבל סיכומים קצרים של מאמרים, תוכל להזין את הבאים:
Produce 100-word summaries for each article.אם רוצים שהמודל ייצור טקסט ברמת קריאה ספציפית, אפשר להזין את הפרטים הבאים:
All the output should be at a reading level for a 12-year-old.אם אתם רוצים שהמודל יספק את הפלט שלו בפורמט מסוים, תסביר איך הפלט צריך להיות בפורמט - לדוגמה, " תוצאות בטבלה" - או שאתם יכולים להדגים את המשימה באמצעות הצגת דוגמאות. לדוגמה, אפשר להזין את הפרטים הבאים:
Translate words from English to Spanish. English: Car Spanish: Auto English: Airplane Spanish: Avión English: Home Spanish:______
תהליך הזיקוק והכוונון עדין גורם לעדכון המודל parameters. הנדסת הנחיות לא מעדכנת את הפרמטרים של המודל. במקום זאת, הנדסת הנחיות עוזרת ללמוד איך להפיק פלט רצוי מההקשר של ההנחיה.
במקרים מסוימים, תצטרכו גם למערך נתוני הבדיקה כדי להעריך של המודל הגנרטיבי מול ערכים ידועים, לדוגמה, לבדוק הסיכומים של המודל דומים לסיכומים שנוצרו על ידי בני אדם, או שבני אדם מדרגים הסיכומים של המודל טובים.
אפשר להשתמש ב-AI גנרטיבי גם כדי להטמיע למידת מכונה חזויה כמו סיווג או רגרסיה. לדוגמה, בגלל הידע המעמיק שלהם בשפה טבעית, מודלים גדולים של שפה (LLMs) משימות של סיווג טקסט לעיתים קרובות יכולות להיות טובות יותר ממשימות חיזוי של למידת מכונה שעבר אימון לביצוע המשימה הספציפית.
הגדרת מדדי ההצלחה
הגדרת המדדים שבהם משתמשים כדי לקבוע אם להטמיע למידת מכונה הפעולה בוצעה בהצלחה. מדדי הצלחה מגדירים את מה שחשוב לך, כמו מעורבות או לעזור למשתמשים לבצע פעולה מתאימה, כמו צפייה בסרטונים שהם ימצאו. שימושי. מדדי ההצלחה שונים ממדדי ההערכה של המודל, למשל דיוק, precision, recall, או AUC.
לדוגמה, מדדי ההצלחה והכשל של אפליקציית מזג האוויר יכולים להיות מוגדרים כך: הבאים:
| הצלחה | משתמשים פותחים את האפשרות 'האם ירד גשם?' אל תשתמשו ב-50 אחוז יותר ממה שהם עשו בעבר. |
|---|---|
| כשל | משתמשים פותחים את האפשרות 'האם ירד גשם?' לעתים קרובות, לפני. |
המדדים של אפליקציית הווידאו יכולים להיות מוגדרים כך:
| הצלחה | משתמשים מבלים בממוצע 20 אחוז יותר זמן באתר. |
|---|---|
| כשל | בממוצע, משתמשים לא מבלים יותר זמן באתר שלהם. |
מומלץ להגדיר מדדי הצלחה שאפתניים. שאיפות גבוהות יכולות לגרום לפערים בין הצלחה לכישלון. לדוגמה, משתמשים מוציאים בממוצע 10 אחוזים יותר זמן באתר בהשוואה לחודש הקודם אינו נחשב להצלחה או לכישלון. הפער הבלתי מוגדר הוא לא מה שחשוב.
מה שחשוב הוא היכולת של המודל להתקרב, או מהי ההגדרה של הצלחה, למשל, כאשר מנתחים את המודל נבחן את השאלה הבאה: האם שיפור המודל יעניק לך קרובים יותר לקריטריונים שהגדרתם להצלחה? לדוגמה, למודל יכול להיות מדדי הערכה, אבל לא יקרבו אתכם לקריטריונים שלכם להצלחה, גם אם יש מודל מושלם, לא בטוח שתעמדו בקריטריונים להצלחה. מוגדר. לעומת זאת, למודל יכולים להיות מדדי הערכה נמוכים, אבל קרוב יותר לקריטריונים שלכם להצלחה, מה שיעיד על כך ששיפור המודל עוזרים לכם להגיע להצלחה.
המאפיינים הבאים שצריך לקחת בחשבון כדי לקבוע אם הערך של המודל שווה שיפור:
לא מספיק טובה, אבל אפשר להמשיך. אין להשתמש במודל במסגרת בסביבת הייצור, אבל עם הזמן ניתן לשפר אותה באופן משמעותי.
טוב מספיק, והמשך. אפשר להשתמש במודל בסביבת ייצור בסביבה מסוימת, ואפשר לשפר אותו עוד יותר.
טוב מספיק, אבל אי אפשר לשפר אותו. המודל נמצא בסביבת ייצור אבל סביר להניח שהיא תהיה טובה ככל האפשר.
לא מספיק טובה, ואף פעם לא תהיה. אין להשתמש במודל במסגרת בסביבת הייצור ושום כמות של הדרכה לא תשיג אותה לשם.
כשאתם מחליטים לשפר את המודל, בדקו מחדש אם העלייה במשאבים כגון זמן הנדסי ועלויות מחשוב, להצדיק את השיפור החזוי את המודל.
אחרי שמגדירים את המדדים של הצלחה וכישלון, צריך לקבוע באיזו תדירות תוכלו למדוד אותם. לדוגמה, תוכלו למדוד את מדדי ההצלחה שש ימים, שישה שבועות או שישה חודשים לאחר הטמעת המערכת.
כשאתם מנתחים מדדי כשל, נסו להבין למה המערכת נכשלה. עבור למשל, יכול להיות שהמודל חוזה על אילו סרטונים המשתמשים ילחצו, אבל יכול להתחיל להמליץ על כותרות קליקבייט שגורמות להתעניינות המשתמשים להפסיק. בדוגמה של אפליקציית מזג האוויר, המודל יכול לחזות במדויק מתי ירד גשם, אבל באזור גיאוגרפי גדול מדי.
בדיקת ההבנה
חברת אופנה רוצה למכור יותר בגדים. מישהו מציע להשתמש בלמידת מכונה כדי לקבוע אילו בגדים החברה צריכה לייצר. הם חושבים שהם יכולים לאמן מודל כדי לקבוע אילו סוגי בגדים הם אופנתיים. אחרי הם מאמנים את המודל, הם רוצים להחיל אותו על הקטלוג שלהם כדי להחליט אילו בגדים להכין.
איך עליהם לנסח את הבעיה שלהם במונחים של למידת מכונה?
תוצאה אידיאלית: קובעים אילו מוצרים לייצר.
המטרה של המודל: לחזות אילו פריטי לבוש נכללים אופנה.
פלט המודל: סיווג בינארי, in_fashion,
not_in_fashion
מדדי הצלחה: מכירת 70 אחוזים או יותר מהבגדים נוצרה.
תוצאה אידיאלית: הגדרה של כמות הבד והציוד להזמין.
היעד של המודל: אפשר לחזות את כמות הייצור של כל פריט.
פלט המודל: סיווג בינארי, make,
do_not_make
מדדי הצלחה: מכירת 70 אחוזים או יותר מהבגדים נוצרה.