כדי להכין את צינורות עיבוד הנתונים של למידת המכונה לייצור, צריך לבצע את הפעולות הבאות:
- הקצאת משאבי מחשוב לצינורות עיבוד הנתונים שלכם
- הטמעת רישום ביומן, מעקב והתראות
הקצאה של משאבי מחשוב
כדי להפעיל צינורות עיבוד נתונים של למידת מכונה דורשים משאבי מחשוב, כמו RAM, מעבדי CPU ומעבדי GPU/מעבדי TPU. ללא מחשוב מתאים, לא תוכלו להפעיל את צינורות עיבוד הנתונים. לכן, צריך לוודא כדי לקבל מכסה מספקת להקצאת המשאבים הנדרשים לצינורות עיבוד הנתונים צריכים לפעול בסביבת הייצור.
צינורות עיבוד נתונים למילוי בקשות, הדרכה ואימות. צינורות עיבוד הנתונים האלה מחייבים מעבדי TPU, מעבדי GPU או מעבדים (CPU). בהתאם לתרחיש לדוגמה שלכם, תוכלו לאמן ולהציג מודעות בחומרה אחרת, או להשתמש באותה חומרה. לדוגמה, האימון יכול במעבדים (CPU), אבל מילוי בקשות עשוי להשתמש במעבדי TPU, או להיפך. באופן כללי, לרוב מתאמן על חומרה גדולה יותר ולאחר מכן מוצג בחומרה קטנה יותר.
כשבוחרים את החומרה:
- אפשר להתאמן על חומרה זולה יותר?
- האם מעבר לחומרה אחרת יכול לשפר את הביצועים?
- מה גודל הדגם ואיזו חומרה תבצע אופטימיזציה של ביצועיו?
- איזו חומרה הכי מתאימה לארכיטקטורה של המודל?
צינורות נתונים. לצינורות נתונים שנדרשים מכסות ל-RAM ולמעבד (CPU) צריך להעריך איך המכסה שנדרשת לצינור עיבוד הנתונים כדי ליצור מערכי נתונים לאימון ולבחון.
יכול להיות שלא תקצו מכסה לכל צינור עיבוד נתונים. במקום זאת, להקצות מכסה שצינורות עיבוד נתונים חולקים. במקרים כאלה, צריך לאמת יש לכם מכסה מספקת כדי להריץ את כל צינורות עיבוד הנתונים, ולהגדיר מעקב שינוי כדי למנוע מצינור עיבוד נתונים אחד שגוי לצרוך את כל המכסה.
הערכת המכסה
כדי להעריך את המכסה הנדרשת לצינורות הנתונים וההדרכה, פרויקטים דומים שעליהם אפשר לבסס את ההערכות. כדי להעריך את מכסת הצגת המודעות, אפשר לנסות לחזות את שאילתות השירות לשנייה. השיטות האלה מספקות בסיס. בתור תתחילו ליצור אב טיפוס של פתרון בשלב הניסוי, כדי לקבל הערכת מכסה מדויקת יותר.
כשבוחנים מכסות, חשוב לזכור לקחת בחשבון את המכסה לא רק בסביבת הייצור של צינורות עיבוד נתונים, אלא גם לניסויים מתמשכים.
בדיקת ההבנה
רישום ביומן, מעקב והתראות
רישום ביומן של מודל ייצור ומעקב אחרי ההתנהגות שלו הוא קריטי. Robust תשתית מעקב מאשרת שהמודלים שלך פועלים בצורה מהימנה, ויצירת חיזויים באיכות גבוהה.
שיטות טובות לרישום ביומן ומעקב עוזרות לזהות בעיות בלמידת מכונה באופן יזום צינורות עיבוד נתונים ולצמצם את ההשפעה הפוטנציאלית על העסק. כשמתרחשות בעיות, המערכת שולחת התראות עליך להודיע לחברי הצוות שלך, ויומנים מקיפים מאפשרים לאבחן היא שורש הבעיה.
עליכם להטמיע רישום ביומן ומעקב כדי לזהות את הבעיות הבאות עם צינורות עיבוד נתונים של למידת מכונה:
| צינור עיבוד נתונים | מעקב |
|---|---|
| מוצגת |
|
| נתונים |
|
| הדרכה |
|
| אימות |
|
כדאי גם לרשום ביומן, מעקב והתראות לגבי הדברים הבאים:
- זמן אחזור כמה זמן נדרש כדי לספק חיזוי?
- הפסקות זמניות בשירות. האם המודל הפסיק לספק חיזויים?
בדיקת ההבנה
פריסת מודל
לגבי פריסת מודל, עליכם לתעד את הדברים הבאים:
- האישורים הנדרשים כדי להתחיל את הפריסה ולהרחיב את ההשקה.
- איך להעביר מודל לסביבת הייצור.
- המיקום שבו המודל נפרס, לדוגמה, אם יש רכיבי Staging או Canary בסביבות שונות.
- מה לעשות אם פריסה נכשלה.
- איך להחזיר מודל למצב קודם שכבר נמצא בסביבת ייצור.
אחרי אוטומציה של אימון המודלים, צריך לבצע אוטומציה אימות ופריסה. אוטומציה של הפצה באחריות, ולהפחית את הסבירות לצוואר בקבוק בפריסה לאדם אחד. הוא גם מפחית טעויות פוטנציאליות, מגביר את היעילות אמינה, ומאפשרת לבצע רוטציות במהלך השיחה ותמיכה ב-SRE.
בדרך כלל פורסים מודלים חדשים לקבוצת משנה של משתמשים כדי לבדוק שהמודל להתנהג כצפוי. אם כן, ממשיכים בפריסה. אם היא לא מסוימת, להחזיר את הפריסה למצב קודם ומתחילים לאבחן את הבעיות ולנפות באגים.