מודלים בהתאמה אישית עם ערכת ML

כברירת מחדל, ממשקי ה-API של ML Kit משתמשים במודלים של Google ללמידת מכונה. המודלים האלה מיועדים למגוון רחב של אפליקציות. עם זאת, תרחישי שימוש מסוימים דורשים מודלים ממוקדים יותר. לכן, חלק מממשקי ה-API של ML Kit מאפשרים עכשיו להחליף את דגמי ברירת המחדל בדגמים מותאמים אישית של TensorFlow Lite.

גם התיוג של תמונות וגם ה-API של זיהוי אובייקטים והמעקב מספקים תמיכה במודלים מותאמים אישית לסיווג תמונות. הם תואמים לבחירה של מודלים באיכות גבוהה שהוכשרו מראש ב-TensorFlow Hub או במודל מותאם אישית משלכם עם אימון TensorFlow, AutoML Vision Edge או TensorFlow Lite Maker Maker.

אם אתם זקוקים לפתרון מותאם אישית בדומיינים אחרים או בתרחישים לדוגמה, היכנסו אל הדף 'למידה חישובית' במכשיר כדי לקבל הנחיות לגבי כל הפתרונות והכלים של Google ללמידה חישובית במכשיר.

יתרונות השימוש בערכת למידת מכונה (ML) עם מודלים מותאמים אישית

יתרונות השימוש במודל הסיווג של תמונות בהתאמה אישית עם למידת מכונה:

  • ממשקי API פשוטים ונוחים לשימוש – אין צורך לטפל במודלים ברמה נמוכה – קלט/פלט, טיפול בתמונה לפני עיבוד או אחרי עיבוד, או בבניית צינור עיבוד נתונים.
  • אין צורך לדאוג למיפוי התוויות בעצמכם, הכלי ללמידת מכונה מחלץ את התוויות מהמטא-נתונים של מודל TFLite ומבצע את המיפוי עבורכם.
  • תמיכה במודלים מותאמים אישית ממגוון רחב של מקורות, ממודלים מאומנים מראש שפורסמו ב-TensorFlow Hub ועד למודלים חדשים שאומנו עם TensorFlow, AutoML Vision Edge או TensorFlow Lite Maker Maker.
  • תמיכה במודלים שמתארחים ב-Firebase. הקטנת גודל ה-APK על ידי הורדת מודלים לפי דרישה. אפשר לדחוף עדכוני מודל בלי לפרסם מחדש את האפליקציה ולבצע בדיקות A/B בקלות באמצעות הגדרת התצורה מרחוק ב-Firebase.
  • מותאם לשילוב עם ממשקי ה-API של המצלמה ל-Android.

ובעיקר עבור זיהוי אובייקטים ומעקב:

  • משפרים את הדיוק של הסיווג. לשם כך, קודם צריך לאתר את האובייקטים ולהפעיל רק את המסווג באזור הקשור לתמונה.
  • לספק חוויה אינטראקטיבית בזמן אמת: אפשר לספק למשתמשים משוב מיידי על אובייקטים ברגע שהם מזוהים ומסווגים.

יש להשתמש במודל אימון תמונות שהוגדר מראש

אפשר להשתמש במודלים של TensorFlow Lite שהוכשרו מראש, בתנאי שהם עומדים במספר קריטריונים. באמצעות TensorFlow Hub אנחנו מציעים קבוצה של מודלים שנבדקו – מ-Google או מיוצרים אחרים – שעומדים בקריטריונים האלה.

שימוש במודל שפורסם ב-TensorFlow Hub

ב-TensorFlow Hub תוכלו למצוא מגוון רחב של מודלים לאימון תמונות מראש, שמבוססים על יוצרים שונים. המודלים האלה מתאימים לשימוש עם ממשקי ה-API 'תיוג תמונות' ו'זיהוי אובייקטים'. יש לבצע את השלבים הבאים:

  1. בוחרים מודל מתוך אוסף המודלים התואמים ל-ML Kit.
  2. מורידים את קובץ הדגם עם הסיומת .tflite מדף הפרטים של המודל. אם הדבר אפשרי, בחרו פורמט לדוגמה עם מטא-נתונים.
  3. כדאי לפעול לפי המדריכים שלנו ל-Image Labeling API או ל-Object Detecting and Monitoring API כדי להבין איך לקבץ קובץ של דגם בעזרת הפרויקט ולהשתמש בו באפליקציה ל-Android או ל-iOS.

אימון של מודל סיווג התמונות שלכם

אם אין מודל מוגדר מראש של סיווג תמונות שמתאים לצרכים שלכם, יש כמה דרכים לאמן את מודל TensorFlow Lite שלכם. חלק מהדוגמאות מפורטות בהמשך.

אפשרויות לאימון מודל סיווג תמונה משלך
AutoML Vision Edge
  • הצעה דרך Google Cloud AI
  • יצירת מודלים של סיווג חדשני לתמונות
  • קל להעריך בין הביצועים והגודל
הכלי ליצירת דגמים של TensorFlow Lite
  • אימון מחדש של מודל (העברת למידה), לוקח פחות זמן והוא דורש פחות נתונים מאימון המודל מאפס
המרת מודל TensorFlow ל-TensorFlow Lite
  • אימון מודל עם TensorFlow ולאחר מכן המרה שלו ל-TensorFlow Lite

AutoML Vision Edge

מודלים של סיווג תמונות שהוכשרו באמצעות AutoML Vision Edge נתמכים על ידי המודלים המותאמים אישית בממשקי ה-API לתיוג תמונות ובממשקי API של זיהוי אובייקטים ומעקב אחר. ממשקי ה-API האלה תומכים גם בהורדת מודלים שמתארחים בפריסת מודלים של Firebase.

כדי לקבל מידע נוסף על השימוש במודלים עם למידת מכונה (ML) ב-AutoML Vision, באפליקציות ל-Android ול-iOS, יש לפעול לפי המדריכים המותאמים אישית לכל ממשק API, בהתאם לתרחיש לדוגמה שלכם.

יצרן מודלים של TensorFlow Lite

הספרייה של TFLite Maker Maker מפשטת את התהליך של ההתאמה וההמרה של מודל רשת נוירונים של TensorFlow לנתוני קלט ספציפיים בעת פריסת המודל הזה עבור אפליקציות למידת מכונה במכשיר. אפשר לפעול בהתאם לסיווג של Colab ל'תמונה' באמצעות TensorFlow Lite Model Maker.

כדי לקבל מידע נוסף על השימוש בדגם שעבר הכשרה לגבי יוצר המודלים באפליקציות ל-Android ול-iOS, יש להיעזר במדריכים שלנו בנושא Image Labeling API ו-Object Detecting and Monitoring API, בהתאם לתרחיש לדוגמה שלכם.

דגמים שנוצרו באמצעות ממיר TensorFlow Lite

אם יש לכם מודל קיים של סיווג תמונות ב-TensorFlow, תוכלו להמיר אותו באמצעות המרה של TensorFlow Lite. יש לוודא שהמודל שנוצר עומד בדרישות התאימות הבאות.

לקבלת מידע נוסף על השימוש במודל TensorFlow Lite באפליקציות ל-Android ול-iOS, בצעו את המדריכים שלנו בנושא Image Labeling API ו-Object Detecting and Monitoring API, בהתאם לתרחיש לדוגמה שלכם.

תאימות לדגם TensorFlow Lite

אתם יכולים להשתמש בכל מודל אימון תמונות של TensorFlow Lite, בתנאי שהוא עומד בדרישות הבאות:

Tensor

  • במודל צריך להיות רק מתח הפעלה אחד עם המגבלות הבאות:
    • הנתונים הם בפורמט פיקסל RGB.
    • הנתונים הם מסוג UINT8 או FLOAT32. אם סוג מתח הקלט הוא FLOAT32, הוא חייב לציין את אפשרויות הנירמול על ידי צירוף מטא נתונים.
    • הטונטור כולל 4 מימדים : BxHxWxC, כאשר:
      • B הוא גודל המקבץ. היא חייבת להיות 1 (השערה בקבוצות גדולות יותר לא נתמכת).
      • W ו-H הם הרוחב והגובה של הקלט.
      • C הוא מספר הערוצים הצפויים. הוא חייב להיות 3.
  • במודל צריך להיות לפחות מתאם מתח אחד עם N Class ו-2 או 4 מאפיינים:
    • (1xN)
    • (1x1x1xN)

מטא-נתונים

ניתן להוסיף מטא-נתונים לקובץ TensorFlow Lite כפי שמוסבר במאמר הוספת מטא-נתונים למודל TensorFlow Lite.

כדי להשתמש במודל עם מדחף קלט FLOAT32, יש לציין את אפשרויות הנורמליזציה במטא-נתונים.

כמו כן, מומלץ לצרף את המטא-נתונים הזה למתח TensorMetadata:

  • מפת תווית שמציינת את השם של כל סיווג פלט, כAssociatedFile מסוג TENSOR_AXIS_LABEL (אחרת ניתן להחזיר רק את האינדקסים של סיווג הפלט המספרי)
  • סף ברירת מחדל של ציון שמתחתיו התוצאות נחשבות כפחות מהימנות להחזרה, כיחידת עיבוד עם ניקוד סף