ה-API של ML Kit לפילוח נושאים מאפשר למפתחים להפריד בקלות נושאים מרובים מהרקע בתמונה, וכך להשתמש בתרחישים לדוגמה כמו יצירת סטיקרים, החלפת רקע או הוספת אפקטים מגניבים לנושא.
נושא התמונה הוא האנשים, חיות המחמד או האובייקטים הבולטים ביותר ברקע התמונה. אם שני נושאים קרובים מאוד או נוגעים זה בזה, הם נחשבים לנושא יחיד.
ה-API של פילוח הנושא לוקח תמונת קלט ויוצר מסכת פלט או מפת סיביות לחזית. בנוסף, המערכת מספקת מסכה ומפת סיביות לכל אחד מהנושאים שזוהו (החזית שווה לכל האובייקטים שמשולבים).
כברירת מחדל, המסכה בחזית ומפת הסיביות בחזית הם בגודל של תמונת הקלט (סביר להניח שגודל המסכה ומפת הסיביות של כל נושא יהיה שונה מהגודל של תמונת הקלט). לכל פיקסל של המסכה מוקצה מספר צף בטווח שבין 0.0 ל-1.0. ככל שהמספר קרוב יותר ל-1.0, כך גבוהה יותר ודא שהפיקסל מייצג נושא כלשהו, ולהיפך.
זמן האחזור הממוצע ב-Pixel 7 Pro הוא כ-200 אלפיות השנייה. ה-API הזה תומך כרגע רק בתמונות סטטיות.
יכולות עיקריות
- פילוח מרובה נושאים: מתן מסיכות ומפות סיביות לכל נושא בנפרד, במקום מסכה אחת ומפת סיביות אחת לכל הנבדקים יחד.
- זיהוי נושא: הנושאים המוכרים הם חפצים, חיות מחמד ובני אדם.
- עיבוד במכשיר: כל העיבוד מתבצע במכשיר תוך שמירה על פרטיות המשתמשים וללא צורך בחיבור לרשת.
תוצאות לדוגמה
| הזנת תמונה | תמונת פלט + מסכה |
|---|---|
 |
 |
 |
 |
 |
 |