API сегментации объектов ML Kit позволяет разработчикам легко отделять несколько объектов от фона на изображении, позволяя использовать такие варианты использования, как создание наклеек, замена фона или добавление интересных эффектов к объектам.
Субъектами считаются наиболее известные люди, домашние животные или объекты на переднем плане изображения. Если два предмета находятся очень близко или касаются друг друга, они считаются одним предметом.
API сегментации субъектов принимает входное изображение и генерирует выходную маску или растровое изображение для переднего плана. Он также предоставляет маску и растровое изображение для каждого из обнаруженных объектов (передний план равен всем объектам вместе взятым).
По умолчанию маска переднего плана и растровое изображение переднего плана имеют тот же размер, что и входное изображение (размер маски и растрового изображения каждого отдельного объекта, скорее всего, будет отличаться от размера входного изображения). Каждому пикселю маски присваивается число с плавающей точкой в диапазоне от 0.0 до 1.0 . Чем ближе число к 1.0 , тем выше уверенность в том, что пиксель представляет объект, и наоборот.
В среднем задержка, измеренная на Pixel 7 Pro, составляет около 200 мс. Этот API в настоящее время поддерживает только статические изображения.
Ключевые возможности
- Многосубъектная сегментация: предоставляет маски и растровые изображения для каждого отдельного субъекта, а не единую маску и растровое изображение для всех субъектов вместе взятых.
- Распознавание субъектов: распознаваемыми субъектами являются предметы, домашние животные и люди.
- Обработка на устройстве: вся обработка выполняется на устройстве, сохраняя конфиденциальность пользователя и не требуя подключения к сети.
Примеры результатов
| Входное изображение | Выходное изображение + маска |
|---|---|
 |  |
 |  |
 |  |