Interfejs API segmentacji tematów w ML Kit pozwala programistom łatwo oddzielić wiele osób od tła na zdjęciu, co pozwala np. tworzyć naklejki, zmieniać tło czy dodawać ciekawe efekty do obiektów.
Obiekty to najbardziej widoczne osoby, zwierzęta lub obiekty na pierwszym planie obrazu. Jeśli 2 obiekty są bardzo blisko siebie lub się stykają, uznaje się je za 1 obiekt.
Interfejs API segmentacji podmiotów pobiera obraz wejściowy i generuje na pierwszym planie maskę wyjściową lub bitmapę. Zapewnia też maskę i mapę bitową dla każdego wykrytego obiektu (pierwszy plan jest równy wszystkim obiektom łącznie).
Domyślnie maska i bitmapa na pierwszym planie mają ten sam rozmiar co obraz wejściowy (rozmiar maski i bitmapy poszczególnych podmiotów prawdopodobnie będzie się różnić od rozmiaru obrazu wejściowego). Każdy piksel maski ma przypisaną liczbę zmiennoprzecinkową z zakresu od 0.0 do 1.0. Im bliższa jest liczba 1.0, tym większa pewność, że piksel reprezentuje obiekt – i odwrotnie.
Średni czas oczekiwania mierzony na Pixelu 7 Pro wynosi około 200 ms. Ten interfejs API obsługuje obecnie tylko obrazy statyczne.
Najważniejsze funkcje
- Podział na segmenty według wielu tematów: umożliwia korzystanie z masek i map bitowych dla każdego obiektu zamiast pojedynczej maski i bitmapy dla wszystkich obiektów łącznie.
- Rozpoznawanie obiektów: rozpoznawane obiekty to obiekty, zwierzęta i ludzie.
- Przetwarzanie na urządzeniu: całość przetwarzania odbywa się na urządzeniu z zachowaniem ochrony prywatności użytkownika i nie wymaga połączenia sieciowego.
Przykładowe wyniki
| Obraz wejściowy | Obraz wyjściowy + maska |
|---|---|
 |
 |
 |
 |
 |
 |