Segmentação de assunto

A API de segmentação de assunto do Kit de ML permite que os desenvolvedores separem facilmente vários objetos do plano de fundo em uma imagem, permitindo casos de uso como criação de adesivos, troca de plano de fundo ou adição de efeitos interessantes aos objetos.

Os assuntos são definidos como as pessoas, os animais de estimação ou os objetos mais proeminentes no primeiro plano da imagem. Se dois indivíduos estiverem muito próximos ou se tocando, eles serão considerados um único assunto.

A API de segmentação de assunto recebe uma imagem de entrada e gera uma máscara de saída ou bitmap para o primeiro plano. Ele também fornece uma máscara e um bitmap para cada um dos objetos detectados (o primeiro plano é igual a todos os indivíduos combinados).

Por padrão, a máscara e o bitmap de primeiro plano têm o mesmo tamanho que a imagem de entrada. O tamanho da máscara e do bitmap de cada pessoa provavelmente vai ser diferente do tamanho da imagem de entrada. Cada pixel da máscara recebe um número flutuante que tem um intervalo entre 0.0 e 1.0. Quanto mais próximo o número estiver de 1.0, maior será a confiança de que o pixel representa um assunto e vice-versa.

Em média, a latência medida no Pixel 7 Pro é de cerca de 200 ms. No momento, essa API oferece suporte apenas a imagens estáticas.

Android

Principais recursos

  • Segmentação de vários assuntos: fornece máscaras e bitmaps para cada assunto individual, em vez de uma única máscara e bitmap para todos os assuntos combinados.
  • Reconhecimento de assunto:os indivíduos reconhecidos são objetos, animais de estimação e humanos.
  • Processamento no dispositivo:todo o processamento é realizado no dispositivo, preservando a privacidade do usuário e não exige conectividade de rede.

Resultados de exemplo

Inserir imagem Imagem de saída + máscara